]> git.cworth.org Git - notmuch-old/blob - test/test-lib.sh
doc/elisp: replace label for Emacs commands and key bindings.
[notmuch-old] / test / test-lib.sh
1 #
2 # Copyright (c) 2005 Junio C Hamano
3 # Copyright (c) 2010 Notmuch Developers
4 #
5 # This program is free software: you can redistribute it and/or modify
6 # it under the terms of the GNU General Public License as published by
7 # the Free Software Foundation, either version 2 of the License, or
8 # (at your option) any later version.
9 #
10 # This program is distributed in the hope that it will be useful,
11 # but WITHOUT ANY WARRANTY; without even the implied warranty of
12 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13 # GNU General Public License for more details.
14 #
15 # You should have received a copy of the GNU General Public License
16 # along with this program.  If not, see https://www.gnu.org/licenses/ .
17
18 if [ ${BASH_VERSINFO[0]} -lt 4 ]; then
19     echo "Error: The notmuch test suite requires a bash version >= 4.0"
20     echo "due to use of associative arrays within the test suite."
21     echo "Please try again with a newer bash (or help us fix the"
22     echo "test suite to be more portable). Thanks."
23     exit 1
24 fi
25
26 # Make sure echo builtin does not expand backslash-escape sequences by default.
27 shopt -u xpg_echo
28
29 # Ensure NOTMUCH_SRCDIR and NOTMUCH_BUILDDIR are set.
30 . $(dirname "$0")/export-dirs.sh || exit 1
31
32 # It appears that people try to run tests without building...
33 if [[ ! -x "$NOTMUCH_BUILDDIR/notmuch" ]]; then
34         echo >&2 'You do not seem to have built notmuch yet.'
35         exit 1
36 fi
37
38 this_test=${0##*/}
39 this_test=${this_test%.sh}
40 this_test_bare=${this_test#T[0-9][0-9][0-9]-}
41
42 # if --tee was passed, write the output not only to the terminal, but
43 # additionally to the file test-results/$BASENAME.out, too.
44 case "$GIT_TEST_TEE_STARTED, $* " in
45 done,*)
46         # do not redirect again
47         ;;
48 *' --tee '*|*' --va'*)
49         mkdir -p test-results
50         BASE=test-results/$this_test
51         (GIT_TEST_TEE_STARTED=done "$BASH" "$0" "$@" 2>&1;
52          echo $? > $BASE.exit) | tee $BASE.out
53         test "$(cat $BASE.exit)" = 0
54         exit
55         ;;
56 esac
57
58 # STDIN from /dev/null. EOF for readers (and ENOTTY for tty related ioctls).
59 exec </dev/null
60
61 # Save STDOUT to fd 6 and STDERR to fd 7.
62 exec 6>&1 7>&2
63 # Make xtrace debugging (when used) use redirected STDERR, with verbose lead:
64 BASH_XTRACEFD=7
65 export PS4='+(${BASH_SOURCE}:${LINENO}): ${FUNCNAME[0]:+${FUNCNAME[0]}(): }'
66
67 . "$NOTMUCH_SRCDIR/test/test-vars.sh" || exit 1
68
69 add_gnupg_home () {
70     [ -e "${GNUPGHOME}/gpg.conf" ] && return
71     _gnupg_exit () { gpgconf --kill all 2>/dev/null || true; }
72     at_exit_function _gnupg_exit
73     mkdir -p -m 0700 "$GNUPGHOME"
74     gpg --no-tty --import <$NOTMUCH_SRCDIR/test/gnupg-secret-key.asc >"$GNUPGHOME"/import.log 2>&1
75     test_debug "cat $GNUPGHOME/import.log"
76     if (gpg --quick-random --version >/dev/null 2>&1) ; then
77         echo quick-random >> "$GNUPGHOME"/gpg.conf
78     elif (gpg --debug-quick-random --version >/dev/null 2>&1) ; then
79         echo debug-quick-random >> "$GNUPGHOME"/gpg.conf
80     fi
81     echo no-emit-version >> "$GNUPGHOME"/gpg.conf
82
83     # Change this if we ship a new test key
84     FINGERPRINT="5AEAB11F5E33DCE875DDB75B6D92612D94E46381"
85     SELF_USERID="Notmuch Test Suite <test_suite@notmuchmail.org> (INSECURE!)"
86     SELF_EMAIL="test_suite@notmuchmail.org"
87     printf '%s:6:\n' "$FINGERPRINT" | gpg --quiet --batch --no-tty --import-ownertrust
88 }
89
90 add_gpgsm_home () {
91     test_require_external_prereq openssl
92
93     local fpr
94     [ -e "$GNUPGHOME/gpgsm.conf" ] && return
95     _gnupg_exit () { gpgconf --kill all 2>/dev/null || true; }
96     at_exit_function _gnupg_exit
97     mkdir -p -m 0700 "$GNUPGHOME"
98     gpgsm --batch --no-tty --no-common-certs-import --pinentry-mode=loopback --passphrase-fd 3 \
99           --disable-dirmngr --import  >"$GNUPGHOME"/import.log 2>&1 3<<<'' <$NOTMUCH_SRCDIR/test/smime/0xE0972A47.p12
100     fpr=$(gpgsm --batch --with-colons --list-key test_suite@notmuchmail.org | awk -F: '/^fpr/ {print $10}')
101     echo "$fpr S relax" >> "$GNUPGHOME/trustlist.txt"
102     gpgsm --quiet --batch --no-tty --no-common-certs-import --disable-dirmngr --import < $NOTMUCH_SRCDIR/test/smime/ca.crt
103     echo "4D:E0:FF:63:C0:E9:EC:01:29:11:C8:7A:EE:DA:3A:9A:7F:6E:C1:0D S" >> "$GNUPGHOME/trustlist.txt"
104     printf '%s::1\n' include-certs disable-crl-checks | gpgconf --output /dev/null --change-options gpgsm
105     gpgsm --batch --no-tty --no-common-certs-import --pinentry-mode=loopback --passphrase-fd 3 \
106               --disable-dirmngr --import "$NOTMUCH_SRCDIR/test/smime/bob.p12" >>"$GNUPGHOME"/import.log 2>&1 3<<<''
107     test_debug "cat $GNUPGHOME/import.log"
108 }
109
110 # Each test should start with something like this, after copyright notices:
111 #
112 # test_description='Description of this test...
113 # This test checks if command xyzzy does the right thing...
114 # '
115 # . ./test-lib.sh || exit 1
116
117 color=maybe
118
119 while test "$#" -ne 0
120 do
121         case "$1" in
122         -d|--debug)
123                 debug=t; shift ;;
124         -i|--immediate)
125                 immediate=t; shift ;;
126         -h|--help)
127                 help=t; shift ;;
128         -v|--verbose)
129                 verbose=t; shift ;;
130         -q|--quiet)
131                 quiet=t; shift ;;
132         --with-dashes)
133                 with_dashes=t; shift ;;
134         --no-color)
135                 color=; shift ;;
136         --no-python)
137                 # noop now...
138                 shift ;;
139         --valgrind)
140                 valgrind=t; verbose=t; shift ;;
141         --tee)
142                 shift ;; # was handled already
143         *)
144                 echo "error: unknown test option '$1'" >&2; exit 1 ;;
145         esac
146 done
147
148 if test -n "$debug"; then
149         fmt_subtest () {
150                 printf -v $1 " %-4s" "[$((test_count - 1))]"
151         }
152 else
153         fmt_subtest () {
154                 printf -v $1 ''
155         }
156 fi
157
158 test -n "$COLORS_WITHOUT_TTY" || [ -t 1 ] || color=
159
160 if [ -n "$color" ] && [ "$ORIGINAL_TERM" != 'dumb' ] &&
161         tput -T "$ORIGINAL_TERM" -S <<<$'bold\nsetaf\nsgr0\n' >/dev/null 2>&1
162 then
163         color=t
164 else
165         color=
166 fi
167
168 if test -n "$color"
169 then
170         # _tput run in subshell (``) only
171         _tput () { exec tput -T "$ORIGINAL_TERM" "$@"; }
172         unset BOLD RED GREEN BROWN SGR0
173         say_color () {
174                 case "$1" in
175                         error)  b=${BOLD=`_tput bold`}
176                                 c=${RED=`_tput setaf 1`}   ;; # bold red
177                         skip)   b=${BOLD=`_tput bold`}
178                                 c=${GREEN=`_tput setaf 2`} ;; # bold green
179                         pass)   b= c=${GREEN=`_tput setaf 2`} ;; # green
180                         info)   b= c=${BROWN=`_tput setaf 3`} ;; # brown
181                         *) b= c=; test -n "$quiet" && return ;;
182                 esac
183                 f=$2
184                 shift 2
185                 sgr0=${SGR0=`_tput sgr0`}
186                 fmt_subtest st
187                 printf " ${b}${c}${f}${sgr0}${st}" "$@"
188         }
189 else
190         say_color() {
191                 test -z "$1" && test -n "$quiet" && return
192                 f=$2
193                 shift 2
194                 fmt_subtest st
195                 printf " ${f}${st}" "$@"
196         }
197 fi
198
199 error () {
200         say_color error "error: $*\n"
201         GIT_EXIT_OK=t
202         exit 1
203 }
204
205 say () {
206         say_color info "$*"
207 }
208
209 test "${test_description}" != "" ||
210 error "Test script did not set test_description."
211
212 if test "$help" = "t"
213 then
214         echo "Tests ${test_description}"
215         exit 0
216 fi
217
218 test_description_printed=
219 print_test_description () {
220         test -z "$test_description_printed" || return 0
221         echo
222         echo $this_test: "Testing ${test_description}"
223         test_description_printed=1
224 }
225 if [ -z "$NOTMUCH_TEST_QUIET" ]
226 then
227         print_test_description
228 fi
229
230 test_failure=0
231 test_count=0
232 test_fixed=0
233 test_broken=0
234 test_success=0
235
236 declare -a _exit_functions=()
237
238 at_exit_function () {
239         _exit_functions=($1 ${_exit_functions[@]/$1})
240 }
241
242 rm_exit_function () {
243         _exit_functions=(${_exit_functions[@]/$1})
244 }
245
246 _exit_common () {
247         code=$?
248         trap - EXIT
249         set +ex
250         for _fn in ${_exit_functions[@]}; do $_fn; done
251         rm -rf "$TEST_TMPDIR"
252 }
253
254 trap_exit () {
255         _exit_common
256         if test -n "$GIT_EXIT_OK"
257         then
258                 exit $code
259         else
260                 exec >&6
261                 say_color error '%-6s' FATAL
262                 echo " $test_subtest_name"
263                 echo
264                 echo "Unexpected exit while executing $0. Exit code $code."
265                 exit 1
266         fi
267 }
268
269 trap_signal () {
270         _exit_common
271         echo >&6 "FATAL: $0: interrupted by signal" $((code - 128))
272         exit $code
273 }
274
275 die () {
276         _exit_common
277         exec >&6
278         say_color error '%-6s' FATAL
279         echo " $*"
280         echo
281         echo "Unexpected exit while executing $0."
282         exit 1
283 }
284
285 trap 'trap_exit' EXIT
286 trap 'trap_signal' HUP INT TERM
287
288 # Add an existing, fixed corpus of email to the database.
289 #
290 # $1 is the corpus dir under corpora to add, using "default" if unset.
291 #
292 # The default corpus is based on about 50 messages from early in the
293 # history of the notmuch mailing list, which allows for reliably
294 # testing commands that need to operate on a not-totally-trivial
295 # number of messages.
296 add_email_corpus () {
297     local corpus
298     corpus=${1:-default}
299
300     rm -rf ${MAIL_DIR}
301     cp -a $NOTMUCH_SRCDIR/test/corpora/$corpus ${MAIL_DIR}
302     notmuch new >/dev/null || die "'notmuch new' failed while adding email corpus"
303 }
304
305 test_begin_subtest () {
306     if [ -n "$inside_subtest" ]; then
307         exec 1>&6 2>&7          # Restore stdout and stderr
308         error "bug in test script: Missing test_expect_equal in ${BASH_SOURCE[1]}:${BASH_LINENO[0]}"
309     fi
310     test_subtest_name="$1"
311     test_reset_state_
312     # Redirect test output to the previously prepared file descriptors
313     # 3 and 4 (see below)
314     if test "$verbose" != "t"; then exec 4>test.output 3>&4; fi
315     exec >&3 2>&4
316     inside_subtest=t
317 }
318
319 # Pass test if two arguments match
320 #
321 # Note: Unlike all other test_expect_* functions, this function does
322 # not accept a test name. Instead, the caller should call
323 # test_begin_subtest before calling this function in order to set the
324 # name.
325 test_expect_equal () {
326         local output expected testname
327         exec 1>&6 2>&7          # Restore stdout and stderr
328         if [ -z "$inside_subtest" ]; then
329                 error "bug in the test script: test_expect_equal without test_begin_subtest"
330         fi
331         inside_subtest=
332         test "$#" = 2 ||
333         error "bug in the test script: not 2 parameters to test_expect_equal"
334
335         output="$1"
336         expected="$2"
337         if ! test_skip "$test_subtest_name"
338         then
339                 if [ "$output" = "$expected" ]; then
340                         test_ok_
341                 else
342                         testname=$this_test.$test_count
343                         echo "$expected" > $testname.expected
344                         echo "$output" > $testname.output
345                         test_failure_ "$(diff -u $testname.expected $testname.output)"
346                 fi
347     fi
348 }
349
350 test_diff_file_ () {
351     local file1 file2 testname basename1 basename2
352     file1="$1"
353     file2="$2"
354     if ! test_skip "$test_subtest_name"
355     then
356         if diff -q "$file1" "$file2" >/dev/null ; then
357             test_ok_
358         else
359             testname=$this_test.$test_count
360             basename1=`basename "$file1"`
361             basename2=`basename "$file2"`
362             cp "$file1" "$testname.$basename1"
363             cp "$file2" "$testname.$basename2"
364             test_failure_ "$(diff -u "$testname.$basename1" "$testname.$basename2")"
365         fi
366     fi
367 }
368
369 # Like test_expect_equal, but takes two filenames.
370 test_expect_equal_file () {
371     exec 1>&6 2>&7              # Restore stdout and stderr
372     if [ -z "$inside_subtest" ]; then
373         error "bug in the test script: test_expect_equal_file without test_begin_subtest"
374     fi
375     inside_subtest=
376     test "$#" = 2 ||
377         error "bug in the test script: not 2 parameters to test_expect_equal_file"
378
379     test_diff_file_ "$1" "$2"
380 }
381
382 # Like test_expect_equal_file, but compare the part of the two files after the first blank line
383 test_expect_equal_message_body () {
384     exec 1>&6 2>&7              # Restore stdout and stderr
385     if [ -z "$inside_subtest" ]; then
386         error "bug in the test script: test_expect_equal_file without test_begin_subtest"
387     fi
388     test "$#" = 2 ||
389         error "bug in the test script: not 2 parameters to test_expect_equal_file"
390
391     expected=$(sed '1,/^$/d' "$1")
392     output=$(sed '1,/^$/d' "$2")
393     test_expect_equal "$expected" "$output"
394 }
395
396 # Like test_expect_equal, but takes two filenames. Fails if either is empty
397 test_expect_equal_file_nonempty () {
398     exec 1>&6 2>&7              # Restore stdout and stderr
399     if [ -z "$inside_subtest" ]; then
400         error "bug in the test script: test_expect_equal_file_nonempty without test_begin_subtest"
401     fi
402     inside_subtest=
403     test "$#" = 2 ||
404         error "bug in the test script: not 2 parameters to test_expect_equal_file_nonempty"
405
406     for file in "$1" "$2"; do
407         if [ ! -s "$file" ]; then
408             test_failure_ "Missing or zero length file: $file"
409             return $?
410         fi
411     done
412
413     test_diff_file_ "$1" "$2"
414 }
415
416 # Like test_expect_equal, but arguments are JSON expressions to be
417 # canonicalized before diff'ing.  If an argument cannot be parsed, it
418 # is used unchanged so that there's something to diff against.
419 test_expect_equal_json () {
420     local script output expected
421     # The test suite forces LC_ALL=C, but this causes Python 3 to
422     # decode stdin as ASCII.  We need to read JSON in UTF-8, so
423     # override Python's stdio encoding defaults.
424     script='import json, sys; json.dump(json.load(sys.stdin), sys.stdout, sort_keys=True, indent=4)'
425     output=$(echo "$1" | PYTHONIOENCODING=utf-8 $NOTMUCH_PYTHON -c "$script" \
426         || echo "$1")
427     expected=$(echo "$2" | PYTHONIOENCODING=utf-8 $NOTMUCH_PYTHON -c "$script" \
428         || echo "$2")
429     shift 2
430     test_expect_equal "$output" "$expected" "$@"
431 }
432
433 # Ensure that the argument is valid JSON data.
434 test_valid_json () {
435     PYTHONIOENCODING=utf-8 $NOTMUCH_PYTHON -c "import sys, json; json.load(sys.stdin)" <<<"$1"
436     test_expect_equal "$?" 0
437 }
438
439 # Sort the top-level list of JSON data from stdin.
440 test_sort_json () {
441     PYTHONIOENCODING=utf-8 $NOTMUCH_PYTHON -c \
442         "import sys, json; json.dump(sorted(json.load(sys.stdin)),sys.stdout)"
443 }
444
445 # test for json objects:
446 # read the source of test/json_check_nodes.py (or the output when
447 # invoking it without arguments) for an explanation of the syntax.
448 test_json_nodes () {
449         local output
450         exec 1>&6 2>&7          # Restore stdout and stderr
451         if [ -z "$inside_subtest" ]; then
452                 error "bug in the test script: test_json_eval without test_begin_subtest"
453         fi
454         inside_subtest=
455         test "$#" > 0 ||
456             error "bug in the test script: test_json_nodes needs at least 1 parameter"
457
458         if ! test_skip "$test_subtest_name"
459         then
460             output=$(PYTHONIOENCODING=utf-8 $NOTMUCH_PYTHON -B "$NOTMUCH_SRCDIR"/test/json_check_nodes.py "$@")
461                 if [ "$?" = 0 ]
462                 then
463                         test_ok_
464                 else
465                         test_failure_ "$output"
466                 fi
467         fi
468 }
469
470 NOTMUCH_NEW () {
471     notmuch new "${@}" | grep -v -E -e '^Processed [0-9]*( total)? file|Found [0-9]* total file'
472 }
473
474 NOTMUCH_DUMP_TAGS () {
475     # this relies on the default format being batch-tag, otherwise some tests will break
476     notmuch dump --include=tags "${@}" | sed '/^#/d' | sort
477 }
478
479 notmuch_drop_mail_headers () {
480     $NOTMUCH_PYTHON -c '
481 import email, sys
482 msg = email.message_from_file(sys.stdin)
483 for hdr in sys.argv[1:]: del msg[hdr]
484 print(msg.as_string(False))
485 ' "$@"
486 }
487
488 notmuch_debug_sanitize () {
489     grep -v '^D.:'
490 }
491
492 notmuch_exception_sanitize () {
493     perl -pe 's,(A Xapian exception occurred at) .*?([^/]*[.]cc?):([0-9]*),\1 \2:XXX,'
494 }
495
496 notmuch_search_sanitize () {
497     notmuch_debug_sanitize | perl -pe 's/("?thread"?: ?)("?)................("?)/\1\2XXX\3/'
498 }
499
500 notmuch_search_files_sanitize () {
501     notmuch_dir_sanitize |  sed 's/msg-[0-9][0-9][0-9]/msg-XXX/'
502 }
503
504 notmuch_dir_sanitize () {
505     sed -e "s,$MAIL_DIR,MAIL_DIR," -e "s,${PWD},CWD,g" "$@"
506 }
507
508 NOTMUCH_SHOW_FILENAME_SQUELCH='s,filename:.*/mail,filename:/XXX/mail,'
509 notmuch_show_sanitize () {
510     sed -e "$NOTMUCH_SHOW_FILENAME_SQUELCH"
511 }
512 notmuch_show_sanitize_all () {
513     notmuch_debug_sanitize | \
514     sed \
515         -e 's| filename:.*| filename:XXXXX|' \
516         -e 's| id:[^ ]* | id:XXXXX |' | \
517         notmuch_date_sanitize
518 }
519
520 notmuch_json_show_sanitize () {
521     sed \
522         -e 's|"id": "[^"]*",|"id": "XXXXX",|g' \
523         -e 's|"Date": "Fri, 05 Jan 2001 [^"]*0000"|"Date": "GENERATED_DATE"|g' \
524         -e 's|"filename": "signature.asc",||g' \
525         -e 's|"duplicate": 1,||g' \
526         -e 's|"filename": \["/[^"]*"\],|"filename": \["YYYYY"\],|g' \
527         -e 's|"timestamp": 97.......|"timestamp": 42|g' \
528         -e 's|"content-length": [1-9][0-9]*|"content-length": "NONZERO"|g'
529 }
530
531 notmuch_sexp_show_sanitize () {
532     sed \
533         -e 's|:id "[^"]*"|:id "XXXXX"|g' \
534         -e 's|:Date "Sat, 01 Jan 2000 [^"]*0000"|:Date "GENERATED_DATE"|g' \
535         -e 's|:filename "signature.asc"||g' \
536         -e 's|:duplicate 1 ||g' \
537         -e 's|:filename ("/[^"]*")|:filename ("YYYYY")|g' \
538         -e 's|:timestamp 9........|:timestamp 42|g' \
539         -e 's|:content-length [1-9][0-9]*|:content-length "NONZERO"|g'
540 }
541
542 notmuch_sexp_search_sanitize () {
543     sed -e 's|:thread "[^"]*"|:thread "XXX"|'
544 }
545
546 notmuch_emacs_error_sanitize () {
547     local command
548     command=$1
549     shift
550     for file in "$@"; do
551         echo "=== $file ==="
552         notmuch_debug_sanitize < "$file"
553     done | sed \
554         -e '/^$/d' \
555         -e '/^\[.*\]$/d' \
556         -e "s|^\(command: \)\{0,1\}/.*/$command|\1YYY/$command|"
557 }
558
559 notmuch_date_sanitize () {
560     sed \
561         -e 's/^Date: Fri, 05 Jan 2001 .*0000/Date: GENERATED_DATE/'
562 }
563
564 # remove redundant parts of notmuch-git internal paths
565 notmuch_git_sanitize () {
566     sed  -e 's,tags/\([0-9a-f]\{2\}/\)\{2\},,' -e '/FORMAT/d'
567 }
568 notmuch_uuid_sanitize () {
569     sed 's/[0-9a-f]\{8\}-[0-9a-f]\{4\}-[0-9a-f]\{4\}-[0-9a-f]\{4\}-[0-9a-f]\{12\}/UUID/g'
570 }
571
572 notmuch_built_with_sanitize () {
573     sed 's/^built_with[.]\(.*\)=.*$/built_with.\1=something/'
574 }
575
576 notmuch_config_sanitize () {
577     notmuch_dir_sanitize | notmuch_built_with_sanitize
578 }
579
580 notmuch_show_part () {
581     awk '/^\014part}/{ f=0 }; { if (f) { print $0 } } /^\014part{ ID: '"$1"'/{ f=1 }'
582 }
583
584 # End of notmuch helper functions
585
586 # Use test_set_prereq to tell that a particular prerequisite is available.
587 #
588 # The prerequisite can later be checked for by using test_have_prereq.
589 #
590 # The single parameter is the prerequisite tag (a simple word, in all
591 # capital letters by convention).
592
593 test_set_prereq () {
594         satisfied="$satisfied$1 "
595 }
596 satisfied=" "
597
598 test_have_prereq () {
599         case $satisfied in
600         *" $1 "*)
601                 : yes, have it ;;
602         *)
603                 ! : nope ;;
604         esac
605 }
606
607 declare -A test_missing_external_prereq_
608 declare -A test_subtest_missing_external_prereq_
609
610 # declare prerequisite for the given external binary
611 test_declare_external_prereq () {
612         local binary
613         binary="$1"
614         test "$#" = 2 && name=$2 || name="$binary(1)"
615
616         if ! hash $binary 2>/dev/null; then
617                 test_missing_external_prereq_["${binary}"]=t
618                 eval "
619 $binary () {
620         test_subtest_missing_external_prereq_[\"${name}\"]=t
621         false
622 }"
623         fi
624 }
625
626 # You are not expected to call test_ok_ and test_failure_ directly, use
627 # the text_expect_* functions instead.
628
629 test_ok_ () {
630         if test "$test_subtest_known_broken_" = "t"; then
631                 test_known_broken_ok_
632                 return
633         fi
634         test_success=$(($test_success + 1))
635         if test -n "$NOTMUCH_TEST_QUIET"; then
636                 return 0
637         fi
638         say_color pass "%-6s" "PASS"
639         echo " $test_subtest_name"
640 }
641
642 test_failure_ () {
643         print_test_description
644         if test "$test_subtest_known_broken_" = "t"; then
645                 test_known_broken_failure_ "$@"
646                 return
647         fi
648         test_failure=$(($test_failure + 1))
649         test_failure_message_ "FAIL" "$test_subtest_name" "$@"
650         test "$immediate" = "" || { GIT_EXIT_OK=t; exit 1; }
651         return 1
652 }
653
654 test_failure_message_ () {
655         say_color error "%-6s" "$1"
656         echo " $2"
657         shift 2
658         if [ "$#" != "0" ]; then
659                 echo "$@" | sed -e 's/^/        /'
660         fi
661         if test "$verbose" != "t"; then cat test.output; fi
662 }
663
664 test_known_broken_ok_ () {
665         test_reset_state_
666         test_fixed=$(($test_fixed+1))
667         say_color pass "%-6s" "FIXED"
668         echo " $test_subtest_name"
669 }
670
671 test_known_broken_failure_ () {
672         test_reset_state_
673         test_broken=$(($test_broken+1))
674         if [ -z "$NOTMUCH_TEST_QUIET" ]; then
675                 test_failure_message_ "BROKEN" "$test_subtest_name" "$@"
676         else
677                 test_failure_message_ "BROKEN" "$test_subtest_name"
678         fi
679         return 1
680 }
681
682 test_debug () {
683         test "$debug" = "" || eval "$1"
684 }
685
686 test_run_ () {
687         test_cleanup=:
688         if test "$verbose" != "t"; then exec 4>test.output 3>&4; fi
689         eval >&3 2>&4 "$1"
690         eval_ret=$?
691         eval >&3 2>&4 "$test_cleanup"
692         return 0
693 }
694
695 test_skip () {
696         test_count=$(($test_count+1))
697         to_skip=
698         for skp in $NOTMUCH_SKIP_TESTS
699         do
700                 case $this_test.$test_count in
701                 $skp)
702                         to_skip=t
703                         break
704                 esac
705                 case $this_test_bare.$test_count in
706                 $skp)
707                         to_skip=t
708                         break
709                 esac
710         done
711         case "$to_skip" in
712         t)
713                 test_report_skip_ "$@"
714                 ;;
715         *)
716                 test_check_missing_external_prereqs_ "$@"
717                 ;;
718         esac
719 }
720
721 test_check_missing_external_prereqs_ () {
722         if [[ ${#test_subtest_missing_external_prereq_[@]} != 0 ]]; then
723                 say_color skip >&1 "missing prerequisites: "
724                 echo ${!test_subtest_missing_external_prereq_[@]} >&1
725                 test_report_skip_ "$@"
726         else
727                 false
728         fi
729 }
730
731 test_report_skip_ () {
732         test_reset_state_
733         say_color skip >&3 "skipping test:"
734         echo " $@" >&3
735         say_color skip "%-6s" "SKIP"
736         echo " $1"
737 }
738
739 test_subtest_known_broken () {
740         test_subtest_known_broken_=t
741 }
742
743 test_expect_success () {
744         exec 1>&6 2>&7          # Restore stdout and stderr
745         if [ -z "$inside_subtest" ]; then
746                 error "bug in the test script: test_expect_success without test_begin_subtest"
747         fi
748         inside_subtest=
749         test "$#" = 1 ||
750         error "bug in the test script: not 1 parameters to test_expect_success"
751
752         if ! test_skip "$test_subtest_name"
753         then
754                 test_run_ "$1"
755                 run_ret="$?"
756                 # test_run_ may update missing external prerequisites
757                 test_check_missing_external_prereqs_ "$test_subtest_name" ||
758                 if [ "$run_ret" = 0 -a "$eval_ret" = 0 ]
759                 then
760                         test_ok_
761                 else
762                         test_failure_ "$1"
763                 fi
764         fi
765 }
766
767 test_expect_code () {
768         exec 1>&6 2>&7          # Restore stdout and stderr
769         if [ -z "$inside_subtest" ]; then
770                 error "bug in the test script: test_expect_code without test_begin_subtest"
771         fi
772         inside_subtest=
773         test "$#" = 2 ||
774         error "bug in the test script: not 2 parameters to test_expect_code"
775
776         if ! test_skip "$test_subtest_name"
777         then
778                 test_run_ "$2"
779                 run_ret="$?"
780                 # test_run_ may update missing external prerequisites,
781                 test_check_missing_external_prereqs_ "$test_subtest_name" ||
782                 if [ "$run_ret" = 0 -a "$eval_ret" = "$1" ]
783                 then
784                         test_ok_
785                 else
786                         test_failure_ "exit code $eval_ret, expected $1" "$2"
787                 fi
788         fi
789 }
790
791 # This is not among top-level (test_expect_success)
792 # but is a prefix that can be used in the test script, like:
793 #
794 #       test_expect_success 'complain and die' '
795 #           do something &&
796 #           do something else &&
797 #           test_must_fail git checkout ../outerspace
798 #       '
799 #
800 # Writing this as "! git checkout ../outerspace" is wrong, because
801 # the failure could be due to a segv.  We want a controlled failure.
802
803 test_must_fail () {
804         "$@"
805         test $? -gt 0 -a $? -le 129 -o $? -gt 192
806 }
807
808 # test_cmp is a helper function to compare actual and expected output.
809 # You can use it like:
810 #
811 #       test_expect_success 'foo works' '
812 #               echo expected >expected &&
813 #               foo >actual &&
814 #               test_cmp expected actual
815 #       '
816 #
817 # This could be written as either "cmp" or "diff -u", but:
818 # - cmp's output is not nearly as easy to read as diff -u
819 # - not all diff versions understand "-u"
820
821 test_cmp () {
822         $GIT_TEST_CMP "$@"
823 }
824
825 # This function can be used to schedule some commands to be run
826 # unconditionally at the end of the test to restore sanity:
827 #
828 #       test_expect_success 'test core.capslock' '
829 #               git config core.capslock true &&
830 #               test_when_finished "git config --unset core.capslock" &&
831 #               hello world
832 #       '
833 #
834 # That would be roughly equivalent to
835 #
836 #       test_expect_success 'test core.capslock' '
837 #               git config core.capslock true &&
838 #               hello world
839 #               git config --unset core.capslock
840 #       '
841 #
842 # except that the greeting and config --unset must both succeed for
843 # the test to pass.
844
845 test_when_finished () {
846         test_cleanup="{ $*
847                 } && (exit \"\$eval_ret\"); eval_ret=\$?; $test_cleanup"
848 }
849
850 test_done () {
851         GIT_EXIT_OK=t
852         test_results_dir="$TEST_DIRECTORY/test-results"
853         mkdir -p "$test_results_dir"
854         test_results_path="$test_results_dir/$this_test"
855
856         printf %s\\n \
857                 "success $test_success" \
858                 "fixed $test_fixed" \
859                 "broken $test_broken" \
860                 "failed $test_failure" \
861                 "total $test_count" \
862             > $test_results_path
863
864         [ -n "$EMACS_SERVER" ] && test_emacs '(kill-emacs)'
865
866         if [ "$test_failure" = "0" ]; then
867             if [ "$test_broken" = "0" ]; then
868                 rm -rf "$remove_tmp"
869             fi
870             exit 0
871         else
872             exit 1
873         fi
874 }
875
876 test_python () {
877     # Note: if there is need to print debug information from python program,
878     # use stdout = os.fdopen(6, 'w') or stderr = os.fdopen(7, 'w')
879     PYTHONPATH="$NOTMUCH_BUILDDIR/bindings/python-cffi/build/stage:$NOTMUCH_SRCDIR/bindings/python${PYTHONPATH:+:$PYTHONPATH}" \
880         $NOTMUCH_PYTHON -B - > OUTPUT
881 }
882
883 test_C () {
884     local exec_file test_file
885     exec_file="test${test_count}"
886     test_file="${exec_file}.c"
887     cat > ${test_file}
888     ${TEST_CC} ${TEST_CFLAGS} -I${NOTMUCH_SRCDIR}/test -I${NOTMUCH_SRCDIR}/lib -o ${exec_file} ${test_file} -L${NOTMUCH_BUILDDIR}/lib/ -lnotmuch -ltalloc
889     echo "== stdout ==" > OUTPUT.stdout
890     echo "== stderr ==" > OUTPUT.stderr
891     ./${exec_file} "$@" 1>>OUTPUT.stdout 2>>OUTPUT.stderr
892     notmuch_dir_sanitize OUTPUT.stdout OUTPUT.stderr | notmuch_exception_sanitize | notmuch_debug_sanitize > OUTPUT
893 }
894
895 test_private_C () {
896     local exec_file test_file
897     exec_file="test${test_count}"
898     test_file="${exec_file}.c"
899     echo '#include <notmuch-private.h>' > ${test_file}
900     cat >> ${test_file}
901     ${TEST_CC} ${TEST_CFLAGS} -I${NOTMUCH_SRCDIR}/test -I${NOTMUCH_SRCDIR}/lib -I${NOTMUCH_SRCDIR}/util -I${NOTMUCH_SRCDIR}/compat ${NOTMUCH_GMIME_CFLAGS} -o ${exec_file} ${test_file} ${NOTMUCH_BUILDDIR}/lib/libnotmuch.a ${NOTMUCH_GMIME_LDFLAGS} ${NOTMUCH_XAPIAN_LDFLAGS} ${NOTMUCH_BUILDDIR}/util/libnotmuch_util.a ${NOTMUCH_SFSEXP_LDFLAGS} ${NOTMUCH_BUILDDIR}/parse-time-string/libparse-time-string.a -ltalloc -lstdc++
902     echo "== stdout ==" > OUTPUT.stdout
903     echo "== stderr ==" > OUTPUT.stderr
904     ./${exec_file} "$@" 1>>OUTPUT.stdout 2>>OUTPUT.stderr
905     notmuch_dir_sanitize OUTPUT.stdout OUTPUT.stderr | notmuch_exception_sanitize | notmuch_debug_sanitize > OUTPUT
906 }
907
908 make_shim () {
909     local base_name test_file shim_file
910     base_name="$1"
911     test_file="${base_name}.c"
912     shim_file="${base_name}.so"
913     cat > ${test_file}
914     ${TEST_CC} ${TEST_CFLAGS} ${TEST_SHIM_CFLAGS} -I${NOTMUCH_SRCDIR}/test -I${NOTMUCH_SRCDIR}/lib -o ${shim_file} ${test_file} ${TEST_SHIM_LDFLAGS}
915 }
916
917 notmuch_with_shim () {
918     local base_name shim_file
919     base_name="$1"
920     shift
921     shim_file="${base_name}.so"
922     LD_PRELOAD=${LD_PRELOAD:+:$LD_PRELOAD}:./${shim_file} notmuch-shared "$@"
923 }
924
925 # Creates a script that counts how much time it is executed and calls
926 # notmuch.  $notmuch_counter_command is set to the path to the
927 # generated script.  Use notmuch_counter_value() function to get the
928 # current counter value.
929 notmuch_counter_reset () {
930         notmuch_counter_command="$TMP_DIRECTORY/notmuch_counter"
931         if [ ! -x "$notmuch_counter_command" ]; then
932                 notmuch_counter_state_path="$TMP_DIRECTORY/notmuch_counter.state"
933                 cat >"$notmuch_counter_command" <<EOF || return
934 #!/bin/sh
935
936 read count < "$notmuch_counter_state_path"
937 echo \$((count + 1)) > "$notmuch_counter_state_path"
938
939 exec notmuch "\$@"
940 EOF
941                 chmod +x "$notmuch_counter_command" || return
942         fi
943
944         echo 0 > "$notmuch_counter_state_path"
945 }
946
947 # Returns the current notmuch counter value.
948 notmuch_counter_value () {
949         if [ -r "$notmuch_counter_state_path" ]; then
950                 read count < "$notmuch_counter_state_path"
951         else
952                 count=0
953         fi
954         echo $count
955 }
956
957 test_reset_state_ () {
958         test -z "$test_init_done_" && test_init_
959
960         test_subtest_known_broken_=
961         test_subtest_missing_external_prereq_=()
962 }
963
964 # called once before the first subtest
965 test_init_ () {
966         test_init_done_=t
967
968         # skip all tests if there were external prerequisites missing during init
969         test_check_missing_external_prereqs_ "all tests in $this_test" && test_done
970 }
971
972
973 # Where to run the tests
974 TEST_DIRECTORY=$NOTMUCH_BUILDDIR/test
975
976 . "$NOTMUCH_SRCDIR/test/test-lib-common.sh" || exit 1
977
978 # Use -P to resolve symlinks in our working directory so that the cwd
979 # in subprocesses like git equals our $PWD (for pathname comparisons).
980 cd -P "$TMP_DIRECTORY" || error "Cannot set up test environment"
981
982 if test "$verbose" = "t"
983 then
984         exec 4>&2 3>&1
985 else
986         exec 4>test.output 3>&4
987 fi
988
989 for skp in $NOTMUCH_SKIP_TESTS
990 do
991         to_skip=
992         for skp in $NOTMUCH_SKIP_TESTS
993         do
994                 case "$this_test" in
995                 $skp)
996                         to_skip=t
997                         break
998                 esac
999                 case "$this_test_bare" in
1000                 $skp)
1001                         to_skip=t
1002                         break
1003                 esac
1004         done
1005         case "$to_skip" in
1006         t)
1007                 say_color skip >&3 "skipping test $this_test altogether"
1008                 say_color skip "skip all tests in $this_test"
1009                 test_done
1010         esac
1011 done
1012
1013 # Provide an implementation of the 'yes' utility
1014 yes () {
1015         if test $# = 0
1016         then
1017                 y=y
1018         else
1019                 y="$*"
1020         fi
1021
1022         while echo "$y"
1023         do
1024                 :
1025         done
1026 }
1027
1028 # Fix some commands on Windows
1029 case $(uname -s) in
1030 *MINGW*)
1031         # Windows has its own (incompatible) sort and find
1032         sort () {
1033                 /usr/bin/sort "$@"
1034         }
1035         find () {
1036                 /usr/bin/find "$@"
1037         }
1038         sum () {
1039                 md5sum "$@"
1040         }
1041         # git sees Windows-style pwd
1042         pwd () {
1043                 builtin pwd -W
1044         }
1045         # no POSIX permissions
1046         # backslashes in pathspec are converted to '/'
1047         # exec does not inherit the PID
1048         ;;
1049 *)
1050         test_set_prereq POSIXPERM
1051         test_set_prereq BSLASHPSPEC
1052         test_set_prereq EXECKEEPSPID
1053         ;;
1054 esac
1055
1056 test -z "$NO_PERL" && test_set_prereq PERL
1057 test -z "$NO_PYTHON" && test_set_prereq PYTHON
1058
1059 # test whether the filesystem supports symbolic links
1060 ln -s x y 2>/dev/null && test -h y 2>/dev/null && test_set_prereq SYMLINKS
1061 rm -f y
1062
1063 # declare prerequisites for external binaries used in tests
1064 test_declare_external_prereq dtach
1065 test_declare_external_prereq emacs
1066 test_declare_external_prereq ${TEST_EMACSCLIENT}
1067 test_declare_external_prereq ${TEST_GDB}
1068 test_declare_external_prereq gpg
1069 test_declare_external_prereq openssl
1070 test_declare_external_prereq gpgsm
1071 test_declare_external_prereq ${NOTMUCH_PYTHON}
1072 test_declare_external_prereq xapian-metadata
1073 test_declare_external_prereq xapian-delve