]> git.cworth.org Git - notmuch/blob - test/test-lib.sh
debian: changelog for 0.36~rc0-1
[notmuch] / test / test-lib.sh
1 #
2 # Copyright (c) 2005 Junio C Hamano
3 # Copyright (c) 2010 Notmuch Developers
4 #
5 # This program is free software: you can redistribute it and/or modify
6 # it under the terms of the GNU General Public License as published by
7 # the Free Software Foundation, either version 2 of the License, or
8 # (at your option) any later version.
9 #
10 # This program is distributed in the hope that it will be useful,
11 # but WITHOUT ANY WARRANTY; without even the implied warranty of
12 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13 # GNU General Public License for more details.
14 #
15 # You should have received a copy of the GNU General Public License
16 # along with this program.  If not, see https://www.gnu.org/licenses/ .
17
18 if [ ${BASH_VERSINFO[0]} -lt 4 ]; then
19     echo "Error: The notmuch test suite requires a bash version >= 4.0"
20     echo "due to use of associative arrays within the test suite."
21     echo "Please try again with a newer bash (or help us fix the"
22     echo "test suite to be more portable). Thanks."
23     exit 1
24 fi
25
26 # Make sure echo builtin does not expand backslash-escape sequences by default.
27 shopt -u xpg_echo
28
29 # Ensure NOTMUCH_SRCDIR and NOTMUCH_BUILDDIR are set.
30 . $(dirname "$0")/export-dirs.sh || exit 1
31
32 # It appears that people try to run tests without building...
33 if [[ ! -x "$NOTMUCH_BUILDDIR/notmuch" ]]; then
34         echo >&2 'You do not seem to have built notmuch yet.'
35         exit 1
36 fi
37
38 this_test=${0##*/}
39 this_test=${this_test%.sh}
40 this_test_bare=${this_test#T[0-9][0-9][0-9]-}
41
42 # if --tee was passed, write the output not only to the terminal, but
43 # additionally to the file test-results/$BASENAME.out, too.
44 case "$GIT_TEST_TEE_STARTED, $* " in
45 done,*)
46         # do not redirect again
47         ;;
48 *' --tee '*|*' --va'*)
49         mkdir -p test-results
50         BASE=test-results/$this_test
51         (GIT_TEST_TEE_STARTED=done "$BASH" "$0" "$@" 2>&1;
52          echo $? > $BASE.exit) | tee $BASE.out
53         test "$(cat $BASE.exit)" = 0
54         exit
55         ;;
56 esac
57
58 # STDIN from /dev/null. EOF for readers (and ENOTTY for tty related ioctls).
59 exec </dev/null
60
61 # Save STDOUT to fd 6 and STDERR to fd 7.
62 exec 6>&1 7>&2
63 # Make xtrace debugging (when used) use redirected STDERR, with verbose lead:
64 BASH_XTRACEFD=7
65 export PS4='+(${BASH_SOURCE}:${LINENO}): ${FUNCNAME[0]:+${FUNCNAME[0]}(): }'
66
67 . "$NOTMUCH_SRCDIR/test/test-vars.sh" || exit 1
68
69 add_gnupg_home () {
70     [ -e "${GNUPGHOME}/gpg.conf" ] && return
71     _gnupg_exit () { gpgconf --kill all 2>/dev/null || true; }
72     at_exit_function _gnupg_exit
73     mkdir -p -m 0700 "$GNUPGHOME"
74     gpg --no-tty --import <$NOTMUCH_SRCDIR/test/gnupg-secret-key.asc >"$GNUPGHOME"/import.log 2>&1
75     test_debug "cat $GNUPGHOME/import.log"
76     if (gpg --quick-random --version >/dev/null 2>&1) ; then
77         echo quick-random >> "$GNUPGHOME"/gpg.conf
78     elif (gpg --debug-quick-random --version >/dev/null 2>&1) ; then
79         echo debug-quick-random >> "$GNUPGHOME"/gpg.conf
80     fi
81     echo no-emit-version >> "$GNUPGHOME"/gpg.conf
82
83     # Change this if we ship a new test key
84     FINGERPRINT="5AEAB11F5E33DCE875DDB75B6D92612D94E46381"
85     SELF_USERID="Notmuch Test Suite <test_suite@notmuchmail.org> (INSECURE!)"
86     SELF_EMAIL="test_suite@notmuchmail.org"
87     printf '%s:6:\n' "$FINGERPRINT" | gpg --quiet --batch --no-tty --import-ownertrust
88 }
89
90 add_gpgsm_home () {
91     test_require_external_prereq openssl
92
93     local fpr
94     [ -e "$GNUPGHOME/gpgsm.conf" ] && return
95     _gnupg_exit () { gpgconf --kill all 2>/dev/null || true; }
96     at_exit_function _gnupg_exit
97     mkdir -p -m 0700 "$GNUPGHOME"
98     gpgsm --batch --no-tty --no-common-certs-import --pinentry-mode=loopback --passphrase-fd 3 \
99           --disable-dirmngr --import  >"$GNUPGHOME"/import.log 2>&1 3<<<'' <$NOTMUCH_SRCDIR/test/smime/0xE0972A47.p12
100     fpr=$(gpgsm --batch --with-colons --list-key test_suite@notmuchmail.org | awk -F: '/^fpr/ {print $10}')
101     echo "$fpr S relax" >> "$GNUPGHOME/trustlist.txt"
102     gpgsm --quiet --batch --no-tty --no-common-certs-import --disable-dirmngr --import < $NOTMUCH_SRCDIR/test/smime/ca.crt
103     echo "4D:E0:FF:63:C0:E9:EC:01:29:11:C8:7A:EE:DA:3A:9A:7F:6E:C1:0D S" >> "$GNUPGHOME/trustlist.txt"
104     printf '%s::1\n' include-certs disable-crl-checks | gpgconf --output /dev/null --change-options gpgsm
105     gpgsm --batch --no-tty --no-common-certs-import --pinentry-mode=loopback --passphrase-fd 3 \
106               --disable-dirmngr --import "$NOTMUCH_SRCDIR/test/smime/bob.p12" >>"$GNUPGHOME"/import.log 2>&1 3<<<''
107     test_debug "cat $GNUPGHOME/import.log"
108 }
109
110 # Each test should start with something like this, after copyright notices:
111 #
112 # test_description='Description of this test...
113 # This test checks if command xyzzy does the right thing...
114 # '
115 # . ./test-lib.sh || exit 1
116
117 color=maybe
118
119 while test "$#" -ne 0
120 do
121         case "$1" in
122         -d|--debug)
123                 debug=t; shift ;;
124         -i|--immediate)
125                 immediate=t; shift ;;
126         -h|--help)
127                 help=t; shift ;;
128         -v|--verbose)
129                 verbose=t; shift ;;
130         -q|--quiet)
131                 quiet=t; shift ;;
132         --with-dashes)
133                 with_dashes=t; shift ;;
134         --no-color)
135                 color=; shift ;;
136         --no-python)
137                 # noop now...
138                 shift ;;
139         --valgrind)
140                 valgrind=t; verbose=t; shift ;;
141         --tee)
142                 shift ;; # was handled already
143         *)
144                 echo "error: unknown test option '$1'" >&2; exit 1 ;;
145         esac
146 done
147
148 if test -n "$debug"; then
149         fmt_subtest () {
150                 printf -v $1 " %-4s" "[$((test_count - 1))]"
151         }
152 else
153         fmt_subtest () {
154                 printf -v $1 ''
155         }
156 fi
157
158 test -n "$COLORS_WITHOUT_TTY" || [ -t 1 ] || color=
159
160 if [ -n "$color" ] && [ "$ORIGINAL_TERM" != 'dumb' ] &&
161         tput -T "$ORIGINAL_TERM" -S <<<$'bold\nsetaf\nsgr0\n' >/dev/null 2>&1
162 then
163         color=t
164 else
165         color=
166 fi
167
168 if test -n "$color"
169 then
170         # _tput run in subshell (``) only
171         _tput () { exec tput -T "$ORIGINAL_TERM" "$@"; }
172         unset BOLD RED GREEN BROWN SGR0
173         say_color () {
174                 case "$1" in
175                         error)  b=${BOLD=`_tput bold`}
176                                 c=${RED=`_tput setaf 1`}   ;; # bold red
177                         skip)   b=${BOLD=`_tput bold`}
178                                 c=${GREEN=`_tput setaf 2`} ;; # bold green
179                         pass)   b= c=${GREEN=`_tput setaf 2`} ;; # green
180                         info)   b= c=${BROWN=`_tput setaf 3`} ;; # brown
181                         *) b= c=; test -n "$quiet" && return ;;
182                 esac
183                 f=$2
184                 shift 2
185                 sgr0=${SGR0=`_tput sgr0`}
186                 fmt_subtest st
187                 printf " ${b}${c}${f}${sgr0}${st}" "$@"
188         }
189 else
190         say_color() {
191                 test -z "$1" && test -n "$quiet" && return
192                 f=$2
193                 shift 2
194                 fmt_subtest st
195                 printf " ${f}${st}" "$@"
196         }
197 fi
198
199 error () {
200         say_color error "error: $*\n"
201         GIT_EXIT_OK=t
202         exit 1
203 }
204
205 say () {
206         say_color info "$*"
207 }
208
209 test "${test_description}" != "" ||
210 error "Test script did not set test_description."
211
212 if test "$help" = "t"
213 then
214         echo "Tests ${test_description}"
215         exit 0
216 fi
217
218 test_description_printed=
219 print_test_description () {
220         test -z "$test_description_printed" || return 0
221         echo
222         echo $this_test: "Testing ${test_description}"
223         test_description_printed=1
224 }
225 if [ -z "$NOTMUCH_TEST_QUIET" ]
226 then
227         print_test_description
228 fi
229
230 test_failure=0
231 test_count=0
232 test_fixed=0
233 test_broken=0
234 test_success=0
235
236 declare -a _exit_functions=()
237
238 at_exit_function () {
239         _exit_functions=($1 ${_exit_functions[@]/$1})
240 }
241
242 rm_exit_function () {
243         _exit_functions=(${_exit_functions[@]/$1})
244 }
245
246 _exit_common () {
247         code=$?
248         trap - EXIT
249         set +ex
250         for _fn in ${_exit_functions[@]}; do $_fn; done
251         rm -rf "$TEST_TMPDIR"
252 }
253
254 trap_exit () {
255         _exit_common
256         if test -n "$GIT_EXIT_OK"
257         then
258                 exit $code
259         else
260                 exec >&6
261                 say_color error '%-6s' FATAL
262                 echo " $test_subtest_name"
263                 echo
264                 echo "Unexpected exit while executing $0. Exit code $code."
265                 exit 1
266         fi
267 }
268
269 trap_signal () {
270         _exit_common
271         echo >&6 "FATAL: $0: interrupted by signal" $((code - 128))
272         exit $code
273 }
274
275 die () {
276         _exit_common
277         exec >&6
278         say_color error '%-6s' FATAL
279         echo " $*"
280         echo
281         echo "Unexpected exit while executing $0."
282         exit 1
283 }
284
285 trap 'trap_exit' EXIT
286 trap 'trap_signal' HUP INT TERM
287
288 # Add an existing, fixed corpus of email to the database.
289 #
290 # $1 is the corpus dir under corpora to add, using "default" if unset.
291 #
292 # The default corpus is based on about 50 messages from early in the
293 # history of the notmuch mailing list, which allows for reliably
294 # testing commands that need to operate on a not-totally-trivial
295 # number of messages.
296 add_email_corpus () {
297     local corpus
298     corpus=${1:-default}
299
300     rm -rf ${MAIL_DIR}
301     cp -a $NOTMUCH_SRCDIR/test/corpora/$corpus ${MAIL_DIR}
302     notmuch new >/dev/null || die "'notmuch new' failed while adding email corpus"
303 }
304
305 test_begin_subtest () {
306     if [ -n "$inside_subtest" ]; then
307         exec 1>&6 2>&7          # Restore stdout and stderr
308         error "bug in test script: Missing test_expect_equal in ${BASH_SOURCE[1]}:${BASH_LINENO[0]}"
309     fi
310     test_subtest_name="$1"
311     test_reset_state_
312     # Redirect test output to the previously prepared file descriptors
313     # 3 and 4 (see below)
314     if test "$verbose" != "t"; then exec 4>test.output 3>&4; fi
315     exec >&3 2>&4
316     inside_subtest=t
317 }
318
319 # Pass test if two arguments match
320 #
321 # Note: Unlike all other test_expect_* functions, this function does
322 # not accept a test name. Instead, the caller should call
323 # test_begin_subtest before calling this function in order to set the
324 # name.
325 test_expect_equal () {
326         local output expected testname
327         exec 1>&6 2>&7          # Restore stdout and stderr
328         if [ -z "$inside_subtest" ]; then
329                 error "bug in the test script: test_expect_equal without test_begin_subtest"
330         fi
331         inside_subtest=
332         test "$#" = 2 ||
333         error "bug in the test script: not 2 parameters to test_expect_equal"
334
335         output="$1"
336         expected="$2"
337         if ! test_skip "$test_subtest_name"
338         then
339                 if [ "$output" = "$expected" ]; then
340                         test_ok_
341                 else
342                         testname=$this_test.$test_count
343                         echo "$expected" > $testname.expected
344                         echo "$output" > $testname.output
345                         test_failure_ "$(diff -u $testname.expected $testname.output)"
346                 fi
347     fi
348 }
349
350 test_diff_file_ () {
351     local file1 file2 testname basename1 basename2
352     file1="$1"
353     file2="$2"
354     if ! test_skip "$test_subtest_name"
355     then
356         if diff -q "$file1" "$file2" >/dev/null ; then
357             test_ok_
358         else
359             testname=$this_test.$test_count
360             basename1=`basename "$file1"`
361             basename2=`basename "$file2"`
362             cp "$file1" "$testname.$basename1"
363             cp "$file2" "$testname.$basename2"
364             test_failure_ "$(diff -u "$testname.$basename1" "$testname.$basename2")"
365         fi
366     fi
367 }
368
369 # Like test_expect_equal, but takes two filenames.
370 test_expect_equal_file () {
371     exec 1>&6 2>&7              # Restore stdout and stderr
372     if [ -z "$inside_subtest" ]; then
373         error "bug in the test script: test_expect_equal_file without test_begin_subtest"
374     fi
375     inside_subtest=
376     test "$#" = 2 ||
377         error "bug in the test script: not 2 parameters to test_expect_equal_file"
378
379     test_diff_file_ "$1" "$2"
380 }
381
382 # Like test_expect_equal_file, but compare the part of the two files after the first blank line
383 test_expect_equal_message_body () {
384     exec 1>&6 2>&7              # Restore stdout and stderr
385     if [ -z "$inside_subtest" ]; then
386         error "bug in the test script: test_expect_equal_file without test_begin_subtest"
387     fi
388     test "$#" = 2 ||
389         error "bug in the test script: not 2 parameters to test_expect_equal_file"
390
391     expected=$(sed '1,/^$/d' "$1")
392     output=$(sed '1,/^$/d' "$2")
393     test_expect_equal "$expected" "$output"
394 }
395
396 # Like test_expect_equal, but takes two filenames. Fails if either is empty
397 test_expect_equal_file_nonempty () {
398     exec 1>&6 2>&7              # Restore stdout and stderr
399     if [ -z "$inside_subtest" ]; then
400         error "bug in the test script: test_expect_equal_file_nonempty without test_begin_subtest"
401     fi
402     inside_subtest=
403     test "$#" = 2 ||
404         error "bug in the test script: not 2 parameters to test_expect_equal_file_nonempty"
405
406     for file in "$1" "$2"; do
407         if [ ! -s "$file" ]; then
408             test_failure_ "Missing or zero length file: $file"
409             return $?
410         fi
411     done
412
413     test_diff_file_ "$1" "$2"
414 }
415
416 # Like test_expect_equal, but arguments are JSON expressions to be
417 # canonicalized before diff'ing.  If an argument cannot be parsed, it
418 # is used unchanged so that there's something to diff against.
419 test_expect_equal_json () {
420     local script output expected
421     # The test suite forces LC_ALL=C, but this causes Python 3 to
422     # decode stdin as ASCII.  We need to read JSON in UTF-8, so
423     # override Python's stdio encoding defaults.
424     script='import json, sys; json.dump(json.load(sys.stdin), sys.stdout, sort_keys=True, indent=4)'
425     output=$(echo "$1" | PYTHONIOENCODING=utf-8 $NOTMUCH_PYTHON -c "$script" \
426         || echo "$1")
427     expected=$(echo "$2" | PYTHONIOENCODING=utf-8 $NOTMUCH_PYTHON -c "$script" \
428         || echo "$2")
429     shift 2
430     test_expect_equal "$output" "$expected" "$@"
431 }
432
433 # Ensure that the argument is valid JSON data.
434 test_valid_json () {
435     PYTHONIOENCODING=utf-8 $NOTMUCH_PYTHON -c "import sys, json; json.load(sys.stdin)" <<<"$1"
436     test_expect_equal "$?" 0
437 }
438
439 # Sort the top-level list of JSON data from stdin.
440 test_sort_json () {
441     PYTHONIOENCODING=utf-8 $NOTMUCH_PYTHON -c \
442         "import sys, json; json.dump(sorted(json.load(sys.stdin)),sys.stdout)"
443 }
444
445 # test for json objects:
446 # read the source of test/json_check_nodes.py (or the output when
447 # invoking it without arguments) for an explanation of the syntax.
448 test_json_nodes () {
449         local output
450         exec 1>&6 2>&7          # Restore stdout and stderr
451         if [ -z "$inside_subtest" ]; then
452                 error "bug in the test script: test_json_eval without test_begin_subtest"
453         fi
454         inside_subtest=
455         test "$#" > 0 ||
456             error "bug in the test script: test_json_nodes needs at least 1 parameter"
457
458         if ! test_skip "$test_subtest_name"
459         then
460             output=$(PYTHONIOENCODING=utf-8 $NOTMUCH_PYTHON -B "$NOTMUCH_SRCDIR"/test/json_check_nodes.py "$@")
461                 if [ "$?" = 0 ]
462                 then
463                         test_ok_
464                 else
465                         test_failure_ "$output"
466                 fi
467         fi
468 }
469
470 NOTMUCH_NEW () {
471     notmuch new "${@}" | grep -v -E -e '^Processed [0-9]*( total)? file|Found [0-9]* total file'
472 }
473
474 NOTMUCH_DUMP_TAGS () {
475     # this relies on the default format being batch-tag, otherwise some tests will break
476     notmuch dump --include=tags "${@}" | sed '/^#/d' | sort
477 }
478
479 notmuch_drop_mail_headers () {
480     $NOTMUCH_PYTHON -c '
481 import email, sys
482 msg = email.message_from_file(sys.stdin)
483 for hdr in sys.argv[1:]: del msg[hdr]
484 print(msg.as_string(False))
485 ' "$@"
486 }
487
488 notmuch_debug_sanitize () {
489     grep -v '^D.:'
490 }
491
492 notmuch_exception_sanitize () {
493     perl -pe 's,(A Xapian exception occurred at) .*?([^/]*[.]cc?):([0-9]*),\1 \2:XXX,'
494 }
495
496 notmuch_search_sanitize () {
497     notmuch_debug_sanitize | perl -pe 's/("?thread"?: ?)("?)................("?)/\1\2XXX\3/'
498 }
499
500 notmuch_search_files_sanitize () {
501     notmuch_dir_sanitize |  sed 's/msg-[0-9][0-9][0-9]/msg-XXX/'
502 }
503
504 notmuch_dir_sanitize () {
505     sed -e "s,$MAIL_DIR,MAIL_DIR," -e "s,${PWD},CWD,g" "$@"
506 }
507
508 NOTMUCH_SHOW_FILENAME_SQUELCH='s,filename:.*/mail,filename:/XXX/mail,'
509 notmuch_show_sanitize () {
510     sed -e "$NOTMUCH_SHOW_FILENAME_SQUELCH"
511 }
512 notmuch_show_sanitize_all () {
513     notmuch_debug_sanitize | \
514     sed \
515         -e 's| filename:.*| filename:XXXXX|' \
516         -e 's| id:[^ ]* | id:XXXXX |' | \
517         notmuch_date_sanitize
518 }
519
520 notmuch_json_show_sanitize () {
521     sed \
522         -e 's|"id": "[^"]*",|"id": "XXXXX",|g' \
523         -e 's|"Date": "Fri, 05 Jan 2001 [^"]*0000"|"Date": "GENERATED_DATE"|g' \
524         -e 's|"filename": "signature.asc",||g' \
525         -e 's|"filename": \["/[^"]*"\],|"filename": \["YYYYY"\],|g' \
526         -e 's|"timestamp": 97.......|"timestamp": 42|g' \
527         -e 's|"content-length": [1-9][0-9]*|"content-length": "NONZERO"|g'
528 }
529
530 notmuch_emacs_error_sanitize () {
531     local command
532     command=$1
533     shift
534     for file in "$@"; do
535         echo "=== $file ==="
536         notmuch_debug_sanitize < "$file"
537     done | sed \
538         -e '/^$/d' \
539         -e '/^\[.*\]$/d' \
540         -e "s|^\(command: \)\{0,1\}/.*/$command|\1YYY/$command|"
541 }
542
543 notmuch_date_sanitize () {
544     sed \
545         -e 's/^Date: Fri, 05 Jan 2001 .*0000/Date: GENERATED_DATE/'
546 }
547
548 notmuch_uuid_sanitize () {
549     sed 's/[0-9a-f]\{8\}-[0-9a-f]\{4\}-[0-9a-f]\{4\}-[0-9a-f]\{4\}-[0-9a-f]\{12\}/UUID/g'
550 }
551
552 notmuch_built_with_sanitize () {
553     sed 's/^built_with[.]\(.*\)=.*$/built_with.\1=something/'
554 }
555
556 notmuch_config_sanitize () {
557     notmuch_dir_sanitize | notmuch_built_with_sanitize
558 }
559
560 notmuch_show_part () {
561     awk '/^\014part}/{ f=0 }; { if (f) { print $0 } } /^\014part{ ID: '"$1"'/{ f=1 }'
562 }
563
564 # End of notmuch helper functions
565
566 # Use test_set_prereq to tell that a particular prerequisite is available.
567 #
568 # The prerequisite can later be checked for by using test_have_prereq.
569 #
570 # The single parameter is the prerequisite tag (a simple word, in all
571 # capital letters by convention).
572
573 test_set_prereq () {
574         satisfied="$satisfied$1 "
575 }
576 satisfied=" "
577
578 test_have_prereq () {
579         case $satisfied in
580         *" $1 "*)
581                 : yes, have it ;;
582         *)
583                 ! : nope ;;
584         esac
585 }
586
587 declare -A test_missing_external_prereq_
588 declare -A test_subtest_missing_external_prereq_
589
590 # declare prerequisite for the given external binary
591 test_declare_external_prereq () {
592         local binary
593         binary="$1"
594         test "$#" = 2 && name=$2 || name="$binary(1)"
595
596         if ! hash $binary 2>/dev/null; then
597                 test_missing_external_prereq_["${binary}"]=t
598                 eval "
599 $binary () {
600         test_subtest_missing_external_prereq_[\"${name}\"]=t
601         false
602 }"
603         fi
604 }
605
606 # You are not expected to call test_ok_ and test_failure_ directly, use
607 # the text_expect_* functions instead.
608
609 test_ok_ () {
610         if test "$test_subtest_known_broken_" = "t"; then
611                 test_known_broken_ok_
612                 return
613         fi
614         test_success=$(($test_success + 1))
615         if test -n "$NOTMUCH_TEST_QUIET"; then
616                 return 0
617         fi
618         say_color pass "%-6s" "PASS"
619         echo " $test_subtest_name"
620 }
621
622 test_failure_ () {
623         print_test_description
624         if test "$test_subtest_known_broken_" = "t"; then
625                 test_known_broken_failure_ "$@"
626                 return
627         fi
628         test_failure=$(($test_failure + 1))
629         test_failure_message_ "FAIL" "$test_subtest_name" "$@"
630         test "$immediate" = "" || { GIT_EXIT_OK=t; exit 1; }
631         return 1
632 }
633
634 test_failure_message_ () {
635         say_color error "%-6s" "$1"
636         echo " $2"
637         shift 2
638         if [ "$#" != "0" ]; then
639                 echo "$@" | sed -e 's/^/        /'
640         fi
641         if test "$verbose" != "t"; then cat test.output; fi
642 }
643
644 test_known_broken_ok_ () {
645         test_reset_state_
646         test_fixed=$(($test_fixed+1))
647         say_color pass "%-6s" "FIXED"
648         echo " $test_subtest_name"
649 }
650
651 test_known_broken_failure_ () {
652         test_reset_state_
653         test_broken=$(($test_broken+1))
654         if [ -z "$NOTMUCH_TEST_QUIET" ]; then
655                 test_failure_message_ "BROKEN" "$test_subtest_name" "$@"
656         else
657                 test_failure_message_ "BROKEN" "$test_subtest_name"
658         fi
659         return 1
660 }
661
662 test_debug () {
663         test "$debug" = "" || eval "$1"
664 }
665
666 test_run_ () {
667         test_cleanup=:
668         if test "$verbose" != "t"; then exec 4>test.output 3>&4; fi
669         eval >&3 2>&4 "$1"
670         eval_ret=$?
671         eval >&3 2>&4 "$test_cleanup"
672         return 0
673 }
674
675 test_skip () {
676         test_count=$(($test_count+1))
677         to_skip=
678         for skp in $NOTMUCH_SKIP_TESTS
679         do
680                 case $this_test.$test_count in
681                 $skp)
682                         to_skip=t
683                         break
684                 esac
685                 case $this_test_bare.$test_count in
686                 $skp)
687                         to_skip=t
688                         break
689                 esac
690         done
691         case "$to_skip" in
692         t)
693                 test_report_skip_ "$@"
694                 ;;
695         *)
696                 test_check_missing_external_prereqs_ "$@"
697                 ;;
698         esac
699 }
700
701 test_check_missing_external_prereqs_ () {
702         if [[ ${#test_subtest_missing_external_prereq_[@]} != 0 ]]; then
703                 say_color skip >&1 "missing prerequisites: "
704                 echo ${!test_subtest_missing_external_prereq_[@]} >&1
705                 test_report_skip_ "$@"
706         else
707                 false
708         fi
709 }
710
711 test_report_skip_ () {
712         test_reset_state_
713         say_color skip >&3 "skipping test:"
714         echo " $@" >&3
715         say_color skip "%-6s" "SKIP"
716         echo " $1"
717 }
718
719 test_subtest_known_broken () {
720         test_subtest_known_broken_=t
721 }
722
723 test_expect_success () {
724         exec 1>&6 2>&7          # Restore stdout and stderr
725         if [ -z "$inside_subtest" ]; then
726                 error "bug in the test script: test_expect_success without test_begin_subtest"
727         fi
728         inside_subtest=
729         test "$#" = 1 ||
730         error "bug in the test script: not 1 parameters to test_expect_success"
731
732         if ! test_skip "$test_subtest_name"
733         then
734                 test_run_ "$1"
735                 run_ret="$?"
736                 # test_run_ may update missing external prerequisites
737                 test_check_missing_external_prereqs_ "$test_subtest_name" ||
738                 if [ "$run_ret" = 0 -a "$eval_ret" = 0 ]
739                 then
740                         test_ok_
741                 else
742                         test_failure_ "$1"
743                 fi
744         fi
745 }
746
747 test_expect_code () {
748         exec 1>&6 2>&7          # Restore stdout and stderr
749         if [ -z "$inside_subtest" ]; then
750                 error "bug in the test script: test_expect_code without test_begin_subtest"
751         fi
752         inside_subtest=
753         test "$#" = 2 ||
754         error "bug in the test script: not 2 parameters to test_expect_code"
755
756         if ! test_skip "$test_subtest_name"
757         then
758                 test_run_ "$2"
759                 run_ret="$?"
760                 # test_run_ may update missing external prerequisites,
761                 test_check_missing_external_prereqs_ "$test_subtest_name" ||
762                 if [ "$run_ret" = 0 -a "$eval_ret" = "$1" ]
763                 then
764                         test_ok_
765                 else
766                         test_failure_ "exit code $eval_ret, expected $1" "$2"
767                 fi
768         fi
769 }
770
771 # This is not among top-level (test_expect_success)
772 # but is a prefix that can be used in the test script, like:
773 #
774 #       test_expect_success 'complain and die' '
775 #           do something &&
776 #           do something else &&
777 #           test_must_fail git checkout ../outerspace
778 #       '
779 #
780 # Writing this as "! git checkout ../outerspace" is wrong, because
781 # the failure could be due to a segv.  We want a controlled failure.
782
783 test_must_fail () {
784         "$@"
785         test $? -gt 0 -a $? -le 129 -o $? -gt 192
786 }
787
788 # test_cmp is a helper function to compare actual and expected output.
789 # You can use it like:
790 #
791 #       test_expect_success 'foo works' '
792 #               echo expected >expected &&
793 #               foo >actual &&
794 #               test_cmp expected actual
795 #       '
796 #
797 # This could be written as either "cmp" or "diff -u", but:
798 # - cmp's output is not nearly as easy to read as diff -u
799 # - not all diff versions understand "-u"
800
801 test_cmp () {
802         $GIT_TEST_CMP "$@"
803 }
804
805 # This function can be used to schedule some commands to be run
806 # unconditionally at the end of the test to restore sanity:
807 #
808 #       test_expect_success 'test core.capslock' '
809 #               git config core.capslock true &&
810 #               test_when_finished "git config --unset core.capslock" &&
811 #               hello world
812 #       '
813 #
814 # That would be roughly equivalent to
815 #
816 #       test_expect_success 'test core.capslock' '
817 #               git config core.capslock true &&
818 #               hello world
819 #               git config --unset core.capslock
820 #       '
821 #
822 # except that the greeting and config --unset must both succeed for
823 # the test to pass.
824
825 test_when_finished () {
826         test_cleanup="{ $*
827                 } && (exit \"\$eval_ret\"); eval_ret=\$?; $test_cleanup"
828 }
829
830 test_done () {
831         GIT_EXIT_OK=t
832         test_results_dir="$TEST_DIRECTORY/test-results"
833         mkdir -p "$test_results_dir"
834         test_results_path="$test_results_dir/$this_test"
835
836         printf %s\\n \
837                 "success $test_success" \
838                 "fixed $test_fixed" \
839                 "broken $test_broken" \
840                 "failed $test_failure" \
841                 "total $test_count" \
842             > $test_results_path
843
844         [ -n "$EMACS_SERVER" ] && test_emacs '(kill-emacs)'
845
846         if [ "$test_failure" = "0" ]; then
847             if [ "$test_broken" = "0" ]; then
848                 rm -rf "$remove_tmp"
849             fi
850             exit 0
851         else
852             exit 1
853         fi
854 }
855
856 test_python () {
857     # Note: if there is need to print debug information from python program,
858     # use stdout = os.fdopen(6, 'w') or stderr = os.fdopen(7, 'w')
859     PYTHONPATH="$NOTMUCH_BUILDDIR/bindings/python-cffi/build/stage:$NOTMUCH_SRCDIR/bindings/python${PYTHONPATH:+:$PYTHONPATH}" \
860         $NOTMUCH_PYTHON -B - > OUTPUT
861 }
862
863 test_C () {
864     local exec_file test_file
865     exec_file="test${test_count}"
866     test_file="${exec_file}.c"
867     cat > ${test_file}
868     ${TEST_CC} ${TEST_CFLAGS} -I${NOTMUCH_SRCDIR}/test -I${NOTMUCH_SRCDIR}/lib -o ${exec_file} ${test_file} -L${NOTMUCH_BUILDDIR}/lib/ -lnotmuch -ltalloc
869     echo "== stdout ==" > OUTPUT.stdout
870     echo "== stderr ==" > OUTPUT.stderr
871     ./${exec_file} "$@" 1>>OUTPUT.stdout 2>>OUTPUT.stderr
872     notmuch_dir_sanitize OUTPUT.stdout OUTPUT.stderr | notmuch_exception_sanitize | notmuch_debug_sanitize > OUTPUT
873 }
874
875 make_shim () {
876     local base_name test_file shim_file
877     base_name="$1"
878     test_file="${base_name}.c"
879     shim_file="${base_name}.so"
880     cat > ${test_file}
881     ${TEST_CC} ${TEST_CFLAGS} ${TEST_SHIM_CFLAGS} -I${NOTMUCH_SRCDIR}/test -I${NOTMUCH_SRCDIR}/lib -o ${shim_file} ${test_file} ${TEST_SHIM_LDFLAGS}
882 }
883
884 notmuch_with_shim () {
885     local base_name shim_file
886     base_name="$1"
887     shift
888     shim_file="${base_name}.so"
889     LD_PRELOAD=${LD_PRELOAD:+:$LD_PRELOAD}:./${shim_file} notmuch-shared "$@"
890 }
891
892 # Creates a script that counts how much time it is executed and calls
893 # notmuch.  $notmuch_counter_command is set to the path to the
894 # generated script.  Use notmuch_counter_value() function to get the
895 # current counter value.
896 notmuch_counter_reset () {
897         notmuch_counter_command="$TMP_DIRECTORY/notmuch_counter"
898         if [ ! -x "$notmuch_counter_command" ]; then
899                 notmuch_counter_state_path="$TMP_DIRECTORY/notmuch_counter.state"
900                 cat >"$notmuch_counter_command" <<EOF || return
901 #!/bin/sh
902
903 read count < "$notmuch_counter_state_path"
904 echo \$((count + 1)) > "$notmuch_counter_state_path"
905
906 exec notmuch "\$@"
907 EOF
908                 chmod +x "$notmuch_counter_command" || return
909         fi
910
911         echo 0 > "$notmuch_counter_state_path"
912 }
913
914 # Returns the current notmuch counter value.
915 notmuch_counter_value () {
916         if [ -r "$notmuch_counter_state_path" ]; then
917                 read count < "$notmuch_counter_state_path"
918         else
919                 count=0
920         fi
921         echo $count
922 }
923
924 test_reset_state_ () {
925         test -z "$test_init_done_" && test_init_
926
927         test_subtest_known_broken_=
928         test_subtest_missing_external_prereq_=()
929 }
930
931 # called once before the first subtest
932 test_init_ () {
933         test_init_done_=t
934
935         # skip all tests if there were external prerequisites missing during init
936         test_check_missing_external_prereqs_ "all tests in $this_test" && test_done
937 }
938
939
940 # Where to run the tests
941 TEST_DIRECTORY=$NOTMUCH_BUILDDIR/test
942
943 . "$NOTMUCH_SRCDIR/test/test-lib-common.sh" || exit 1
944
945 # Use -P to resolve symlinks in our working directory so that the cwd
946 # in subprocesses like git equals our $PWD (for pathname comparisons).
947 cd -P "$TMP_DIRECTORY" || error "Cannot set up test environment"
948
949 if test "$verbose" = "t"
950 then
951         exec 4>&2 3>&1
952 else
953         exec 4>test.output 3>&4
954 fi
955
956 for skp in $NOTMUCH_SKIP_TESTS
957 do
958         to_skip=
959         for skp in $NOTMUCH_SKIP_TESTS
960         do
961                 case "$this_test" in
962                 $skp)
963                         to_skip=t
964                         break
965                 esac
966                 case "$this_test_bare" in
967                 $skp)
968                         to_skip=t
969                         break
970                 esac
971         done
972         case "$to_skip" in
973         t)
974                 say_color skip >&3 "skipping test $this_test altogether"
975                 say_color skip "skip all tests in $this_test"
976                 test_done
977         esac
978 done
979
980 # Provide an implementation of the 'yes' utility
981 yes () {
982         if test $# = 0
983         then
984                 y=y
985         else
986                 y="$*"
987         fi
988
989         while echo "$y"
990         do
991                 :
992         done
993 }
994
995 # Fix some commands on Windows
996 case $(uname -s) in
997 *MINGW*)
998         # Windows has its own (incompatible) sort and find
999         sort () {
1000                 /usr/bin/sort "$@"
1001         }
1002         find () {
1003                 /usr/bin/find "$@"
1004         }
1005         sum () {
1006                 md5sum "$@"
1007         }
1008         # git sees Windows-style pwd
1009         pwd () {
1010                 builtin pwd -W
1011         }
1012         # no POSIX permissions
1013         # backslashes in pathspec are converted to '/'
1014         # exec does not inherit the PID
1015         ;;
1016 *)
1017         test_set_prereq POSIXPERM
1018         test_set_prereq BSLASHPSPEC
1019         test_set_prereq EXECKEEPSPID
1020         ;;
1021 esac
1022
1023 test -z "$NO_PERL" && test_set_prereq PERL
1024 test -z "$NO_PYTHON" && test_set_prereq PYTHON
1025
1026 # test whether the filesystem supports symbolic links
1027 ln -s x y 2>/dev/null && test -h y 2>/dev/null && test_set_prereq SYMLINKS
1028 rm -f y
1029
1030 # declare prerequisites for external binaries used in tests
1031 test_declare_external_prereq dtach
1032 test_declare_external_prereq emacs
1033 test_declare_external_prereq ${TEST_EMACSCLIENT}
1034 test_declare_external_prereq ${TEST_GDB}
1035 test_declare_external_prereq gpg
1036 test_declare_external_prereq openssl
1037 test_declare_external_prereq gpgsm
1038 test_declare_external_prereq ${NOTMUCH_PYTHON}
1039 test_declare_external_prereq xapian-metadata
1040 test_declare_external_prereq xapian-delve