git.cworth.org Git - notmuch/blob - test/test-lib.sh

   1 #
   2 # Copyright (c) 2005 Junio C Hamano
   3 # Copyright (c) 2010 Notmuch Developers
   4 #
   5 # This program is free software: you can redistribute it and/or modify
   6 # it under the terms of the GNU General Public License as published by
   7 # the Free Software Foundation, either version 2 of the License, or
   8 # (at your option) any later version.
   9 #
  10 # This program is distributed in the hope that it will be useful,
  11 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  12 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  13 # GNU General Public License for more details.
  14 #
  15 # You should have received a copy of the GNU General Public License
  16 # along with this program.  If not, see https://www.gnu.org/licenses/ .
  17
  18 if [ ${BASH_VERSINFO[0]} -lt 4 ]; then
  19     echo "Error: The notmuch test suite requires a bash version >= 4.0"
  20     echo "due to use of associative arrays within the test suite."
  21     echo "Please try again with a newer bash (or help us fix the"
  22     echo "test suite to be more portable). Thanks."
  23     exit 1
  24 fi
  25
  26 # Make sure echo builtin does not expand backslash-escape sequences by default.
  27 shopt -u xpg_echo
  28
  29 # Ensure NOTMUCH_SRCDIR and NOTMUCH_BUILDDIR are set.
  30 . $(dirname "$0")/export-dirs.sh || exit 1
  31
  32 # It appears that people try to run tests without building...
  33 if [[ ! -x "$NOTMUCH_BUILDDIR/notmuch" ]]; then
  34         echo >&2 'You do not seem to have built notmuch yet.'
  35         exit 1
  36 fi
  37
  38 this_test=${0##*/}
  39 this_test=${this_test%.sh}
  40 this_test_bare=${this_test#T[0-9][0-9][0-9]-}
  41
  42 # if --tee was passed, write the output not only to the terminal, but
  43 # additionally to the file test-results/$BASENAME.out, too.
  44 case "$GIT_TEST_TEE_STARTED, $* " in
  45 done,*)
  46         # do not redirect again
  47         ;;
  48 *' --tee '*|*' --va'*)
  49         mkdir -p test-results
  50         BASE=test-results/$this_test
  51         (GIT_TEST_TEE_STARTED=done "$BASH" "$0" "$@" 2>&1;
  52          echo $? > $BASE.exit) | tee $BASE.out
  53         test "$(cat $BASE.exit)" = 0
  54         exit
  55         ;;
  56 esac
  57
  58 # STDIN from /dev/null. EOF for readers (and ENOTTY for tty related ioctls).
  59 exec </dev/null
  60
  61 # Save STDOUT to fd 6 and STDERR to fd 7.
  62 exec 6>&1 7>&2
  63 # Make xtrace debugging (when used) use redirected STDERR, with verbose lead:
  64 BASH_XTRACEFD=7
  65 export PS4='+(${BASH_SOURCE}:${LINENO}): ${FUNCNAME[0]:+${FUNCNAME[0]}(): }'
  66
  67 # Keep the original TERM for say_color and test_emacs
  68 ORIGINAL_TERM=$TERM
  69
  70 # Set SMART_TERM to vt100 for known dumb/unknown terminal.
  71 # Otherwise use whatever TERM is currently used so that
  72 # users' actual TERM environments are being used in tests.
  73 case ${TERM-} in
  74         '' | dumb | unknown )
  75                 SMART_TERM=vt100 ;;
  76         *)
  77                 SMART_TERM=$TERM ;;
  78 esac
  79
  80 # For repeatability, reset the environment to known value.
  81 LANG=C
  82 LC_ALL=C
  83 PAGER=cat
  84 TZ=UTC
  85 TERM=dumb
  86 export LANG LC_ALL PAGER TERM TZ
  87 GIT_TEST_CMP=${GIT_TEST_CMP:-diff -u}
  88 if [[ ( -n "$TEST_EMACS" && -z "$TEST_EMACSCLIENT" ) || \
  89       ( -z "$TEST_EMACS" && -n "$TEST_EMACSCLIENT" ) ]]; then
  90     echo "error: must specify both or neither of TEST_EMACS and TEST_EMACSCLIENT" >&2
  91     exit 1
  92 fi
  93 TEST_EMACS=${TEST_EMACS:-${EMACS:-emacs}}
  94 TEST_EMACSCLIENT=${TEST_EMACSCLIENT:-emacsclient}
  95 TEST_GDB=${TEST_GDB:-gdb}
  96 TEST_CC=${TEST_CC:-cc}
  97 TEST_CFLAGS=${TEST_CFLAGS:-"-g -O0"}
  98 TEST_SHIM_CFLAGS=${TEST_SHIM_CFLAGS:-"-fpic -shared"}
  99 TEST_SHIM_LDFLAGS=${TEST_SHIM_LDFLAGS:-"-ldl"}
 100
 101 # Protect ourselves from common misconfiguration to export
 102 # CDPATH into the environment
 103 unset CDPATH
 104
 105 unset GREP_OPTIONS
 106
 107 # For lib/open.cc:_load_key_file
 108 unset XDG_CONFIG_HOME
 109
 110 # For emacsclient
 111 unset ALTERNATE_EDITOR
 112
 113 # for reproducibility
 114 unset EMAIL
 115 unset NAME
 116
 117 add_gnupg_home () {
 118     [ -e "${GNUPGHOME}/gpg.conf" ] && return
 119     _gnupg_exit () { gpgconf --kill all 2>/dev/null || true; }
 120     at_exit_function _gnupg_exit
 121     mkdir -p -m 0700 "$GNUPGHOME"
 122     gpg --no-tty --import <$NOTMUCH_SRCDIR/test/gnupg-secret-key.asc >"$GNUPGHOME"/import.log 2>&1
 123     test_debug "cat $GNUPGHOME/import.log"
 124     if (gpg --quick-random --version >/dev/null 2>&1) ; then
 125         echo quick-random >> "$GNUPGHOME"/gpg.conf
 126     elif (gpg --debug-quick-random --version >/dev/null 2>&1) ; then
 127         echo debug-quick-random >> "$GNUPGHOME"/gpg.conf
 128     fi
 129     echo no-emit-version >> "$GNUPGHOME"/gpg.conf
 130
 131     # Change this if we ship a new test key
 132     FINGERPRINT="5AEAB11F5E33DCE875DDB75B6D92612D94E46381"
 133     SELF_USERID="Notmuch Test Suite <test_suite@notmuchmail.org> (INSECURE!)"
 134     SELF_EMAIL="test_suite@notmuchmail.org"
 135     printf '%s:6:\n' "$FINGERPRINT" | gpg --quiet --batch --no-tty --import-ownertrust
 136 }
 137
 138 add_gpgsm_home () {
 139     test_require_external_prereq openssl
 140
 141     local fpr
 142     [ -e "$GNUPGHOME/gpgsm.conf" ] && return
 143     _gnupg_exit () { gpgconf --kill all 2>/dev/null || true; }
 144     at_exit_function _gnupg_exit
 145     mkdir -p -m 0700 "$GNUPGHOME"
 146     gpgsm --batch --no-tty --no-common-certs-import --pinentry-mode=loopback --passphrase-fd 3 \
 147           --disable-dirmngr --import  >"$GNUPGHOME"/import.log 2>&1 3<<<'' <$NOTMUCH_SRCDIR/test/smime/0xE0972A47.p12
 148     fpr=$(gpgsm --batch --list-key test_suite@notmuchmail.org | sed -n 's/.*fingerprint: //p')
 149     echo "$fpr S relax" >> "$GNUPGHOME/trustlist.txt"
 150     gpgsm --quiet --batch --no-tty --no-common-certs-import --disable-dirmngr --import < $NOTMUCH_SRCDIR/test/smime/ca.crt
 151     echo "4D:E0:FF:63:C0:E9:EC:01:29:11:C8:7A:EE:DA:3A:9A:7F:6E:C1:0D S" >> "$GNUPGHOME/trustlist.txt"
 152     printf '%s::1\n' include-certs disable-crl-checks | gpgconf --output /dev/null --change-options gpgsm
 153     gpgsm --batch --no-tty --no-common-certs-import --pinentry-mode=loopback --passphrase-fd 3 \
 154               --disable-dirmngr --import "$NOTMUCH_SRCDIR/test/smime/bob.p12" >>"$GNUPGHOME"/import.log 2>&1 3<<<''
 155     test_debug "cat $GNUPGHOME/import.log"
 156 }
 157
 158 # Each test should start with something like this, after copyright notices:
 159 #
 160 # test_description='Description of this test...
 161 # This test checks if command xyzzy does the right thing...
 162 # '
 163 # . ./test-lib.sh || exit 1
 164
 165 color=maybe
 166
 167 while test "$#" -ne 0
 168 do
 169         case "$1" in
 170         -d|--debug)
 171                 debug=t; shift ;;
 172         -i|--immediate)
 173                 immediate=t; shift ;;
 174         -h|--help)
 175                 help=t; shift ;;
 176         -v|--verbose)
 177                 verbose=t; shift ;;
 178         -q|--quiet)
 179                 quiet=t; shift ;;
 180         --with-dashes)
 181                 with_dashes=t; shift ;;
 182         --no-color)
 183                 color=; shift ;;
 184         --no-python)
 185                 # noop now...
 186                 shift ;;
 187         --valgrind)
 188                 valgrind=t; verbose=t; shift ;;
 189         --tee)
 190                 shift ;; # was handled already
 191         *)
 192                 echo "error: unknown test option '$1'" >&2; exit 1 ;;
 193         esac
 194 done
 195
 196 if test -n "$debug"; then
 197         fmt_subtest () {
 198                 printf -v $1 " %-4s" "[$((test_count - 1))]"
 199         }
 200 else
 201         fmt_subtest () {
 202                 printf -v $1 ''
 203         }
 204 fi
 205
 206 test -n "$COLORS_WITHOUT_TTY" || [ -t 1 ] || color=
 207
 208 if [ -n "$color" ] && [ "$ORIGINAL_TERM" != 'dumb' ] &&
 209         tput -T "$ORIGINAL_TERM" -S <<<$'bold\nsetaf\nsgr0\n' >/dev/null 2>&1
 210 then
 211         color=t
 212 else
 213         color=
 214 fi
 215
 216 if test -n "$color"
 217 then
 218         # _tput run in subshell (``) only
 219         _tput () { exec tput -T "$ORIGINAL_TERM" "$@"; }
 220         unset BOLD RED GREEN BROWN SGR0
 221         say_color () {
 222                 case "$1" in
 223                         error)  b=${BOLD=`_tput bold`}
 224                                 c=${RED=`_tput setaf 1`}   ;; # bold red
 225                         skip)   b=${BOLD=`_tput bold`}
 226                                 c=${GREEN=`_tput setaf 2`} ;; # bold green
 227                         pass)   b= c=${GREEN=`_tput setaf 2`} ;; # green
 228                         info)   b= c=${BROWN=`_tput setaf 3`} ;; # brown
 229                         *) b= c=; test -n "$quiet" && return ;;
 230                 esac
 231                 f=$2
 232                 shift 2
 233                 sgr0=${SGR0=`_tput sgr0`}
 234                 fmt_subtest st
 235                 printf " ${b}${c}${f}${sgr0}${st}" "$@"
 236         }
 237 else
 238         say_color() {
 239                 test -z "$1" && test -n "$quiet" && return
 240                 f=$2
 241                 shift 2
 242                 fmt_subtest st
 243                 printf " ${f}${st}" "$@"
 244         }
 245 fi
 246
 247 error () {
 248         say_color error "error: $*\n"
 249         GIT_EXIT_OK=t
 250         exit 1
 251 }
 252
 253 say () {
 254         say_color info "$*"
 255 }
 256
 257 test "${test_description}" != "" ||
 258 error "Test script did not set test_description."
 259
 260 if test "$help" = "t"
 261 then
 262         echo "Tests ${test_description}"
 263         exit 0
 264 fi
 265
 266 test_description_printed=
 267 print_test_description () {
 268         test -z "$test_description_printed" || return 0
 269         echo
 270         echo $this_test: "Testing ${test_description}"
 271         test_description_printed=1
 272 }
 273 if [ -z "$NOTMUCH_TEST_QUIET" ]
 274 then
 275         print_test_description
 276 fi
 277
 278 test_failure=0
 279 test_count=0
 280 test_fixed=0
 281 test_broken=0
 282 test_success=0
 283
 284 declare -a _exit_functions=()
 285
 286 at_exit_function () {
 287         _exit_functions=($1 ${_exit_functions[@]/$1})
 288 }
 289
 290 rm_exit_function () {
 291         _exit_functions=(${_exit_functions[@]/$1})
 292 }
 293
 294 _exit_common () {
 295         code=$?
 296         trap - EXIT
 297         set +ex
 298         for _fn in ${_exit_functions[@]}; do $_fn; done
 299         rm -rf "$TEST_TMPDIR"
 300 }
 301
 302 trap_exit () {
 303         _exit_common
 304         if test -n "$GIT_EXIT_OK"
 305         then
 306                 exit $code
 307         else
 308                 exec >&6
 309                 say_color error '%-6s' FATAL
 310                 echo " $test_subtest_name"
 311                 echo
 312                 echo "Unexpected exit while executing $0. Exit code $code."
 313                 exit 1
 314         fi
 315 }
 316
 317 trap_signal () {
 318         _exit_common
 319         echo >&6 "FATAL: $0: interrupted by signal" $((code - 128))
 320         exit $code
 321 }
 322
 323 die () {
 324         _exit_common
 325         exec >&6
 326         say_color error '%-6s' FATAL
 327         echo " $*"
 328         echo
 329         echo "Unexpected exit while executing $0."
 330         exit 1
 331 }
 332
 333 GIT_EXIT_OK=
 334 # Note: TEST_TMPDIR *NOT* exported!
 335 TEST_TMPDIR=$(mktemp -d "${TMPDIR:-/tmp}/notmuch-test-$$.XXXXXX")
 336 # Put GNUPGHOME in TMPDIR to avoid problems with long paths.
 337 export GNUPGHOME="${TEST_TMPDIR}/gnupg"
 338 trap 'trap_exit' EXIT
 339 trap 'trap_signal' HUP INT TERM
 340
 341 # Add an existing, fixed corpus of email to the database.
 342 #
 343 # $1 is the corpus dir under corpora to add, using "default" if unset.
 344 #
 345 # The default corpus is based on about 50 messages from early in the
 346 # history of the notmuch mailing list, which allows for reliably
 347 # testing commands that need to operate on a not-totally-trivial
 348 # number of messages.
 349 add_email_corpus () {
 350     local corpus
 351     corpus=${1:-default}
 352
 353     rm -rf ${MAIL_DIR}
 354     cp -a $NOTMUCH_SRCDIR/test/corpora/$corpus ${MAIL_DIR}
 355     notmuch new >/dev/null || die "'notmuch new' failed while adding email corpus"
 356 }
 357
 358 test_begin_subtest () {
 359     if [ -n "$inside_subtest" ]; then
 360         exec 1>&6 2>&7          # Restore stdout and stderr
 361         error "bug in test script: Missing test_expect_equal in ${BASH_SOURCE[1]}:${BASH_LINENO[0]}"
 362     fi
 363     test_subtest_name="$1"
 364     test_reset_state_
 365     # Redirect test output to the previously prepared file descriptors
 366     # 3 and 4 (see below)
 367     if test "$verbose" != "t"; then exec 4>test.output 3>&4; fi
 368     exec >&3 2>&4
 369     inside_subtest=t
 370 }
 371
 372 # Pass test if two arguments match
 373 #
 374 # Note: Unlike all other test_expect_* functions, this function does
 375 # not accept a test name. Instead, the caller should call
 376 # test_begin_subtest before calling this function in order to set the
 377 # name.
 378 test_expect_equal () {
 379         local output expected testname
 380         exec 1>&6 2>&7          # Restore stdout and stderr
 381         if [ -z "$inside_subtest" ]; then
 382                 error "bug in the test script: test_expect_equal without test_begin_subtest"
 383         fi
 384         inside_subtest=
 385         test "$#" = 2 ||
 386         error "bug in the test script: not 2 parameters to test_expect_equal"
 387
 388         output="$1"
 389         expected="$2"
 390         if ! test_skip "$test_subtest_name"
 391         then
 392                 if [ "$output" = "$expected" ]; then
 393                         test_ok_
 394                 else
 395                         testname=$this_test.$test_count
 396                         echo "$expected" > $testname.expected
 397                         echo "$output" > $testname.output
 398                         test_failure_ "$(diff -u $testname.expected $testname.output)"
 399                 fi
 400     fi
 401 }
 402
 403 test_diff_file_ () {
 404     local file1 file2 testname basename1 basename2
 405     file1="$1"
 406     file2="$2"
 407     if ! test_skip "$test_subtest_name"
 408     then
 409         if diff -q "$file1" "$file2" >/dev/null ; then
 410             test_ok_
 411         else
 412             testname=$this_test.$test_count
 413             basename1=`basename "$file1"`
 414             basename2=`basename "$file2"`
 415             cp "$file1" "$testname.$basename1"
 416             cp "$file2" "$testname.$basename2"
 417             test_failure_ "$(diff -u "$testname.$basename1" "$testname.$basename2")"
 418         fi
 419     fi
 420 }
 421
 422 # Like test_expect_equal, but takes two filenames.
 423 test_expect_equal_file () {
 424     exec 1>&6 2>&7              # Restore stdout and stderr
 425     if [ -z "$inside_subtest" ]; then
 426         error "bug in the test script: test_expect_equal_file without test_begin_subtest"
 427     fi
 428     inside_subtest=
 429     test "$#" = 2 ||
 430         error "bug in the test script: not 2 parameters to test_expect_equal_file"
 431
 432     test_diff_file_ "$1" "$2"
 433 }
 434
 435 # Like test_expect_equal, but takes two filenames. Fails if either is empty
 436 test_expect_equal_file_nonempty () {
 437     exec 1>&6 2>&7              # Restore stdout and stderr
 438     if [ -z "$inside_subtest" ]; then
 439         error "bug in the test script: test_expect_equal_file_nonempty without test_begin_subtest"
 440     fi
 441     inside_subtest=
 442     test "$#" = 2 ||
 443         error "bug in the test script: not 2 parameters to test_expect_equal_file_nonempty"
 444
 445     for file in "$1" "$2"; do
 446         if [ ! -s "$file" ]; then
 447             test_failure_ "Missing or zero length file: $file"
 448             return $?
 449         fi
 450     done
 451
 452     test_diff_file_ "$1" "$2"
 453 }
 454
 455 # Like test_expect_equal, but arguments are JSON expressions to be
 456 # canonicalized before diff'ing.  If an argument cannot be parsed, it
 457 # is used unchanged so that there's something to diff against.
 458 test_expect_equal_json () {
 459     local script output expected
 460     # The test suite forces LC_ALL=C, but this causes Python 3 to
 461     # decode stdin as ASCII.  We need to read JSON in UTF-8, so
 462     # override Python's stdio encoding defaults.
 463     script='import json, sys; json.dump(json.load(sys.stdin), sys.stdout, sort_keys=True, indent=4)'
 464     output=$(echo "$1" | PYTHONIOENCODING=utf-8 $NOTMUCH_PYTHON -c "$script" \
 465         || echo "$1")
 466     expected=$(echo "$2" | PYTHONIOENCODING=utf-8 $NOTMUCH_PYTHON -c "$script" \
 467         || echo "$2")
 468     shift 2
 469     test_expect_equal "$output" "$expected" "$@"
 470 }
 471
 472 # Ensure that the argument is valid JSON data.
 473 test_valid_json () {
 474     PYTHONIOENCODING=utf-8 $NOTMUCH_PYTHON -c "import sys, json; json.load(sys.stdin)" <<<"$1"
 475     test_expect_equal "$?" 0
 476 }
 477
 478 # Sort the top-level list of JSON data from stdin.
 479 test_sort_json () {
 480     PYTHONIOENCODING=utf-8 $NOTMUCH_PYTHON -c \
 481         "import sys, json; json.dump(sorted(json.load(sys.stdin)),sys.stdout)"
 482 }
 483
 484 # test for json objects:
 485 # read the source of test/json_check_nodes.py (or the output when
 486 # invoking it without arguments) for an explanation of the syntax.
 487 test_json_nodes () {
 488         local output
 489         exec 1>&6 2>&7          # Restore stdout and stderr
 490         if [ -z "$inside_subtest" ]; then
 491                 error "bug in the test script: test_json_eval without test_begin_subtest"
 492         fi
 493         inside_subtest=
 494         test "$#" > 0 ||
 495             error "bug in the test script: test_json_nodes needs at least 1 parameter"
 496
 497         if ! test_skip "$test_subtest_name"
 498         then
 499             output=$(PYTHONIOENCODING=utf-8 $NOTMUCH_PYTHON -B "$NOTMUCH_SRCDIR"/test/json_check_nodes.py "$@")
 500                 if [ "$?" = 0 ]
 501                 then
 502                         test_ok_
 503                 else
 504                         test_failure_ "$output"
 505                 fi
 506         fi
 507 }
 508
 509 NOTMUCH_NEW () {
 510     notmuch new "${@}" | grep -v -E -e '^Processed [0-9]*( total)? file|Found [0-9]* total file'
 511 }
 512
 513 NOTMUCH_DUMP_TAGS () {
 514     # this relies on the default format being batch-tag, otherwise some tests will break
 515     notmuch dump --include=tags "${@}" | sed '/^#/d' | sort
 516 }
 517
 518 notmuch_drop_mail_headers () {
 519     $NOTMUCH_PYTHON -c '
 520 import email, sys
 521 msg = email.message_from_file(sys.stdin)
 522 for hdr in sys.argv[1:]: del msg[hdr]
 523 print(msg.as_string(False))
 524 ' "$@"
 525 }
 526
 527 notmuch_debug_sanitize () {
 528     grep -v '^D.:'
 529 }
 530
 531 notmuch_exception_sanitize () {
 532     perl -pe 's/(A Xapian exception occurred at .*[.]cc?):([0-9]*)/\1:XXX/'
 533 }
 534
 535 notmuch_search_sanitize () {
 536     notmuch_debug_sanitize | perl -pe 's/("?thread"?: ?)("?)................("?)/\1\2XXX\3/'
 537 }
 538
 539 notmuch_search_files_sanitize () {
 540     notmuch_dir_sanitize
 541 }
 542
 543 notmuch_dir_sanitize () {
 544     sed -e "s,$MAIL_DIR,MAIL_DIR," -e "s,${PWD},CWD,g" "$@"
 545 }
 546
 547 NOTMUCH_SHOW_FILENAME_SQUELCH='s,filename:.*/mail,filename:/XXX/mail,'
 548 notmuch_show_sanitize () {
 549     sed -e "$NOTMUCH_SHOW_FILENAME_SQUELCH"
 550 }
 551 notmuch_show_sanitize_all () {
 552     notmuch_debug_sanitize | \
 553     sed \
 554         -e 's| filename:.*| filename:XXXXX|' \
 555         -e 's| id:[^ ]* | id:XXXXX |' | \
 556         notmuch_date_sanitize
 557 }
 558
 559 notmuch_json_show_sanitize () {
 560     sed \
 561         -e 's|"id": "[^"]*",|"id": "XXXXX",|g' \
 562         -e 's|"Date": "Fri, 05 Jan 2001 [^"]*0000"|"Date": "GENERATED_DATE"|g' \
 563         -e 's|"filename": "signature.asc",||g' \
 564         -e 's|"filename": \["/[^"]*"\],|"filename": \["YYYYY"\],|g' \
 565         -e 's|"timestamp": 97.......|"timestamp": 42|g' \
 566         -e 's|"content-length": [1-9][0-9]*|"content-length": "NONZERO"|g'
 567 }
 568
 569 notmuch_emacs_error_sanitize () {
 570     local command
 571     command=$1
 572     shift
 573     for file in "$@"; do
 574         echo "=== $file ==="
 575         notmuch_debug_sanitize < "$file"
 576     done | sed \
 577         -e '/^$/d' \
 578         -e '/^\[.*\]$/d' \
 579         -e "s|^\(command: \)\{0,1\}/.*/$command|\1YYY/$command|"
 580 }
 581
 582 notmuch_date_sanitize () {
 583     sed \
 584         -e 's/^Date: Fri, 05 Jan 2001 .*0000/Date: GENERATED_DATE/'
 585 }
 586
 587 notmuch_uuid_sanitize () {
 588     sed 's/[0-9a-f]\{8\}-[0-9a-f]\{4\}-[0-9a-f]\{4\}-[0-9a-f]\{4\}-[0-9a-f]\{12\}/UUID/g'
 589 }
 590
 591 notmuch_built_with_sanitize () {
 592     sed 's/^built_with[.]\(.*\)=.*$/built_with.\1=something/'
 593 }
 594
 595 notmuch_config_sanitize () {
 596     notmuch_dir_sanitize | notmuch_built_with_sanitize
 597 }
 598
 599 notmuch_show_part () {
 600     awk '/^\014part}/{ f=0 }; { if (f) { print $0 } } /^\014part{ ID: '"$1"'/{ f=1 }'
 601 }
 602
 603 # End of notmuch helper functions
 604
 605 # Use test_set_prereq to tell that a particular prerequisite is available.
 606 #
 607 # The prerequisite can later be checked for by using test_have_prereq.
 608 #
 609 # The single parameter is the prerequisite tag (a simple word, in all
 610 # capital letters by convention).
 611
 612 test_set_prereq () {
 613         satisfied="$satisfied$1 "
 614 }
 615 satisfied=" "
 616
 617 test_have_prereq () {
 618         case $satisfied in
 619         *" $1 "*)
 620                 : yes, have it ;;
 621         *)
 622                 ! : nope ;;
 623         esac
 624 }
 625
 626 declare -A test_missing_external_prereq_
 627 declare -A test_subtest_missing_external_prereq_
 628
 629 # declare prerequisite for the given external binary
 630 test_declare_external_prereq () {
 631         local binary
 632         binary="$1"
 633         test "$#" = 2 && name=$2 || name="$binary(1)"
 634
 635         if ! hash $binary 2>/dev/null; then
 636                 test_missing_external_prereq_["${binary}"]=t
 637                 eval "
 638 $binary () {
 639         test_subtest_missing_external_prereq_[\"${name}\"]=t
 640         false
 641 }"
 642         fi
 643 }
 644
 645 # Explicitly require external prerequisite.  Useful when binary is
 646 # called indirectly (e.g. from emacs).
 647 # Returns success if dependency is available, failure otherwise.
 648 test_require_external_prereq () {
 649         local binary
 650         binary="$1"
 651         if [[ ${test_missing_external_prereq_["${binary}"]} == t ]]; then
 652                 # dependency is missing, call the replacement function to note it
 653                 eval "$binary"
 654         else
 655                 true
 656         fi
 657 }
 658
 659 # You are not expected to call test_ok_ and test_failure_ directly, use
 660 # the text_expect_* functions instead.
 661
 662 test_ok_ () {
 663         if test "$test_subtest_known_broken_" = "t"; then
 664                 test_known_broken_ok_
 665                 return
 666         fi
 667         test_success=$(($test_success + 1))
 668         if test -n "$NOTMUCH_TEST_QUIET"; then
 669                 return 0
 670         fi
 671         say_color pass "%-6s" "PASS"
 672         echo " $test_subtest_name"
 673 }
 674
 675 test_failure_ () {
 676         print_test_description
 677         if test "$test_subtest_known_broken_" = "t"; then
 678                 test_known_broken_failure_ "$@"
 679                 return
 680         fi
 681         test_failure=$(($test_failure + 1))
 682         test_failure_message_ "FAIL" "$test_subtest_name" "$@"
 683         test "$immediate" = "" || { GIT_EXIT_OK=t; exit 1; }
 684         return 1
 685 }
 686
 687 test_failure_message_ () {
 688         say_color error "%-6s" "$1"
 689         echo " $2"
 690         shift 2
 691         if [ "$#" != "0" ]; then
 692                 echo "$@" | sed -e 's/^/        /'
 693         fi
 694         if test "$verbose" != "t"; then cat test.output; fi
 695 }
 696
 697 test_known_broken_ok_ () {
 698         test_reset_state_
 699         test_fixed=$(($test_fixed+1))
 700         say_color pass "%-6s" "FIXED"
 701         echo " $test_subtest_name"
 702 }
 703
 704 test_known_broken_failure_ () {
 705         test_reset_state_
 706         test_broken=$(($test_broken+1))
 707         if [ -z "$NOTMUCH_TEST_QUIET" ]; then
 708                 test_failure_message_ "BROKEN" "$test_subtest_name" "$@"
 709         else
 710                 test_failure_message_ "BROKEN" "$test_subtest_name"
 711         fi
 712         return 1
 713 }
 714
 715 test_debug () {
 716         test "$debug" = "" || eval "$1"
 717 }
 718
 719 test_run_ () {
 720         test_cleanup=:
 721         if test "$verbose" != "t"; then exec 4>test.output 3>&4; fi
 722         eval >&3 2>&4 "$1"
 723         eval_ret=$?
 724         eval >&3 2>&4 "$test_cleanup"
 725         return 0
 726 }
 727
 728 test_skip () {
 729         test_count=$(($test_count+1))
 730         to_skip=
 731         for skp in $NOTMUCH_SKIP_TESTS
 732         do
 733                 case $this_test.$test_count in
 734                 $skp)
 735                         to_skip=t
 736                         break
 737                 esac
 738                 case $this_test_bare.$test_count in
 739                 $skp)
 740                         to_skip=t
 741                         break
 742                 esac
 743         done
 744         case "$to_skip" in
 745         t)
 746                 test_report_skip_ "$@"
 747                 ;;
 748         *)
 749                 test_check_missing_external_prereqs_ "$@"
 750                 ;;
 751         esac
 752 }
 753
 754 test_check_missing_external_prereqs_ () {
 755         if [[ ${#test_subtest_missing_external_prereq_[@]} != 0 ]]; then
 756                 say_color skip >&1 "missing prerequisites: "
 757                 echo ${!test_subtest_missing_external_prereq_[@]} >&1
 758                 test_report_skip_ "$@"
 759         else
 760                 false
 761         fi
 762 }
 763
 764 test_report_skip_ () {
 765         test_reset_state_
 766         say_color skip >&3 "skipping test:"
 767         echo " $@" >&3
 768         say_color skip "%-6s" "SKIP"
 769         echo " $1"
 770 }
 771
 772 test_subtest_known_broken () {
 773         test_subtest_known_broken_=t
 774 }
 775
 776 test_expect_success () {
 777         exec 1>&6 2>&7          # Restore stdout and stderr
 778         if [ -z "$inside_subtest" ]; then
 779                 error "bug in the test script: test_expect_success without test_begin_subtest"
 780         fi
 781         inside_subtest=
 782         test "$#" = 1 ||
 783         error "bug in the test script: not 1 parameters to test_expect_success"
 784
 785         if ! test_skip "$test_subtest_name"
 786         then
 787                 test_run_ "$1"
 788                 run_ret="$?"
 789                 # test_run_ may update missing external prerequisites
 790                 test_check_missing_external_prereqs_ "$test_subtest_name" ||
 791                 if [ "$run_ret" = 0 -a "$eval_ret" = 0 ]
 792                 then
 793                         test_ok_
 794                 else
 795                         test_failure_ "$1"
 796                 fi
 797         fi
 798 }
 799
 800 test_expect_code () {
 801         exec 1>&6 2>&7          # Restore stdout and stderr
 802         if [ -z "$inside_subtest" ]; then
 803                 error "bug in the test script: test_expect_code without test_begin_subtest"
 804         fi
 805         inside_subtest=
 806         test "$#" = 2 ||
 807         error "bug in the test script: not 2 parameters to test_expect_code"
 808
 809         if ! test_skip "$test_subtest_name"
 810         then
 811                 test_run_ "$2"
 812                 run_ret="$?"
 813                 # test_run_ may update missing external prerequisites,
 814                 test_check_missing_external_prereqs_ "$test_subtest_name" ||
 815                 if [ "$run_ret" = 0 -a "$eval_ret" = "$1" ]
 816                 then
 817                         test_ok_
 818                 else
 819                         test_failure_ "exit code $eval_ret, expected $1" "$2"
 820                 fi
 821         fi
 822 }
 823
 824 # This is not among top-level (test_expect_success)
 825 # but is a prefix that can be used in the test script, like:
 826 #
 827 #       test_expect_success 'complain and die' '
 828 #           do something &&
 829 #           do something else &&
 830 #           test_must_fail git checkout ../outerspace
 831 #       '
 832 #
 833 # Writing this as "! git checkout ../outerspace" is wrong, because
 834 # the failure could be due to a segv.  We want a controlled failure.
 835
 836 test_must_fail () {
 837         "$@"
 838         test $? -gt 0 -a $? -le 129 -o $? -gt 192
 839 }
 840
 841 # test_cmp is a helper function to compare actual and expected output.
 842 # You can use it like:
 843 #
 844 #       test_expect_success 'foo works' '
 845 #               echo expected >expected &&
 846 #               foo >actual &&
 847 #               test_cmp expected actual
 848 #       '
 849 #
 850 # This could be written as either "cmp" or "diff -u", but:
 851 # - cmp's output is not nearly as easy to read as diff -u
 852 # - not all diff versions understand "-u"
 853
 854 test_cmp () {
 855         $GIT_TEST_CMP "$@"
 856 }
 857
 858 # This function can be used to schedule some commands to be run
 859 # unconditionally at the end of the test to restore sanity:
 860 #
 861 #       test_expect_success 'test core.capslock' '
 862 #               git config core.capslock true &&
 863 #               test_when_finished "git config --unset core.capslock" &&
 864 #               hello world
 865 #       '
 866 #
 867 # That would be roughly equivalent to
 868 #
 869 #       test_expect_success 'test core.capslock' '
 870 #               git config core.capslock true &&
 871 #               hello world
 872 #               git config --unset core.capslock
 873 #       '
 874 #
 875 # except that the greeting and config --unset must both succeed for
 876 # the test to pass.
 877
 878 test_when_finished () {
 879         test_cleanup="{ $*
 880                 } && (exit \"\$eval_ret\"); eval_ret=\$?; $test_cleanup"
 881 }
 882
 883 test_done () {
 884         GIT_EXIT_OK=t
 885         test_results_dir="$TEST_DIRECTORY/test-results"
 886         mkdir -p "$test_results_dir"
 887         test_results_path="$test_results_dir/$this_test"
 888
 889         printf %s\\n \
 890                 "success $test_success" \
 891                 "fixed $test_fixed" \
 892                 "broken $test_broken" \
 893                 "failed $test_failure" \
 894                 "total $test_count" \
 895             > $test_results_path
 896
 897         [ -n "$EMACS_SERVER" ] && test_emacs '(kill-emacs)'
 898
 899         if [ "$test_failure" = "0" ]; then
 900             if [ "$test_broken" = "0" ]; then
 901                 rm -rf "$remove_tmp"
 902             fi
 903             exit 0
 904         else
 905             exit 1
 906         fi
 907 }
 908
 909 test_python () {
 910     # Note: if there is need to print debug information from python program,
 911     # use stdout = os.fdopen(6, 'w') or stderr = os.fdopen(7, 'w')
 912     PYTHONPATH="$NOTMUCH_BUILDDIR/bindings/python-cffi/build/stage:$NOTMUCH_SRCDIR/bindings/python${PYTHONPATH:+:$PYTHONPATH}" \
 913         $NOTMUCH_PYTHON -B - > OUTPUT
 914 }
 915
 916 test_C () {
 917     local exec_file test_file
 918     exec_file="test${test_count}"
 919     test_file="${exec_file}.c"
 920     cat > ${test_file}
 921     ${TEST_CC} ${TEST_CFLAGS} -I${NOTMUCH_SRCDIR}/test -I${NOTMUCH_SRCDIR}/lib -o ${exec_file} ${test_file} -L${NOTMUCH_BUILDDIR}/lib/ -lnotmuch -ltalloc
 922     echo "== stdout ==" > OUTPUT.stdout
 923     echo "== stderr ==" > OUTPUT.stderr
 924     ./${exec_file} "$@" 1>>OUTPUT.stdout 2>>OUTPUT.stderr
 925     notmuch_dir_sanitize OUTPUT.stdout OUTPUT.stderr | notmuch_exception_sanitize | notmuch_debug_sanitize > OUTPUT
 926 }
 927
 928 make_shim () {
 929     local base_name test_file shim_file
 930     base_name="$1"
 931     test_file="${base_name}.c"
 932     shim_file="${base_name}.so"
 933     cat > ${test_file}
 934     ${TEST_CC} ${TEST_CFLAGS} ${TEST_SHIM_CFLAGS} -I${NOTMUCH_SRCDIR}/test -I${NOTMUCH_SRCDIR}/lib -o ${shim_file} ${test_file} ${TEST_SHIM_LDFLAGS}
 935 }
 936
 937 notmuch_with_shim () {
 938     local base_name shim_file
 939     base_name="$1"
 940     shift
 941     shim_file="${base_name}.so"
 942     LD_PRELOAD=${LD_PRELOAD:+:$LD_PRELOAD}:./${shim_file} notmuch-shared "$@"
 943 }
 944
 945 # Creates a script that counts how much time it is executed and calls
 946 # notmuch.  $notmuch_counter_command is set to the path to the
 947 # generated script.  Use notmuch_counter_value() function to get the
 948 # current counter value.
 949 notmuch_counter_reset () {
 950         notmuch_counter_command="$TMP_DIRECTORY/notmuch_counter"
 951         if [ ! -x "$notmuch_counter_command" ]; then
 952                 notmuch_counter_state_path="$TMP_DIRECTORY/notmuch_counter.state"
 953                 cat >"$notmuch_counter_command" <<EOF || return
 954 #!/bin/sh
 955
 956 read count < "$notmuch_counter_state_path"
 957 echo \$((count + 1)) > "$notmuch_counter_state_path"
 958
 959 exec notmuch "\$@"
 960 EOF
 961                 chmod +x "$notmuch_counter_command" || return
 962         fi
 963
 964         echo 0 > "$notmuch_counter_state_path"
 965 }
 966
 967 # Returns the current notmuch counter value.
 968 notmuch_counter_value () {
 969         if [ -r "$notmuch_counter_state_path" ]; then
 970                 read count < "$notmuch_counter_state_path"
 971         else
 972                 count=0
 973         fi
 974         echo $count
 975 }
 976
 977 test_reset_state_ () {
 978         test -z "$test_init_done_" && test_init_
 979
 980         test_subtest_known_broken_=
 981         test_subtest_missing_external_prereq_=()
 982 }
 983
 984 # called once before the first subtest
 985 test_init_ () {
 986         test_init_done_=t
 987
 988         # skip all tests if there were external prerequisites missing during init
 989         test_check_missing_external_prereqs_ "all tests in $this_test" && test_done
 990 }
 991
 992
 993 # Where to run the tests
 994 TEST_DIRECTORY=$NOTMUCH_BUILDDIR/test
 995
 996 . "$NOTMUCH_SRCDIR/test/test-lib-common.sh" || exit 1
 997
 998 # Use -P to resolve symlinks in our working directory so that the cwd
 999 # in subprocesses like git equals our $PWD (for pathname comparisons).
1000 cd -P "$TMP_DIRECTORY" || error "Cannot set up test environment"
1001
1002 if test "$verbose" = "t"
1003 then
1004         exec 4>&2 3>&1
1005 else
1006         exec 4>test.output 3>&4
1007 fi
1008
1009 for skp in $NOTMUCH_SKIP_TESTS
1010 do
1011         to_skip=
1012         for skp in $NOTMUCH_SKIP_TESTS
1013         do
1014                 case "$this_test" in
1015                 $skp)
1016                         to_skip=t
1017                         break
1018                 esac
1019                 case "$this_test_bare" in
1020                 $skp)
1021                         to_skip=t
1022                         break
1023                 esac
1024         done
1025         case "$to_skip" in
1026         t)
1027                 say_color skip >&3 "skipping test $this_test altogether"
1028                 say_color skip "skip all tests in $this_test"
1029                 test_done
1030         esac
1031 done
1032
1033 # Provide an implementation of the 'yes' utility
1034 yes () {
1035         if test $# = 0
1036         then
1037                 y=y
1038         else
1039                 y="$*"
1040         fi
1041
1042         while echo "$y"
1043         do
1044                 :
1045         done
1046 }
1047
1048 # Fix some commands on Windows
1049 case $(uname -s) in
1050 *MINGW*)
1051         # Windows has its own (incompatible) sort and find
1052         sort () {
1053                 /usr/bin/sort "$@"
1054         }
1055         find () {
1056                 /usr/bin/find "$@"
1057         }
1058         sum () {
1059                 md5sum "$@"
1060         }
1061         # git sees Windows-style pwd
1062         pwd () {
1063                 builtin pwd -W
1064         }
1065         # no POSIX permissions
1066         # backslashes in pathspec are converted to '/'
1067         # exec does not inherit the PID
1068         ;;
1069 *)
1070         test_set_prereq POSIXPERM
1071         test_set_prereq BSLASHPSPEC
1072         test_set_prereq EXECKEEPSPID
1073         ;;
1074 esac
1075
1076 test -z "$NO_PERL" && test_set_prereq PERL
1077 test -z "$NO_PYTHON" && test_set_prereq PYTHON
1078
1079 # test whether the filesystem supports symbolic links
1080 ln -s x y 2>/dev/null && test -h y 2>/dev/null && test_set_prereq SYMLINKS
1081 rm -f y
1082
1083 # declare prerequisites for external binaries used in tests
1084 test_declare_external_prereq dtach
1085 test_declare_external_prereq emacs
1086 test_declare_external_prereq ${TEST_EMACSCLIENT}
1087 test_declare_external_prereq ${TEST_GDB}
1088 test_declare_external_prereq gpg
1089 test_declare_external_prereq openssl
1090 test_declare_external_prereq gpgsm
1091 test_declare_external_prereq ${NOTMUCH_PYTHON}
1092 test_declare_external_prereq xapian-metadata
1093 test_declare_external_prereq xapian-delve