]> git.cworth.org Git - notmuch/blob - test/notmuch-test
emacs: make header line in notmuch-show buffers optional
[notmuch] / test / notmuch-test
1 #!/usr/bin/env bash
2
3 # Run tests
4 #
5 # Copyright (c) 2005 Junio C Hamano
6 # Copyright (c) 2010 Notmuch Developers
7 #
8 # Adapted from a Makefile to a shell script by Carl Worth (2010)
9
10 if [ ${BASH_VERSINFO[0]} -lt 4 ]; then
11     echo "Error: The notmuch test suite requires a bash version >= 4.0"
12     echo "due to use of associative arrays within the test suite."
13     echo "Please try again with a newer bash (or help us fix the"
14     echo "test suite to be more portable). Thanks."
15     exit 1
16 fi
17
18 # Ensure NOTMUCH_SRCDIR and NOTMUCH_BUILDDIR are set.
19 . $(dirname "$0")/export-dirs.sh || exit 1
20
21 set -eu
22
23 TESTS=
24 for test in ${NOTMUCH_TESTS-}; do
25     TESTS="$TESTS $NOTMUCH_SRCDIR/test/$test"
26 done
27
28 if [ -z "$TESTS" ]; then
29     TESTS="$NOTMUCH_SRCDIR/test/T[0-9][0-9][0-9]-*.sh"
30 fi
31
32 # Clean up any results from a previous run
33 rm -rf $NOTMUCH_BUILDDIR/test/test-results
34
35 # Test for timeout utility
36 if command -v timeout >/dev/null; then
37     TEST_TIMEOUT=${NOTMUCH_TEST_TIMEOUT:-2m}
38     if [ "$TEST_TIMEOUT" = 0 ]; then
39         TEST_TIMEOUT_CMD=""
40         echo "INFO: timeout disabled"
41     else
42         TEST_TIMEOUT_CMD="timeout $TEST_TIMEOUT"
43         echo "INFO: using $TEST_TIMEOUT timeout for tests"
44     fi
45 else
46     TEST_TIMEOUT_CMD=""
47 fi
48
49 META_FAILURE=
50 RES=0
51 # Run the tests
52 if test -z "${NOTMUCH_TEST_SERIALIZE-}" && command -v parallel >/dev/null ; then
53     test -t 1 && export COLORS_WITHOUT_TTY=t || :
54     if parallel --minversion 0 >/dev/null 2>&1 ; then
55         echo "INFO: running tests with GNU parallel"
56         printf '%s\n' $TESTS | $TEST_TIMEOUT_CMD parallel || RES=$?
57     else
58         echo "INFO: running tests with moreutils parallel"
59         $TEST_TIMEOUT_CMD parallel -- $TESTS || RES=$?
60     fi
61     if [ $RES != 0 ]; then
62         META_FAILURE="parallel test suite returned error code $RES"
63     fi
64 else
65     trap 'e=$?; trap - 0; kill ${!-}; exit $e' 0 HUP INT TERM
66     for test in $TESTS; do
67         $TEST_TIMEOUT_CMD $test "$@" &
68         wait $! && ev=0 || ev=$?
69         test $ev = 0 || RES=$ev
70     done
71     trap - 0 HUP INT TERM
72     if [ $RES != 0 ]; then
73         META_FAILURE="some tests failed; first failed returned error code $RES"
74     fi
75 fi
76
77 # Report results
78 RESULT_FILES=
79 for file in $TESTS
80 do
81     file=${file##*/} # drop leading path components
82     file=${file%.sh} # drop trailing '.sh'
83     RESULT_FILES="$RESULT_FILES $NOTMUCH_BUILDDIR/test/test-results/$file"
84 done
85
86 echo
87 $NOTMUCH_SRCDIR/test/aggregate-results.sh $RESULT_FILES && ev=0 || ev=$?
88
89 if [ -n "$META_FAILURE" ]; then
90     printf 'ERROR: %s\n' "$META_FAILURE"
91     if [ $ev = 0 ]; then
92         ev=$RES
93     fi
94 fi
95
96 # Clean up
97 rm -rf $NOTMUCH_BUILDDIR/test/test-results
98
99 exit $ev