The goal here is to have a simple way of making sure all of the
binaries needed to run tests are available.
        $(call quiet,CC) $^ -o $@ -Llib -lnotmuch -lxapian
 
 .PHONY: test check
-test:  all $(dir)/smtp-dummy $(dir)/symbol-test
+
+test-binaries: $(dir)/smtp-dummy $(dir)/symbol-test
+
+test:  all test-binaries
        @${dir}/notmuch-test $(OPTIONS)
 
 check: test
 
 
 Alternately, you can run a specific subset of tests by simply invoking
 one of the executable scripts in this directory, (such as ./search,
-./reply, etc.)
+./reply, etc). Note that you will probably want "make test-binaries"
+before running individual tests.
 
 The following command-line options are available when running tests: