test/new: replace use of gdb in vanishing file test

Unlike the similar change in T060-new, no symlink creation is needed
here.

test/count: replace use of gdb with a LD_PRELOAD shim

There is a certain amount of boilerplate to pass the call on the
original function, so abstract it out as a C preprocessor macro, plus
some extra includes in notmuch-test.h

test: move system includes to notmuch-test.h

This removes some redudant includes, and will also make it easier to
introduce "#define _GNU_SOURCE", which must come before all system
includes.

lib/config: use g_key_file_get_string to read config values

Unlike the previous g_key_file_get_value, this version processes
escape codes for whitespace and \. The remaining two broken tests from
the last commit are because "notmuch config get" treats every value as
a list, and thus the previously introduces stripping of leading
whitespace applies.

test: known broken tests for escape characters in config files.

glib generates the following escape characters with their usual
meanings: \n, \t, \r, and \\, along with \s for _leading_
spaces. Currently notmuch fails to unescape these on reading the
config files. These tests demonstrate this bug; the one new test that
passes is because apparently glib only escapes tabs at the beginning
of a key.

config: ignore leading/trailing spaces in ';'-delimited lists

In [1] Ciprian observed that it was easy for users to mistakenly
introduce leading and trailing space to new.tags when editing a
notmuch config file. This commit strips spaces on either side of the
';' delimiter when splitting.

In principle it would be possible to support tags (or other config
values) with leading or trailing spaces by processing '\s' escapes in
the input string. Currently such processing is not done.

[1]: id:CA+Tk8fzjPLaEd3vL1f9ebk_bF_RV8PDTLzDupraTkCLCpJAmCg@mail.gmail.com

test: known broken tests for leading/trailing ws in config

These tests duplicate the bug/misfeature reported in

      id:CA+Tk8fzjPLaEd3vL1f9ebk_bF_RV8PDTLzDupraTkCLCpJAmCg@mail.gmail.com

emacs: run notmuch-search-hook lazily

In message id:YT3ueuZHKW931NW3@localhost, Fabio Natali isolated a
visual glitch caused by running notmuch-search-hook too early. This
change moves the running of that hook to
notmuch-search-process-filter, which ensures there is some output in
the buffer before running the hook. Since n-s-p-f can be called many
times for a given buffer, add a buffer local flag to make sure it is
only run once per buffer.

Merge branch 'release'

python-cffi: switch to notmuch_database_{open,create}_with_config

Since release 0.32, libnotmuch provides searching for database and
configuration paths. This commit changes the python module notmuch2 to
use those facilities.

This fixes the bug reported in [1], along with a couple of the
deprecation warnings in the python bindings.

Database.default_path is deprecated, since it no longer faithfully
reflects what libnotmuch is doing, and it is also no longer used in
the bindings themselves.

This commit choose the default of config=CONFIG.EMPTY (equivalent to
passing "" to notmuch_database_open_with_config).  This makes the
change upward compatible API-wise (at least as far as the test suite
verifies), but changing the default to CONFIG.SEARCH would probably be
more convenient for bindings users.

[1]: id:87h7d4wp6b.fsf@tethera.net

test: add known broken tests for python bindings in split configs

This reproduces the bug(s) reported in id:87h7d4wp6b.fsf@tethera.net

test: add python-cffi bindings to path for test_python

This will allow testing the new python bindings using test_python, in
addition to the current invocation of pytest.

python-cffi: fix typos in docstring for Database.default_path

These generate warnings from sphinx doc, which makes it harder to
debug documentation changes. They also corrupt the output.

lib/config: don't overwrite database.path if the caller passed it

If the user passed a path, and we opened it, then we consider that
definitive definition of "database.path". This makes libnotmuch
respond more gracefully to certain erroneous combinations of
NOTMUCH_CONFIG settings and config file contents.

lib/open: track which parameters are passed

This will be used to fine tune the loading of configuration for
certain special configuration items (initially just "database.path").

test: add known broken test for conflict with database parameter

This is arguably user error: having configuration file with bad
settings in it (and/or having a bad NOTMUCH_CONFIG environment
variable).  On the other hand returning a different path than was
actually opened is definitely a bug.

test/libconfig: use 'export' for remaining sets of NOTMUCH_CONFIG

It makes the tests easier to understand if we always use export for
environment variables.

emacs: drop C-tab binding in hello mode, document <backtab>.

The <backtab> binding has always been there, but the docs were
apparently mistakenly changed to say <backspace> [1]

Revert to <backtab> in the documentation.

The commit also drops the C-<tab> binding, since it seems redundant
and it interferes with tab-bar-mode.

[1]: 703dec7754da477b5683867c88cb940b8553be91.

doc/python-cffi: import from built bindings, not installed module

Previously the python-cffi bindings either failed to build, or built
for the wrong module by using the installed module.

The fix requires correction the module path, building the bindings
before docs, and helping python find the built libnotmuch.

Based on patch / discussion from Micheal Gruber [1]

[1]: id:cover.1634808719.git.git@grubix.eu

rename built_with.sexpr_query to built_with.sexp_queries

It is confusing to use two different names (sexp vs sexpr) when
compared with the command line option --query=sexp and (furthermore)
singular vs plural when compared with the man page title.

Merge tag '0.34.1'

notmuch 0.34.1 release

debian: refinalize changelog

NEWS: finalize release date

debian: changelog for 0.34.1-1

NEWS: start news for 0.34.1

version: bump to 0.34.1

emacs: improve notmuch-*-from-current-query docstrings

Err on the side of providing better user documentation, rather than
documentation for developers.

emacs: add minimal docstring for notmuch-unthreaded

The missing docstring causes a blank in the notmuch-help display
[1]. Since the function is a simple wrapper for notmuch-tree, it seems
fair to forward the reader there for more detailed information.

[1]: id:878sape5a9.fsf@disroot.org

lib/open: replace call to deprecated notmuch_database_open_verbose

Essentially inline the existing shim definition of
notmuch_database_open_verbose.

lib/compact: replace deprecated notmuch_database_open_verbose

It should not be necesary to have any config information here, hence
passing "" to n_d_open_with_config.

Merge branch 'release'

lib/load_config: deallocate / NULL database on fatal error

This fixes a potential memory leak, and makes the behaviour of
notmuch_database_load_config (somewhat) consistent with
n_d_{open,create} with config.

lib/load_config: document expectations for db on error, add tests

This is a bit different than n_d_{open,create}_with_config, since
there are several non-zero status codes where we do want to return a
non-NULL database structure.

lib/create: fix memory leak, ensure *database=NULL on error

This code previously relied on _finish_open to free the notmuch struct
on errors (except for the case of database == NULL, which was a
potential double free). When we removed those frees from _finish_open,
we introduced a (small) memory leak.

In this commit, fix the memory leak, and harmonize the on-error
behaviour with n_d_open_with_config.

lib/create: document expectations for db on error, add tests

It seems sensible to harmonize the behaviour with
n_d_open_with_config. In this commit we just assert the desired
behaviour.

lib/open: fix potential double-free, ensure *database=NULL on error

During refactoring for 0.32, the code that set notmuch=NULL on various
errors was moved into _finish_open. This meant that the the code which
relied on that to set *database to NULL on error was no longer
correct. It also introduced a potential double free, since the notmuch
struct was deallocated inside _finish_open (via n_d_destroy).

In this commit we revert to "allocator frees", and leave any cleanup
to the caller of _finish_open. This allows us to get back the
behaviour of setting *database to NULL with a small change. Other
callers of _finish_open will need free notmuch on errors.

test: add two known broken tests for missing config files

The documentation claims that the database will be set to NULL in this
case, but it is currently not happening. Based on a reproducer [1]
from Austin Ray.

[1]: id:20211021190401.imirxau2ewke6e2m@athena

lib: document n_o_w_config can return NOTMUCH_STATUS_NO_CONFIG

This should be treated as fatal by callers, since we didn't succeed in
opening a Xapian database.

Merge branch 'release'

NEWS: fix typo in 0.34 news.

Thanks to jrm on IRC for finding the typo.

test/libconfig: use 'export' when restoring NOTMUCH_CONFIG

This is required when NOTMUCH_CONFIG has been unset, and is harmless
otherwise.

doc/sexp-queries: replace definition lists with block quotes.

This document contains meaningful markup in the terms, which makeinfo
complains about. Replace the use of definition lists with regular
paragraphs containing quote blocks. This is accomplished by splitting
the "term" from the definition with a blank line.

doc: remove explicit formatting of terms in definition lists

Sphinx-doc already formats the terms appropriately for a given
backend (bold in html and man). `makeinfo` complains noisily about
formatting inside a @item if we add our own explicit formatting.

This change may change the formatting in the info output. On the other
hand, the existing use of quotes for bold is not that great anyway.

In some places blank lines were removed to preserve the logical
structure of a definition list.

CLI: move indexopts variable out of shared options block

This reduces the amount of global state.  Furthermore, index options
can be set (in principle) in several ways, not just in the one
function for processing indexing command line options.

lib: make indexopts pointers opaque

There is no reason for anything outside the indexopts.c compilation
unit to have access to structure members.

cli: remove enum names from typedefs

There are some enum typedefs with the enum name:

    typedef enum _name_t { ... } name_t;

We don't need or use the enum names _name_t for anything, and not all
of the enum typedefs have them. We have the typedefs specifically to
use the typedef name.

Use the anonymous enum in the typedefs:

    typedef enum { ... } name_t;

lib: remove enum names from typedefs

There are some enum typedefs with the enum name:

    typedef enum _name_t { ... } name_t;

We don't need or use the enum names _name_t for anything, and not all
of the enum typedefs have them. We have the typedefs specifically to
use the typedef name.

Use the anonymous enum in the typedefs:

    typedef enum { ... } name_t;

lib: fix commented out NOTMUCH_DEPRECATED()

Remove the comment markers from the placeholder NOTMUCH_DEPRECATED(),
added in commit e5f3c3ed5024 ("lib: add stub for
notmuch_database_open_with_config").

NEWS: set date

debian: changelog for 0.34

add NEWS for remaining changes

version: bump to 0.34

NEWS: update sexp-query news

emacs: fix call to nonexistent notmuch--call-process-shell-command

Looks like a find/replace error in e722b4f4

debian: add dependency on libsexp-dev

Enable the s-expression query parser in Debian.

debian: add changelog for 0.34~rc0

INSTALL: document optional dependency on libsfsexp

For now putting it in the apt-get line will cause complaints about
missing packages for too many people.

NEWS: stub news for 0.34~rc0

This is mostly to pacify the release checks. NEWS will be filled in
during the release process.

lib: bump lib minor version to 5

One new function (and an enum) was added to the API/ABI.

debian: add new function to symbols file

version: bump to 0.34~0

Start release process for 0.34.

debian: install notmuch-sexp-queries man page

This was missed in the series that added the sexp-query parser and
docs.

configure: whitespace cleanup

In order to make it easier to keep the whitespace consistent in the
configure script, use the same style defined in devel/STYLE for
C/C++.

  Specifically, a line should begin with zero or more tabs followed
  by fewer than eight spaces.

Presumably this will be no more difficult for people editing configure
than for people editing the C and C++ code.

devel: script for checking a commit (series)

'check-notmuch-commit' is an updated version of a script I have been
using (although not always as consistently as I should) before sending
patches to the list.

Although it requires a bit more tooling, encouraging people to use
check-notmuch-commit might reduce the number of round trips to the
list for style nitpicks.

configure: check explicitely for python dev (include) files

As discussed at [1] we have received reports that the implicit check
using cffi.FFI().verify() is not reliable in all environments. Since
we already use pkg-config, and the python dev package should include a
.pc file [2], add an extra check using pkg-config.  On at least
Debian, we have to know which version of python dev files with are
looking for, so calculate that first.

[1]: id:87im1g35ey.fsf@tethera.netid:87im1g35ey.fsf@tethera.net,
[2]: checked on Debian and Fedora

Merge tag '0.33.2'

notmuch 0.33.2 release

version: bump to 0.33.2

debian: changelog for 0.33.2-1

NEWS: update for 0.33.2

test/T355-smime: Use key as exported by gpgsm

As reported in id:87h7pxiek3.fsf@tethera.net, the previous version of
the test is flaky. There is some so-far undebugged interaction between
openssl and gpgsm that causes the keys to fail to import. As a
potential workaround, use the key as exported by gpgsm, and eliminate
openssl from this particular pipeline.

emacs: notmuch-tree: customizable strings for drawing trees

New customizable variable, notmuch-tree-thread-symbols, that allows
tweaking of how trees in a forest are represented.  For instance, one
can now choose to use an hyphen rather than a white space as a prefix,
or replace the character(s) used to draw arrows.

Amended-By: db; delete errant '3'

test/emacs: tests for notmuch-{tree,unthreaded} with bad CWD

These work thanks to the previous wrapping of process creation
primitives.

emacs: wrap call-process

Provide safe working directory

test/emacs: test for notmuch-show with nonexistent CWD

Somewhat predictably, the other code path in
notmuch-call-notmuch--helper also needs to be fixed.

emacs: wrap make-process

Provide a safe working directory.

test/emacs: test for notmuch-search with nonexistent CWD

(At least) notmuch-start-notmuch needs to be updated to set a safe
working directory.

emacs: wrap call-process-region

As with notmuch--process-lines, initial purpose is to provide a safe
binding for default-directory. This is enough to make notmuch-hello
robust against non-existent or corrupt values default-directory, but
probably not other views.

emacs: wrap process-lines

Initially just set the working directory, to avoid (the implicit)
call-process crashing when the default-directory points to a
non-existent location.

Use of a macro here is over-engineering for this change, but the same
change needs to be applied to several other process creation
primitives.

test/emacs: run notmuch-hello with a nonexisting default dir

This replicates the problem reported in Debian bug #922536.

test/emacs: provide macro test-log-error

Because of the way emacs reports errors, a test form can crash and not
change the main buffer. To work around this, capture both signalled
errors and any other messages.

Merge tag '0.33.1'

notmuch 0.33.1 release

debian: drop debian specific test exclusion

In principle these tests should pass now.

debian: changelog for 0.33.1-1

NEWS: update for 0.33.1

version: bump to 0.33.1

lib: use 'localhost' rather than fqdn for default mail address.

As discussed in the thread starting at [1], the fully qualified domain
name is a bit tricky to get reproducibly, might reveal information
people prefer to keep private, and somewhat unlikely to provide
reliable mail routing.

The new approach of $current_username@localhost is better for the
first two considerations, and probably at least as good as a test mail
address.

[1]: id:87sfyibqhj.fsf@tethera.net

test/emacs: test for functions in notmuch-search-result-format.

Based on the commit message in id:20210221151902.2301690-3-dme@dme.org

Add the function notmuch-test-result-flags to test-lib.el to avoid
repeating it in 3 T*.sh files.

emacs: Allow functions in notmuch-{tree,unthreaded}-result-format

If the car of an element in notmuch-tree-result-format or
notmuch-unthreaded-result-format is a function, insert the result of
calling the function into the buffer.

emacs: Allow functions in notmuch-search-result-format

If the car of an element in notmuch-search-result-format is a
function, insert the result of calling the function into the buffer.

This allows a user to generate custom fields in the output of a search
result. For example, with:

(defun -notmuch-result-flags (format-string result)
  (let ((tags-to-letters '(("flagged" . "!")
   ("unread" . "u")
   ("mine" . "m")
   ("sent" . "s")
   ("replied" . "r")))
(tags (plist-get result :tags)))

    (format format-string
    (mapconcat (lambda (t2l)
 (if (member (car t2l) tags)
     (cdr t2l)
   " "))
       tags-to-letters ""))))

(setq notmuch-search-result-format '((-notmuch-result-flags . "%s ")
     ("date" . "%12s ")
     ("count" . "%9s ")
     ("authors" . "%-30s ")
     ("subject" . "%s ")
     ("tags" . "(%s)")))

The first few characters on each line of the search result are used to
show information about some significant tags associated with the
thread.

emacs: Use pcase in notmuch-search-insert-field

Rather than lots of string-equal calls, use the pcase macro.

emacs: notmuch-fcc-header-setup: fix regression

With [1: 16b2db09] we lost the (undocumented) option to use no Fcc
header only for From addresses matching a regexp.  This brings back
that feature and documents it.

1: 2021-01-15 16b2db0986ce0ed7c420a69d0a98bb41e9ca4bd8
   emacs: various cosmetic improvements

NEWS: typo fix; some trailing periods

The trailing periods to smaller diff between devel/news2wiki.pl
output and what has been pushed to notmuch-wiki.

doc/sexp-queries: update synopsis and description

I chose to go with a somewhat terse synopsis to try to keep the length
of the page down.

CLI/tag: enable sexp queries

We have to rewrite _optimize_tag_query here because it is generating
a query string in the infix Xapian syntax. Luckily this is easy to do
with the sexp query syntax.

CLI/{count, dump, reindex, reply, show}: enable sexp queries

The change in each case is to call notmuch_query_create_with_syntax,
relying on the already inherited shared options.  As a bonus we get
improved error handling from the new query creation API.

The remaining subcommand is 'tag', which is a bit trickier.

CLI: move query syntax to shared option

This will allow easy addition of a query syntax option to other subcommands.

lib/parse-sexp: apply macros

Macros implement lazy evaluation and lexical scope.  The former is
needed to make certain natural constructs work sensibly (e.g. (tag
,param)) but the latter is mainly future-proofing in case the DSL is
is extended to allow local bindings.

For technical background, see chapters 6 and 17 of [1] (or some other
intermediate programming languages textbook).

[1] http://cs.brown.edu/courses/cs173/2012/book/

lib/parse-sexp: thread environment argument through parser

No functionality change, just an extra argument carried everywhere.

lib/parse-sexp: support saved s-expression queries

It turns out there is not really much code in query-fp.cc useful for
supporting the new syntax. The code we could potentially factor out
amounts to calling notmuch_database_get_config; both the key
construction and the parsing of the results are specific to the query
syntax involved.

CLI/config support saving s-expression queries

This commit does not enable using saved s-expression queries, only
saving and retrieving them from the config file or the database. Use
in queries will be enabled in a following commit.