test/emacs: add tests for rendering text/calendar parts

The first test is just a general regression test, while the second
duplicates the problem discussed in the thread starting at [1].

[1]: id:m2leo2u0uo.fsf@gmail.com

test/emacs: add regression test for display of calendar parts.

This will hopefully catch breakage due to either changes in
Emacs (especially Gnus) or changes to the notmuch-show code.

test/corpora: add example with text/calendar attachment

Initially for testing rendering in Emacs.

emacs: Allow customizing :excluded in notmuch-saved-searches

Provide customize support for the new feature introduced in
cd89065d.

Commit message expanded by: db

test: re-enable duplicate UI tests in T460-emacs-tree

These were disabled (accidentally?) in f63d14a8c12a.

emacs: Add new option notmuch-search-hide-excluded

The new notmuch-search-hide-excluded option allows users to configure whether
to show or hide excluded messages (as determined by search.exclude_tags
in the local notmuch config file). It defaults to true for now to maintain
backwards-compatibility with how notmuch-{search,tree} already worked.

New commands notmuch-search-toggle-hide-excluded and
notmuch-tree-toggle-exclude have also been added. They toggle the value
of notmuch-search-hide-excluded for the search in the current search or
tree buffer. It's bound to "i" in the respective keymaps for these
modes.

Lastly I've amended some calls to notmuch-tree and notmuch-unthreaded
which didn't pass through the buffer local value of
notmuch-search-oldest-first (and now notmuch-search-exclude).
Examples of where I've done this include:
  + notmuch-jump-search
  + notmuch-tree-from-search-current-query
  + notmuch-unthreaded-from-search-current-query
  + notmuch-tree-from-search-thread

A new test file for Emacs has been added which covers the usage of the
new `notmuch-search-hide-excluded' option and interactively hiding or
showing mail with excluded tags. These test cover the basic usage of
the `notmuch-search-toggle-hide-excluded' command in notmuch-search,
notmuch-tree and notmuch-unthreaded searches. These tests also cover
the persistence of the current value of the hide-excluded mail option
as a user switches from between these different search commands.

[1]: id:87ilxlxsng.fsf@kisara.moe

Amended-by: db, fix indentation in T461-emacs-search-exclude.sh

perf-test/tag: add maildir sync tests

Today someone asked me the (reasonable) question of how much
performance impact there is from synching tags to maildir flags. It
turns out it is noticeable, about a 50% overhead compared to
non-synched tags (according to these tests).  In practice I don't know
if it's a big problem for users, since I don't know what fraction of
tagging operations involve "special" tags.

emacs: Autoload notmuch-user-agent related functions

With this change, users with mail-user-agent set to
'notmuch-user-agent can start composing emails without having to
require 'notmuch-mua first.

emacs: Mark "notmuch-tree" command for autoloading

Some people (e.g: me) prefer to read their email with threaded
representation by default.

Without this commit, I have to run "notmuch-search" (autoloaded)
first to get "notmuch-tree" loaded.

NEWS: aspell(1)d few words

Executed aspell -l en -c NEWS

and replaced few obvious cases.

Merge tag 'debian/0.38.3-1'

notmuch release 0.38.3-1 for unstable (sid) [dgit]

[dgit distro=debian no-split --quilt=linear]

debian: update changelog date

It is a bit weird to have debian changelog before upstream release date.

Merge from sid [dgit]

Revert "debian: start changelog for 0.38.3-1"

This reverts commit 522b279e46c84e4d2d52ccdf082d05fc111dc7b5.

Remove duplicate changelog stanza

version: bump to 0.38.3

debian: start changelog for 0.38.3-1

doc: update copyright years to include 2024

NEWS: update for 0.38.3

Record notmuch (0.38.2-1.1) in archive suite sid

notmuch (0.38.2-1.1) unstable; urgency=medium

  * Non-maintainer upload.
  * Rename libraries for 64-bit time_t transition.  Closes: #1063205

[dgit import unpatched notmuch 0.38.2-1.1]

Import notmuch_0.38.2-1.1.debian.tar.xz

[dgit import tarball notmuch 0.38.2-1.1 notmuch_0.38.2-1.1.debian.tar.xz]

debian: recommend gpg-agent instead of gnupg agent

CLI/git: remove no-op format() call

CLI/git: fix name error

CLI/git: remove unused import

shutil was used only for the tempfile.TemporaryDirectory backport,
which was removed in commit b7c31f658121a0cf ("CLI/git: drop support for
python < 3.2").

Merge branch 'release'

lib: clear error message on success in _choose_database_path

Previously we both found a database and returned a message saying that
the database could not be found (along with a success code). This
change should prevent spurious error output.

test: add known broken test for incorrect error message

Duplicate bug reported in id:87wmtvcor5.fsf@alyssa.is

The error message is nonsense, because notmuch config list actually
includes the database in those two cases.

Merge branch 'release'

debian: changelog for 0.38.2-1

Import notmuch_0.38.2.orig.tar.xz

[dgit import orig notmuch_0.38.2.orig.tar.xz]

NEWS for 0.38.2

version: bump to 0.38.2

notmuch-emacs-mua: avoid extra separators at the end of the line

Currently the --to/--cc/--bcc options add "user@example.com, " to the
message headers, with the the unnecessary ", " separator after the
last address, regardless of how many addresses are being added.

This used to be fine, but with recent emacs mm, trying to send the
email with the trailing commas leads to prompt:

  Email address  looks invalid; send anyway? (y or n)

Fix this by only adding the commas between addresses, avoiding the
trailing commas.

Merge branch 'release'

lib/string_map: simulate stable sorting

qsort(3) does not promise stability, and recent versions of glibc have
been showing more unstable behaviour [2]. Michael Gruber observed [1] test
breakage due to changing output order for message properties.

We provide a sorting order of (key,value) pairs that _looks_ stable by
breaking ties based on value if keys are equal. Internally there may
be some instability in the case of duplicate (key,value) pairs, but it
should not be observable via the iterator API.

[1]: id:CAA19uiSHjVFmwH0pMC7WwDYCOSzu3yqNbuYhu3ZMeNNRh313eA@mail.gmail.com
[2]: id:87msv3i44u.fsf@oldenburg.str.redhat.com

Merge tag '0.38.1'

notmuch 0.38.1 release

debian: update changelog for 0.38.1-1

NEWS: News for 0.38.1

Just note the 3 bug fixes.

version: bump to 0.38.1

No changes from 0.38.1~rc1

Merge tag '0.38.1_rc1'

notmuch 0.38.1~rc1 release

changelog for 0.38.1~rc1-1

version: update to 0.38.1~rc1

notmuch-mutt: fix Perl syntax of hash index lookups

Fixes: commit 239fdbbbf0cbd6cd6ebafb87e88cdb3cded75364

emacs/mua: change name of ignored parameter

Suppress compiler warning.

emacs/address: rewrite docstring for n-a-selection-function

The previous version essentially repeated the source code, and
generated a compiler warning.

emacs: wrap docstrings

Suppress byte-compiler warnings about >80 character docstrings.

emacs: update quoting in docstrings

The complicated looking escapes are needed to avoid compile time
warnings.  (info "(elisp) Text Quoting Style") for details.

Merge tag 'debian/0.38.1_pre0-1'

notmuch release 0.38.1~pre0-1 for experimental (rc-buggy) [dgit]

[dgit distro=debian no-split --quilt=linear]

debian: finalize changelog for 0.38.1~pre0-1

Bonus typo fix.

Merge tag '0.38.1_pre0'

notmuch 0.38.1~pre0 release

emacs/show: special case toggling display of images

According to emacs upstream [1], we can't expect overlay invisibility
and images to get along. This commit uses the previously stashed
undisplayer functions to actually remove the images from the buffer.
When the image is toggled, it is essentially redisplayed from scratch,
using the previously stashed redisplay data.

[1]: https://lists.gnu.org/archive/html/emacs-devel/2023-08/msg00593.html

emacs: save image redisplay data during non-lazy display

This data will eventually be used to redisplay hidden images. A
certain amount of refactoring is done here to avoid code
duplication.

emacs/show: save redisplay redisplay data when showing lazy part.

This data will be used to redisplay an image that is hidden by
deleting it from the buffer.  We cannot easily delay until the image
is hidden, as we won't have the original data at that point.

emacs: save undisplayer function for MIME parts

For some kinds of MIME parts (at least images), our trickery with
overlays will not work, so save the more drastic function created by
Gnus that actually deletes the part from the buffer. In an ideal world
we would return this function as (part of) a value, but here the call
stack is too complicated for anything that simple, so we stash it in
the part plist and rely on that being preserved (unlike the mm handle,
which is transient).

Merge branch 'release'

Pass error message from GLib ini parser to CLI

The function _notmuch_config_load_from_file is only called in two
places in open.cc. Update internal API to match the idiom in open.cc.
Adding a newline is needed for consistency with other status strings.

Based in part on a patch [1] from Eric Blake.

[1]: id:20230906153402.101471-1-eblake@redhat.com

test: add known broken subtest for the bad config error message

This is a bit fragile w.r.t. glib changing their error message, but it
already helped me find one formatting bug, so for now I think it's
worth it, instead of just grepping for "UTF-8".

CLI: exit with error when load_config returns an error.

For now print a generic error message and exit with error on any
non-success code. Previously the code exited, but with exit code zero,
leading users / scripts to think the command had succeeded.

test: add known broken test for bad utf8 in config

We should ideally print an informative error message, but at the very
least we should not exit with success.

debian: start changelog for 0.38.1~pre0-1

NEWS: add header for 0.38.1

Actual news items to be filled in after they are applied.

version: update to 0.38.1~pre0

Start preparations for point release

.gitignore: ignore __pycache__

Python likes to leave behind cache files; noticeable when doing an
in-tree build.

devel/nmweb: read mail files in binary mode.

"ju" reported on IRC that browsing

    https://nmbug.notmuchmail.org/nmweb/show/20160719094205.qmf5sjnja6crt5t3%40gotlib

crashed. The underlying issue is that python3 defaults to utf8
decoding files unless they are opened in binary mode. The file in
question (in the nmbug archive; it depends a bit on the routing the
message took) has

        Content-Type: text/plain; charset=iso-8859-1
        Content-Transfer-Encoding: 8bit

and some of it is not valid utf8.

Merge branch 'release'

debian: upload 0.38-2: disable most autopkgtests

Merge branch 'release'

bindings/python-cffi: clean up notmuch2.egg-info

This is created (at least) by the Debian build, but there seems no
harm in cleaning it for everyone.

debian: note introduction of autopkgtests

Having autopkgtests changes Debian package migration (for better and
worse), so make a note when they were introduced to unstable.

NEWS: quote function name

This avoids spurious underline/italics when exporting to markdown.

NEWS: set release date for 0.38

build: clean up __pycache__ directories

These are generated indirectly by certain uses of python in the build.

debian: rely on main notmuch (dist)clean.

The python setuputils clean relys on including _notmuch_config.py,
which is cleaned up. Rather than relying on careful ordering, just do
all the cleaning from the GNU Make based build system.

bindings/python-cffi: clean up _notmuch_config.py

_notmuch_config.py is generated by configure, and cannot be cleaned up
by the current python build system, since it is imported as a module
by that same build system.

Use DISTCLEAN rather than CLEAN for consistency with other configure
related things.

debian: changelog for 0.38-1

version: bump to 0.38

NEWS: NEWS for 0.38

Merge branch 'release'

debian: changelog for 0.38~rc2-1

version: bump to 0.31~rc2

test: suppress all interceptors in glib

On ppc64el, races are detected by TSan:
  WARNING: ThreadSanitizer: data race (pid=4520)
    Read of size 8 at 0x7ffff20016c0 by thread T1:
      #0 strlen ../../../../src/libsanitizer/sanitizer_common/sanitizer_common_interceptors.inc:386 (libtsan.so.2+0x77c0c)
      #1 strlen ../../../../src/libsanitizer/sanitizer_common/sanitizer_common_interceptors.inc:378 (libtsan.so.2+0x77c0c)
      #2 g_strdup ../../../glib/gstrfuncs.c:362 (libglib-2.0.so.0+0xa4ac4)

    Previous write of size 8 at 0x7ffff20016c0 by thread T2:
      #0 malloc ../../../../src/libsanitizer/tsan/tsan_interceptors_posix.cpp:647 (libtsan.so.2+0x471f0)
      #1 g_malloc ../../../glib/gmem.c:130 (libglib-2.0.so.0+0x7bb68)

    Location is heap block of size 20 at 0x7ffff20016c0 allocated by thread T2:
      #0 malloc ../../../../src/libsanitizer/tsan/tsan_interceptors_posix.cpp:647 (libtsan.so.2+0x471f0)
      #1 g_malloc ../../../glib/gmem.c:130 (libglib-2.0.so.0+0x7bb68)

This appears to be a false positive in GLib, as explained at
https://gitlab.gnome.org/GNOME/glib/-/issues/1672#note_1831968
In short, a call to fstat fails under TSan and GLib's g_sterror will
intern the error message, which will be reused by other threads.

Since upstream appears to be aware that GLib doesn't play nicely with
TSan, suppress everything coming from the library instead of
maintaining a fine grained list.

Reported at
https://buildd.debian.org/status/fetch.php?pkg=notmuch&arch=ppc64el&ver=0.38%7Erc0-1&stamp=1692959868&raw=0

compat: probe for strcasestr more thoroughly

Depending on compiler (gcc, g++, clang) and standard options (c99, c11),
string.h may or may not include strings.h, leading to possibly missing
or conflicting declarations of strcasestr.

Include both so that both detection and compilation phases use the same
(possibly optimised) implementations.

Suggested-by: Thomas Schneider <qsx@chaotikum.eu>
Suggested-by: Florian Weimer <fweimer@redhat.com>
Suggested-by: Tomi Ollila <tomi.ollila@iki.fi>

debian: changelog for 0.38~rc1-1

version: bump to 0.38~rc1

debian: skip T810-tsan on ppc64el

Hopefully just a temporary measure.

debian: use architecture.mk

I plan to add further architecture dependent checks, which makes this
preferable to directly calling dpkg-architecture.

test: minimize impact of native compilation.

Native compilation is kindof useless in the test suite because we
throw away the cache after every subtest.  The test suite could in
principle share an eln cache within a given test file; for now try to
minimize the amount of native-compilation. There is an intermittent
bug where emacs loses track of its default-directory; I suspect (but
have no proof) that bug is related to native compilation and/or race
conditions. This patch seems to prevent that bug (or at least reduce
its frequency).

debian: set suite to experimental

doc: update copyright date

debian: changelog for 0.38~rc0-1

NEWS: start NEWS for 0.38

version: set up 0.38~rc0

test/setup: ignore blank lines in generated config

The presense of the blank lines between sections depends on the
version of glib. Strip them before comparison.

CLI/config: simulate top level comments when creating config

According to discussion on

          https://gitlab.gnome.org/GNOME/glib/-/issues/3078

it looks like upstream will stop supporting top of file comments.

It is questionable whether we really need this feature, but for now
update notmuch-config to simulate it.

test/emacs: adapt to breaking change in Gnus defaults

As of Emacs 29.1, In-Reply-To is in the default value for
message-hidden-headers. We actually want to see that in the test
suite, so remove it again. To future proof the tests, fix a default
value for message-hidden-headers specifically for the test suite.

lib/n_d_remove_message: do not remove unique filename

It is wasteful to remove a filename term when the whole message
document is about to be removed from the database. Profiling with perf
shows this takes a significant portion of the time when cleaning up
removed files in the database.

The logic of n_d_remove_message becomes a bit more convoluted here in
order to make the change minimal.

It is possible that this function can be further optimized, since the
expansion of filename terms into filenames is probably not needed
here.

lib/message: check message type before deleting document

It isn't really clear how this worked before. Traversing the terms of
a document after deleting it from the database seems likely to be
undefined behaviour at best

debian: add autopkgtests

We generate output to stderr for BROKEN tests, which are not failures,
so tell the test runner not to fail because of output on stderr.

test: support testing notmuch as installed

We put some effort into testing the built copy rather than some
installed copy. On the other hand for people like packagers, testing
the installed copy is also of interest.

When NOTMUCH_TEST_INSTALLED is set to a nonempty value, tests do not
require a built notmuch tree or running configure.

Some of the tests marked as broken when running against installed
notmuch are probably fixable.