util/string-util: export skip_space

It's only few lines, but we already define the function, so make it
usable elsewhere

test/thread-replies: mangle In-Reply-To's

In a future commit, we will start trusting In-Reply-To's when they
look sane (i.e. a single message-id). Modify these tests so they will
keep passing (i.e. keep choosing References) when that happens.

test: add known broken test for good In-Reply-To / bad References

The current scheme of choosing the replyto (i.e. the default parent
for threading purposes) does not work well for mailers that put
the oldest Reference last.

lib/thread: change _resolve_thread_relationships to use depths

We (finally) implement the XXX comment. It requires a bit of care not
to reparent all of the possible toplevel messages.

_notmuch_messages_has_next is not ready to be a public function yet,
since it punts on the mset case. We know in the one case it is called,
the notmuch_messages_t is just a regular list / iterator.

lib/thread: rewrite _parent_or_toplevel to use depths

This is part 1/2 of changing the reparenting of alleged toplevel
messages to use a "deep" reference rather than just the first one
found.

lib: calculate message depth in thread

This will be used in reparenting messages without useful in-reply-to,
but with useful references

lib/thread: initial use of references as for fallback parenting

This is mainly to lay out the structure of the final code. The problem
isn't really solved yet, although some very simple cases are
better (hence the fixed test). We need two passes through the messages
because we need to be careful not to re-parent too many messages and
end up without any toplevel messages.

use EMPTY_STRING in _parent_via_in_reply_to

This is a review suggestion [1] of Tomi. I decided not to squash it
so that the code movement remains clear.

[1]: id:m2pnxxgf5q.fsf@guru.guru-group.fi

lib/thread: refactor in_reply_to test

This is not a complete win in code-size, but it makes the code (which
is about to get more complicated) easier to follow.

lib: add _notmuch_message_list_empty

There is no public notmuch_message_list_t public interface, so to this
is added to the private API. We use it immediately in thread.cc;
future commits will use it further.

lib/thread: add macro for debug printing of threading

This is analogous to DEBUG_DATABASE_SANITY, and is intended to help
debugging and to help users submit bug reports.

lib: read reference terms into message struct.

The plan is to use these in resolving threads.

lib/thread: sort sibling messages by date

For non-root messages, this should not should anything currently, as
the messages are already added in date order. In the future we will
add some non-root messages in a second pass out of order and the
sorting will be useful. It does fix the order of multiple
root-messages (although it is overkill for that).

test: add known broken tests for "ghost roots"

This documents the bug discussed at

     id:87efgmmysi.fsf@len.workgroup

The underlying issue is that the reply to a ghost (missing) message is
falsely classified as a root message in _resolve_thread_relationships.

There are two pairs of tests; in each case the the first test is
simpler / more robust, but also easier to fool.

test: start threading test corpus

There are 3 threads here, two synthetic, and one anonymized one using
data from Gregor. They test various aspects of thread
ordering/construction in the presence of replies to ghost messages.

test/tag: add test for updating during batch tag operations

This clarifies that the breakage seen with Xapian 1.4.6 does not have
to do with "funny" tags.

This test is "known broken", but only with xapian 1.4.6, and there's
curently no convenient way to mark that.

lib: detect mislabeled Windows-1252 parts

Use GMime functionality to detect mislabeled messages and apply the
correct (Windows) encoding instead.

test: add known broken test for mislabeled Windows-1252 encoding

Messages that contain Windows-1252 are frequently mislabeled as ISO
8859-1, which may result in non-printable characters when displaying
the message. The test asserts that such characters (in this case
curved quotes) are displayed correctly.

emacs: Kill the stderr buffer when an async process completes

On some platforms (e.g. macOS), it is necessary to add a real sentinel
process for the error buffer used by `notmuch-start-notmuch' rather
than a no-op sentinel.

doc: clean up manpages

Many of the manpages didn't treat literal text as literal text.  I've
tried to normalize some of the restructured text to make it a bit more
regular.

several of the synopsis lines are still untouched by this cleanup, but
i'm not sure what the right way to represent those is in .rst,
actually.

In particular find that if i rebuild the manpages, sometimes i end up
with some of the synopsis lines showing – (U+2013 EN DASH) where they
should have -- (2 × U+002D HYPHEN-MINUS) in the generated nroff
output, though i have not tracked down the source of this error yet.

use #!/usr/bin/env python consistently

minor cleanup to printmimestructure

make the source slightly easier to read.  no functional change.

devel: make printmimestructure py3 compatible

Make printmimestructure work in python3 as well as python2.

minor post-0.26 NEWS layout fixes

As usual, one notices these *after* release(s).

Merge tag '0.27'

notmuch 0.27 release

NEWS: set date

debian: changelog for 0.27-1

version: bump to 0.27

doc: document notmuch show --decrypt=stash

Help users find this new indexed-cleartext workflow.

Merge tag '0.27_rc1'

notmuch 0.27~rc1 release

debian: changelog stanza for 0.27~rc1-1

version: bump to 0.27~rc1

configure: check for links to/from libdir in ldconfig output

If e.g. /lib is a link to /usr/lib, then the latter may not show up in
the way we expect in the output of ldconfig. 'test foo -ef bar' checks
if foo and bar have the same device and inode numbers. Since (at least
in bash, dash, ksh, and zsh) the shell dereferences symlinks before
applying the test, this includes both the case where file1 is equal to
file2 and the case where one is a symlink to the other.

NEWS: document installation of notmuch-emacs manual

NEWS: mention notmuch --full-scan

NEWS: mention thread:{} queries

NEWS: deprecate pre-1.4.0 Xapian

We want to give people some heads up before dropping support, since
removing a bunch of ifdefs will be a pain to revert.

debian: update symbols for 0.27

add two new API symbols

NEWS: start entry for 0.27

No content yet.

test: fix hardcoded paths in T050-new.sh

The previous paths will fail almost everywhere.

debian: changelog for 0.27~rc0-1

bump version to 0.27~rc0

Start the busywork for a new release

docs: add initial documentation for notmuch-tag-jump

This is mainly to improve discoverability. It seems that doing
variable cross-references is not easy without using some sphinx
extension/customization.

doc: initial documentation for notmuch-tree mode

doc: initial documentation for notmuch-show-mode

This is pretty minimal, but will hopefully inspire others to
contribute more complete documentation. If nothing else, it points out
'?'.

debian: install info pages as part of elpa (emacs) package

This is a simple way to make the info pages available, since the emacs
package system deals with the annoying bits.  If there is many people
who want the info pages outside of emacs, we could consider a separate
binary package, but currently it doesn't seem worthwhile.

doc: install info files in elpa package

The duplication of effort in installing into different places seems
unavoidable; or more precisely not worth avoiding by more extensive
gnu-make-isms.

doc: install build and install info pages

All of the man pages are installed as info pages, plus
the (unfinished) notmuch-emacs manual

configure: set 'infodir'

This turns --infodir from an ignored option into a real one

configure: check for makeinfo and install-info

These are needed to build and install (respectively) the info format
documentation.

cli/show: enable --decrypt=stash

Add fancy new feature, which makes "notmuch show" capable of actually
indexing messages that it just decrypted.

This enables a workflow where messages can come in in the background
and be indexed using "--decrypt=auto".  But when showing an encrypted
message for the first time, it gets automatically indexed.

This is something of a departure for "notmuch show" -- in particular,
because it requires read/write access to the database.  However, this
might be a common use case -- people get mail delivered and indexed in
the background, but only want access to their secret key to happen
when they're directly interacting with notmuch itself.

In such a scenario, they couldn't search newly-delivered, encrypted
messages, but they could search for them once they've read them.

Documentation of this new feature also uses a table form, similar to
that found in the description of index.decrypt in notmuch-config(1).

A notmuch UI that wants to facilitate this workflow while also
offering an interactive search interface might instead make use of
these additional commands while the user is at the console:

Count received encrypted messages (if > 0, there are some things we
haven't yet tried to index, and therefore can't yet search):

     notmuch count tag:encrypted and \
         not property:index.decryption=success and \
         not property:index.decryption=failure

Reindex those messages:

     notmuch reindex --try-decrypt=true tag:encrypted and \
         not property:index.decryption=success and \
         not property:index.decryption=failure

test-lib: add notmuch_show_part for "notmuch show --format=text"

Thanks to David Bremner for this improved readability!

cli/show: reindex when we learned new session keys about a message

If the number of session keys for a given message increased after
running "notmuch show" then we just learned something new that might
let us do automatic decryption.  We should reindex this message using
our newfound knowledge.

Amended by db: add previously discussed #if block

cli: write session keys to database, if asked to do so

If the decryption policy is NOTMUCH_DECRYPT_TRUE, that means we want
to stash session keys in the database.  Note that there is currently
no way from the command line to set it this way, though, so it is not
yet included in the test suite.

cli: add print_status_message()

This function is a parallel to print_status_query() or
print_status_database().  Thanks to David Bremner for the suggestion!

lib: make notmuch_message_get_database() take a const notmuch_message_t*

This is technically an API change, but it is not an ABI change, and
it's merely a statement that limits what the library can do.

This is in parallel to notmuch_query_get_database(), which also takes
a const pointer.

properties: add notmuch_message_count_properties

The user can already do this manually, of course, but (a) it's nice to
have a convenience function, and (b) exposing this interface means
that someone more clever with a _notmuch_string_map_t than i am can
write a more efficient version if they like, and it will just
accelerate the users of the convenience function.

lib: bump minor version

This recognizes the addition of (at least)
notmuch_message_get_database to the API.

lib: expose notmuch_message_get_database()

We've had _notmuch_message_database() internally for a while, and it's
useful.  It turns out to be useful on the other side of the library
interface as well (i'll use it later in this series for "notmuch
show"), so we expose it publicly now.

doc: document notmuch new --full-scan

test: use --full-scan in T050-new.sh

Wherever the test relies on directories being scanned, this option
should be used to avoid skipping them due to mtimes on directories
matching the database.

test: add tests for notmuch new --full-scan

Most of these just check that adding the flag does not break existing
functionality. The one test that does check the full-scan
functionality had to be rewritten to output debugging info.

CLI/new: add full-scan option

By default notmuch-new uses directory mtimes to optimize the scanning of
directories for new mail. This option allows turning that optimization
off e.g. for testing or debugging.

bindings: clean extra file created by ruby extension build system

Noticed by dkg; this file seems to be created by building the debian
package, and perhaps by other distro package builds.

drop use of register keyword

The performance benefits are dubious, and it's deprecated in C++11.

build: Allow user to specify ruby executable

This way, one can build for a different Ruby than $PATH/ruby
(e. g. different versions, or Ruby in other paths).

Signed-off-by: Thomas Schneider <qsx@chaotikum.eu>

doc: fix notmuch-search example

For some reason the searched tag did not match the displayed results.

doc: document thread subqueries

Mention both performance and quoting issues.

lib: define specialized get_thread_id for use in thread subquery

The observation is that we are only using the messages to get there
thread_id, which is kindof a pessimal access pattern for the current
notmuch_message_get_thread_id

perf-test: add simple test for thread subqueries

This is not a particularly sensible query, but thread:{date:2010} is a
good way to generate fairly large intermediate queries.

lib: add thread subqueries.

This change allows queries of the form

 thread:{from:me} and thread:{from:jian} and not thread:{from:dave}

This is still somewhat brute-force, but it's a big improvement over
both the shell script solution and the previous proposal [1], because it
does not build the whole thread structure just generate a
query. A further potential optimization is to replace the calls to
notmuch with more specialized Xapian code; in particular it's not
likely that reading all of the message metadata is a win here.

[1]: id:20170820213240.20526-1-david@tethera.net

Merge tag 'debian/0.26.2-2'

uploaded to unstable

debian: re-enable gdb in tests on s390x, ppc64el, armel, mipsel

I was able to verify these 4 arches on Debian porterboxes

debian: mark dtach and gdb as <!nocheck>

These are only needed for the test suite. In addition to the
functional change, this also helps document their role as
build-dependencies.

T460-emacs-tree: sync $EXPECTED with test name

This syncs the $EXPECTED directory name with the tests filename.

Signed-off-by: Florian Klink <flokli@flokli.de>

move more http -> https

Correct URLs that have crept into the notmuch codebase with http://
when https:// is possible.

As part of this conversion, this changeset also indicates the current
preferred upstream URLs for both gmime and sup.  the new URLs are
https-enabled, the old ones are not.

This also fixes T310-emacs.sh, thanks to Bremner for catching it.

test: add known broken test for regexp search of second subject

We expect this to give the same answer as the non-regexp subject
search. It does not because the regexp search relies on the value
slot, which currently contains only one subject.

test: tests for python bindings get_property / get_properties

These roughly replicate the equivalent C tests, although they rely on
the database state created by the former tests, since the python
bindings currently provide read-only access to properties.

python: add bindings for notmuch_message_get_propert(y/ies)

Message.get_property (prop) returns a string with the value of the property and
Message.get_properties (prop, exact=False) yields key, value pairs

Merge branch 'release'

build: push additional refs during release

These currently have to be pushed by hand during a release, which
isn't a big deal, but is one more thing to remember.

debian: finalize changelog

NEWS: set release date

Merge branch 'release'

minimal mset fix, for 0.26.2

debian: changelog for 0.26.2-1

travis: disable gdb based tests

Apparently something broke with gdb on travis.

(cherry picked from commit 12541fea7fe333f7c154a4a12a1d40394c2d6364)

version: bump to 0.26.2

NEWS: news item for mset fix

lib: work around xapian bug with get_mset(0,0, x)

At least Fedora28 triggers this Xapian bug due to some toolchain change .

   https://bugzilla.redhat.com/show_bug.cgi?id=1546162

The underlying bug is fixed in xapian commit f92e2a936c1592, and
should be fixed in Xapian 1.4.6

Merge branch 'release'

reference loop fixes to be included in 0.26.2

NEWS: add item for reference loop fix.

doc: add a section on quoting to notmuch-search-terms(7)

I think we've diverged enough from the Xapian query parser
that we can't rely on that syntax description [1]. As far as I can
tell, [1] also only discusses quotes in the context of phrases.

[1]: https://xapian.org/docs/queryparser.html

test: re-enable disabled test in T700-reindex.sh

The extra test_done looks like a typo

NEWS: Fix typos

lib: choose oldest message when breaking reference loops

This preserves a sensible thread order

test: add known broken test for thread ordering from a loop

The previous loop handling code chooses the last message in the
message list, which turns out to be the last in date order.
See the comment in _notmuch_thread_create.

lib: break reference loop by choosing arbitrary top level msg

Other parts of notmuch (e.g. notmuch show) expect each thread to
contain at least one top level message, and crash if this expectation
is not met.

test: add known broken test for indexing an In-Reply-To loop.

This documents the bug discussed in

     id:87d10042pu.fsf@curie.anarc.at

test: two new messages for the 'broken' corpus

These have an 'In-Reply-To' loop, which currently confuses "notmuch
new".

Merge branch 'release'