move more http -> https

Correct URLs that have crept into the notmuch codebase with http://
when https:// is possible.

As part of this conversion, this changeset also indicates the current
preferred upstream URLs for both gmime and sup.  the new URLs are
https-enabled, the old ones are not.

This also fixes T310-emacs.sh, thanks to Bremner for catching it.

test: add known broken test for regexp search of second subject

We expect this to give the same answer as the non-regexp subject
search. It does not because the regexp search relies on the value
slot, which currently contains only one subject.

test: tests for python bindings get_property / get_properties

These roughly replicate the equivalent C tests, although they rely on
the database state created by the former tests, since the python
bindings currently provide read-only access to properties.

python: add bindings for notmuch_message_get_propert(y/ies)

Message.get_property (prop) returns a string with the value of the property and
Message.get_properties (prop, exact=False) yields key, value pairs

Merge branch 'release'

build: push additional refs during release

These currently have to be pushed by hand during a release, which
isn't a big deal, but is one more thing to remember.

debian: finalize changelog

NEWS: set release date

Merge branch 'release'

minimal mset fix, for 0.26.2

debian: changelog for 0.26.2-1

travis: disable gdb based tests

Apparently something broke with gdb on travis.

(cherry picked from commit 12541fea7fe333f7c154a4a12a1d40394c2d6364)

version: bump to 0.26.2

NEWS: news item for mset fix

lib: work around xapian bug with get_mset(0,0, x)

At least Fedora28 triggers this Xapian bug due to some toolchain change .

   https://bugzilla.redhat.com/show_bug.cgi?id=1546162

The underlying bug is fixed in xapian commit f92e2a936c1592, and
should be fixed in Xapian 1.4.6

Merge branch 'release'

reference loop fixes to be included in 0.26.2

NEWS: add item for reference loop fix.

doc: add a section on quoting to notmuch-search-terms(7)

I think we've diverged enough from the Xapian query parser
that we can't rely on that syntax description [1]. As far as I can
tell, [1] also only discusses quotes in the context of phrases.

[1]: https://xapian.org/docs/queryparser.html

test: re-enable disabled test in T700-reindex.sh

The extra test_done looks like a typo

NEWS: Fix typos

lib: choose oldest message when breaking reference loops

This preserves a sensible thread order

test: add known broken test for thread ordering from a loop

The previous loop handling code chooses the last message in the
message list, which turns out to be the last in date order.
See the comment in _notmuch_thread_create.

lib: break reference loop by choosing arbitrary top level msg

Other parts of notmuch (e.g. notmuch show) expect each thread to
contain at least one top level message, and crash if this expectation
is not met.

test: add known broken test for indexing an In-Reply-To loop.

This documents the bug discussed in

     id:87d10042pu.fsf@curie.anarc.at

test: two new messages for the 'broken' corpus

These have an 'In-Reply-To' loop, which currently confuses "notmuch
new".

Merge branch 'release'

version: bump to 0.26.1

debian: changelog for 0.26.1-1

lib: bump LIBRARY_MINOR_VERSION

We added several new functions, at least

   notmuch_database_get_default_indexopts
   notmuch_database_index_file
   notmuch_indexopts_destroy
   notmuch_indexopts_get_decrypt_policy
   notmuch_indexopts_set_decrypt_policy
   notmuch_message_count_files
   notmuch_message_has_maildir_flag
   notmuch_message_reindex
   notmuch_message_remove_all_properties_with_prefix
   notmuch_thread_get_total_files

Fix typos as found by codespell

Signed-off-by: Georg Faerber <georg@riseup.net>

doc: Examples of notmuch-reindex use and crypto policy

Currently, notmuch has the levers needed to set coherent crypto policy
around how cleartext is indexed, which also has an impact on how
messages are rendered.  But we don't have a lot of documentation about
how to do sensible things.  This is an initial attempt to address
that.

The first example shows a way to selectively index specific messages.

The next two examples are about aligning the existing database with
crypto indexing policy

The default crypto policy is to not index cleartext, and to only
decrypt messages on display when explicitly requested.

The other sensible crypto policy is to index cleartext while stashing
session keys. messages indexed in this way will be searchable, and
will be decrypted on display automatically unless the user explicitly
asks for it to *not* be decrypted.

The policy for indexing *new* messages is stored in the database as
the config variable index.decrypt.

But setting policy for new messages doesn't retroactively affect
already indexed messages.

This patch attempts to document ways that someone can efficiently
align their pre-existing database with their new policy.

I'm not sure this is the right place to document these examples, but i
do want them to be user-facing and relatively easy to find.  I'm happy
to entertain suggestions for where else we should put them.

cli/insert: add --world-readable flag

In some cases (e.g. when building a publicly-visible e-mail archive)
it doesn't make any sense to restrict visibility of the message to the
current user account.

This adds a --world-readable boolean option for "notmuch insert", so
that those who want to archive their mail publicly can feed their
archiver with:

    notmuch insert --world-readable

Other local delivery agents (postfix's local, and dovecot's lda) all
default to delivery in mode 0600 rather than relying on the user's
umask, so this fix doesn't change the default.

Also, this does not override the user's umask.  if the umask is
already set tight, it will not become looser as the result of passing
--world-readable.

Signed-off-by: Daniel Kahn Gillmor <dkg@fifthhorseman.net>

Clarify the syntax required when searching using timestamps.

Need to be clearer about specifying time ranges using timestamps.
Legacy syntax which predates the date prefix is still supported, but
timestamps used in conjunction with the date prefix require additional
syntax.

debian: drop export-dir from gbp.conf

No one knows why this invocation is here.  it does weird things during
the build.  If a developer really wants this behavior, they can
specify it in their own ~/.gbp.conf

Signed-off-by: Daniel Kahn Gillmor <dkg@fifthhorseman.net>

doc: create manpage folders with right permissions

Avoids the issue where umask can make man pages unreadable after
installation. Relevant email on the mailing-list:
<87h8rt30sy.fsf@fifthhorseman.net>

travis: disable gdb based tests

Apparently something broke with gdb on travis.

travis: build against python3-sphinx instead of python-sphinx

Ubuntu trusty has python3-sphinx 1.2.2+dfsg-1ubuntu1, so this should
be OK.

INSTALL: fix typo

INSTALL: refer to python3-sphinx

We're now preferring to build with python3 instead of python2.  Update
the INSTALL to match.

Thanks to Antoine Amarilli <a3nm@a3nm.net> for pointing this out!

Merge tag '0.26'

notmuch 0.26 release

NEWS: Fix markup of headline

NEWS: set release date

version: bump to 0.26

debian: add some hints about upstream changes.

notes about debian packaging changes

version: bump to 0.26~rc2

Update debian version to follow.

NEWS: don't start headlines with --

This confuses our simple tooling, and it's questionable style anyway.

NEWS: minimalist notes for Vladimir's changes

NEWS: minimalist notes for Yuri's changes

NEWS: minimalist notes for Jani's changes

NEWS: move test suite news down

fix typos

Merge branch 'release'

debian updates

Standards-Version: bump to 4.1.3 (no changes needed)

move to debhelper 10

Merge tag '0.26_rc1'

notmuch 0.26~rc1 release

debian: bump date of upload

doc: add 2018 to copyright year

NEWS: document notmuch-properties(7)

NEWS: document notmuch_message_remove_all_properties_with_prefix

NEWS: notmuch {show, reply} --decrypt takes explicit argument

NEWS: note decrypt_policy in python bindings for index_file

NEWS: transition n_d_add_message to n_d_index_file

NEWS: cleartext indexing section includes session keys

These are part and parcel of the same feature, so include the overview
here.

doc/{reply, show}: match indentation

This is essentially a conflict resolution Jani's normalization and
Daniel's doc changes, but it's easier to do as a second commit.

Merge branch 'release'

Conflicts:
        doc/man1/notmuch-reply.rst
doc/man1/notmuch-show.rst

Conflicts taken from release (dkg's doc changes)

doc: unify definition list usage across man pages

Make all parameter descriptions etc. use reStructuredText definition
lists with uniform style and indentation. Remove redundant indentation
from around the lists. Remove blank lines between term lines and
definition blocks. Use four spaces for indentation.

This is almost completely whitespace and paragraph reflow changes.

NEWS: Python bindings changes for 0.26

These are my own changes, plus those of Florian Klink and Lucas
Hoffmann. Gaute's change fixed a bug that was never in a released
version, so I left it out.

NEWS: CLI changes for 0.26

As with the lib changes, these are based on the commits with me as author.

NEWS: library changes for 0.26

These are just "my" changes, as arbited by "git shortlog", which
sometimes lies.

debian: minimalist changelog for 0.26~rc1-1

version: bump 0.26~rc1

cli/reply: make --decrypt take a keyword

This brings the --decrypt argument to "notmuch reply" into line with
the other --decrypt arguments (in "show", "new", "insert", and
"reindex").  This patch is really just about bringing consistency to
the user interface.

We also use the recommended form in the emacs MUA when replying, and
update test T350 to match.

cli/show: make --decrypt take a keyword.

We also expand tab completion for it, update the emacs bindings, and
update T350, T357, and T450 to match.

Make use of the bool-to-keyword backward-compatibility feature.

cli: some keyword options can be supplied with no argument

We might change some notmuch command line tools that used to be
booleans into keyword arguments.

In that case, there are some legacy tools that will expect to be able
to do "notmuch foo --bar" instead of "notmuch foo --bar=baz".

This patch makes it possible to support that older API, while
providing a warning and an encouragement to upgrade.

NEWS: Add nmbug 0.3 release notes to the notmuch 0.26 section

nmbug: Bump to version 0.3

Changes since 0.2:

* Accept failures to unset core.worktree in clone (0a155847,
  2017-10-10, unreleased).
* Use --no-renames in log (f9189a06, 2016-09-26, v0.24).
* Auto-checkout in clone if it wouldn't clobber (7ef3b653, 2017-10-10,
  unreleased).
* Add a 'help' command for folks who don't like --help
  (9d25c97d, 2014-10-03, v0.20).
* Setup a 'config' branch on clone to track origin/config (244f8739,
  2015-03-22, v0.20).  This branch may be consumed by
  notmuch-report(1).
* Only error for invalid diff lines in tags/ (57225988, 2017-10-16,
  unreleased).
* Ignore # comments in 'notmuch dump ...' output (9bbc54bd,
  2016-03-27, v0.22).
* Respect 'expect' in _spawn(..., wait=True) (e263c5b1, 2017-10-10,
  unreleased).
* Update URLs in documentation (554b90b5 and 6a833a6e8, 2016-06-02,
  v0.23).

Merge tag '0.26_rc0'

notmuch 0.26~rc0 release

debian: update libnotmuch5.symbols for 0.26

Several added symbols, no SONAME bump.

debian: changelog stanza for 0.26~rc0-1

version: bump to 0.26~rc0

make release archive: common (or no) timestamps

The appended file 'version' has the same timestamp as the files added
by `git archive`.

The original file name and time stamp are no longer saved to the
gzip header in resulting $(PACKAGE)-$(VERSION).tar.gz file.

When build environment is close enough to another, this may
provide mutually reproducible release archive files.

Revert "lib: add thread subqueries."

This reverts commit 4f5bbaf7e2cecfe5022ba4b28915cccfb7ccb12d.

python: remove obsolete debian directory

It is unlikely this still works since it has not been updated since
2010. The python packages for debian are now built by the top level
debian/ packaging.

lib: add thread subqueries.

This change allows queries of the form

 thread:{from:me} and thread:{from:jian} and not thread:{from:dave}

This is still somewhat brute-force, but it's a big improvement over
both the shell script solution and the previous proposal [1], because it
does not build the whole thread structure just generate a
query. A further potential optimization is to replace the calls to
notmuch with more specialized Xapian code; in particular it's not
likely that reading all of the message metadata is a win here.

[1]: id:20170820213240.20526-1-david@tethera.net

NEWS: document notmuch reindex

Describe the introduction of the "reindex" subcommand.  This blurb
acknowledges Subject: instability under reindexing when multiple
copies exist (suggesting that this is something that needn't
necessarily hold up a release).

python: add decrypt_policy argument to Database.index_file()

We adopt a pythonic idiom here with an optional argument, rather than
exposing the user to the C indexopts object directly.

This now includes a simple test to ensure that the decrypt_policy
argument works as expected.

python: Fix method name in docs

Fix a method rename in the docs that was overlooked in
3444c731d27fd42bbbdaae00af6ca48b4525b03b.

test: final named query test works regardless of Xapian FieldProcessor

This test passes with older versions of Xapian as well, because
neither query returns any results.

This should resolve the travis build failure at
https://travis-ci.org/notmuch/notmuch/builds/318571658

Signed-off-by: Daniel Kahn Gillmor <dkg@fifthhorseman.net>

lib: return "" rather than NULL from notmuch_thread_get_authors

The current behaviour is at best under-documented. The modified test in
T470-missing-headers.sh previously relied on printf doing the right
thing with NULL, which seems icky.

The use of talloc_strdup here is probably overkill, but it avoids
having to enforce that thread->authors is never mutated outside
_resolve_thread_authors_string.

test: retrying lock tests are broken when built against older Xapian

If we're building against a version of Xapian that doesn't offer
retrying the lock, we should be honest and describe the tests as
broken, rather than marking them as missing a test prerequisite.

missing test prerequisites should be for specific components of the
test harness that are missing, not for the backend library notmuch
uses.

test: named query tests are broken when missing Xapian FieldProcessor

Named queries don't work without Xapian FieldProcessor.  Rather than
silently skipping them, we should explictly mark them as broken when
building against an older version of Xapian.

test: searching by absolute date is broken without Xapian FieldProcessor

Previously, the test suite had simply silently skipped the absolute
date test if we're using an archaic version of Xapian.  For
correctness, we should instead mark the test as broken.

This also changes from string to numeric comparison when checking
NOMTUCH_HAVE_XAPIAN_FIELD_PROCESSOR for consistency with other tests.

test: Add test to unset config items with the python bindings

python: Rename get_config_list to get_configs

The old name has a bit of a feeling of hungarian notation.  Also many
generators in the core are named with the suffix "s" to indicate
iterables: dict.items, dict.keys for example.

test: Add tests for new python bindings

The tests where adopted from the tests for the corresponding C functions
in test/T590-libconfig.sh.

python: turn get_config_list into a generator

This mimics the behaviour of the underlying C function more closely as
it also does not store all values in memory.

python: add default arg to get_config_list

It makes the function a little more intuitive to use and does not
diverge much from the original function signature.

Also an example is added to the docstring.

python: add bindings to access config

The C functions notmuch_database_get_config,
notmuch_database_get_config_list and notmuch_database_set_config are
part of the official C bindings.  So there should also be some python
bindings for them.

Also they are the only way to access the named queries introduced in
b9bf3f44.

The interface of the python functions is designed to be close to the C
functions.

nmbug: Only error for invalid diff lines in tags/

Avoid:

  Traceback (most recent call last):
    File "/home/nmbug/bin/nmbug", line 834, in <module>
      args.func(**kwargs)
    File "/home/nmbug/bin/nmbug", line 385, in checkout
      status = get_status()
    File "/home/nmbug/bin/nmbug", line 580, in get_status
      maybe_deleted = _diff_index(index=index, filter='D')
    File "/home/nmbug/bin/nmbug", line 658, in _diff_index
      for id, tag in _unpack_diff_lines(stream=p.stdout):
    File "/home/nmbug/bin/nmbug", line 678, in _unpack_diff_lines
      'Invalid line in diff: {!r}'.format(line.strip()))
  ValueError: Invalid line in diff: u'.mailmap'

With this commit, folks can commit READMEs, .mailmap, etc. to their
nmbug repositories, and 'nmbug diff' and 'status' won't choke on them.
If you want to check for this sort of thing, you can set --log-level
to info or greater.  nmbug will still error if the unrecognized path
is under tags/, since that's more likely to be a user error.

test: test regexp based new.ignore

Just some basics.