Put 0.16 NEWS in a reasonable order

The 0.16 NEWS grew chronologically during development, and as a result
wound up in a particularly odd order.  This rearranges it to put the
most user-visible news first.  Roughly: new features, modified
behavior, bug fixes, then deprecation, with related items grouped.

This does not modify the text of any of the news.

emacs: hello: make --batch error gracefully

Recently notmuch-hello was converted to use batch count. However, it
seems that several people run different versions of notmuch-emacs and
notmuch-cli so this batch makes emacs fail with an error message if
--batch is not available in the CLI.

Amended by: db

emacs: News for S-expressions everywhere

Update the news about search using S-expression support to also say
that show is also now faster.

contrib: pick: use notmuch-start-notmuch

This uses the new notmuch-start-notmuch function which should give
better handling of stderr and errors generally.

crypto: return NULL cryptoctx if protocol string is empty.

Badly formed messages that don't specify a protocol in
signed/encrypted parts, end up with a protocol of NULL.  strcasecmp in
notmuch_crypto_get_context then segfaults when trying to check it
against known protocols.  If the protocol is NULL, just return an
empty context immediately (with appropriate message.)

NEWS: Python bindings: Fix loading of libnotmuch on OS X (Darwin)

emacs: dropped rest of now-unused JSON functionality

Notmuch cli provides all structured data previously provided
in json format now in s-expression format, rendering all current
json functionality obsolete.

NEWS: announce insert command

debian: Add package for debugging symbols (Closes: #717339)

Python bindings: CDLL("libnotmuch.3.dylib") on Darwin

Use os.uname() to check for 'Darwin' and load "libnotmuch.3.dylib"
instead of "libnotmuch.so.3" if that is the case.

contrib: pick: document several of the tree/forest insertion functions.

pick: contrib: document notmuch-pick-message-window-kill-hook

pick: contrib: document notmuch-pick-refresh-result

pick: contrib: document notmuch-pick-show-out

contrib: pick: remove unused function

The function notmuch-pick-show-error was used before Austin's improved
error handling. It is now redundant so remove.

contrib: pick: remove unused variable

This variable was needed at one point for the async parser but is not
needed anymore.

contrib: pick: bugfix: make the right variable buffer-local

The variable notmuch-pick-message-buffer should be buffer local but
instead notmuch-pick-message-buffer-name (a non-existent variable) was
made buffer local.

contrib: pick: add docstrings to all defvars

contrib: pick: add a docstring for the main notmuch-pick function

contrib: pick: fix refresh result

The function notmuch-pick-refresh-result (used to update tag changes)
was not quite correct: sometimes it got the choice between the subject
and " ..." wrong. This was always true but the new code often calls
this (when opening a message in the message pane to remove the unread
tag) while the async pick process is still running and this caused
mistakes which made the tests fail.

Thus we store the previous subject with the message.

contrib: pick: remove hack notmuch-pick-show-match-message-with-wait

This function was a horrible hack (sleeping while waiting for the
correct message). The new target code can just open the message in the
message window when it arrives.

contrib: pick: if no target specified go to first matching message

test: test insert --create-folder option

Add tests for notmuch insert --create-folder option.

man: document insert --create-folder

Add documentation for notmuch insert --create-folder option.

insert: add --create-folder option

Allow the insert command to create the maildir folder
into which the new message should be delivered.

test: test insert --folder option

Add tests for notmuch insert --folder option.

man: document insert --folder option

Add documentation for notmuch insert --folder option.

insert: add --folder option

Allow the new message to be inserted into a folder within the Maildir
hierarchy instead of the top-level folder.

test: add tests for insert

Add tests for new 'insert' command.

man: reference notmuch-insert.1

Add references to notmuch-insert.1 from other man pages.

man: document 'insert' command

Add initial documentation for notmuch insert command.

cli: add insert command

The notmuch insert command reads a message from standard input,
writes it to a Maildir folder, and then incorporates the message into
the notmuch database.  Essentially it moves the functionality of
notmuch-deliver into notmuch.

Though it could be used as an alternative to notmuch new, the reason
I want this is to allow my notmuch frontend to add postponed or sent
messages to the mail store and notmuch database, without resorting to
another tool (e.g. notmuch-deliver) nor directly modifying the maildir.

tag-util: do not reset list in parse_tag_command_line

The 'insert' command will be better served if parse_tag_command_line
modifies a pre-populated list (of new.tags) instead of clobbering the
list outright.  The sole existing caller, notmuch_tag_command, is
unaffected by this change.

tag-util: move out 'tag' command-line check

Move an error condition specific to the 'tag' command out of
parse_tag_command_line so that parse_tag_command_line can be used for
the forthcoming 'insert' command.

contrib: pick: remove reference to inbox in docstring

Copy the recent changes in show to use just notmuch-archive-tags (as a
link) rather than saying '(defaults to "inbox")'.

emacs: Remove `notmuch-call-notmuch-json'

This function is no longer used.

emacs: Use S-exp format everywhere

This switches `notmuch-mua-reply' and `notmuch-query-get-threads' to
the S-exp format.  These were the last two uses of the JSON format in
the Emacs frontend.

emacs: Introduce `notmuch-call-notmuch-sexp'

This is just like `notmuch-call-notmuch-json', but parses S-expression
output.  Note that, also like `notmuch-call-notmuch-json', this
doesn't consider trailing data to be an error, which may or may not be
what we want in the long run.

cli: use notmuch_exclude_t in option parser

Use notmuch_exclude_t constants directly instead of a redundant
enumeration while parsing search --exclude keyword arguments.

lib: add NOTMUCH_EXCLUDE_FLAG to notmuch_exclude_t

Add NOTMUCH_EXCLUDE_FLAG to notmuch_exclude_t so that it can
cover all four values of search --exclude in the cli.

Previously the way to avoid any message being marked excluded was to
pass in an empty list of excluded tags: since we now have an explicit
option we might as well honour it.

The enum is in a slightly strange order as the existing FALSE/TRUE
options correspond to the new
NOTMUCH_EXCLUDE_FLAG/NOTMUCH_EXCLUDE_TRUE options so this means we do
not need to bump the version number.

Indeed, an example of this is that the cli count and show still use
FALSE/TRUE and still work.

revert: Removed top level --stderr= option

While looked good on paper, its attempted use caused confusion, complexity,
and potential for information leak when passed through wrapper scripts.
For slimmer code and to lessen demand for maintenance/support the set of
commits which added top level --stderr= option is now reverted.

emacs: Remove v command

This removes the v command, since we now have much nicer part commands,
and deprecates the underlying notmuch-show-view-all-mime-parts.  This
also means that people who try using the old unprefixed 'v' command on
a part button will no longer be greeted by ALL of their parts popping
up.

emacs: update search sort order help to match code

test/basic: replaced find -perm +111 with portable alternative

The find option syntax `-perm +111` is deprecated gnu find feature.
The replacement `( -perm -100 -o -perm -10 -o -perm 1 )` should also
work outside of the GNU domain.

emacs: show: change emacs interactive pipe message.

Previously the query string for piping a message to a command was
"Pipe message to command: " regardless of whether the function was
called with a prefix argument (which pipes all open messages to the
command). This patch modifies the `interactive' command to reflect
this.

emacs: show: implement lazy hidden part handling

This adds the actual code to do the lazy insertion of hidden parts.

We use a memory inefficient but simple method: when we come to insert
the part if it is hidden we just store all of the arguments to the
part insertion function as a button property. This means when we want
to show the part we can just resume where we left off.

One thing is that we can't tell if a lazy part will produce text until
we try to render it so when unhiding a part we check to see if it
rendered; if not we invoke the default part handler (e.g. an external
viewer).

Also, we would like to insert the lazy part at the start of the line
after the part button. But if this line has some text properties
(e.g. the colours for a following message header) then the lazy part
gets these properties. Thus we start at the end of the part button
line, insert a newline, insert the lazy part, and then delete the
extra newline at the end of the part.

emacs: show move addition of :notmuch-part to separate function

This separates out the adding of the :notmuch-part text property to a
separate function to simplify calling from the lazy part insertion
code.

emacs: show: modify the way hidden state is recorded.

Previously, whether a part was hidden or shown was recorded in the
invisibility/visibility of the part overlay. Since we are going to
have lazily rendered parts with no overlay store the hidden/shown
state in the part button itself.

Additionally, in preparation for the invisible part handling move the
actual hiding of the hidden parts to insert-bodypart from
create-part-overlays.

Finally, we will need to know whether a part-insertion has done
anything (it won't if the invisible part cannot be displayed by emacs)
so we slightly rejig the code order in
notmuch-show-toggle-part-invisibility to make it easier for the
function to set an appropriate return value.

emacs: show: pass button to create-overlays

Now that the bodypart code has the button we can pass that to
create-overlays and simplify that.

emacs: show: move the insertion of the header button to the top level

Previously each of the part insertion handlers inserted the part
button themselves. Move this up into
notmuch-show-insert-bodypart. Since a small number of the handlers
modify the button (the encryption/signature ones) we need to pass the
header button as an argument into the individual part insertion
handlers. However, the declared-type argument was only used for the
text for the part buttons we can now omit it.

The patch is large but mostly simple. The only things of note are that
we let the text/plain handler applies notmuch-wash to the whole part
including the part button. In particular, notmuch-wash removes leading
blank lines from a text/plain part, but since the button is counted as
part of the part this does not happen with text/plain buttons that
have a button. This is probably a bug in notmuch-wash but changing it
does make several tests fail (that rely on this blank line) so, for
the moment, keep the old behaviour.

emacs: show: fake wash parts are handled at insert-bodypart level

Earlier patches have moved the handling of wash fake inline patch
parts to insert-bodypart so we can drop the function
notmuch-show-insert-part-inline-patch-fake-part

emacs: Fix "no such file or directory" error

Occasionally, when the user killed the search buffer when the CLI
process was still running, Emacs would run the
notmuch-start-notmuch-sentinel sentinel twice.  The first call would
process and delete the error output file and the second would fail
with an "Opening input file: no such file or directory, ..." error
when attempting to access the error file.

Emacs isn't supposed to run the sentinel twice.  The reason it does is
rather subtle (and probably a bug in Emacs):

1) When the user kills the search buffer, Emacs invokes
kill_buffer_processes, which sends a SIGHUP to notmuch, but doesn't do
anything else.  Meanwhile, suppose the notmuch search process has
printed some more output, but Emacs hasn't consumed it yet (this is
critical and is why this error only happens sometimes).

2) Emacs gets a SIGCHLD from the dying notmuch process, which invokes
handle_child_signal, which sets the new process status, but can't do
anything else because it's a signal handler.

3) Emacs returns to its idle loop, which calls status_notify, which
sees that the notmuch process has a new status.  This is where things
get interesting.

3.1) Emacs guarantees that it will run process filters on any
unconsumed output before running the process sentinel, so
status_notify calls read_process_output, which consumes the final
output and calls notmuch-search-process-filter.

3.1.1) notmuch-search-process-filter checks if the search buffer is
still alive and, since it's not, it calls delete-process.

3.1.1.1) delete-process correctly sees that the process is already
dead and doesn't try to send another signal, *but* it still modifies
the status to "killed".  To deal with the new status, it calls
status_notify.  Dun dun dun.  We've seen this function before.

3.1.1.1.1) The *recursive* status_notify invocation sees that the
process has a new status and doesn't have any more output to consume,
so it invokes our sentinel and returns.

3.2) The outer status_notify call (which we're still in) is now done
flushing pending process output, so it *also* invokes our sentinel.

This patch addresses this problem at step 3.1.1, where the filter
calls delete-process, since this is a strange and redundant thing to
do anyway.

emacs: Don't report CLI signals sent by Emacs as errors

Previously, when the user killed the search buffer before the CLI
search process had completed, we would report the signal sent by Emacs
to kill the CLI to the user as an error.  Fix this by only reporting
error exits if the process buffer is still live.  We still report
stderr output regardless in case stderr output was relevant to why the
user killed the search buffer (such as a wrapper script being stuck).

cli: Guard deprecated g_type_init calls

g_type_init was deprecated in GLib 2.35.1.  In order to compile
cleanly, guard these with a suitable #if.

(commit msg from https://bugs.freedesktop.org/attachment.cgi?id=73774 )

emacs: hello: allow deleting individual searches in the history

This commit adds an extra button at the end of the search entries that
allows deleting that individual search from the history. A short
confirmation («y» or «n») is made before taking action.

emacs: hello: ask confirmation for clearing recent searches

The button to clear the recent searches in notmuch-hello is easy to
press accidentally while moving around the, clearing potentially
useful searches with no way of recovering them.

debian: update build dependency to require ruby-dev 1:1.9.3

ruby1.8-dev provides ruby-dev, but ruby1.9.1-dev is currently
required (which is pulled by ruby-dev 1:1.9.3).

contrib: pick: remove unnecessary funcall

Remove unnecessary funcall. This keeps the pick function inline with
the recently tweaked show function.

news: Be louder about s/v/o/| on part buttons going away

This change is likely to affect most people, so put this information
right in the news header and be more explicit about it in the news
detail.

emacs: Fix applying stickiness to the :notmuch-part property

Previously, we simply called pushnew to add :notmuch-part to the
front-sticky and rear-nonsticky text property lists.  This works if
these are nil or lists, but they can also have the value t, meaning
that all properties are front-sticky/rear-nonsticky.  In this case,
pushnew will signal an error because t is not a list.  We never set
these properties to t ourselves, but since we apply these property
changes over arbitrary renderer output, we have to deal with this
possibility.

bindings/go: Start a .gitignore for go bindings.

In particular ignore downloaded source from github.com

bindings/python: ignore build subdirectory.

Update .gitignore to make git status less noisy

vim: use the old vim plugin function name

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

NEWS: update news about the vim interface

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

Add new notmuch vim plugin

The old one was not properly maintained and is now deprecated. The new
one has much better support.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

contrib: pick: bugfix: use notmuch-show-mark-read-tags instead of unread

Previously pick removed the unread tag from its tag display: since the
tag change is now customisable use the customised variable.

This only affected the tags displayed, not the tags in the database as
notmuch-show (in the view pane) did the actual tag changes.

contrib: pick: bugfix. use notmuch-show-only-matching-messages rather than prefix

Previously pick set a prefix argument prior to calling show in the
message pane to tell show to only show matching messages. This sets
notmuch-show-only-matching-messages instead which is much cleaner and
will work even if the user has configured show to default to showing
only matching messages.

build: pass CPPFLAGS to C and C++ compilers

This is used in particular by hardening flags.

configure: grab CPPFLAGS from the environment.

This is needed in particular for hardening flags.

debian: compile with V=1

The idea is to allow hardening verification tools (in particular blhc)
to scan the logs. Actually fixing the problem will require modifying
the notmuch configure script to propagate CPPFLAGS.

debian: update .gitignore

Several packages have been added or renamed, but their build detritus
not yet ignored.

emacs: update .gitignore

Start a seperate .gitignore for emacs stuff, move .elc rule there.

emacs: add `notmuch-archive-tags' cross references in docstrings

Several function docstrings refer to behaviour in docstrings that is
really controlled by notmuch-archive-tags. Add cross references, and
replace hardcoding.

emacs: remove hardcoded defaults values from docstrings

These functions refer to default values of variables, but it seems
less confusing and less likely to get out of date to just allow the
user to follow the help cross-reference links.

NEWS: key bindings for next/previous thread

emacs: replace setq + let with let*

I found several places where a setq is immediately followed by a let
or a let*. This seems to be the pessimal combination, with the
implicit scope of the setq combined with the extra indentation of the let.
I combined these cases into a single let* which I think is easier to read.

emacs: replace (funcall 'foo ...) with (foo ...)

I can't see any benefit to the funcall, and it looks like the result
of cut-and-paste from some code that actually used a variable for the
function to call.

contrib: pick: use the sexp parser

This just converts notmuch-pick to use the sexp parser.

packaging: fedora: add ruby bindings

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

packaging: fedora: package notmuch-mutt

From Fedora.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

packaging: fedora: package python bindings

Like in Fedora.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

packaging: fedora: separate package for emacs

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

packaging: fedora: reorganize files section

Also to sync with Fedora.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

packaging: fedora: trivial cleanups

Mostly to sync with Fedora's spec.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

packaging: fedora: remove irrelevant stuff

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

packaging: fedora: update

So at least it builds.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

News for S-expression support in Emacs search mode

emacs: Use streaming S-expr parser for search

In addition to being the Right Thing to do, this noticeably improves
the time taken to display the first page of search results, since it's
roughly an order of magnitude faster than the JSON parser.
Interestingly, it does *not* significantly improve the time to
completely fill a large search buffer because for large search
buffers, the cost of creating author invisibility overlays and
inserting text (which slows down with more overlays) dominates.
However, the time required to display the first page of results is
generally more important to the user experience.

emacs: Streaming S-expression parser

This provides the same interface as the streaming JSON parser, but
reads S-expressions incrementally.  The only difference is that the
`notmuch-sexp-parse-partial-list' helper does not handle interleaved
error messages (since we now have the ability to separate these out at
the invocation level), so it no longer takes an error function and
does not need to do the horrible resynchronization that the JSON
parser had to.

Some implementation improvements have been made over the JSON parser.
This uses a vector instead of a list for the parser data structure,
since this allows faster access to elements (and modern versions of
Emacs handle storage of small vectors efficiently).  Private functions
follow the "prefix--name" convention.  And the implementation is much
simpler overall because S-expressions are much easier to parse.

emacs: Use async process helper for search

Previously, search started the async notmuch process directly.  Now,
it uses `notmuch-start-notmuch'.  This simplifies the process sentinel
a bit and means that we no longer have to worry about errors
interleaved with the JSON output.

We also update the tests of Emacs error handling, since the error
output is now separated from the search results buffer.

emacs: Utilities to manage asynchronous notmuch processes

This provides a new notmuch-lib utility to start an asynchronous
notmuch process that handles redirecting of stderr and checking of the
exit status.  This is similar to `notmuch-call-notmuch-json', but for
asynchronous processes (and it leaves output processing to the
caller).

test: Remove extraneous Emacs error handling test

We now check error handling more carefully in the last test in
test/emacs and we're about to add more error handling tests.  (This
was also a strange place for this test, since it had nothing to do
with large search buffers.)

News for Emacs part handling changes

emacs: Bind MIME part commands to "." submap

Since the part commands are no longer tied to a button, but can be
applied with point anywhere within a part, bind the part commands
keymap to "." everywhere in the show buffer.  This lets you save or
view parts without having to navigate to the part button, and is
particularly useful for parts that have no button.

This removes the un-prefixed MIME part commands from the part button
keymap, but that's okay because those clashed in annoying ways with
show buffer bindings like "s" for search.  RET on part buttons is
unaffected, which is the most important part button binding.

emacs: Simplify MIME part command implementation

This unifies the part button actions and the underlying part action
functions into single interactive command that simply applies to the
part containing point using the just-added part p-list text property
instead of button properties.  Since all part actions can be performed
by applying the appropriate mm function to an mm-handle, this patch
abstracts out the creation of mm handles, making the implementations
of the part commands trivial.  This also eliminates our special
handling for part save in favor of using the appropriate mm function.

This necessarily modifies the way we handle the default part button
action, but in a way that does not change the meaning of the
notmuch-show-part-button-default-action defcustom.

Since these commands are no longer specific to buttons, this patch
eliminates the extra metadata stored with each button.  This also
eliminates one rather special-purpose macro for a collection of
general purpose part handling utilities.

emacs: Record part p-list in a text property

This is similar to what we already do with the message p-list, though
we apply the part's text property to the whole part's text, in
contrast with the message p-list, which is (rather obscurely) only
applied to the first character.

emacs: Retain text properties when toggling buttons

Previously, we lost any text properties applied to part buttons or
wash buttons when they were toggled because `insert' directly copies
the text properties of the string being inserted.  Fix this by
capturing the properties applied to the button beforehand and
re-applying them after inserting the new text.

TODO: keybindings for next/previous thread done

cli: remove unused argument descriptions

Clean up leftovers from help system rework. These are no longer
needed. They are easy to resurrect and update if a need later arises.

NEWS: added information about new --stderr=FILE top level option