Support for printing file paths in new command

For very large mail boxes, it is desirable to know which files are being
processed e.g. when a crash occurs to know which one was the cause. Also,
it may be interesting to have a better idea of how the operation is
progressing when processing mailboxes with big messages.

This patch adds support for printing messages as they are processed by
"notmuch new":

* The "new" command now supports a "--verbose" flag.

* When running in verbose mode, the file path of the message about to be
  processed is printed in the following format:

    current/total: /path/to/message/file

  Where "current" is the number of messages processed so far and "total" is
  the total count of files to be processed.

  The status line is erased using an ANSI sequence "\033[K" (erase current
  line from the cursor to the end of line) each time it is refreshed. This
  should not pose a problem because nearly every terminal supports it.

* The signal handler for SIGALRM and the timer are not enabled when running
  in verbose mode, because we are already printing progress with each file,
  periodical reports are not neccessary.

Merge remote branch 'drax/master'

switch to button-1, which seems to interact poorly with text-selection by mouse

TODO: Add a bunch of ideas that have been on my mind lately.

So get these out of my mind and out to the user community.

instead of trying to cause a redisplay, actually do a redisplay

put a newline after the headers

make header names bold in show-mode

Make expanding/collapsing signatures and citations local to them

This is the first step towards localizing all the expand/collapse
operations in the show buffer

buttonize signatures as well

Buttonize citation expander.

Currently the button has no action or special handling at all.

notmuch-show: Show message part using UTF-8.

Pass the message through the charset filter so that we can view
messages wrote in different charset encoding.

Signed-off-by: Kan-Ru Chen <kanru@kanru.info>

Missing final semi-colon in .desktop's Categories.

"Those keys which have several values should have a semicolon as the trailing
character."
  -- http://standards.freedesktop.org/desktop-entry-spec/1.0/ar01s03.html

Signed-off-by: James Rowe <jnrowe@gmail.com>
Reviewed-by: Jeffrey C. Ollie <jeff@ocjtech.us>

Fix invalid face reference.

To avoid the "Invalid face reference: cons [18 times]" kind of message
goes on and on in the *Messages*.

Signed-off-by: Kan-Ru Chen <kanru@kanru.info>

notmuch-new: Only print the regular progress report when on a tty

Check that the stdout is connected to an interactive terminal with
isatty() before installing the periodic timer to print progress reports.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

notmuch-new: Only install SIGALRM if not running under gdb

I felt sorry for Carl trying to step through an exception from xapian
and suffering from the SIGALARMs..

We can detect if the user launched notmuch under a debugger by either
checking our cmdline for the presence of the gdb string or querying if
valgrind is controlling our process. For the latter we need to add a
compile time check for the valgrind development library, and so add the
initial support to build Makefile.config from configure.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>
Reviewed-by: Carl Worth <cworth@cworth.org>
[ickle: And do not install the timer when under the debugger]

lib/database.cc: coding style

Carl claims he must have been distracted when he wrote this...

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

Makefile: Fix to work even with GZIP environment variable set.

The rule here was written to assume that if the GZIP environment
variable was set that it would be the gzip binary to execute,
(similar to the CC and CXX variables). But GZIP is actually used
to pass arguments to gzip, so we have to use a different name.

Makefile: Magic silent rules.

Use the facilities of GNU make to create a magic function that will
on the first invocation print a description of how to enable verbose
compile lines and then print the quiet rule.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>
Signed-off-by: Carl Worth <cworth@cworth.org>
Cc: Mikhail Gusarov <dottedmag@dottedmag.net>
[ickle: Rebased, and duplicate command string eliminated.]
[ickle: Fixed verbose bug pointed out by Mikhail]

add_message: Use sha-1 in place of overly long message ID.

Since Xapian has a limit on the maximum length of a term, we have
to check for that before trying to add the message ID as a term.

This fixes the bug reported by Mike Hommey here:

<20091120132625.GA19246@glandium.org>

I've also constructed 20 files with a range of message ID lengths
centered around the Xapian term-length limit which I'll use to seed a
new test suite soon.

get_timestamp: Ensure that return value is 0 in case of exception.

Just to be on the safe side of things.

Catch and optionally print about exception at database->flush.

If an earlier exception occurred, then it's not unexpected for the
flush to fail as well. So in that case, we'll silently catch the
exception. Otherwise, make some noise about things going wrong at the
time of flush.

Add a missing print after catching an exception.

Without this, trying to debug this exception was *really* confusing.

Print information about where Xapian exception occurred.

Previously, our Xapian exception reports where identical so they
were hard to track down.

notmuch-config: Fix memleaks.

While talloc is great we need to free the g_error by hand.

Tested-by: Stefan Schmidt <stefan@datenfreihafen.org>
Signed-off-by: Holger Freyther <zecke@selfish.org>

notmuch new: Fix to actually open the database READ_WRITE.

Chris claims he must have been distracted when he wrote this.

Fix freak case problem that broke the compile.

I think I must have bumped some emacs keybinding that changed the case
of a word here.

Rename NOTMUCH_DATABASE_MODE_WRITABLE to NOTMUCH_DATABASE_MODE_READ_WRITE

And correspondingly, READONLY to READ_ONLY.

Permit opening the notmuch database in read-only mode.

We only rarely need to actually open the database for writing, but we
always create a Xapian::WritableDatabase. This has the effect of
preventing searches and like whilst updating the index.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>
Acked-by: Carl Worth <cworth@cworth.org>

INSTALL/notmuch.el: More details on how to install/run notmuch.el

Hopefully this will save some people some head-scratching trying
to figure out how to use it.

INSTALL: emacs install dokumentation.

Write down the steps needed to install and actuall use notmuch in emacs. Should
help emacs newbies.

Signed-off-by: Stefan Schmidt <stefan@datenfreihafen.org>

Revert "notmuch: Add Maildir directory name as tag name for messages"

This reverts commit 9794f19017e028b542ed715bef3fd7cf0da5edff.

The feature makes a lot of sense for the initial import, but it's not
as clear whether it makes sense for ongoing "notmuch new" runs. We
might need to make this opt-in by configuration.

TODO: Add notes on portability, and remove completed tasks.

It's better to have things in TODO rather than mails with a todo
tag in my notmuch database.

TODO: Several updates.

INSTALL: Mention that xapian-config might be named xapian-config-1.1

As reported on the mailing list.

notmuch: Add Maildir directory name as tag name for messages

This patch adds maildir directory name as the tag name for
messages. This helps in adding tags using filtering already
provided by procmail.

Signed-off-by: Aneesh Kumar K.V <aneesh.kumar@linux.vnet.ibm.com>

Makefile: Fix the fallback emacs install path.

When pkg-config can't be used to find out where to install emacs
files, we fallback to a hard-coded directory. Only, we were falling
back to the wrong thing, (one that emacs doesn't look into by
default).

Drop redundant CFLAGS, was already included in CXXFLAGS

notmuch reply: Include text parts in reply, even with disposition attachment.

If it's text, (such as a patch), then I want it quoted in my reply,
(so that I can comment on it).

notmuch show: Don't hide text parts, even with disposition attachment.

If it's text, (such as a patch), then I want to see it.

notmuch show: Don't hide a digital signature.

This was a bug that was introduced in copying the indexing code over
into notmuch-show.c. When indexing, we want to ignore the signature,
(it has no interesting terms). But when presenting the message, it's
important to present the signature to the user.

(And would be even better if we presented whether or not the signature
is good.)

notmuch.el: Don't use end-of-buffer which is inappropriate from programs

The documentation is quite clear about this case.

With this, we can now byte compile without warnings.

notmuch.el: Fix stale reference to non-existing variable.

We changed from "query" to "thread-id" a while ago, and broke this
error message at the time. Fix it now.

notmuch.el: Add many missing defvar calls.

Without these, emacs was complaining about "assignment to free variable",
(though only when byte compiling, which is why we didn't notice earlier).

When a search query triggers a Xapian exception, log what the query was.

In my script containing a series of queries to be run on new mail for
setting up tags, it's nice to see which query I typed wrong.

Signed-off-by: Eric Anholt <eric@anholt.net>

Make bash completion directory configurable.

Some systems install completion scripts in /usr/share/bash-completion, make the
location configurable from Makefile.config.

add_message: Re-fix handling of non-mail files.

More fallout from _get_header now returning "" for missing headers.

The bug here is that we would no longer detect that a file is not an
email message and give up on it like we should.

And this time, I actually audited all callers to
notmuch_message_get_header, so hopefully we're done fixing this
bug over and over.

notmuch_database_add_message: Add missing error-value propagation.

Thanks to Mike Hommey for doing the analysis that led to noticing that
this was missing.

add_message: Properly handle missing Message-ID once again.

There's been a fair amount of fallout from when we changed
message_file_get_header from returning NULL to returning "" for
missing headers. This is yet more fallout from that, (where we were
accepting an empty message-ID rather than generating one like we want
to).

Checkin some command-only tcsh completions

Modified-by Carl Worth <cworth@cworth.org>: Just moved the file down
into contrib where the other completion scripts are.

bash-completion: Move to contrib

Signed-off-by: Ingmar Vanhassel <ingmar@exherbo.org>

zsh-completion: Initial zsh-completion for notmuch

Signed-off-by: Ingmar Vanhassel <ingmar@exherbo.org>

Add notmuch.1.gz to files to be cleaned

Signed-off-by: Mikhail Gusarov <dottedmag@dottedmag.net>

TODO: Add a couple of notes about fixing the completion script.

I'm throwing away a half-finished fix of this now, and just want to
ensure I don't forget about it.

Makefile: Make object targets depend on Makefiles

All objects need to be recompiled when any of the Makefiles changes, so
we make them all depend on all the Makefiles.

Signed-off-by: Jan Janak <jan@ryngle.com>

Allow to redefine notmuch binary name and path in elisp mode

Signed-off-by: Mikhail Gusarov <dottedmag@dottedmag.net>

notmuch.el: Don't use literal control characters in strings.

Avoding these is nicer to users, text editors, and our poor little
notmuch.el code itself that would get confused when seeing a copy of
itself in email. (Of course, we should still fix that bug, but this
workaround is good nonetheless.)

Makefile: Hard-code emacs_lispdir if emacs pkg-config file not available

Using pkg-config to find this variable is nice if it works. Go back to
the previously used value if it doesn't.

Makefile: Remove unused variable emacs_startdir

This was added in a prelimnary version of a previous commit that would
automatically load notmuch.el for anyone running emacs. It's not used
at all in the current Makefile.

Avoid access of a Xapian iterator's object when there's nothing there.

This eliminates a crash when a message (either corrupted or a non-mail
file that wasn't properly detected as not being mail) has no In-Reply-To
header, (and so few terms that trying to skip to the prefix of the
In-Reply-To terms actually brings us to the end of the termlist).

Revert inadvertently committed code.

This was accidentally included with commit:

ddac17343a30976cae82c9f57419c063e1585cc0

(It was a dirty chunk in my directory that I accidentally amended into
the submitted patch.)

notmuch build: add a RPM spec file

Add a spec file for building RPM packages.

Signed-off-by: Jeffrey C. Ollie <jeff@ocjtech.us>

Add a .desktop file entry.

This will add an entry in your window manager's menus that will create
up a new emacs process and start notmuch.

Signed-off-by: Jeffrey C. Ollie <jeff@ocjtech.us>

Improve installation of emacs mode.

1) Add a separate targets to build and install emacs mode.

2) Don't hardcode the installation directory, instead use emacs'
   pkg-config module.

3) Install a byte compiled version of the emacs mode.

4) Install the emacs mode in emacs' site-lisp directory.  Put
   "(require 'notmuch)" in your .emacs to load it automatically.

5) Ignore byte-compiled emacs files.

Signed-off-by: Jeffrey C. Ollie <jeff@ocjtech.us>
Reviewed-by: Ingmar Vanhassel <ingmar@exherbo.org>
Reviewed-by: Keith Packard <keithp@keithp.com>

Have git ignore tags & cscope files

Put $(LDFLAGS) after the list of object files.

Some linkers on some systems are particularly picky about the order of
arguments in order to properly linkt. So this fixes failures on some
systems.

notmuch: Add search mode hook

This patch add notmuch-search-hook that gets run when we
after displaying search results

Signed-off-by: Aneesh Kumar K.V <aneesh.kumar@linux.vnet.ibm.com>
Cc:Keith Packard <keithp@keithp.com>

Makefile: Create elisp install directory explicitly

When doing a DESTDIR install, this directory likely won't exist, and
installing notmuch.el will fail.

See 0d4b5292

bash-completion: Complete options for notmuch search

bash-completion: Localize variables, use more consistent variable names

bash-completion: Whitespace fix

Signed-off-by: Ingmar Vanhassel <ingmar@exherbo.org>

bash-completion: Bash has & should use [[ == ]]

Signed-off-by: Ingmar Vanhassel <ingmar@exherbo.org>

Allow lone "not" search operators

As suggested by Keith in FLAG_PURE_NOT allows for expressions like:

  notmuch search NOT tag:inbox

Note that this way a search like:

  notmuch search foobar NOT tag:inbox

should not be written instead:

  notmuch search foobar AND NOT tag:inbox

In my opinion, the latter feels more natural and is somewhat more explicit.
It gives a better clue of what the search is about instead of assuming that
an implicit AND operator is there.

.gitignore: Add common editor droppings

notmuch new: Restore printout of total files counted.

This was more fallout from the recent re-shuffling of this code.

notmuch new: Fix countdown timer on first run.

A recent shuffling of this code accidentally disabled the timer,
(making the time spent counting the files totally useless).

Makefile: Actually install the emacs mode.

Should have been doing this a long time ago.

notmuch.el: Add a reply binding ('r') to search mode to reply to a whole thread.

This is basically right, (I get a message buffer with all the mails
quoted), but somehow notmuch reply is reversing the messages. That's a
nuisance.

reply: Pointer mismatch.

Apparently typeof (size_t) != unsigned int on my x86-64.

Makefile: evaluate pkg-config once

Currently the same `pkg-config ...` is executed for every target, so
just store the results in a variable.

Make reply/show/tag all require at least one search term

In particular, notmuch tag -inbox "" tended to take a long time to
run, happened if you hit 'a' on a blank line in the search view and
probably didn't have the desired effect.

Signed-off-by: Keith Packard <keithp@keithp.com>

Have git ignore etags file

Filter out carriage-returns in show and reply output.

Thanks, windows mail clients.

Signed-off-by: Keith Packard <keithp@keithp.com>

We use the message mail system for new mail, let emacs know.

This makes things like the goto-address system bring up the right
message composition window.

Signed-off-by: Keith Packard <keithp@keithp.com>

Create a default notmuch-show-hook that highlights URLs and uses word-wrap

I created the notmuch-show-hook precisely so I could add these two
options, but I suspect most people will want them, so I just made them
the default. If you don't want them, you can use remove-hook to get
rid of this.

Signed-off-by: Keith Packard <keithp@keithp.com>

Set truncate-lines variable for search buffers.

This keeps them from wrapping.

Signed-off-by: Keith Packard <keithp@keithp.com>

Add notmuch-show-hook to allow customization of show windows

I wanted to enable got-address-mode and visual-line-mode in my show
windows to make messages easier to read and URLs easier to
follow. This hook allows the user to run arbitrary code each time a
message is shown.

Signed-off-by: Keith Packard <keithp@keithp.com>

count_files: sort directory in inode order before statting

Carl says: This has similar performance benefits as the previous
patch, and I fixed similar style issues here as well, (including
missing more of a commit message than the one-line summary).

Minor style fixups for the previous fix.

Use consistent whitespace, a slightly less abbreviated identifier, and
avoid a C99 declaration after statement.

Read mail directory in inode number order

This gives a rather decent reduction in number of seeks required when
reading a Maildir that isn't in pagecache.

Most filesystems give some locality on disk based on inode numbers.
In ext[234] this is the inode tables, in XFS groups of sequential inode
numbers are together on disk and the most significant bits indicate
allocation group (i.e inode 1,000,000 is always after inode 1,000).

With this patch, we read in the whole directory, sort by inode number
before stat()ing the contents.

Ideally, directory is sequential and then we make one scan through the
file system stat()ing.

Since the universe is not ideal, we'll probably seek during reading the
directory and a fair bit while reading the inodes themselves.

However... with readahead, and stat()ing in inode order, we should be
in the best place possible to hit the cache.

In a (not very good) benchmark of "how long does it take to find the first
15,000 messages in my Maildir after 'echo 3 > /proc/sys/vm/drop_caches'",
this patch consistently cut at least 8 seconds off the scan time.

Without patch: 50 seconds
With patch: 38-42 seconds.

(I did this in a previous maildir reading project and saw large improvements too)

Make '?" bring up a list of bindings.

Just using describe-mode for now, (though something more specialized
would be better).

Fix linking with gcc to use g++ to link in C++ libs.

Previously, Ubuntu 9.10, gcc 4.4.1 was getting:

/usr/bin/ld: lib/notmuch.a(database.o): in function global
constructors keyed to BOOLEAN_PREFIX_INTERNAL:database.cc(.text+0x3a):
error: undefined reference to 'std::ios_base::Init::Init()'

notmuch main(): Remove stale comment.

The code this comment was referring to has since been deleted.

notmuch help: Print to stdout, not to stderr.

Let usage() take a FILE * argument so that you can output to stderr in
response to usage errors, and stdout in response to an explicit
request.

notmuch search: Avoid infinite stream of exceptions from "notmuch search"

That is, give a nice error message and exit if no search terms are
provided. Thanks to Priit Laes <plaes@plaes.org> for reporting the
error and providing an early version of the fix.

README: Mention the actual mailing list address now that it exists.

Much better than telling people to mail me individually.

Typsos

Older versions of install do not support -C.

Do not use -C cmdline option of install, older versions, commonly found in
distributions like Debian, do not seem to support it. Running make install
on such systems (tested on Debian Lenny) fails.

Signed-off-by: Jan Janak <jan@ryngle.com>

linke_message: Avoid segfault when In-Reply-to header is empty.

This was recently introduced in commit:

64c03ae97f2f5294c60ef25d7f41849864e6ebd3

which was adding extra checks to avoid adding a self-referencing
message.

How many times am I going to fix a dumb regression like this and say
"we really need a test suite" before I actually sit down and write the
test suite?

notmuch-completion.bash: Update for new commands and help.

Would be nice to add the options for "notmuch search" too.

notmuch help: Update documentation (following recent text from notmuch.1)

We take the recently created text from the notmuch manual page and
update the "notmuch help" command to use similar text. In particular,
we add a new "notmuch help search-terms" for documenting the search
syntax that is common to several commands.