Merge commit 'origin/sup-sync-improvements'

bugfix: label counts not set correctly on new messages

New labels were being deleted when label-list-mode was brought
up before they were sync'ed to disk. This fixes that, although
this whole thing should be changed. (See comments.)

add a --very-verbose option to sup-tweak-labels

make a Index#run_query method, update sup-tweak-labels

Index#run_query is now a way of running a query through Sup's
query-parsing and execution framework without being in a
curses context.

make parse_user_query_string raise exceptions on error

I.e. instead of flashing an error message. This makes it usable from
non-curses contexts, e.g. sup-tweak-labels.

chmod a+x bin/*

The files in there are all executables, and this simplifies running sup
in-tree.

Chronic context fix

Chronic should use a context of :past for email date searches as emails
tend to be in the past. This fixes a problem when the wrong year is
guessed. To search for emails in the future you now need to be less
ambiguous (1 apr 2099 instead of 1 apr).

Merge commit 'origin/string-split-fixes'

Merge commit 'origin/edit-message-mode-longname'

Merge branch 'better-buffer-list'

Merge commit 'origin/labels-rework'

Merge branch 'zsh-completion'

Merge branch 'dlload-bugfix'

clean up undo logic

Various changes:
- Use UndoManager#register block form where possible
- Clean up pluralization code
- Clean up undo return values
- Minor logic fixes

Still some work to do here to make undo lambda returning
more consistent.

make UndoManager#register take a block

Also clean up logging messages, argument handling, etc.

minor bugfix: rubymail sometimes returns a nil content_type

check for a correct date on mbox From lines

Determine a splitting line by looking for a From, a something else,
and a parseable date.

make the default MBox start offset be 0, not nil

This makes writing unit tests easier.

make MBox::Loader#next return nil once EOF is hit

Previously it was raising a debugging exception. This is a better
interface for writing unit tests against.

bugfix: further fixing of split usage

Clean up a couple remaining non-optimal uses of String#split.

bugfix: index label parsing code incorrect

Apparently split(/\s+/) is significantly different from split (which is
equivalent to split(" ")) in at least one case:

>> " a b  c   ".split(/\s+/)
=> ["", "a", "b", "c"]
>> " a b  c   ".split
=> ["a", "b", "c"]

This patch refactors the majority of uses of split(/\s+/) to a String#symbolize
method, which is correct.

minor: remove ucfirst (use capitalize instead)

Keymap: improve behaviour of apply to tagged in thread index

Make = a synonym for + in the thread index mode so that shift isn't
required to apply an action to all tagged messages.

Signed-off-by: Ben Walton <bwalton@artsci.utoronto.ca>

bugfix: typo

bugfix: poll.rb assuming all messages have froms

This was throwing an exception, so now it's protected. The from is only
necessary for the after-poll hook.

improve sup-sync output

Report every 15 seconds, and show the sender for added messages.

make sup-sync's --start-at actually useful

Using --start-at with sup-sync will now seek forward to the next valid message
if given an offset that's not on a message boundary. This makes it possible to
use that option without going through the laborious process of finding the
exact message boundary.

Also die unless --start-at is used with only one source, since using it across
multiple sources is almost definitely an error. (And if that's really what you
want, you can just call sup-sync multiple times.)

don't require has_errors? in Source objects

Properly speaking that's a function of a Recoverable object, not of a
source, so only call that method when it's availably.

make raw_message faster with string += => <<

this method ain't used that much, but << is significantly
faster than += for Strings.

fix mbox splitting regexp

I dunno. This helps with the "From problem", but at the expense of being
too specific than the mbox spec really demands. I don't think there's a
really right solution, in general (due to the mbox format being a
fundamentally broken one), but I'm hoping this will work with all modern
mbox files.

aaaand fix up NON_EDITABLE_HEADERS

Since the case has changes but we're doing caseful
comparisons. Sigh.

bugfix: edit-message-mode headers broken by case changes

This is a lousy hack, but: capitalize header names when
they come back from Source.parse_raw_email_header, and everything
should work as before.

don't automatically parse header on Message#new

You must now explicitly call #parse_header (e.g. when loading
from the index) or #load_from_source! (e.g. when loading from
disk).

This prevents redundant loading from the source when adding to the
index, as #snippet must be called before adding, and that requires
loading the entire message from the source.

make Index#sync_message take an extra speedy arg

Previously it would check the index if docid and entry were nil,
even though nil is a valid result of a previous check. Add an
extra argument controlling whether this check is performed again.

Results in a minor speedup.

disable extra (slow) sanity check in Index adding

better sup-sync output

move MBox.parse_header -> Source.parse_raw_email_header

disable logging of email header cleanups

I'm now pretty certain this logic is correct, and seeing these
messages was causing people some unnecessary grief. Commented
out for now.

change email header parsing. MASSIVE SPEEDUP!

restructure the email header parsing code to improve speed and to
improve API. MBox::read_header now returns a hash containing all
headers, with keys downcased but nothing else.

update Message#parse_header to accept this new format.

update unit tests to reflect new format.

The exciting news is that changes in how the parsing works have resulted
in a 480% speedup in message parsing speed (634 message/s vs 132
messages/s on my machine), across ALL source types. hell yes.

replace += with << in mbox reading

there's a tremendous speed difference between these two operators,
though neither of these points are bottlenecks.

remove vestigal mbox#read_body method

make sup-files.rb print out all files when executed

This makes it easy to do something like:
  vi `ruby ./sup-files.rb`
to edit all files.

improve mime-view and mime-decode hook documentation

Changed cc and bcc field editing to use Person.full_address instead of Person.longname which includes the quotations of the name if needed.

trivial: display attachment sizes

update NewUserGuide.txt with new keymappings

add libc message for BSD users

improve dlload of setlocale() and include cygwin

Now we catch errors instead of dying completely, and also add
the correct path for cygwin.

Merge branches 'dont-canonicalize-email-addresses', 'multi-remove-labels', 'merge-labels', 'background-save' and 'encoding-misspellings'

keybindings: ; -> buffer-list-mode, b, B, +

';' is mapped to buffer-list-mode. I really like this, because
then ;, j, k and enter are all you need to quickly swap between buffers.

Apply-to-tagged is now '+', from ';'. Sorry. But this also leaves
room for ':' as a future buffer-chooser device, e.g. by name, with tab
completion.

'B' is reenabled to mean swap-buffer-backwards.

improve buffer-list-mode to sort by atime and more

Sort buffers by atime, color by whether they're system buffers
or not, and show a '*' for buffers with unsaved content.

add unsaved? attribute to modes

This will be used for displaying a little '*' in buffer-list-mode.

add system and atime attributes to buffers

bugfix: catch invalid regular expressions in tag-matching

Resync listable_labels and applyable_labels with reality

The listable_labels method listed all labels except unread
which seems an unneeded complication/restriction, so it's
renamed to all_labels. The applyable_labels was in fact
user-defined labels so it's renamed to user_defined_labels.

Merge branch 'default-colors'

bugfix bugfix: preserve recipient_email email address

When responding to an email with a recipient_email field (i.e. an Envelope-To
header), look up the name in the account list, but keep the original email
address.

bugfix: reply from addresses drop the names

In the new world of no Person canonicalization, we instead need to go
through Account (which does map the name) when we use #recipient_email.

Various comment improvements as well.

update webpage to reference blog and fix 0.7 release date

overwrite from and to fields in index when saving a message

See comments in the code. This allows you to forcibly update the from/to
address stored in the index for messages, which means you can correct
the bad stuff stored in there due to previous versions of Sup that
canonicalized email addresses.

properly parse email addresses store in index

See comments in code. Email addresses are stored in the index in a bizarre
format, but we can re-parse them.

remove references to PersonManager in tests

Remove the now useless PersonManager

Replace PersonManager.person_for by Person.from_address
and PersonManager.people_for by Person.from_address_list

Close the "remove email->name mapping" issue

Remove the people.txt mapping.

Add lib/sup/undo.rb to Manifest.txt

Initial zsh completion.

rework Rakefile for "rake gem" and "rake tarball"

Move version into sup-version.rb and filelist into sup-files.rb. Rake gem
now builds the gem; rake tarball builds the tarball. No Hoe involved.
Update release-script accordingly.

make ThreadIndexMode#save optionally threaded

The call to #save during #cleanup needs to block because this is where
state gets saved immediately before exit. Other calls to #save, e.g.
those triggered by "$", can be backgrounded.

background-threadify message state saving

don't add :unread and :inbox for dupes

Allow merging in of labels from duplicate messages, EXCEPT for
:unread and :inbox labels. (These two have special semantics
and, in contrast to the other special-semantics labels, might
appear on a new message.)

foreground colors should stay "black", not "default"

Whoops. The previous change was overbroad. Background colors that were "black"
should now be "default", but foreground "black" should stay "black".

change default background colors from "black" to "default"

This allows transparent terminals to work correctly.

Thanks to Chris Benuzzi <cbenuzzi@gmail.com>.

make ncurses use terminal default colors

decoding: handle more misspellings, in particular ISO-8859-15

Fix a bug in sup-tweak-label when multiple sources are given.

Resent...

Allow multi_edit_labels to remove labels using -lab (the "; l" key binding)

update release-script for new process

No longer using Hoe. Manual build & upload process.

add sup.gemspec

remove welcome to sup message

Sorry, I just found it too irritating.

minor README tweaks

update unit tests to reflect header parsing

Blank headers now have a value of "", not nil. Nothing wrong with that.
The test captures behavior that doesn't really matter, but I've updated
it to at least reflect reality.

fix contributor list in index.html

bugfix: previous bugfix was broken.

That will teach me to commit without testing!

bugfix: sporadic hash traversal error

Don't modify header hash in place while traversing with #each, because
apparently that's a problem for Ruby. But only sometimes.

Based on a patch by Rick Tessner <rick.tessner@gmail.com>.

remake CONTRIBUTORS

minor whitespace cleanup

correctly parse headers starting with empty lines

Handle message headers that are split across multiple lines and start
with a blank line.

Patch modified slightly by William Morgan.

Fix a recurring bug about killed threads.

Resent...

prepare for 0.7 release

Changed README to reflect addition of undo

Added undo for label edit

Added undo for delete thread

Added undo for thread deletion

Added undo for spam

Added undo for starring

Added undo for archive

Added UndoManager class

The UndoManager keeps a list of lambdas that undo actions. It's designed to be used by keypress hooks. It is initialized in the main sup thread along with UpdateManager, etc.

bugfix: allow unset default_attachment_save_dir

If this variable isn't set in the config file, don't die.

use offscreen lines for textfield overflow

In the To:, Cc:, Bcc:, etc., prompts, the TextField was initializing
an NCurses form with zero offscreen lines.  So when the user typed too
many addresses at the prompt the cursor wrapped around and everything
they had typed was clobbered.  This patch initializes the form object
to have 256 offscreen lines (I had no rationale for 256 except that it
is a nice, big power of two).  Now the user can type plenty of names
and the wrap-around works as the user would expect.