handle malformed multiplart messages

minor sup-config output tweaks

sup-config whitespace tweaks

bugfix in yaml serialization

Objects that don't respond to before_marshal were being turned into false.
Whoops!

fail fast if config is not valid

bugfix: crypto return values when no gpg binary detected

Tweak the return values of CryptoManager#decrypt so that the notice widget is
the first thing returned regardless. Makes the code cleaner.

sup-sync: restore state on messages that don't already exist

add UTF-8 encoding string for ArchLinux systems

in ArchLinux, UTF-8 encoding is identified by "utf8" instead of
"UTF-8".

remove obsolete Manifest.txt

Merge branch 'run-mailcap-fixes'

Conflicts:
lib/sup/message-chunks.rb

Merge branch 'buffer-rolling'

Merge branch 'locking-refactor'

Conflicts:
bin/sup
bin/sup-sync-back
bin/sup-tweak-labels
lib/sup.rb
lib/sup/suicide.rb

Merge branch 'ncurses-fixes'

Conflicts:
lib/sup/buffer.rb

Merge branch 'various-api-refactors'

Merge branch 'logging'

convert a couple of arrays to sets for labels

This fixes some crashes when using 'l' in thread-view-mode that
have been present since commit 7aea418a8a62b7070eee764475fcfc0bdd8d58dd
("maintain labels as Sets rather than arrays").

fix garbaged text in textfield when using ncursesw

Apparently, field_buffer content is not initialized to blanks when using
the wide-character version of ncurses. Forcing a call to
set_field_buffer fix the problem.

fix a thread merging bug introduced by refactoring in 59f8fc2

Signed-off-by: Alex Vandiver <alex@chmrr.net>

switch non-error imap messages to info from debug

minor logging output tweak

minor misc code tweaks

have mbox, maildir and imap sources (de)serialize labels nicely

At output time, rather than emitting a YAML Set (which is nasty), emit an array
of strings. At input time, normalize into a Set of labels.

add hooks for before- and after- yaml marshalling

add 'I' keybinding to raise Inbox buffer

skip system buffers when rolling

maildir: allow ', ' in the unique-name portion of a maildir filename

The maildir specification says the following about unique names:

    A unique name can be anything that doesn't contain a colon (or
    slash) and doesn't start with a dot.

    [http://cr.yp.to/proto/maildir.html]

So disallowing a unique name to have a comma breaks maildir import on
systems where there is a comma in the names.

ncurses cursor pops on after refresh. disable that.

Yet more shotgun programming.

bugfix:relay event when new message is added to index

made this fancy method, and then i forgot to use it!

rewrite logging to have multiple levels: debug, info, etc.

Level is now set by SUP_LOG_LEVEL environment variable.

Big patch here, but most of it is replacing the old Redwood::log calls.

Some work on poll-mode, which subclasses log-mode. Remind me never to use
inheritance again.

rewrite Singleton to not require i_am_the_instance

The flip side is that you have to use .init instead of .new.

minor code style tweaks and whitespace removals

refactor index access into three methods and rewrite PollManager#each_message_from

Couple big changes in this commit, but they're all tied together.

Index.sync_message is refactored into three separate methods: add_message,
update_message and update_message_state. The intention is that add_message is
called for new messages only, update_message is called for changing the method
body on disk (e.g. when we see multiple copies of the same message, or by
DraftManager when the text of a draft is changes), and update_message_state is
called when the labels on a message change. So indexes that differentiate those
operations can exhibit more natural performance characteristics.

Also, PollManager.add_messages_from has been renamed to each_message_from and
changed significantly. It now *only* yields successive messages; it does not
load the index version of the message, and it does not auto-add the message to
the index.  (In fact, it ignores the result of the block.) There's also a new
method called add_new_message that calls Index.add_message and then relays the
update to other GUI elements.

There was a lot of refactoring of sup-sync that was part of this. Probably
not strictly necessary but it was too hard to untangle the changes.

maintain labels as Sets rather than arrays

restore keypad mode after we force ncurses to refresh the whole screen

This also happen to fix a regression after a call to run-mailcap, since
for some reason a screen resize event is triggered when we get control
back...

when writing mbox files, output From_ line date as utc

Otherwise, parsing the From_ lines later will fail!

use BufferManager.shell_out to call run-mailcap instead of system

This ensure ncurses state is correctly restored upon command completion.

don't redirect stderr to /dev/null when calling run-mailcap

Some programs will fail to work correctly if this is done, like for
example: w3m --dump, to view HTML files.

move xapian index loading into load_index

allow sup-sync to use --start-at with --restored

refactor index locking interaction and replace suicidemanager

Since SIGTERM now works, we have a better way of killing a remote
process than SuicideManager. So replace that with a $die global.
Also refactor the interactive locking code into a separate module
so as not to pollute index.rb with such trivial concerns.

die gracefully upon SIGKILL

rewrap getch in select, handle sigwinch manually

This is necessary to operate with many versions of the ruby ncurses library,
all of which block threads when getch is being called. But this means we can't
use getch to determine a sigwich, since we won't see it until an actual key is
pressed. so we handle sigwinch ourselves.

trap term

improve ncurses key handling for sigwinch and sigint

see comments. adding a nodelay call before each getch means we don't need a
select() call, which means that we can get sigwinch and sigint signals from
ncurses.

port ezyang@mit.edu's chattyness patch over to xapian/ferret split

xapian: drop excessively long terms

Merge branch 'xapian'

Conflicts:
lib/sup/index.rb

xapian: fix issue with empty ferret query

xapian: fix MAX_DATE

explicitly load messages in testcase

make logging less chatty

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

fix broken arrow keypresses after shelling out

Signed-off-by: Edward Z. Yang <ezyang@mit.edu>

Use /etc/mailname if present to determine the hostname for Message-Id

Signed-off-by: Adeodato Simó <dato@net.com.org.es>

easy_decode now also catches InvalidCharacter

Unbreak "bounce-command" hook (was referencing an nonexistent variable)

Signed-off-by: Adeodato Simó <dato@net.com.org.es>

xapian: dont exclude spam/etc in some internal searches

xapian: initialize sources in sup-dump

xapian: fix mk_addrs args in build_message

bugfix: dates need to be truncated for xapian to index

If dates are way out of range, the current indexing process both dies
and generates bad doc ids. This patch forces dates to be within a
reasonable range (current between 1969 and 2038.) Not necessarily the
best solution.

explicitly load index version, for better error messages

Catching the LoadError was masking errors from not having dependent
library like xapian and gdbm. This change makes the error messages
reflect what's actually missing. Since we're adding index types at
roughly once every 3 years, an explicit list like this shouldn't be too
difficult to maintain.

dont using SavingHash#[] for membership test

add limit argument to author_names_and_newness_for_thread

fix String#ord monkeypatch

index: add xapian implementation

index: choose index implementation with config entry or environment variable

add Message.indexable_{body, chunks, subject}

remove last external uses of ferret docid

index: move Ferret-specific code to ferret_index.rb

index: make wrap_subj methods private

index: revert overeager opts->query rename in each_message_in_thread_for

index: remove unused method fresh_thread_id

move source-related methods to SourceManager

index: move has_any_from_source_with_label? to sup-sync-back

switch DraftManager to use Message.build_from_source

index: remove unused method load_entry_for_id

remove ferret entry from poll/sync interface

This leads to an extra index lookup in the sup-sync update path, but I think
it's worth it for the sake of API simplicity.

remove load_entry_for_id call in DraftManager.discard

remove load_entry_for_id call in sup-recover-sources

index: consistent naming

Replaced use of run_query with each_docid
Rename instances of ferret query objects to 'ferret_query'
Rename 'build_query' to 'build_ferret_query'
Rename hashes passed to index methods to 'query'
Rename 'parse_user_query_string' to 'parse_query'
Change 'parse_query' to return a query hash
Rename 'drop_entry' to 'delete' and modify callers to pass msgid

index: cleanup interface

Added the public methods 'each_docid', 'each_message', and 'optimize' to the
index. Removed the 'index' and 'ferret' accessors and modified their callers to
use the new methods. Bonus fixes: sup-dump no longer skips the first message
and sup_sync --start_at can now delete unseen messages.

fix another missing part of a previous merge

fix missing part of a previous merge

Merge commit 'bwalton/bw/flexible_sent'

Conflicts:

lib/sup/poll.rb
lib/sup/sent.rb

Merge commit 'bwalton/bw/bounce_message'

Merge branch 'labels-before-subj'

bugfix: correct time format in sent message mbox

Use Time#asctime. Otherwise for strange locales, the mbox format is
not quite right and the splitter won't be able to read it!

remove warnings about RE_UTF8

fixes for ruby1.9

Change colons in case statements to 'then'
Fix a block that didn't take enough arguments
Rename variables to avoid shadowing warnings
Use String.ord (and define it for 1.8)
Use DL::Importer on 1.9
Make require 'fastthread' optional
Copy in RE_UTF8

update changelog and releasenotes for 0.8.1

make multibyte display "work" for non-utf8 locales

A nasty hack, but fixes a previous utf8-centric change.

fix reply-mode always selecting "Customized"

Since an earlier patch changed parse_headers, or something, the emitted header
needs to have the correct case.

reduce quote parsing worst-case behavior

Split a quote regex into two to increase performance on certain long strings.

Thanks to Edward Z. Yang.

Bounce Message Hook

Determine the command used to bounce a message based on a Hook instead
of a configuration option.  Instead of writing an external script that
can send the message properly based on the recipient addresses, rely
on a hook that can return the command based on the From header in the
mail being bounced as well as the intended recipients.  This is more
in line with the sup philosophy.

The default is still to strip any -t from the sendmail command of the
default account.

Signed-off-by: Ben Walton <bwalton@artsci.utoronto.ca>

Add message bouncing capability

Bouncing a message is akin to redirecting a mail with a .forward
entry.  It is passed back to the mail system as it sits on disk.

By pressing ! while viewing a message, you can now re-inject it to the
mail system using either the command defined in bounce_sendmail or the
sendmail command for the default account with any instance of -t
removed. The user is prompted for the recipients of the message and is
offered a chance to confirm the bounce before it is sent.

The message is _not_ stored in the sent box, as this doesn't make
sense with bounced messages (and would not show up uniquely anyway).

The bounce_sendmail configuration item allows users that require
different sendmail commands depending on where the bounce is destined
to write a wrapper around their local mail tools to pick and choose
the appropriate injection method for the message based on the
addresses passed in.  Most systems can likely use: sendmail -oem -i

Signed-off-by: Ben Walton <bwalton@artsci.utoronto.ca>

update documentation to be slightly less out of date

add sup-announce list info to webpage

update changelog, etc for 0.8 release

don't jump to the next open message when expanding

When pressing enter to expand an entire message, don't jump to the next
open message. Only jump when you've collapsed the message.

Add V to view a raw message (headers and body).

This is an augment of the already existing view header (H) command,
but allows viewing of all mime parts in their raw form, etc.

Signed-off-by: Ben Walton <bwalton@artsci.utoronto.ca>

make enter collapse current message in thread-view-mode

Pressing enter while over a text region in thread-view-mode will now
collapse the current message and move the cursor to the next open
message. (Behavior on quoted regions, sigs, attachments, etc. is
unchanged.)

This means that you can scan through a thread pretty rapidly by pressing
enter if you want to collapse the current message, or 'n' if you want
to keep it open.