git.cworth.org Git - sup/blob - lib/sup/mbox/loader.rb

   1 require 'thread'
   2 require 'rmail'
   3
   4 module Redwood
   5 module MBox
   6
   7 class Error < StandardError; end
   8
   9 class Loader
  10   attr_reader :filename
  11   bool_reader :usual, :archived, :read, :dirty
  12   attr_accessor :id, :labels
  13
  14   ## end_offset is the last offsets within the file which we've read.
  15   ## everything after that is considered new messages that haven't
  16   ## been indexed.
  17   def initialize filename, end_offset=0, usual=true, archived=false, id=nil
  18     @filename = filename.gsub(%r(^mbox://), "")
  19     @end_offset = end_offset
  20     @dirty = false
  21     @usual = usual
  22     @archived = archived
  23     @id = id
  24     @mutex = Mutex.new
  25     @f = File.open @filename
  26     @labels = ([
  27       :unread,
  28       archived ? nil : :inbox,
  29     ] +
  30       if File.dirname(filename) =~ /\b(var|usr|spool)\b/
  31         []
  32       else
  33         [File.basename(filename).intern]
  34       end).compact
  35   end
  36
  37   def seek_to! offset
  38     @end_offset = [offset, File.size(@f) - 1].min;
  39     @dirty = true
  40   end
  41   def reset!; seek_to! 0; end
  42   def == o; o.is_a?(Loader) && o.filename == filename; end
  43   def to_s; "mbox://#{@filename}"; end
  44
  45   def is_source_for? s
  46     @filename == s || self.to_s == s
  47   end
  48
  49   def load_header offset=nil
  50     header = nil
  51     @mutex.synchronize do
  52       @f.seek offset if offset
  53       header = MBox::read_header @f
  54     end
  55     header
  56   end
  57
  58   def load_message offset
  59     ret = nil
  60     @mutex.synchronize do
  61       @f.seek offset
  62       RMail::Mailbox::MBoxReader.new(@f).each_message do |input|
  63         return RMail::Parser.read(input)
  64       end
  65     end
  66   end
  67
  68   def raw_header offset
  69     ret = ""
  70     @mutex.synchronize do
  71       @f.seek offset
  72       until @f.eof? || (l = @f.gets) =~ /^$/
  73         ret += l
  74       end
  75     end
  76     ret
  77   end
  78
  79   def raw_full_message offset
  80     ret = ""
  81     @mutex.synchronize do
  82       @f.seek offset
  83       @f.gets # skip mbox header
  84       until @f.eof? || (l = @f.gets) =~ BREAK_RE
  85         ret += l
  86       end
  87     end
  88     ret
  89   end
  90
  91   def next
  92     return nil if done?
  93     @dirty = true
  94     next_end_offset = @end_offset
  95
  96     @mutex.synchronize do
  97       @f.seek @end_offset
  98
  99       @f.gets # skip the From separator
 100       next_end_offset = @f.tell
 101       while(line = @f.gets)
 102         break if line =~ BREAK_RE
 103         next_end_offset = @f.tell
 104       end
 105     end
 106
 107     start_offset = @end_offset
 108     @end_offset = next_end_offset
 109
 110     start_offset
 111   end
 112
 113   def each
 114     until @end_offset >= File.size(@f)
 115       n = self.next
 116       yield(n, labels) if n
 117     end
 118   end
 119
 120   def each_header
 121     each { |offset, labels| yield offset, labels, load_header(offset) }
 122   end
 123
 124   def done?; @end_offset >= File.size(@f); end
 125   def total; File.size @f; end
 126 end
 127
 128 Redwood::register_yaml(Loader, %w(filename end_offset usual archived id))
 129
 130 end
 131 end