git.cworth.org Git - sup/blob - lib/sup/mbox/loader.rb

   1 require 'thread'
   2 require 'rmail'
   3
   4 module Redwood
   5 module MBox
   6
   7 class Error < StandardError; end
   8
   9 class Loader
  10   attr_reader :filename
  11   bool_reader :usual, :archived, :read, :dirty
  12   attr_accessor :id, :labels
  13
  14   ## end_offset is the last offsets within the file which we've read.
  15   ## everything after that is considered new messages that haven't
  16   ## been indexed.
  17   def initialize filename, end_offset=nil, usual=true, archived=false, id=nil
  18     @filename = filename.gsub(%r(^mbox://), "")
  19     @end_offset = end_offset || 0
  20     @dirty = false
  21     @usual = usual
  22     @archived = archived
  23     @id = id
  24     @mutex = Mutex.new
  25     @f = File.open @filename
  26     @labels = ([
  27       :unread,
  28       archived ? nil : :inbox,
  29     ] +
  30       if File.dirname(filename) =~ /\b(var|usr|spool)\b/
  31         []
  32       else
  33         [File.basename(filename).intern]
  34       end).compact
  35   end
  36
  37   def seek_to! offset
  38     @end_offset = [offset, File.size(@f) - 1].min;
  39     @dirty = true
  40   end
  41   def reset!; seek_to! 0; end
  42   def == o; o.is_a?(Loader) && o.filename == filename; end
  43   def to_s; "mbox://#{@filename}"; end
  44
  45   def is_source_for? s
  46     @filename == s || self.to_s == s
  47   end
  48
  49   def load_header offset=nil
  50     header = nil
  51     @mutex.synchronize do
  52       @f.seek offset if offset
  53       l = @f.gets
  54       raise Error, "offset mismatch in mbox file: #{l.inspect}. Run 'sup-import --rebuild #{to_s}' to correct this." unless l =~ BREAK_RE
  55       header = MBox::read_header @f
  56     end
  57     header
  58   end
  59
  60   def load_message offset
  61     ret = nil
  62     @mutex.synchronize do
  63       @f.seek offset
  64       RMail::Mailbox::MBoxReader.new(@f).each_message do |input|
  65         return RMail::Parser.read(input)
  66       end
  67     end
  68   end
  69
  70   def raw_header offset
  71     ret = ""
  72     @mutex.synchronize do
  73       @f.seek offset
  74       until @f.eof? || (l = @f.gets) =~ /^$/
  75         ret += l
  76       end
  77     end
  78     ret
  79   end
  80
  81   def raw_full_message offset
  82     ret = ""
  83     @mutex.synchronize do
  84       @f.seek offset
  85       @f.gets # skip mbox header
  86       until @f.eof? || (l = @f.gets) =~ BREAK_RE
  87         ret += l
  88       end
  89     end
  90     ret
  91   end
  92
  93   def next
  94     return nil if done?
  95     @dirty = true
  96     start_offset = nil
  97     next_end_offset = @end_offset
  98
  99     ## @end_offset could be at one of two places here: before a \n and
 100     ## a mbox separator, if it was previously at EOF and a new message
 101     ## was added; or, at the beginning of an mbox separator (in all
 102     ## other cases).
 103     @mutex.synchronize do
 104       @f.seek @end_offset
 105       l = @f.gets or return nil
 106       if l =~ /^\s*$/
 107         start_offset = @f.tell
 108         @f.gets
 109       else
 110         start_offset = @end_offset
 111       end
 112
 113       while(line = @f.gets)
 114         break if line =~ BREAK_RE
 115         next_end_offset = @f.tell
 116       end
 117     end
 118
 119     @end_offset = next_end_offset
 120     start_offset
 121   end
 122
 123   def each
 124     until @end_offset >= File.size(@f)
 125       n = self.next
 126       yield(n, labels) if n
 127     end
 128   end
 129
 130   def done?; @end_offset >= File.size(@f); end
 131   def total; File.size @f; end
 132 end
 133
 134 Redwood::register_yaml(Loader, %w(filename end_offset usual archived id))
 135
 136 end
 137 end