git.cworth.org Git - sup/blob - lib/sup/poll.rb

   1 require 'thread'
   2
   3 module Redwood
   4
   5 class PollManager
   6   include Singleton
   7
   8   DELAY = 300
   9
  10   def initialize
  11     @mutex = Mutex.new
  12     @last_poll = nil
  13
  14     self.class.i_am_the_instance self
  15   end
  16
  17   def buffer
  18     BufferManager.spawn_unless_exists("<poll for new messages>", :hidden => true) { PollMode.new }
  19   end
  20
  21   def poll
  22     BufferManager.flash "Polling for new messages..."
  23     num, numi = buffer.mode.poll
  24     if num > 0
  25       BufferManager.flash "Loaded #{num} new messages, #{numi} to inbox."
  26     else
  27       BufferManager.flash "No new messages."
  28     end
  29     [num, numi]
  30   end
  31
  32   def start_thread
  33     Redwood::reporting_thread do
  34       while true
  35         sleep DELAY / 2
  36         poll if @last_poll.nil? || (Time.now - @last_poll) >= DELAY
  37       end
  38     end
  39   end
  40
  41   ## TODO: merge this with sup-import
  42   def do_poll
  43     total_num = total_numi = 0
  44     @mutex.synchronize do
  45       found = {}
  46       Index.usual_sources.each do |source|
  47         next if source.broken? || source.done?
  48
  49         yield "Loading from #{source}... "
  50         start_offset = nil
  51         num = 0
  52         num_inbox = 0
  53
  54         source.each do |offset, labels|
  55           break if source.broken?
  56           start_offset ||= offset
  57           yield "Found message at #{offset} with labels #{labels * ', '}"
  58
  59           begin
  60             begin
  61               m = Redwood::Message.new :source => source, :source_info => offset, :labels => labels
  62             rescue MessageFormatError => e
  63               yield "Non-fatal error loading message #{source}##{offset}: #{e.message}"
  64               next
  65             end
  66
  67             if found[m.id]
  68               yield "Skipping duplicate message #{m.id}"
  69               next
  70             end
  71             found[m.id] = true
  72
  73             if Index.add_message m
  74               UpdateManager.relay :add, m
  75               num += 1
  76               total_num += 1
  77               total_numi += 1 if m.labels.include? :inbox
  78             end
  79
  80             if num % 1000 == 0 && num > 0
  81               elapsed = Time.now - start
  82               pctdone = source.pct_done
  83               remaining = (100.0 - pctdone) * (elapsed.to_f / pctdone)
  84               yield "## #{num} (#{pctdone}% done) read; #{elapsed.to_time_s} elapsed; est. #{remaining.to_time_s} remaining"
  85             end
  86           rescue SourceError => e
  87             msg = "Fatal error loading from #{source}: #{e.message}"
  88             Redwood::log msg
  89             yield msg
  90             break
  91           end
  92         end
  93         yield "Found #{num} messages" unless num == 0
  94       end
  95
  96       yield "Done polling; loaded #{total_num} new messages total"
  97       @last_poll = Time.now
  98       @polling = false
  99     end
 100     [total_num, total_numi]
 101   end
 102 end
 103
 104 end