git.cworth.org Git - sup/blob - lib/sup/poll.rb

   1 require 'thread'
   2
   3 module Redwood
   4
   5 class PollManager
   6   include Singleton
   7
   8   DELAY = 300
   9
  10   def initialize
  11     @polling = false
  12     @last_poll = nil
  13
  14     self.class.i_am_the_instance self
  15   end
  16
  17   def buffer
  18     BufferManager.spawn_unless_exists("<poll for new messages>", :hidden => true) do
  19       PollMode.new
  20     end
  21   end
  22
  23   def poll
  24     BufferManager.flash "Polling for new messages..."
  25     num, numi = buffer.mode.poll
  26     if num > 0
  27       BufferManager.flash "Loaded #{num} new messages, #{numi} to inbox."
  28     else
  29       BufferManager.flash "No new messages."
  30     end
  31     [num, numi]
  32   end
  33
  34   def start_thread
  35     Redwood::reporting_thread do
  36       while true
  37         sleep DELAY / 2
  38         poll if @last_poll.nil? || (Time.now - @last_poll) >= DELAY
  39       end
  40     end
  41   end
  42
  43   def do_poll
  44     return [0, 0] if @polling
  45     @polling = true
  46     found = {}
  47     total_num = 0
  48     total_numi = 0
  49
  50     Index.usual_sources.each do |source|
  51       next if source.done?
  52       yield "Loading from #{source}... "
  53
  54       start_offset = nil
  55       num = 0
  56       num_inbox = 0
  57       begin
  58         source.each do |offset, labels|
  59           start_offset ||= offset
  60           yield "Found message at #{offset} with labels #{labels * ', '}"
  61           m = Redwood::Message.new :source => source, :source_info => offset,
  62                                    :labels => labels
  63           if found[m.id]
  64             yield "Skipping duplicate message #{m.id}"
  65             next
  66           else
  67             found[m.id] = true
  68           end
  69
  70           if Index.add_message m
  71             UpdateManager.relay :add, m
  72             num += 1
  73             total_num += 1
  74             total_numi += 1 if m.labels.include? :inbox
  75           end
  76         end
  77
  78         if num % 1000 == 0 && num > 0
  79           elapsed = Time.now - start
  80           pctdone = (offset.to_f - start_offset) / (source.total.to_f - start_offset)
  81           remaining = (source.end_offset.to_f - offset.to_f) * (elapsed.to_f / (offset.to_f - start_offset))
  82           yield "## #{num} (#{(pctdone * 100.0)}% done) read; #{elapsed.to_time_s} elapsed; est. #{remaining.to_time_s} remaining"
  83         end
  84       rescue SourceError, MessageFormatError => e
  85         msg = "#{source.broken? ? 'Fatal' : 'Non-fatal'} error loading from #{source}: #{e.message}"
  86         Redwood::log msg
  87         yield msg
  88       end
  89
  90       yield "Found #{num} messages" unless num == 0
  91     end
  92     yield "Done polling; loaded #{total_num} new messages total"
  93     @last_poll = Time.now
  94     @polling = false
  95     [total_num, total_numi]
  96   end
  97 end
  98
  99 end