git.cworth.org Git - apitrace/blob - scripts/retracediff.py

   1 #!/usr/bin/env python
   2 ##########################################################################
   3 #
   4 # Copyright 2011 Jose Fonseca
   5 # All Rights Reserved.
   6 #
   7 # Permission is hereby granted, free of charge, to any person obtaining a copy
   8 # of this software and associated documentation files (the 'Software'), to deal
   9 # in the Software without restriction, including without limitation the rights
  10 # to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
  11 # copies of the Software, and to permit persons to whom the Software is
  12 # furnished to do so, subject to the following conditions:
  13 #
  14 # The above copyright notice and this permission notice shall be included in
  15 # all copies or substantial portions of the Software.
  16 #
  17 # THE SOFTWARE IS PROVIDED 'AS IS', WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  18 # IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  19 # FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
  20 # AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  21 # LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
  22 # OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
  23 # THE SOFTWARE.
  24 #
  25 ##########################################################################/
  26
  27 '''Run two retrace instances in parallel, comparing generated snapshots.
  28 '''
  29
  30
  31 import optparse
  32 import os.path
  33 import subprocess
  34 import platform
  35 import sys
  36
  37 from PIL import Image
  38
  39 from snapdiff import Comparer
  40 from highlight import Highlighter
  41 import jsondiff
  42
  43
  44 # Null file, to use when we're not interested in subprocesses output
  45 if platform.system() == 'Windows':
  46     NULL = open('NUL:', 'wt')
  47 else:
  48     NULL = open('/dev/null', 'wt')
  49
  50
  51 class Setup:
  52
  53     def __init__(self, args, env=None):
  54         self.args = args
  55         self.env = env
  56
  57     def _retrace(self, args):
  58         cmd = [
  59             options.retrace,
  60         ] + args + self.args
  61         try:
  62             return subprocess.Popen(cmd, env=self.env, stdout=subprocess.PIPE, stderr=NULL)
  63         except OSError, ex:
  64             sys.stderr.write('error: failed to execute %s: %s\n' % (cmd[0], ex.strerror))
  65             sys.exit(1)
  66
  67     def retrace(self):
  68         return self._retrace([
  69             '-s', '-',
  70             '-S', options.snapshot_frequency,
  71         ])
  72
  73     def dump_state(self, call_no):
  74         '''Get the state dump at the specified call no.'''
  75
  76         p = self._retrace([
  77             '-D', str(call_no),
  78         ])
  79         state = jsondiff.load(p.stdout)
  80         p.wait()
  81         return state.get('parameters', {})
  82
  83     def diff_state(self, ref_call_no, src_call_no, stream):
  84         '''Compare the state between two calls.'''
  85
  86         ref_state = self.dump_state(ref_call_no)
  87         src_state = self.dump_state(src_call_no)
  88
  89         stream.flush()
  90         differ = jsondiff.Differ(stream)
  91         differ.visit(ref_state, src_state)
  92         stream.write('\n')
  93
  94
  95 def read_pnm(stream):
  96     '''Read a PNM from the stream, and return the image object, and the comment.'''
  97
  98     magic = stream.readline()
  99     if not magic:
 100         return None, None
 101     assert magic.rstrip() == 'P6'
 102     comment = ''
 103     line = stream.readline()
 104     while line.startswith('#'):
 105         comment += line[1:]
 106         line = stream.readline()
 107     width, height = map(int, line.strip().split())
 108     maximum = int(stream.readline().strip())
 109     assert maximum == 255
 110     data = stream.read(height * width * 3)
 111     image = Image.frombuffer('RGB', (width, height), data, 'raw', 'RGB', 0, 1)
 112     return image, comment
 113
 114
 115 def parse_env(optparser, entries):
 116     '''Translate a list of NAME=VALUE entries into an environment dictionary.'''
 117
 118     env = os.environ.copy()
 119     for entry in entries:
 120         try:
 121             name, var = entry.split('=', 1)
 122         except Exception:
 123             optparser.error('invalid environment entry %r' % entry)
 124         env[name] = var
 125     return env
 126
 127
 128 def main():
 129     '''Main program.
 130     '''
 131
 132     global options
 133
 134     # Parse command line options
 135     optparser = optparse.OptionParser(
 136         usage='\n\t%prog [options] -- [glretrace options] <trace>',
 137         version='%%prog')
 138     optparser.add_option(
 139         '-r', '--retrace', metavar='PROGRAM',
 140         type='string', dest='retrace', default='glretrace',
 141         help='retrace command [default: %default]')
 142     optparser.add_option(
 143         '--ref-env', metavar='NAME=VALUE',
 144         type='string', action='append', dest='ref_env', default=[],
 145         help='add variable to reference environment')
 146     optparser.add_option(
 147         '--src-env', metavar='NAME=VALUE',
 148         type='string', action='append', dest='src_env', default=[],
 149         help='add variable to source environment')
 150     optparser.add_option(
 151         '--diff-prefix', metavar='PATH',
 152         type='string', dest='diff_prefix', default='.',
 153         help='prefix for the difference images')
 154     optparser.add_option(
 155         '-t', '--threshold', metavar='BITS',
 156         type="float", dest="threshold", default=12.0,
 157         help="threshold precision  [default: %default]")
 158     optparser.add_option(
 159         '-S', '--snapshot-frequency', metavar='CALLSET',
 160         type="string", dest="snapshot_frequency", default='draw',
 161         help="calls to compare [default: %default]")
 162     optparser.add_option(
 163         '-o', '--output', metavar='FILE',
 164         type="string", dest="output",
 165         help="output file [default: stdout]")
 166
 167     (options, args) = optparser.parse_args(sys.argv[1:])
 168     ref_env = parse_env(optparser, options.ref_env)
 169     src_env = parse_env(optparser, options.src_env)
 170     if not args:
 171         optparser.error("incorrect number of arguments")
 172
 173     ref_setup = Setup(args, ref_env)
 174     src_setup = Setup(args, src_env)
 175
 176     if options.output:
 177         output = open(options.output, 'wt')
 178     else:
 179         output = sys.stdout
 180
 181     highligher = Highlighter(output)
 182
 183     highligher.write('call\tprecision\n')
 184
 185     last_bad = -1
 186     last_good = 0
 187     ref_proc = ref_setup.retrace()
 188     try:
 189         src_proc = src_setup.retrace()
 190         try:
 191             while True:
 192                 # Get the reference image
 193                 ref_image, ref_comment = read_pnm(ref_proc.stdout)
 194                 if ref_image is None:
 195                     break
 196
 197                 # Get the source image
 198                 src_image, src_comment = read_pnm(src_proc.stdout)
 199                 if src_image is None:
 200                     break
 201
 202                 assert ref_comment == src_comment
 203
 204                 call_no = int(ref_comment.strip())
 205
 206                 # Compare the two images
 207                 comparer = Comparer(ref_image, src_image)
 208                 precision = comparer.precision()
 209
 210                 mismatch = precision < options.threshold
 211
 212                 if mismatch:
 213                     highligher.color(highligher.red)
 214                     highligher.bold()
 215                 highligher.write('%u\t%f\n' % (call_no, precision))
 216                 if mismatch:
 217                     highligher.normal()
 218
 219                 if mismatch:
 220                     if options.diff_prefix:
 221                         prefix = os.path.join(options.diff_prefix, '%010u' % call_no)
 222                         prefix_dir = os.path.dirname(prefix)
 223                         if not os.path.isdir(prefix_dir):
 224                             os.makedirs(prefix_dir)
 225                         ref_image.save(prefix + '.ref.png')
 226                         src_image.save(prefix + '.src.png')
 227                         comparer.write_diff(prefix + '.diff.png')
 228                     if last_bad < last_good:
 229                         src_setup.diff_state(last_good, call_no, output)
 230                     last_bad = call_no
 231                 else:
 232                     last_good = call_no
 233
 234                 highligher.flush()
 235         finally:
 236             src_proc.terminate()
 237     finally:
 238         ref_proc.terminate()
 239
 240
 241 if __name__ == '__main__':
 242     main()