git.cworth.org Git - apitrace/blob - scripts/retracediff.py

   1 #!/usr/bin/env python
   2 ##########################################################################
   3 #
   4 # Copyright 2011 Jose Fonseca
   5 # All Rights Reserved.
   6 #
   7 # Permission is hereby granted, free of charge, to any person obtaining a copy
   8 # of this software and associated documentation files (the 'Software'), to deal
   9 # in the Software without restriction, including without limitation the rights
  10 # to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
  11 # copies of the Software, and to permit persons to whom the Software is
  12 # furnished to do so, subject to the following conditions:
  13 #
  14 # The above copyright notice and this permission notice shall be included in
  15 # all copies or substantial portions of the Software.
  16 #
  17 # THE SOFTWARE IS PROVIDED 'AS IS', WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  18 # IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  19 # FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
  20 # AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  21 # LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
  22 # OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
  23 # THE SOFTWARE.
  24 #
  25 ##########################################################################/
  26
  27 '''Run two retrace instances in parallel, comparing generated snapshots.
  28 '''
  29
  30
  31 import optparse
  32 import os.path
  33 import subprocess
  34 import platform
  35 import sys
  36
  37 from PIL import Image
  38
  39 from snapdiff import Comparer
  40 from highlight import AutoHighlighter
  41 import jsondiff
  42
  43
  44 # Null file, to use when we're not interested in subprocesses output
  45 if platform.system() == 'Windows':
  46     NULL = open('NUL:', 'wt')
  47 else:
  48     NULL = open('/dev/null', 'wt')
  49
  50
  51 class Setup:
  52
  53     def __init__(self, args, env=None):
  54         self.args = args
  55         self.env = env
  56
  57     def _retrace(self, args):
  58         cmd = [
  59             options.retrace,
  60         ] + args + self.args
  61         try:
  62             return subprocess.Popen(cmd, env=self.env, stdout=subprocess.PIPE, stderr=NULL)
  63         except OSError, ex:
  64             sys.stderr.write('error: failed to execute %s: %s\n' % (cmd[0], ex.strerror))
  65             sys.exit(1)
  66
  67     def retrace(self):
  68         return self._retrace([
  69             '-s', '-',
  70             '-S', options.snapshot_frequency,
  71         ])
  72
  73     def dump_state(self, call_no):
  74         '''Get the state dump at the specified call no.'''
  75
  76         p = self._retrace([
  77             '-D', str(call_no),
  78         ])
  79         state = jsondiff.load(p.stdout)
  80         p.wait()
  81         return state.get('parameters', {})
  82
  83     def diff_state(self, ref_call_no, src_call_no, stream):
  84         '''Compare the state between two calls.'''
  85
  86         ref_state = self.dump_state(ref_call_no)
  87         src_state = self.dump_state(src_call_no)
  88
  89         stream.flush()
  90         differ = jsondiff.Differ(stream)
  91         differ.visit(ref_state, src_state)
  92         stream.write('\n')
  93
  94
  95 def read_pnm(stream):
  96     '''Read a PNM from the stream, and return the image object, and the comment.'''
  97
  98     magic = stream.readline()
  99     if not magic:
 100         return None, None
 101     magic = magic.rstrip()
 102     if magic == 'P5':
 103         channels = 1
 104         mode = 'L'
 105     elif magic == 'P6':
 106         channels = 3
 107         mode = 'RGB'
 108     else:
 109         raise Exception('Unsupported magic `%s`' % magic)
 110     comment = ''
 111     line = stream.readline()
 112     while line.startswith('#'):
 113         comment += line[1:]
 114         line = stream.readline()
 115     width, height = map(int, line.strip().split())
 116     maximum = int(stream.readline().strip())
 117     assert maximum == 255
 118     data = stream.read(height * width * channels)
 119     image = Image.frombuffer(mode, (width, height), data, 'raw', mode, 0, 1)
 120     return image, comment
 121
 122
 123 def parse_env(optparser, entries):
 124     '''Translate a list of NAME=VALUE entries into an environment dictionary.'''
 125
 126     env = os.environ.copy()
 127     for entry in entries:
 128         try:
 129             name, var = entry.split('=', 1)
 130         except Exception:
 131             optparser.error('invalid environment entry %r' % entry)
 132         env[name] = var
 133     return env
 134
 135
 136 def main():
 137     '''Main program.
 138     '''
 139
 140     global options
 141
 142     # Parse command line options
 143     optparser = optparse.OptionParser(
 144         usage='\n\t%prog [options] -- [glretrace options] <trace>',
 145         version='%%prog')
 146     optparser.add_option(
 147         '-r', '--retrace', metavar='PROGRAM',
 148         type='string', dest='retrace', default='glretrace',
 149         help='retrace command [default: %default]')
 150     optparser.add_option(
 151         '--ref-env', metavar='NAME=VALUE',
 152         type='string', action='append', dest='ref_env', default=[],
 153         help='add variable to reference environment')
 154     optparser.add_option(
 155         '--src-env', metavar='NAME=VALUE',
 156         type='string', action='append', dest='src_env', default=[],
 157         help='add variable to source environment')
 158     optparser.add_option(
 159         '--diff-prefix', metavar='PATH',
 160         type='string', dest='diff_prefix', default='.',
 161         help='prefix for the difference images')
 162     optparser.add_option(
 163         '-t', '--threshold', metavar='BITS',
 164         type="float", dest="threshold", default=12.0,
 165         help="threshold precision  [default: %default]")
 166     optparser.add_option(
 167         '-S', '--snapshot-frequency', metavar='CALLSET',
 168         type="string", dest="snapshot_frequency", default='draw',
 169         help="calls to compare [default: %default]")
 170     optparser.add_option(
 171         '-o', '--output', metavar='FILE',
 172         type="string", dest="output",
 173         help="output file [default: stdout]")
 174
 175     (options, args) = optparser.parse_args(sys.argv[1:])
 176     ref_env = parse_env(optparser, options.ref_env)
 177     src_env = parse_env(optparser, options.src_env)
 178     if not args:
 179         optparser.error("incorrect number of arguments")
 180
 181     ref_setup = Setup(args, ref_env)
 182     src_setup = Setup(args, src_env)
 183
 184     if options.output:
 185         output = open(options.output, 'wt')
 186     else:
 187         output = sys.stdout
 188
 189     highligher = AutoHighlighter(output)
 190
 191     highligher.write('call\tprecision\n')
 192
 193     last_bad = -1
 194     last_good = 0
 195     ref_proc = ref_setup.retrace()
 196     try:
 197         src_proc = src_setup.retrace()
 198         try:
 199             while True:
 200                 # Get the reference image
 201                 ref_image, ref_comment = read_pnm(ref_proc.stdout)
 202                 if ref_image is None:
 203                     break
 204
 205                 # Get the source image
 206                 src_image, src_comment = read_pnm(src_proc.stdout)
 207                 if src_image is None:
 208                     break
 209
 210                 assert ref_comment == src_comment
 211
 212                 call_no = int(ref_comment.strip())
 213
 214                 # Compare the two images
 215                 comparer = Comparer(ref_image, src_image)
 216                 precision = comparer.precision()
 217
 218                 mismatch = precision < options.threshold
 219
 220                 if mismatch:
 221                     highligher.color(highligher.red)
 222                     highligher.bold()
 223                 highligher.write('%u\t%f\n' % (call_no, precision))
 224                 if mismatch:
 225                     highligher.normal()
 226
 227                 if mismatch:
 228                     if options.diff_prefix:
 229                         prefix = os.path.join(options.diff_prefix, '%010u' % call_no)
 230                         prefix_dir = os.path.dirname(prefix)
 231                         if not os.path.isdir(prefix_dir):
 232                             os.makedirs(prefix_dir)
 233                         ref_image.save(prefix + '.ref.png')
 234                         src_image.save(prefix + '.src.png')
 235                         comparer.write_diff(prefix + '.diff.png')
 236                     if last_bad < last_good:
 237                         src_setup.diff_state(last_good, call_no, output)
 238                     last_bad = call_no
 239                 else:
 240                     last_good = call_no
 241
 242                 highligher.flush()
 243         finally:
 244             src_proc.terminate()
 245     finally:
 246         ref_proc.terminate()
 247
 248
 249 if __name__ == '__main__':
 250     main()