]> git.cworth.org Git - apitrace/blob - README.markdown
egl: add retracing support for EGL
[apitrace] / README.markdown
1 About **apitrace**
2 ==================
3
4 **apitrace** consists of a set of tools to:
5
6 * trace OpenGL, D3D9, D3D8, D3D7, and DDRAW APIs calls to a file;
7
8 * retrace OpenGL calls from a file;
9
10 * inspect OpenGL state at any call while retracing;
11
12 * visualize and edit trace files.
13
14
15 Basic usage
16 ===========
17
18
19 Linux and Mac OS X
20 ------------------
21
22 Run the application you want to trace as
23
24     /path/to/apitrace trace /path/to/application [args...]
25
26 and it will generate a trace named `application.trace` in the current
27 directory.  You can specify the written trace filename by setting the
28 `TRACE_FILE` environment variable before running.
29
30 View the trace with
31
32     /path/to/apitrace dump --color application.trace | less -R
33
34 Replay the trace with
35
36     /path/to/glretrace application.trace
37
38 Pass the `-sb` option to use a single buffered visual.  Pass `--help` to
39 glretrace for more options.
40
41 Start the GUI as
42
43     /path/to/qapitrace application.trace
44
45
46 Windows
47 -------
48
49 * Copy `opengl32.dll`, `d3d8.dll`, or `d3d9.dll` from build/wrappers directory
50   to the directory with the application you want to trace.
51
52 * Run the application.
53
54 * View the trace with
55
56         \path\to\apitrace dump application.trace
57
58 * Replay the trace with
59
60         \path\to\glretrace application.trace
61
62
63 Advanced command line usage
64 ===========================
65
66
67 Tracing manually
68 ----------------
69
70 ### Linux ###
71
72 Run the application you want to trace as
73
74      LD_PRELOAD=/path/to/apitrace/wrappers/glxtrace.so /path/to/application
75
76 and it will generate a trace named `application.trace` in the current
77 directory.  You can specify the written trace filename by setting the
78 `TRACE_FILE` environment variable before running.
79
80 The `LD_PRELOAD` mechanism should work with most applications.  There are some
81 applications, e.g., Unigine Heaven, which global function pointers with the
82 same name as GL entrypoints, living in a shared object that wasn't linked with
83 `-Bsymbolic` flag, so relocations to those globals function pointers get
84 overwritten with the address to our wrapper library, and the application will
85 segfault when trying to write to them.  For these applications it is possible
86 to trace by using `glxtrace.so` as an ordinary `libGL.so` and injecting into
87 `LD_LIBRARY_PATH`:
88
89     ln -s glxtrace.so wrappers/libGL.so
90     ln -s glxtrace.so wrappers/libGL.so.1
91     ln -s glxtrace.so wrappers/libGL.so.1.2
92     export LD_LIBRARY_PATH=/path/to/apitrace/wrappers:$LD_LIBRARY_PATH
93     export TRACE_LIBGL=/path/to/real/libGL.so.1
94     /path/to/application
95
96 See the `ld.so` man page for more information about `LD_PRELOAD` and
97 `LD_LIBRARY_PATH` environment flags.
98
99 ### Mac OS X ###
100
101 Run the application you want to trace as
102
103     DYLD_LIBRARY_PATH=/path/to/apitrace/wrappers /path/to/application
104
105 Note that although Mac OS X has an `LD_PRELOAD` equivalent,
106 `DYLD_INSERT_LIBRARIES`, it is mostly useless because it only works with
107 `DYLD_FORCE_FLAT_NAMESPACE=1` which breaks most applications.  See the `dyld` man
108 page for more details about these environment flags.
109
110
111 Emitting annotations to the trace from GL applications
112 ------------------------------------------------------
113
114 You can emit string and frame annotations through the
115 [`GL_GREMEDY_string_marker`](http://www.opengl.org/registry/specs/GREMEDY/string_marker.txt)
116 and
117 [`GL_GREMEDY_frame_terminator`](http://www.opengl.org/registry/specs/GREMEDY/frame_terminator.txt)
118 GL extensions.
119
120 **apitrace** will advertise and intercept these GL extensions independently of
121 the GL implementation.  So all you have to do is to use these extensions when
122 available.
123
124 For example, if you use [GLEW](http://glew.sourceforge.net/) to dynamically
125 detect and use GL extensions, you could easily accomplish this by doing:
126
127     void foo() {
128     
129       if (GLEW_GREMEDY_string_marker) {
130         glStringMarkerGREMEDY(0, __FUNCTION__ ": enter");
131       }
132       
133       ...
134       
135       if (GLEW_GREMEDY_string_marker) {
136         glStringMarkerGREMEDY(0, __FUNCTION__ ": leave");
137       }
138       
139     }
140
141 This has the added advantage of working equally well with gDEBugger.
142
143
144 Dump GL state at a particular call
145 ----------------------------------
146
147 You can get a dump of the bound GL state at call 12345 by doing:
148
149     /path/to/glretrace -D 12345 application.trace > 12345.json
150
151 This is precisely the mechanism the GUI obtains its own state.
152
153 You can compare two state dumps with the jsondiff.py script:
154
155     ./scripts/jsondiff.py 12345.json 67890.json
156
157
158 Comparing two traces side by side
159 ---------------------------------
160
161     apitrace diff trace1.trace trace2.trace
162
163 This works only on Unices, and it will truncate the traces due to performance
164 limitations.
165
166
167 Recording a video with FFmpeg
168 -----------------------------
169
170 You can make a video of the output by doing
171
172     /path/to/glretrace -s - application.trace \
173     | ffmpeg -r 30 -f image2pipe -vcodec ppm -i pipe: -vcodec mpeg4 -y output.mp4
174
175
176 Advanced usage for OpenGL implementors
177 ======================================
178
179 There are several advanced usage examples meant for OpenGL implementors.
180
181
182 Regression testing
183 ------------------
184
185 These are the steps to create a regression test-suite around **apitrace**:
186
187 * obtain a trace
188
189 * obtain reference snapshots, by doing:
190
191         mkdir /path/to/snapshots/
192         /path/to/glretrace -s /path/to/reference/snapshots/ application.trace
193
194   on reference system.
195
196 * prune the snapshots which are not interesting
197
198 * to do a regression test, do:
199
200         /path/to/glretrace -c /path/to/reference/snapshots/ application.trace
201
202   Alternatively, for a HTML summary, use the snapdiff script:
203
204         /path/to/glretrace -s /path/to/current/snapshots/ application.trace
205         ./scripts/snapdiff.py --output summary.html /path/to/reference/snapshots/ /path/to/current/snapshots/
206
207
208 Automated git-bisection
209 -----------------------
210
211 With tracecheck.py it is possible to automate git bisect and pinpoint the
212 commit responsible for a regression.
213
214 Below is an example of using tracecheck.py to bisect a regression in the
215 Mesa-based Intel 965 driver.  But the procedure could be applied to any GL
216 driver hosted on a git repository.
217
218 First, create a build script, named build-script.sh, containing:
219
220     #!/bin/sh
221     set -e
222     export PATH=/usr/lib/ccache:$PATH
223     export CFLAGS='-g'
224     export CXXFLAGS='-g'
225     ./autogen.sh --disable-egl --disable-gallium --disable-glut --disable-glu --disable-glw --with-dri-drivers=i965
226     make clean
227     make "$@"
228
229 It is important that builds are both robust, and efficient.  Due to broken
230 dependency discovery in Mesa's makefile system, it was necessary invoke `make
231 clean` in every iteration step.  `ccache` should be installed to avoid
232 recompiling unchanged source files.
233
234 Then do:
235
236     cd /path/to/mesa
237     export LIBGL_DEBUG=verbose
238     export LD_LIBRARY_PATH=$PWD/lib
239     export LIBGL_DRIVERS_DIR=$PWD/lib
240     git bisect start \
241         6491e9593d5cbc5644eb02593a2f562447efdcbb 71acbb54f49089b03d3498b6f88c1681d3f649ac \
242         -- src/mesa/drivers/dri/intel src/mesa/drivers/dri/i965/
243     git bisect run /path/to/tracecheck.py \
244         --precision-threshold 8.0 \
245         --build /path/to/build-script.sh \
246         --gl-renderer '.*Mesa.*Intel.*' \
247         --retrace=/path/to/glretrace \
248         -c /path/to/reference/snapshots/ \
249         topogun-1.06-orc-84k.trace
250
251 The trace-check.py script will skip automatically when there are build
252 failures.
253
254 The `--gl-renderer` option will also cause a commit to be skipped if the
255 `GL_RENDERER` is unexpected (e.g., when a software renderer or another GL
256 driver is unintentionally loaded due to missing symbol in the DRI driver, or
257 another runtime fault).
258
259
260 Side by side retracing
261 ----------------------
262
263 In order to determine which draw call a regression first manifests one could
264 generate snapshots for every draw call, using the `-S` option.  That is, however,
265 very inefficient for big traces with many draw calls.
266
267 A faster approach is to run both the bad and a good GL driver side-by-side.
268 The latter can be either a previously known good build of the GL driver, or a
269 reference software renderer.
270
271 This can be achieved with retracediff.py script, which invokes glretrace with
272 different environments, allowing to choose the desired GL driver by
273 manipulating variables such as `LD_LIBRARY_PATH` or `LIBGL_DRIVERS_DIR`.
274
275 For example:
276
277     ./scripts/retracediff.py \
278         --ref-env LD_LIBRARY_PATH=/path/to/reference/GL/implementation \
279         -r ./glretrace \
280         --diff-prefix=/path/to/output/diffs \
281         application.trace
282
283
284
285 Links
286 =====
287
288 About **apitrace**:
289
290 * [Official mailing list](http://lists.freedesktop.org/mailman/listinfo/apitrace)
291
292 * [Zack Rusin's blog introducing the GUI](http://zrusin.blogspot.com/2011/04/apitrace.html)
293
294 * [Jose's Fonseca blog introducing the tool](http://jrfonseca.blogspot.com/2008/07/tracing-d3d-applications.html)
295
296
297 Direct3D
298 --------
299
300 Open-source:
301
302 * [Proxy DLL](http://www.mikoweb.eu/index.php?node=21)
303
304   * [Intercept Calls to DirectX with a Proxy DLL](http://www.codeguru.com/cpp/g-m/directx/directx8/article.php/c11453/)
305
306 * [Direct3D 9 API Interceptor](http://graphics.stanford.edu/~mdfisher/D3D9Interceptor.html)
307
308 Closed-source:
309
310 * [Microsoft PIX](http://msdn.microsoft.com/en-us/library/ee417062.aspx)
311
312   * [D3DSpy](http://doc.51windows.net/Directx9_SDK/?url=/directx9_sdk/graphics/programmingguide/TutorialsAndSamplesAndToolsAndTips/Tools/D3DSpy.htm): the predecessor of PIX
313
314 * [AMD GPU PerfStudio](http://developer.amd.com/gpu/PerfStudio/pages/APITraceWindow.aspx)
315
316
317 OpenGL
318 ------
319
320 Open-source:
321
322 * [BuGLe](http://www.opengl.org/sdk/tools/BuGLe/)
323
324 * [GLIntercept](http://code.google.com/p/glintercept/)
325
326 * [tracy](https://gitorious.org/tracy): OpenGL ES and OpenVG trace, retrace, and state inspection
327
328 Closed-source:
329
330 * [gDEBugger](http://www.gremedy.com/products.php)
331
332 * [glslDevil](http://cumbia.informatik.uni-stuttgart.de/glsldevil/index.html)
333
334 * [AMD GPU PerfStudio](http://developer.amd.com/gpu/PerfStudio/pages/APITraceWindow.aspx)
335