]> git.cworth.org Git - apitrace/blob - README.markdown
Set tabstops to 8
[apitrace] / README.markdown
1 About **apitrace**
2 ==================
3
4 **apitrace** consists of a set of tools to:
5
6 * trace OpenGL, OpenGL ES, Direct3D, and DirectDraw APIs calls to a file;
7
8 * replay OpenGL and OpenGL ES calls from a file;
9
10 * inspect OpenGL state at any call while retracing;
11
12 * visualize and edit trace files.
13
14 See the [apitrace homepage](http://apitrace.github.com/) for more details.
15
16
17 Obtaining **apitrace**
18 ======================
19
20 To obtain apitrace either [download the latest
21 binaries](http://apitrace.github.com/#download) for your platform if
22 available, or follow the instructions in INSTALL.markdown to build it yourself.
23 On 64bits Linux and Windows platforms you'll need apitrace binaries that match
24 the architecture (32bits or 64bits) of the application being traced.
25
26
27 Basic usage
28 ===========
29
30 Run the application you want to trace as
31
32     apitrace trace --api API /path/to/application [args...]
33
34 and it will generate a trace named `application.trace` in the current
35 directory.  You can specify the written trace filename by passing the
36 `--output` command line option.
37
38 Problems while tracing (e.g, if the application uses calls/parameters
39 unsupported by apitrace) will be reported via stderr output on Unices.  On
40 Windows you'll need to run
41 [DebugView](http://technet.microsoft.com/en-us/sysinternals/bb896647) to view
42 these messages.
43
44 Follow the "Tracing manually" instructions below if you cannot obtain a trace.
45
46 View the trace with
47
48     apitrace dump application.trace
49
50 Replay an OpenGL trace with
51
52     apitrace replay application.trace
53
54 Pass the `--sb` option to use a single buffered visual.  Pass `--help` to
55 `apitrace replay` for more options.
56
57
58 Basic GUI usage
59 ===============
60
61 Start the GUI as
62
63     qapitrace application.trace
64
65 You can also tell the GUI to go directly to a specific call
66
67     qapitrace application.trace 12345
68
69
70 Advanced command line usage
71 ===========================
72
73
74 Call sets
75 ---------
76
77 Several tools take `CALLSET` arguments, e.g:
78
79     apitrace dump --calls=CALLSET foo.trace
80     apitrace dump-images --calls=CALLSET foo.trace
81
82 The call syntax is very flexible. Here are a few examples:
83
84  * `4`             one call
85
86  * `0,2,4,5`       set of calls
87
88  * `"0 2 4 5"`     set of calls (commas are optional and can be replaced with whitespace)
89
90  * `0-100/2`       calls 1, 3, 5, ...,  99
91
92  * `0-1000/draw`   all draw calls between 0 and 1000
93
94  * `0-1000/fbo`    all fbo changes between calls 0 and 1000
95
96  * `frame`         all calls at end of frames
97
98  * `@foo.txt`      read call numbers from `foo.txt`, using the same syntax as above
99
100
101
102 Tracing manually
103 ----------------
104
105 ### Linux ###
106
107 On 64 bits systems, you'll need to determine ether the application is 64 bits
108 or 32 bits.  This can be done by doing
109
110     file /path/to/application
111
112 But beware of wrapper shell scripts -- what matters is the architecture of the
113 main process.
114
115 Run the GLX application you want to trace as
116
117     LD_PRELOAD=/path/to/apitrace/wrappers/glxtrace.so /path/to/application
118
119 and it will generate a trace named `application.trace` in the current
120 directory.  You can specify the written trace filename by setting the
121 `TRACE_FILE` environment variable before running.
122
123 For EGL applications you will need to use `egltrace.so` instead of
124 `glxtrace.so`.
125
126 The `LD_PRELOAD` mechanism should work with the majority applications.  There
127 are some applications (e.g., Unigine Heaven, Android GPU emulator, etc.), that
128 have global function pointers with the same name as GL entrypoints, living in a
129 shared object that wasn't linked with `-Bsymbolic` flag, so relocations to
130 those globals function pointers get overwritten with the address to our wrapper
131 library, and the application will segfault when trying to write to them.  For
132 these applications it is possible to trace by using `glxtrace.so` as an
133 ordinary `libGL.so` and injecting it via `LD_LIBRARY_PATH`:
134
135     ln -s glxtrace.so wrappers/libGL.so
136     ln -s glxtrace.so wrappers/libGL.so.1
137     ln -s glxtrace.so wrappers/libGL.so.1.2
138     export LD_LIBRARY_PATH=/path/to/apitrace/wrappers:$LD_LIBRARY_PATH
139     export TRACE_LIBGL=/path/to/real/libGL.so.1
140     /path/to/application
141
142 If you are an application developer, you can avoid this either by linking with
143 `-Bsymbolic` flag, or by using some unique prefix for your function pointers.
144
145 See the `ld.so` man page for more information about `LD_PRELOAD` and
146 `LD_LIBRARY_PATH` environment flags.
147
148 To trace the application inside gdb, invoke gdb as:
149
150     gdb --ex 'set exec-wrapper env LD_PRELOAD=/path/to/glxtrace.so' --args /path/to/application
151
152 ### Android ###
153
154 To trace standalone native OpenGL ES applications, use
155 `LD_PRELOAD=/path/to/egltrace.so /path/to/application` like described in the
156 previous section.  To trace Java applications, refer to Dalvik.markdown.
157
158 ### Mac OS X ###
159
160 Run the application you want to trace as
161
162     DYLD_LIBRARY_PATH=/path/to/apitrace/wrappers /path/to/application
163
164 Note that although Mac OS X has an `LD_PRELOAD` equivalent,
165 `DYLD_INSERT_LIBRARIES`, it is mostly useless because it only works with
166 `DYLD_FORCE_FLAT_NAMESPACE=1` which breaks most applications.  See the `dyld` man
167 page for more details about these environment flags.
168
169 ### Windows ###
170
171 When tracing third-party applications, you can identify the target
172 application's main executable, either by:
173
174 * right clicking on the application's icon in the _Start Menu_, choose
175   _Properties_, and see the _Target_ field;
176
177 * or by starting the application, run Windows Task Manager (taskmgr.exe), right
178   click on the application name in the _Applications_ tab, choose _Go To Process_,
179   note the highlighted _Image Name_, and search it on `C:\Program Files` or
180   `C:\Program Files (x86)`.
181
182 On 64 bits Windows, you'll need to determine ether the application is a 64 bits
183 or 32 bits. 32 bits applications will have a `*32` suffix in the _Image Name_
184 column of the _Processes_ tab of _Windows Task Manager_ window.
185
186 Copy the appropriate `opengl32.dll`, `d3d8.dll`, or `d3d9.dll` from the
187 wrappers directory to the directory with the application you want to trace.
188 Then run the application as usual.
189
190 You can specify the written trace filename by setting the `TRACE_FILE`
191 environment variable before running.
192
193 For D3D10 and higher you really must use `apitrace trace -a DXGI ...`. This is
194 because D3D10-11 API span many DLLs which depend on each other, and once a DLL
195 with a given name is loaded Windows will reuse it for LoadLibrary calls of the
196 same name, causing internal calls to be traced erroneously. `apitrace trace`
197 solves this issue by injecting a DLL `dxgitrace.dll` and patching all modules
198 to hook only the APIs of interest.
199
200
201 Emitting annotations to the trace
202 ---------------------------------
203
204 From OpenGL applications you can embed annotations in the trace file through the
205 [`GL_GREMEDY_string_marker`](http://www.opengl.org/registry/specs/GREMEDY/string_marker.txt)
206 and
207 [`GL_GREMEDY_frame_terminator`](http://www.opengl.org/registry/specs/GREMEDY/frame_terminator.txt)
208 GL extensions.
209
210 **apitrace** will advertise and intercept these GL extensions independently of
211 the GL implementation.  So all you have to do is to use these extensions when
212 available.
213
214 For example, if you use [GLEW](http://glew.sourceforge.net/) to dynamically
215 detect and use GL extensions, you could easily accomplish this by doing:
216
217     void foo() {
218     
219       if (GLEW_GREMEDY_string_marker) {
220         glStringMarkerGREMEDY(0, __FUNCTION__ ": enter");
221       }
222       
223       ...
224       
225       if (GLEW_GREMEDY_string_marker) {
226         glStringMarkerGREMEDY(0, __FUNCTION__ ": leave");
227       }
228       
229     }
230
231 This has the added advantage of working equally well with gDEBugger.
232
233
234 From OpenGL ES applications you can embed annotations in the trace file through the
235 [`GL_EXT_debug_marker`](http://www.khronos.org/registry/gles/extensions/EXT/EXT_debug_marker.txt)
236 extension.
237
238
239 For Direct3D applications you can follow the standard procedure for
240 [adding user defined events to Visual Studio Graphics Debugger / PIX](http://msdn.microsoft.com/en-us/library/vstudio/hh873200.aspx):
241
242 - `D3DPERF_BeginEvent`, `D3DPERF_EndEvent`, and `D3DPERF_SetMarker` for D3D9 applications.
243
244 - `ID3DUserDefinedAnnotation::BeginEvent`,
245   `ID3DUserDefinedAnnotation::EndEvent`, and
246   `ID3DUserDefinedAnnotation::SetMarker` for D3D11.1 applications.
247
248
249 Dump GL state at a particular call
250 ----------------------------------
251
252 You can get a dump of the bound GL state at call 12345 by doing:
253
254     apitrace replay -D 12345 application.trace > 12345.json
255
256 This is precisely the mechanism the GUI obtains its own state.
257
258 You can compare two state dumps by doing:
259
260     apitrace diff-state 12345.json 67890.json
261
262
263 Comparing two traces side by side
264 ---------------------------------
265
266     apitrace diff trace1.trace trace2.trace
267
268 This works only on Unices, and it will truncate the traces due to performance
269 limitations.
270
271
272 Recording a video with FFmpeg
273 -----------------------------
274
275 You can make a video of the output by doing
276
277     apitrace dump-images -o - application.trace \
278     | ffmpeg -r 30 -f image2pipe -vcodec ppm -i pipe: -vcodec mpeg4 -y output.mp4
279
280
281 Trimming a trace
282 ----------------
283
284 You can make a smaller trace by doing:
285
286     apitrace trim --callset 100-1000 -o trimed.trace applicated.trace
287
288 If you need precise control over which calls to trim you can specify the
289 individual call numbers a plaintext file, as described in the 'Call sets'
290 section above.
291
292
293 Profiling a trace
294 -----------------
295
296 You can perform gpu and cpu profiling with the command line options:
297
298  * `--pgpu` record gpu times for frames and draw calls.
299
300  * `--pcpu` record cpu times for frames and draw calls.
301
302  * `--ppd` record pixels drawn for each draw call.
303
304 The results from this can then be read by hand or analysed with a script.
305
306 `scripts/profileshader.py` will read the profile results and format them into a
307 table which displays profiling results per shader.
308
309 For example, to record all profiling data and utilise the per shader script:
310
311     apitrace replay --pgpu --pcpu --ppd foo.trace | ./scripts/profileshader.py
312
313
314 Advanced usage for OpenGL implementors
315 ======================================
316
317 There are several advanced usage examples meant for OpenGL implementors.
318
319
320 Regression testing
321 ------------------
322
323 These are the steps to create a regression test-suite around **apitrace**:
324
325 * obtain a trace
326
327 * obtain reference snapshots, by doing on a reference system:
328
329         mkdir /path/to/reference/snapshots/
330         apitrace dump-images -o /path/to/reference/snapshots/ application.trace
331
332 * prune the snapshots which are not interesting
333
334 * to do a regression test, use `apitrace diff-images`:
335
336         apitrace dump-images -o /path/to/test/snapshots/ application.trace
337         apitrace diff-images --output summary.html /path/to/reference/snapshots/ /path/to/test/snapshots/
338
339
340 Automated git-bisection
341 -----------------------
342
343 With tracecheck.py it is possible to automate git bisect and pinpoint the
344 commit responsible for a regression.
345
346 Below is an example of using tracecheck.py to bisect a regression in the
347 Mesa-based Intel 965 driver.  But the procedure could be applied to any GL
348 driver hosted on a git repository.
349
350 First, create a build script, named build-script.sh, containing:
351
352     #!/bin/sh
353     set -e
354     export PATH=/usr/lib/ccache:$PATH
355     export CFLAGS='-g'
356     export CXXFLAGS='-g'
357     ./autogen.sh --disable-egl --disable-gallium --disable-glut --disable-glu --disable-glw --with-dri-drivers=i965
358     make clean
359     make "$@"
360
361 It is important that builds are both robust, and efficient.  Due to broken
362 dependency discovery in Mesa's makefile system, it was necessary invoke `make
363 clean` in every iteration step.  `ccache` should be installed to avoid
364 recompiling unchanged source files.
365
366 Then do:
367
368     cd /path/to/mesa
369     export LIBGL_DEBUG=verbose
370     export LD_LIBRARY_PATH=$PWD/lib
371     export LIBGL_DRIVERS_DIR=$PWD/lib
372     git bisect start \
373         6491e9593d5cbc5644eb02593a2f562447efdcbb 71acbb54f49089b03d3498b6f88c1681d3f649ac \
374         -- src/mesa/drivers/dri/intel src/mesa/drivers/dri/i965/
375     git bisect run /path/to/tracecheck.py \
376         --precision-threshold 8.0 \
377         --build /path/to/build-script.sh \
378         --gl-renderer '.*Mesa.*Intel.*' \
379         --retrace=/path/to/glretrace \
380         -c /path/to/reference/snapshots/ \
381         topogun-1.06-orc-84k.trace
382
383 The trace-check.py script will skip automatically when there are build
384 failures.
385
386 The `--gl-renderer` option will also cause a commit to be skipped if the
387 `GL_RENDERER` is unexpected (e.g., when a software renderer or another GL
388 driver is unintentionally loaded due to missing symbol in the DRI driver, or
389 another runtime fault).
390
391
392 Side by side retracing
393 ----------------------
394
395 In order to determine which draw call a regression first manifests one could
396 generate snapshots for every draw call, using the `-S` option.  That is, however,
397 very inefficient for big traces with many draw calls.
398
399 A faster approach is to run both the bad and a good GL driver side-by-side.
400 The latter can be either a previously known good build of the GL driver, or a
401 reference software renderer.
402
403 This can be achieved with retracediff.py script, which invokes glretrace with
404 different environments, allowing to choose the desired GL driver by
405 manipulating variables such as `LD_LIBRARY_PATH`, `LIBGL_DRIVERS_DIR`, or
406 `TRACE_LIBGL`.
407
408 For example, on Linux:
409
410     ./scripts/retracediff.py \
411         --ref-env LD_LIBRARY_PATH=/path/to/reference/GL/implementation \
412         --retrace /path/to/glretrace \
413         --diff-prefix=/path/to/output/diffs \
414         application.trace
415
416 Or on Windows:
417
418     python scripts\retracediff.py --retrace \path\to\glretrace.exe --ref-env TRACE_LIBGL=\path\to\reference\opengl32.dll application.trace
419
420
421 Advanced GUI usage
422 ==================
423
424 qapitrace has rudimentary support for replaying traces on a remote
425 target device. This can be useful, for example, when developing for an
426 embedded system. The primary GUI will run on the local host, while any
427 replays will be performed on the target device.
428
429 In order to target a remote device, use the command-line:
430
431     qapitrace --remote-target <HOST> <trace-file>
432
433 In order for this to work, the following must be available in the
434 system configuration:
435
436 1. It must be possible for the current user to initiate an ssh session
437    that has access to the target's window system. The command to be
438    exectuted by qapitrace will be:
439
440         ssh <HOST> glretrace
441
442    For example, if the target device is using the X window system, one
443    can test whether an ssh session has access to the target X server
444    with:
445
446         ssh <HOST> xdpyinfo
447
448    If this command fails with something like "cannot open display"
449    then the user will have to configure the target to set the DISPLAY
450    environment variable, (for example, setting DISPLAY=:0 in the
451    .bashrc file on the target or similar).
452
453    Also, note that if the ssh session requires a custom username, then
454    this must be configured on the host side so that ssh can be
455    initiated without a username.
456
457    For example, if you normally connect with `ssh user@192.168.0.2`
458    you could configure ~/.ssh/config on the host with a block such as:
459
460         Host target
461           HostName 192.168.0.2
462           User user
463
464    And after this you should be able to connect with `ssh target` so
465    that you can also use `qapitrace --remote-target target`.
466
467 2. The target host must have a functional glretrace binary available
468
469 3. The target host must have access to <trace-file> at the same path
470    in the filesystem as the <trace-file> path on the host system being
471    passed to the qapitrace command line.
472
473
474 [![githalytics.com alpha](https://cruel-carlota.pagodabox.com/c1062ad633aa7a458e9d7520021307e4 "githalytics.com")](http://githalytics.com/apitrace/apitrace)