]> git.cworth.org Git - apitrace/blob - retrace/d3d9state_images.cpp
d3dretrace: Eliminate buffer overflow converting D3DFMT_R5G6B5.
[apitrace] / retrace / d3d9state_images.cpp
1 /**************************************************************************
2  *
3  * Copyright 2011 Jose Fonseca
4  * All Rights Reserved.
5  *
6  * Permission is hereby granted, free of charge, to any person obtaining a copy
7  * of this software and associated documentation files (the "Software"), to deal
8  * in the Software without restriction, including without limitation the rights
9  * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
10  * copies of the Software, and to permit persons to whom the Software is
11  * furnished to do so, subject to the following conditions:
12  *
13  * The above copyright notice and this permission notice shall be included in
14  * all copies or substantial portions of the Software.
15  *
16  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
17  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
18  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
19  * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
20  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
21  * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
22  * THE SOFTWARE.
23  *
24  **************************************************************************/
25
26
27 #include <assert.h>
28 #include <stdint.h>
29 #include <stdio.h>
30
31 #include "image.hpp"
32 #include "json.hpp"
33 #include "d3d9imports.hpp"
34 #include "d3dstate.hpp"
35
36
37 namespace d3dstate {
38
39
40 static image::Image *
41 getRenderTargetImage(IDirect3DDevice9 *pDevice,
42                      IDirect3DSurface9 *pRenderTarget) {
43     image::Image *image = NULL;
44     D3DSURFACE_DESC Desc;
45     IDirect3DSurface9 *pStagingSurface = NULL;
46     D3DLOCKED_RECT LockedRect;
47     const unsigned char *src;
48     unsigned char *dst;
49     HRESULT hr;
50
51     if (!pRenderTarget) {
52         return NULL;
53     }
54
55     hr = pRenderTarget->GetDesc(&Desc);
56     assert(SUCCEEDED(hr));
57
58     if (Desc.Format != D3DFMT_X8R8G8B8 &&
59         Desc.Format != D3DFMT_A8R8G8B8 &&
60         Desc.Format != D3DFMT_R5G6B5) {
61         std::cerr << "warning: unsupported D3DFORMAT " << Desc.Format << "\n";
62         goto no_staging;
63     }
64
65     hr = pDevice->CreateOffscreenPlainSurface(Desc.Width, Desc.Height, Desc.Format, D3DPOOL_SYSTEMMEM, &pStagingSurface, NULL);
66     if (FAILED(hr)) {
67         goto no_staging;
68     }
69
70     hr = pDevice->GetRenderTargetData(pRenderTarget, pStagingSurface);
71     if (FAILED(hr)) {
72         goto no_rendertargetdata;
73     }
74
75     hr = pStagingSurface->LockRect(&LockedRect, NULL, D3DLOCK_READONLY);
76     if (FAILED(hr)) {
77         goto no_rendertargetdata;
78     }
79
80     image = new image::Image(Desc.Width, Desc.Height, 3, true);
81     if (!image) {
82         goto no_image;
83     }
84
85     dst = image->start();
86     src = (const unsigned char *)LockedRect.pBits;
87     for (unsigned y = 0; y < Desc.Height; ++y) {
88         if (Desc.Format == D3DFMT_R5G6B5) {
89             for (unsigned x = 0; x < Desc.Width; ++x) {
90                 uint32_t pixel = ((const uint16_t *)src)[x];
91                 dst[3*x + 0] = (( pixel        & 0x1f) * (2*0xff) + 0x1f) / (2*0x1f);
92                 dst[3*x + 1] = (((pixel >>  5) & 0x3f) * (2*0xff) + 0x3f) / (2*0x3f);
93                 dst[3*x + 2] = (( pixel >> 11        ) * (2*0xff) + 0x1f) / (2*0x1f);
94             }
95         } else {
96             for (unsigned x = 0; x < Desc.Width; ++x) {
97                 dst[3*x + 0] = src[4*x + 2];
98                 dst[3*x + 1] = src[4*x + 1];
99                 dst[3*x + 2] = src[4*x + 0];
100             }
101         }
102
103         src += LockedRect.Pitch;
104         dst += image->stride();
105     }
106
107 no_image:
108     pStagingSurface->UnlockRect();
109 no_rendertargetdata:
110     pStagingSurface->Release();
111 no_staging:
112     return image;
113 }
114
115
116 image::Image *
117 getRenderTargetImage(IDirect3DDevice9 *pDevice) {
118     HRESULT hr;
119
120     IDirect3DSurface9 *pRenderTarget = NULL;
121     hr = pDevice->GetRenderTarget(0, &pRenderTarget);
122     if (FAILED(hr)) {
123         return NULL;
124     }
125     assert(pRenderTarget);
126
127     image::Image *image = NULL;
128     if (pRenderTarget) {
129         image = getRenderTargetImage(pDevice, pRenderTarget);
130         pRenderTarget->Release();
131     }
132
133     return image;
134 }
135
136
137 void
138 dumpFramebuffer(JSONWriter &json, IDirect3DDevice9 *pDevice)
139 {
140     HRESULT hr;
141
142     json.beginMember("framebuffer");
143     json.beginObject();
144
145     D3DCAPS9 Caps;
146     pDevice->GetDeviceCaps(&Caps);
147
148     for (UINT i = 0; i < Caps.NumSimultaneousRTs; ++i) {
149         IDirect3DSurface9 *pRenderTarget = NULL;
150         hr = pDevice->GetRenderTarget(i, &pRenderTarget);
151         if (FAILED(hr)) {
152             continue;
153         }
154
155         if (!pRenderTarget) {
156             continue;
157         }
158
159         image::Image *image;
160         image = getRenderTargetImage(pDevice, pRenderTarget);
161         if (image) {
162             char label[64];
163             _snprintf(label, sizeof label, "RENDER_TARGET_%u", i);
164             json.beginMember(label);
165             json.writeImage(image, "UNKNOWN");
166             json.endMember(); // RENDER_TARGET_*
167         }
168
169         pRenderTarget->Release();
170     }
171
172     json.endObject();
173     json.endMember(); // framebuffer
174 }
175
176
177 } /* namespace d3dstate */