]> git.cworth.org Git - apitrace/blob - trace_snappyfile.cpp
Prevent infinite loop reading snappy compressed files.
[apitrace] / trace_snappyfile.cpp
1 /**************************************************************************
2  *
3  * Copyright 2011 Zack Rusin
4  * All Rights Reserved.
5  *
6  * Permission is hereby granted, free of charge, to any person obtaining a copy
7  * of this software and associated documentation files (the "Software"), to deal
8  * in the Software without restriction, including without limitation the rights
9  * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
10  * copies of the Software, and to permit persons to whom the Software is
11  * furnished to do so, subject to the following conditions:
12  *
13  * The above copyright notice and this permission notice shall be included in
14  * all copies or substantial portions of the Software.
15  *
16  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
17  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
18  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
19  * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
20  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
21  * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
22  * THE SOFTWARE.
23  *
24  **************************************************************************/
25
26
27 #include "trace_snappyfile.hpp"
28
29 #include <snappy.h>
30
31 #include <assert.h>
32 #include <string.h>
33
34 using namespace Trace;
35
36 /*
37  * Snappy file format.
38  * -------------------
39  *
40  * Snappy at its core is just a compressoin algorithm so we're
41  * creating a new file format which uses snappy compression
42  * to hold the trace data.
43  *
44  * The file is composed of a number of chunks, they are:
45  * chunk {
46  *     uint32 - specifying the length of the compressed data
47  *     compressed data, in little endian
48  * }
49  * File can contain any number of such chunks.
50  * The default size of an uncompressed chunk is specified in
51  * SNAPPY_CHUNK_SIZE.
52  *
53  * Note:
54  * Currently the default size for a a to-be-compressed data is
55  * 1mb, meaning that the compressed data will be <= 1mb.
56  * The reason it's 1mb is because it seems
57  * to offer a pretty good compression/disk io speed ratio
58  * but that might change.
59  *
60  */
61
62 SnappyFile::SnappyFile(const std::string &filename,
63                               File::Mode mode)
64     : File(),
65       m_cache(0),
66       m_cachePtr(0),
67       m_cacheSize(0)
68 {
69     size_t maxCompressedLength =
70         snappy::MaxCompressedLength(SNAPPY_CHUNK_SIZE);
71     m_compressedCache = new char[maxCompressedLength];
72 }
73
74 SnappyFile::~SnappyFile()
75 {
76     delete [] m_compressedCache;
77     delete [] m_cache;
78 }
79
80 bool SnappyFile::rawOpen(const std::string &filename, File::Mode mode)
81 {
82     std::ios_base::openmode fmode = std::fstream::binary;
83     if (mode == File::Write) {
84         fmode |= (std::fstream::out | std::fstream::trunc);
85         createCache(SNAPPY_CHUNK_SIZE);
86     } else if (mode == File::Read) {
87         fmode |= std::fstream::in;
88     }
89
90     m_stream.open(filename.c_str(), fmode);
91
92     //read in the initial buffer if we're reading
93     if (m_stream.is_open() && mode == File::Read) {
94         // read the snappy file identifier
95         unsigned char byte1, byte2;
96         m_stream >> byte1;
97         m_stream >> byte2;
98         assert(byte1 == SNAPPY_BYTE1 && byte2 == SNAPPY_BYTE2);
99
100         flushCache();
101     } else if (m_stream.is_open() && mode == File::Write) {
102         // write the snappy file identifier
103         m_stream << SNAPPY_BYTE1;
104         m_stream << SNAPPY_BYTE2;
105     }
106     return m_stream.is_open();
107 }
108
109 bool SnappyFile::rawWrite(const void *buffer, size_t length)
110 {
111     if (freeCacheSize() > length) {
112         memcpy(m_cachePtr, buffer, length);
113         m_cachePtr += length;
114     } else if (freeCacheSize() == length) {
115         memcpy(m_cachePtr, buffer, length);
116         m_cachePtr += length;
117         flushCache();
118     } else {
119         int sizeToWrite = length;
120
121         while (sizeToWrite >= freeCacheSize()) {
122             int endSize = freeCacheSize();
123             int offset = length - sizeToWrite;
124             memcpy(m_cachePtr, (const char*)buffer + offset, endSize);
125             sizeToWrite -= endSize;
126             m_cachePtr += endSize;
127             flushCache();
128         }
129         if (sizeToWrite) {
130             int offset = length - sizeToWrite;
131             memcpy(m_cachePtr, (const char*)buffer + offset, sizeToWrite);
132             m_cachePtr += sizeToWrite;
133         }
134     }
135
136     return true;
137 }
138
139 bool SnappyFile::rawRead(void *buffer, size_t length)
140 {
141     if (endOfData()) {
142         return false;
143     }
144
145     if (freeCacheSize() >= length) {
146         memcpy(buffer, m_cachePtr, length);
147         m_cachePtr += length;
148     } else {
149         size_t sizeToRead = length;
150         size_t offset = 0;
151         while (sizeToRead) {
152             size_t chunkSize = std::min(freeCacheSize(), sizeToRead);
153             offset = length - sizeToRead;
154             memcpy((char*)buffer + offset, m_cachePtr, chunkSize);
155             m_cachePtr += chunkSize;
156             sizeToRead -= chunkSize;
157             if (sizeToRead > 0)
158                 flushCache();
159             if (!m_cacheSize)
160                 break;
161         }
162     }
163
164     return true;
165 }
166
167 int SnappyFile::rawGetc()
168 {
169     int c = 0;
170     if (!rawRead(&c, 1))
171         return -1;
172     return c;
173 }
174
175 void SnappyFile::rawClose()
176 {
177     flushCache();
178     m_stream.close();
179     delete [] m_cache;
180     m_cache = NULL;
181     m_cachePtr = NULL;
182 }
183
184 void SnappyFile::rawFlush()
185 {
186     flushCache();
187     m_stream.flush();
188 }
189
190 void SnappyFile::flushCache()
191 {
192     if (m_mode == File::Write) {
193         size_t compressedLength;
194
195         ::snappy::RawCompress(m_cache, SNAPPY_CHUNK_SIZE - freeCacheSize(),
196                               m_compressedCache, &compressedLength);
197
198         writeCompressedLength(compressedLength);
199         m_stream.write(m_compressedCache, compressedLength);
200         m_cachePtr = m_cache;
201     } else if (m_mode == File::Read) {
202         //assert(m_cachePtr == m_cache + m_cacheSize);
203         size_t compressedLength;
204         compressedLength = readCompressedLength();
205
206         if (compressedLength) {
207             m_stream.read((char*)m_compressedCache, compressedLength);
208             ::snappy::GetUncompressedLength(m_compressedCache, compressedLength,
209                                             &m_cacheSize);
210             createCache(m_cacheSize);
211             ::snappy::RawUncompress(m_compressedCache, compressedLength,
212                                     m_cache);
213         } else {
214             createCache(0);
215         }
216     }
217 }
218
219 void SnappyFile::createCache(size_t size)
220 {
221     // TODO: only re-allocate if the current buffer is not big enough
222
223     if (m_cache) {
224         delete [] m_cache;
225     }
226
227     if (size) {
228         m_cache = new char[size];
229     } else {
230         m_cache = NULL;
231     }
232
233     m_cachePtr = m_cache;
234     m_cacheSize = size;
235 }
236
237 void SnappyFile::writeCompressedLength(size_t length)
238 {
239     unsigned char buf[4];
240     buf[0] = length & 0xff; length >>= 8;
241     buf[1] = length & 0xff; length >>= 8;
242     buf[2] = length & 0xff; length >>= 8;
243     buf[3] = length & 0xff; length >>= 8;
244     assert(length == 0);
245     m_stream.write((const char *)buf, sizeof buf);
246 }
247
248 size_t SnappyFile::readCompressedLength()
249 {
250     unsigned char buf[4];
251     size_t length;
252     m_stream.read((char *)buf, sizeof buf);
253     if (m_stream.fail()) {
254         length = 0;
255     } else {
256         length  =  (size_t)buf[0];
257         length |= ((size_t)buf[1] <<  8);
258         length |= ((size_t)buf[2] << 16);
259         length |= ((size_t)buf[3] << 24);
260     }
261     return length;
262 }