]> git.cworth.org Git - notmuch-old/blob - emacs/notmuch-wash.el
test: add tests for the handling of References and In-Reply-To headers
[notmuch-old] / emacs / notmuch-wash.el
1 ;; notmuch-wash.el --- cleaning up message bodies
2 ;;
3 ;; Copyright © Carl Worth
4 ;; Copyright © David Edmondson
5 ;;
6 ;; This file is part of Notmuch.
7 ;;
8 ;; Notmuch is free software: you can redistribute it and/or modify it
9 ;; under the terms of the GNU General Public License as published by
10 ;; the Free Software Foundation, either version 3 of the License, or
11 ;; (at your option) any later version.
12 ;;
13 ;; Notmuch is distributed in the hope that it will be useful, but
14 ;; WITHOUT ANY WARRANTY; without even the implied warranty of
15 ;; MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16 ;; General Public License for more details.
17 ;;
18 ;; You should have received a copy of the GNU General Public License
19 ;; along with Notmuch.  If not, see <http://www.gnu.org/licenses/>.
20 ;;
21 ;; Authors: Carl Worth <cworth@cworth.org>
22 ;;          David Edmondson <dme@dme.org>
23
24 (require 'coolj)
25
26 (declare-function notmuch-show-insert-bodypart "notmuch-show" (msg part depth &optional hide))
27
28 ;;
29
30 (defvar notmuch-wash-signature-regexp
31   "^\\(-- ?\\|_+\\)$"
32   "Pattern to match a line that separates content from signature.")
33
34 (defvar notmuch-wash-citation-regexp
35   "\\(^[[:space:]]*>.*\n\\)+"
36   "Pattern to match citation lines.")
37
38 (defvar notmuch-wash-original-regexp "^\\(--+\s?[oO]riginal [mM]essage\s?--+\\)$"
39   "Pattern to match a line that separates original message from reply in top-posted message.")
40
41 (defvar notmuch-wash-button-signature-hidden-format
42   "[ %d-line signature. Click/Enter to show. ]"
43   "String used to construct button text for hidden signatures.
44 Can use up to one integer format parameter, i.e. %d")
45
46 (defvar notmuch-wash-button-signature-visible-format
47   "[ %d-line signature. Click/Enter to hide. ]"
48   "String used to construct button text for visible signatures.
49 Can use up to one integer format parameter, i.e. %d")
50
51 (defvar notmuch-wash-button-citation-hidden-format
52   "[ %d more citation lines. Click/Enter to show. ]"
53   "String used to construct button text for hidden citations.
54 Can use up to one integer format parameter, i.e. %d")
55
56 (defvar notmuch-wash-button-citation-visible-format
57   "[ %d more citation lines. Click/Enter to hide. ]"
58   "String used to construct button text for visible citations.
59 Can use up to one integer format parameter, i.e. %d")
60
61 (defvar notmuch-wash-button-original-hidden-format
62   "[ %d-line hidden original message. Click/Enter to show. ]"
63   "String used to construct button text for hidden citations.
64 Can use up to one integer format parameter, i.e. %d")
65
66 (defvar notmuch-wash-button-original-visible-format
67   "[ %d-line original message. Click/Enter to hide. ]"
68   "String used to construct button text for visible citations.
69 Can use up to one integer format parameter, i.e. %d")
70
71 (defvar notmuch-wash-signature-lines-max 12
72   "Maximum length of signature that will be hidden by default.")
73
74 (defvar notmuch-wash-citation-lines-prefix 3
75   "Always show at least this many lines from the start of a citation.
76
77 If there is one more line than the sum of
78 `notmuch-wash-citation-lines-prefix' and
79 `notmuch-wash-citation-lines-suffix', show that, otherwise
80 collapse the remaining lines into a button.")
81
82 (defvar notmuch-wash-citation-lines-suffix 3
83   "Always show at least this many lines from the end of a citation.
84
85 If there is one more line than the sum of
86 `notmuch-wash-citation-lines-prefix' and
87 `notmuch-wash-citation-lines-suffix', show that, otherwise
88 collapse the remaining lines into a button.")
89
90 (defvar notmuch-wash-wrap-lines-length nil
91   "Wrap line after at most this many characters.
92
93 If this is nil, lines in messages will be wrapped to fit in the
94 current window. If this is a number, lines will be wrapped after
95 this many characters or at the window width (whichever one is
96 lower).")
97
98 (defun notmuch-wash-toggle-invisible-action (cite-button)
99   ;; Toggle overlay visibility
100   (let ((overlay (button-get cite-button 'overlay)))
101     (overlay-put overlay 'invisible (not (overlay-get overlay 'invisible))))
102   ;; Update button text
103   (let* ((new-start (button-start cite-button))
104          (overlay (button-get cite-button 'overlay))
105          (button-label (notmuch-wash-button-label overlay))
106          (old-point (point))
107          (inhibit-read-only t))
108     (goto-char new-start)
109     (insert button-label)
110     (let ((old-end (button-end cite-button)))
111       (move-overlay cite-button new-start (point))
112       (delete-region (point) old-end))
113     (goto-char (min old-point (1- (button-end cite-button))))))
114
115 (define-button-type 'notmuch-wash-button-invisibility-toggle-type
116   'action 'notmuch-wash-toggle-invisible-action
117   'follow-link t
118   'face 'font-lock-comment-face
119   :supertype 'notmuch-button-type)
120
121 (define-button-type 'notmuch-wash-button-citation-toggle-type
122   'help-echo "mouse-1, RET: Show citation"
123   :supertype 'notmuch-wash-button-invisibility-toggle-type)
124
125 (define-button-type 'notmuch-wash-button-signature-toggle-type
126   'help-echo "mouse-1, RET: Show signature"
127   :supertype 'notmuch-wash-button-invisibility-toggle-type)
128
129 (define-button-type 'notmuch-wash-button-original-toggle-type
130   'help-echo "mouse-1, RET: Show original message"
131   :supertype 'notmuch-wash-button-invisibility-toggle-type)
132
133 (defun notmuch-wash-region-isearch-show (overlay)
134   (notmuch-wash-toggle-invisible-action
135    (overlay-get overlay 'notmuch-wash-button)))
136
137 (defun notmuch-wash-button-label (overlay)
138   (let* ((type (overlay-get overlay 'type))
139          (invis-spec (overlay-get overlay 'invisible))
140          (state (if (invisible-p invis-spec) "hidden" "visible"))
141          (label-format (symbol-value (intern-soft (concat "notmuch-wash-button-"
142                                                           type "-" state "-format"))))
143          (lines-count (count-lines (overlay-start overlay) (overlay-end overlay))))
144     (format label-format lines-count)))
145
146 (defun notmuch-wash-region-to-button (msg beg end type &optional prefix)
147   "Auxiliary function to do the actual making of overlays and buttons
148
149 BEG and END are buffer locations. TYPE should a string, either
150 \"citation\" or \"signature\". Optional PREFIX is some arbitrary
151 text to insert before the button, probably for indentation.  Note
152 that PREFIX should not include a newline."
153
154   ;; This uses some slightly tricky conversions between strings and
155   ;; symbols because of the way the button code works. Note that
156   ;; replacing intern-soft with make-symbol will cause this to fail,
157   ;; since the newly created symbol has no plist.
158
159   (let ((overlay (make-overlay beg end))
160         (button-type (intern-soft (concat "notmuch-wash-button-"
161                                           type "-toggle-type"))))
162     (overlay-put overlay 'invisible t)
163     (overlay-put overlay 'isearch-open-invisible #'notmuch-wash-region-isearch-show)
164     (overlay-put overlay 'type type)
165     (goto-char (1+ end))
166     (save-excursion
167       (goto-char beg)
168       (if prefix
169           (insert-before-markers prefix))
170       (let ((button-beg (point)))
171         (insert-before-markers (notmuch-wash-button-label overlay) "\n")
172         (let ((button (make-button button-beg (1- (point))
173                                    'overlay overlay
174                                    :type button-type)))
175           (overlay-put overlay 'notmuch-wash-button button))))))
176
177 (defun notmuch-wash-excerpt-citations (msg depth)
178   "Excerpt citations and up to one signature."
179   (goto-char (point-min))
180   (beginning-of-line)
181   (if (and (< (point) (point-max))
182            (re-search-forward notmuch-wash-original-regexp nil t))
183       (let* ((msg-start (match-beginning 0))
184              (msg-end (point-max))
185              (msg-lines (count-lines msg-start msg-end)))
186         (notmuch-wash-region-to-button
187          msg msg-start msg-end "original")))
188   (while (and (< (point) (point-max))
189               (re-search-forward notmuch-wash-citation-regexp nil t))
190     (let* ((cite-start (match-beginning 0))
191            (cite-end (match-end 0))
192            (cite-lines (count-lines cite-start cite-end)))
193       (overlay-put (make-overlay cite-start cite-end) 'face 'message-cited-text)
194       (when (> cite-lines (+ notmuch-wash-citation-lines-prefix
195                              notmuch-wash-citation-lines-suffix
196                              1))
197         (goto-char cite-start)
198         (forward-line notmuch-wash-citation-lines-prefix)
199         (let ((hidden-start (point-marker)))
200           (goto-char cite-end)
201           (forward-line (- notmuch-wash-citation-lines-suffix))
202           (notmuch-wash-region-to-button
203            msg hidden-start (point-marker)
204            "citation")))))
205   (if (and (not (eobp))
206            (re-search-forward notmuch-wash-signature-regexp nil t))
207       (let* ((sig-start (match-beginning 0))
208              (sig-end (match-end 0))
209              (sig-lines (count-lines sig-start (point-max))))
210         (if (<= sig-lines notmuch-wash-signature-lines-max)
211             (let ((sig-start-marker (make-marker))
212                   (sig-end-marker (make-marker)))
213               (set-marker sig-start-marker sig-start)
214               (set-marker sig-end-marker (point-max))
215               (overlay-put (make-overlay sig-start-marker sig-end-marker) 'face 'message-cited-text)
216               (notmuch-wash-region-to-button
217                msg sig-start-marker sig-end-marker
218                "signature"))))))
219
220 ;;
221
222 (defun notmuch-wash-elide-blank-lines (msg depth)
223   "Elide leading, trailing and successive blank lines."
224
225   ;; Algorithm derived from `article-strip-multiple-blank-lines' in
226   ;; `gnus-art.el'.
227
228   ;; Make all blank lines empty.
229   (goto-char (point-min))
230   (while (re-search-forward "^[[:space:]\t]+$" nil t)
231     (replace-match "" nil t))
232
233   ;; Replace multiple empty lines with a single empty line.
234   (goto-char (point-min))
235   (while (re-search-forward "^\n\\(\n+\\)" nil t)
236     (delete-region (match-beginning 1) (match-end 1)))
237
238   ;; Remove a leading blank line.
239   (goto-char (point-min))
240   (if (looking-at "\n")
241       (delete-region (match-beginning 0) (match-end 0)))
242
243   ;; Remove a trailing blank line.
244   (goto-char (point-max))
245   (if (looking-at "\n")
246       (delete-region (match-beginning 0) (match-end 0))))
247
248 ;;
249
250 (defun notmuch-wash-tidy-citations (msg depth)
251   "Improve the display of cited regions of a message.
252
253 Perform several transformations on the message body:
254
255 - Remove lines of repeated citation leaders with no other
256   content,
257 - Remove citation leaders standing alone before a block of cited
258   text,
259 - Remove citation trailers standing alone after a block of cited
260   text."
261
262   ;; Remove lines of repeated citation leaders with no other content.
263   (goto-char (point-min))
264   (while (re-search-forward "\\(^>[> ]*\n\\)\\{2,\\}" nil t)
265     (replace-match "\\1"))
266
267   ;; Remove citation leaders standing alone before a block of cited
268   ;; text.
269   (goto-char (point-min))
270   (while (re-search-forward "\\(\n\\|^[^>].*\\)\n\\(^>[> ]*\n\\)" nil t)
271     (replace-match "\\1\n"))
272
273   ;; Remove citation trailers standing alone after a block of cited
274   ;; text.
275   (goto-char (point-min))
276   (while (re-search-forward "\\(^>[> ]*\n\\)\\(^$\\|^[^>].*\\)" nil t)
277     (replace-match "\\2")))
278
279 ;;
280
281 (defun notmuch-wash-wrap-long-lines (msg depth)
282   "Wrap long lines in the message.
283
284 If `notmuch-wash-wrap-lines-length' is a number, this will wrap
285 the message lines to the minimum of the width of the window or
286 its value. Otherwise, this function will wrap long lines in the
287 message at the window width. When doing so, citation leaders in
288 the wrapped text are maintained."
289
290   (let* ((coolj-wrap-follows-window-size nil)
291          (limit (if (numberp notmuch-wash-wrap-lines-length)
292                     (min notmuch-wash-wrap-lines-length
293                          (window-width))
294                   (window-width)))
295          (fill-column (- limit
296                          depth
297                          ;; 2 to avoid poor interaction with
298                          ;; `word-wrap'.
299                          2)))
300     (coolj-wrap-region (point-min) (point-max))))
301
302 ;;
303
304 (require 'diff-mode)
305
306 (defvar diff-file-header-re) ; From `diff-mode.el'.
307
308 (defun notmuch-wash-subject-to-filename (subject &optional maxlen)
309   "Convert a mail SUBJECT into a filename.
310
311 The resulting filename is similar to the names generated by \"git
312 format-patch\", without the leading patch sequence number
313 \"0001-\" and \".patch\" extension. Any leading \"[PREFIX]\"
314 style strings are removed prior to conversion.
315
316 Optional argument MAXLEN is the maximum length of the resulting
317 filename, before trimming any trailing . and - characters."
318   (let* ((s (replace-regexp-in-string "^ *\\(\\[[^]]*\\] *\\)*" "" subject))
319          (s (replace-regexp-in-string "[^A-Za-z0-9._]+" "-" s))
320          (s (replace-regexp-in-string "\\.+" "." s))
321          (s (if maxlen (substring s 0 (min (length s) maxlen)) s))
322          (s (replace-regexp-in-string "[.-]*$" "" s)))
323     s))
324
325 (defun notmuch-wash-subject-to-patch-sequence-number (subject)
326   "Convert a patch mail SUBJECT into a patch sequence number.
327
328 Return the patch sequence number N from the last \"[PATCH N/M]\"
329 style prefix in SUBJECT, or nil if such a prefix can't be found."
330   (when (string-match
331          "^ *\\(\\[[^]]*\\] *\\)*\\[[^]]*?\\([0-9]+\\)/[0-9]+[^]]*\\].*"
332          subject)
333       (string-to-number (substring subject (match-beginning 2) (match-end 2)))))
334
335 (defun notmuch-wash-subject-to-patch-filename (subject)
336   "Convert a patch mail SUBJECT into a filename.
337
338 The resulting filename is similar to the names generated by \"git
339 format-patch\". If the patch mail was generated and sent using
340 \"git format-patch/send-email\", this should re-create the
341 original filename the sender had."
342   (format "%04d-%s.patch"
343           (or (notmuch-wash-subject-to-patch-sequence-number subject) 1)
344           (notmuch-wash-subject-to-filename subject 52)))
345
346 (defun notmuch-wash-convert-inline-patch-to-part (msg depth)
347   "Convert an inline patch into a fake 'text/x-diff' attachment.
348
349 Given that this function guesses whether a buffer includes a
350 patch and then guesses the extent of the patch, there is scope
351 for error."
352
353   (goto-char (point-min))
354   (when (re-search-forward diff-file-header-re nil t)
355     (beginning-of-line -1)
356     (let ((patch-start (point))
357           (patch-end (point-max))
358           part)
359       (goto-char patch-start)
360       (if (or
361            ;; Patch ends with signature.
362            (re-search-forward notmuch-wash-signature-regexp nil t)
363            ;; Patch ends with bugtraq comment.
364            (re-search-forward "^\\*\\*\\* " nil t))
365           (setq patch-end (match-beginning 0)))
366       (save-restriction
367         (narrow-to-region patch-start patch-end)
368         (setq part (plist-put part :content-type "inline-patch-fake-part"))
369         (setq part (plist-put part :content (buffer-string)))
370         (setq part (plist-put part :id -1))
371         (setq part (plist-put part :filename
372                               (notmuch-wash-subject-to-patch-filename
373                                (plist-get
374                                 (plist-get msg :headers) :Subject))))
375         (delete-region (point-min) (point-max))
376         (notmuch-show-insert-bodypart nil part depth)))))
377
378 ;;
379
380 (provide 'notmuch-wash)