]> code.citadel.org Git - citadel.git/blob - citadel/imap_fetch.c
* Worked out the remaining bugs in IMAP FETCH for the BODYSTRUCTURE and
[citadel.git] / citadel / imap_fetch.c
1 /*
2  * $Id$
3  *
4  * Implements the FETCH command in IMAP.
5  * This command is way too convoluted.  Marc Crispin is a fscking idiot.
6  *
7  */
8
9
10 #include "sysdep.h"
11 #include <stdlib.h>
12 #include <unistd.h>
13 #include <stdio.h>
14 #include <fcntl.h>
15 #include <signal.h>
16 #include <pwd.h>
17 #include <errno.h>
18 #include <sys/types.h>
19 #include <sys/time.h>
20 #include <sys/wait.h>
21 #include <ctype.h>
22 #include <string.h>
23 #include <limits.h>
24 #include "citadel.h"
25 #include "server.h"
26 #include <time.h>
27 #include "sysdep_decls.h"
28 #include "citserver.h"
29 #include "support.h"
30 #include "config.h"
31 #include "dynloader.h"
32 #include "room_ops.h"
33 #include "user_ops.h"
34 #include "policy.h"
35 #include "database.h"
36 #include "msgbase.h"
37 #include "tools.h"
38 #include "internet_addressing.h"
39 #include "mime_parser.h"
40 #include "serv_imap.h"
41 #include "imap_tools.h"
42 #include "imap_fetch.h"
43 #include "genstamp.h"
44
45
46
47 struct imap_fetch_part {
48         char desired_section[SIZ];
49         FILE *output_fp;
50 };
51
52 /*
53  * Individual field functions for imap_do_fetch_msg() ...
54  */
55
56
57
58 void imap_fetch_uid(int seq) {
59         cprintf("UID %ld", IMAP->msgids[seq-1]);
60 }
61
62 void imap_fetch_flags(struct CtdlMessage *msg) {
63         cprintf("FLAGS ()");    /* FIXME do something here */
64 }
65
66 void imap_fetch_internaldate(struct CtdlMessage *msg) {
67         char buf[SIZ];
68         time_t msgdate;
69
70         if (msg->cm_fields['T'] != NULL) {
71                 msgdate = atol(msg->cm_fields['T']);
72         }
73         else {
74                 msgdate = time(NULL);
75         }
76
77         datestring(buf, msgdate, DATESTRING_IMAP);
78         cprintf("INTERNALDATE \"%s\"", buf);
79 }
80
81
82 /*
83  * Fetch RFC822-formatted messages.
84  *
85  * 'whichfmt' should be set to one of:
86  *      "RFC822"        entire message
87  *      "RFC822.HEADER" headers only (with trailing blank line)
88  *      "RFC822.SIZE"   size of translated message
89  *      "RFC822.TEXT"   body only (without leading blank line)
90  */
91 void imap_fetch_rfc822(int msgnum, char *whichfmt, struct CtdlMessage *msg) {
92         FILE *tmp;
93         char buf[1024];
94         char *ptr;
95         long headers_size, text_size, total_size;
96         long bytes_remaining = 0;
97         long blocksize;
98
99         tmp = tmpfile();
100         if (tmp == NULL) {
101                 lprintf(1, "Cannot open temp file: %s\n", strerror(errno));
102                 return;
103         }
104
105         /*
106          * Load the message into a temp file for translation and measurement
107          */ 
108         CtdlRedirectOutput(tmp, -1);
109         CtdlOutputPreLoadedMsg(msg, msgnum, MT_RFC822, 0, 0, 1);
110         CtdlRedirectOutput(NULL, -1);
111         if (!is_valid_message(msg)) {
112                 lprintf(1, "WARNING: output clobbered the message!\n");
113         }
114
115         /*
116          * Now figure out where the headers/text break is.  IMAP considers the
117          * intervening blank line to be part of the headers, not the text.
118          */
119         rewind(tmp);
120         headers_size = 0L;
121         do {
122                 ptr = fgets(buf, sizeof buf, tmp);
123                 if (ptr != NULL) {
124                         striplt(buf);
125                         if (strlen(buf) == 0) headers_size = ftell(tmp);
126                 }
127         } while ( (headers_size == 0L) && (ptr != NULL) );
128         fseek(tmp, 0L, SEEK_END);
129         total_size = ftell(tmp);
130         text_size = total_size - headers_size;
131
132         if (!strcasecmp(whichfmt, "RFC822.SIZE")) {
133                 cprintf("RFC822.SIZE %ld", total_size);
134                 fclose(tmp);
135                 return;
136         }
137
138         else if (!strcasecmp(whichfmt, "RFC822")) {
139                 bytes_remaining = total_size;
140                 rewind(tmp);
141         }
142
143         else if (!strcasecmp(whichfmt, "RFC822.HEADER")) {
144                 bytes_remaining = headers_size;
145                 rewind(tmp);
146         }
147
148         else if (!strcasecmp(whichfmt, "RFC822.TEXT")) {
149                 bytes_remaining = text_size;
150                 fseek(tmp, headers_size, SEEK_SET);
151         }
152
153         cprintf("%s {%ld}\r\n", whichfmt, bytes_remaining);
154         blocksize = sizeof(buf);
155         while (bytes_remaining > 0L) {
156                 if (blocksize > bytes_remaining) blocksize = bytes_remaining;
157                 fread(buf, blocksize, 1, tmp);
158                 client_write(buf, blocksize);
159                 bytes_remaining = bytes_remaining - blocksize;
160         }
161
162         fclose(tmp);
163 }
164
165
166
167 /*
168  * Load a specific part of a message into the temp file to be output to a
169  * client.  FIXME we can handle parts like "2" and "2.1" and even "2.MIME"
170  * but we still can't handle "2.HEADER" (which might not be a problem, because
171  * we currently don't have the ability to break out nested RFC822's anyway).
172  *
173  * Note: mime_parser() was called with dont_decode set to 1, so we have the
174  * luxury of simply spewing without having to re-encode.
175  */
176 void imap_load_part(char *name, char *filename, char *partnum, char *disp,
177                     void *content, char *cbtype, size_t length, char *encoding,
178                     void *cbuserdata)
179 {
180         struct imap_fetch_part *imfp;
181         char mbuf2[1024];
182
183         imfp = (struct imap_fetch_part *)cbuserdata;
184
185         if (!strcasecmp(partnum, imfp->desired_section)) {
186                 fwrite(content, length, 1, imfp->output_fp);
187         }
188
189         sprintf(mbuf2, "%s.MIME", partnum);
190
191         if (!strcasecmp(imfp->desired_section, mbuf2)) {
192                 fprintf(imfp->output_fp, "Content-type: %s", cbtype);
193                 if (strlen(name) > 0)
194                         fprintf(imfp->output_fp, "; name=\"%s\"", name);
195                 fprintf(imfp->output_fp, "\r\n");
196                 if (strlen(encoding) > 0)
197                         fprintf(imfp->output_fp,
198                                 "Content-Transfer-Encoding: %s\r\n", encoding);
199                 if (strlen(encoding) > 0) {
200                         fprintf(imfp->output_fp, "Content-Disposition: %s",
201                                         disp);
202                         if (strlen(filename) > 0) {
203                                 fprintf(imfp->output_fp, "; filename=\"%s\"",
204                                         filename);
205                         }
206                         fprintf(imfp->output_fp, "\r\n");
207                 }
208                 fprintf(imfp->output_fp, "Content-Length: %d\r\n", length);
209                 fprintf(imfp->output_fp, "\r\n");
210         }
211                         
212
213 }
214
215
216 /* 
217  * Called by imap_fetch_envelope() to output the "From" field.
218  * This is in its own function because its logic is kind of complex.  We
219  * really need to make this suck less.
220  */
221 void imap_output_envelope_from(struct CtdlMessage *msg) {
222         char user[1024], node[1024], name[1024];
223
224         cprintf("((");                          /* open double-parens */
225         imap_strout(msg->cm_fields['A']);       /* personal name */
226         cprintf(" NIL ");                       /* source route (not used) */
227
228         if (msg->cm_fields['F'] != NULL) {
229                 process_rfc822_addr(msg->cm_fields['F'], user, node, name);
230                 imap_strout(user);              /* mailbox name (user id) */
231                 cprintf(" ");
232                 if (!strcasecmp(node, config.c_nodename)) {
233                         imap_strout(config.c_fqdn);
234                 }
235                 else {
236                         imap_strout(node);              /* host name */
237                 }
238         }
239         else {
240                 imap_strout(msg->cm_fields['A']); /* mailbox name (user id) */
241                 cprintf(" ");
242                 imap_strout(msg->cm_fields['N']);       /* host name */
243         }
244         
245         cprintf(")) ");                         /* close double-parens */
246 }
247
248
249 /*
250  * Implements the ENVELOPE fetch item
251  * 
252  * FIXME ... we only output some of the fields right now.  Definitely need
253  *           to do all of them.  Accurately, too.
254  *
255  * Note that the imap_strout() function can cleverly output NULL fields as NIL,
256  * so we don't have to check for that condition like we do elsewhere.
257  */
258 void imap_fetch_envelope(long msgnum, struct CtdlMessage *msg) {
259         char datestringbuf[SIZ];
260         time_t msgdate;
261         char *fieldptr = NULL;
262
263         /* Parse the message date into an IMAP-format date string */
264         if (msg->cm_fields['T'] != NULL) {
265                 msgdate = atol(msg->cm_fields['T']);
266         }
267         else {
268                 msgdate = time(NULL);
269         }
270         datestring(datestringbuf, msgdate, DATESTRING_IMAP);
271
272         /* Now start spewing data fields.  The order is important, as it is
273          * defined by the protocol specification.  Nonexistent fields must
274          * be output as NIL, existent fields must be quoted or literalled.
275          * The imap_strout() function conveniently does all this for us.
276          */
277         cprintf("ENVELOPE (");
278
279         /* Date */
280         imap_strout(datestringbuf);
281         cprintf(" ");
282
283         /* Subject */
284         imap_strout(msg->cm_fields['U']);
285         cprintf(" ");
286
287         /* From */
288         imap_output_envelope_from(msg);
289
290         /* Sender */
291         if (0) {
292                 /* FIXME ... check for a *real* Sender: field */
293         }
294         else {
295                 imap_output_envelope_from(msg);
296         }
297
298         /* Reply-to */
299         if (0) {
300                 /* FIXME ... check for a *real* Reply-to: field */
301         }
302         else {
303                 imap_output_envelope_from(msg);
304         }
305
306         cprintf("NIL ");        /* to */
307
308         cprintf("NIL ");        /* cc */
309
310         cprintf("NIL ");        /* bcc */
311
312         /* In-reply-to */
313         fieldptr = rfc822_fetch_field(msg->cm_fields['M'], "In-reply-to");
314         imap_strout(fieldptr);
315         cprintf(" ");
316         if (fieldptr != NULL) phree(fieldptr);
317
318         /* message ID */
319         imap_strout(msg->cm_fields['I']);
320
321         cprintf(") ");
322 }
323
324
325 /*
326  * Strip any non header information out of a chunk of RFC822 data on disk
327  */
328 void imap_strip_headers(FILE *fp) {
329         char buf[1024];
330
331         rewind(fp);
332         while (fgets(buf, sizeof buf, fp) != NULL) {
333                 striplt(buf);
334                 if (strlen(buf) == 0) {
335                         fflush(fp);
336                         ftruncate(fileno(fp), ftell(fp));
337                 }
338         }
339         fflush(fp);
340         fprintf(fp, "\r\n");    /* add the trailing newline */
341         rewind(fp);
342 }
343
344
345 /*
346  * Implements the BODY and BODY.PEEK fetch items
347  */
348 void imap_fetch_body(long msgnum, char *item, int is_peek,
349                 struct CtdlMessage *msg) {
350         char section[1024];
351         char partial[1024];
352         int is_partial = 0;
353         char buf[1024];
354         int i;
355         FILE *tmp;
356         long bytes_remaining = 0;
357         long blocksize;
358         long pstart, pbytes;
359         struct imap_fetch_part imfp;
360
361         /* extract section */
362         strcpy(section, item);
363         for (i=0; i<strlen(section); ++i) {
364                 if (section[i]=='[') strcpy(section, &section[i+1]);
365         }
366         for (i=0; i<strlen(section); ++i) {
367                 if (section[i]==']') section[i] = 0;
368         }
369         lprintf(9, "Section is %s\n", section);
370
371         /* extract partial */
372         strcpy(partial, item);
373         for (i=0; i<strlen(partial); ++i) {
374                 if (partial[i]=='<') {
375                         strcpy(partial, &partial[i+1]);
376                         is_partial = 1;
377                 }
378         }
379         for (i=0; i<strlen(partial); ++i) {
380                 if (partial[i]=='>') partial[i] = 0;
381         }
382         if (is_partial == 0) strcpy(partial, "");
383         if (strlen(partial) > 0) lprintf(9, "Partial is %s\n", partial);
384
385         tmp = tmpfile();
386         if (tmp == NULL) {
387                 lprintf(1, "Cannot open temp file: %s\n", strerror(errno));
388                 return;
389         }
390
391         /* Now figure out what the client wants, and get it */
392
393         if (!strcmp(section, "")) {             /* the whole thing */
394                 CtdlRedirectOutput(tmp, -1);
395                 CtdlOutputPreLoadedMsg(msg, msgnum, MT_RFC822, 0, 0, 1);
396                 CtdlRedirectOutput(NULL, -1);
397         }
398
399         /*
400          * Be obnoxious and send the entire header, even if the client only
401          * asks for certain fields.  FIXME this shortcut later.
402          */
403         else if (!strncasecmp(section, "HEADER", 6)) {
404                 CtdlRedirectOutput(tmp, -1);
405                 CtdlOutputPreLoadedMsg(msg, msgnum, MT_RFC822, 1, 0, 1);
406                 CtdlRedirectOutput(NULL, -1);
407                 imap_strip_headers(tmp);
408         }
409
410         /*
411          * Anything else must be a part specifier.
412          * (Note value of 1 passed as 'dont_decode' so client gets it encoded)
413          */
414         else {
415                 safestrncpy(imfp.desired_section, section,
416                                 sizeof(imfp.desired_section));
417                 imfp.output_fp = tmp;
418
419                 mime_parser(msg->cm_fields['M'], NULL,
420                                 *imap_load_part, NULL, NULL,
421                                 (void *)&imfp,
422                                 1);
423         }
424
425
426         fseek(tmp, 0L, SEEK_END);
427         bytes_remaining = ftell(tmp);
428
429         if (is_partial == 0) {
430                 rewind(tmp);
431                 cprintf("BODY[%s] {%ld}\r\n", section, bytes_remaining);
432         }
433         else {
434                 sscanf(partial, "%ld.%ld", &pstart, &pbytes);
435                 if ((bytes_remaining - pstart) < pbytes) {
436                         pbytes = bytes_remaining - pstart;
437                 }
438                 fseek(tmp, pstart, SEEK_SET);
439                 bytes_remaining = pbytes;
440                 cprintf("BODY[%s] {%ld}<%ld>\r\n",
441                         section, bytes_remaining, pstart);
442         }
443
444         blocksize = sizeof(buf);
445         while (bytes_remaining > 0L) {
446                 if (blocksize > bytes_remaining) blocksize = bytes_remaining;
447                 fread(buf, blocksize, 1, tmp);
448                 client_write(buf, blocksize);
449                 bytes_remaining = bytes_remaining - blocksize;
450         }
451
452         fclose(tmp);
453
454         if (is_peek) {
455                 /* FIXME set the last read pointer or something */
456         }
457 }
458
459 /*
460  * Called immediately before outputting a multipart bodystructure
461  */
462 void imap_fetch_bodystructure_pre(
463                 char *name, char *filename, char *partnum, char *disp,
464                 void *content, char *cbtype, size_t length, char *encoding,
465                 void *cbuserdata
466                 ) {
467
468         cprintf("(");
469 }
470
471
472
473 /*
474  * Called immediately after outputting a multipart bodystructure
475  */
476 void imap_fetch_bodystructure_post(
477                 char *name, char *filename, char *partnum, char *disp,
478                 void *content, char *cbtype, size_t length, char *encoding,
479                 void *cbuserdata
480                 ) {
481
482         char subtype[SIZ];
483
484         extract_token(subtype, cbtype, 1, '/');
485         imap_strout(subtype);
486         cprintf(")");
487 }
488
489
490
491 /*
492  * Output the info for a MIME part in the format required by BODYSTRUCTURE.
493  *
494  */
495 void imap_fetch_bodystructure_part(
496                 char *name, char *filename, char *partnum, char *disp,
497                 void *content, char *cbtype, size_t length, char *encoding,
498                 void *cbuserdata
499                 ) {
500
501         char buf[SIZ];
502         int have_cbtype = 0;
503         int have_encoding = 0;
504
505         cprintf("(");
506
507         if (cbtype != NULL) if (strlen(cbtype)>0) have_cbtype = 1;
508
509         if (have_cbtype) {
510                 extract_token(buf, cbtype, 0, '/');
511                 imap_strout(buf);
512                 cprintf(" ");
513                 extract_token(buf, cbtype, 1, '/');
514                 imap_strout(buf);
515                 cprintf(" ");
516         }
517         else {
518                 cprintf("\"TEXT\" \"PLAIN\" ");
519         }
520
521         cprintf("(\"CHARSET\" \"US-ASCII\"");
522
523         if (name != NULL) if (strlen(name)>0) {
524                 cprintf(" \"NAME\" ");
525                 imap_strout(name);
526         }
527
528         if (filename != NULL) if (strlen(filename)>0) {
529                 cprintf(" \"FILENAME\" ");
530                 imap_strout(name);
531         }
532
533         cprintf(") ");
534
535         cprintf("NIL NIL ");
536
537         if (encoding != NULL) if (strlen(encoding) > 0)  have_encoding = 1;
538
539         if (have_encoding) {
540                 imap_strout(encoding);
541         }
542         else {
543                 imap_strout("7BIT");
544         }
545         cprintf(" ");
546
547         cprintf("%ld ", length);        /* bytes */
548         cprintf("NIL) ");               /* lines */
549 }
550
551
552
553 /*
554  * Spew the BODYSTRUCTURE data for a message.  (Do you need a silencer if
555  * you're going to shoot a MIME?  Do you need a reason to shoot Mark Crispin?
556  * No, and no.)
557  *
558  */
559 void imap_fetch_bodystructure (long msgnum, char *item,
560                 struct CtdlMessage *msg) {
561         FILE *tmp;
562         char buf[1024];
563         long lines = 0L;
564         long bytes = 0L;
565
566         /* For non-RFC822 (ordinary Citadel) messages, this is short and
567          * sweet...
568          */
569         if (msg->cm_format_type != FMT_RFC822) {
570
571                 /* *sigh* We have to RFC822-format the message just to be able
572                  * to measure it.
573                  */
574                 tmp = tmpfile();
575                 if (tmp == NULL) return;
576                 CtdlRedirectOutput(tmp, -1);
577                 CtdlOutputPreLoadedMsg(msg, msgnum, MT_RFC822, 0, 0, 1);
578                 CtdlRedirectOutput(NULL, -1);
579
580                 rewind(tmp);
581                 while (fgets(buf, sizeof buf, tmp) != NULL) ++lines;
582                 bytes = ftell(tmp);
583                 fclose(tmp);
584
585                 cprintf("BODYSTRUCTURE (\"TEXT\" \"PLAIN\" "
586                         "(\"CHARSET\" \"US-ASCII\") NIL NIL "
587                         "\"7BIT\" %ld %ld)", bytes, lines);
588
589                 return;
590         }
591
592         /* For messages already stored in RFC822 format, we have to parse. */
593         cprintf("BODYSTRUCTURE ");
594         mime_parser(msg->cm_fields['M'],
595                         NULL,
596                         *imap_fetch_bodystructure_part, /* part */
597                         *imap_fetch_bodystructure_pre,  /* pre-multi */
598                         *imap_fetch_bodystructure_post, /* post-multi */
599                         NULL,
600                         0);
601 }
602
603
604
605
606
607
608 /*
609  * imap_do_fetch() calls imap_do_fetch_msg() to output the deta of an
610  * individual message, once it has been successfully loaded from disk.
611  */
612 void imap_do_fetch_msg(int seq, struct CtdlMessage *msg,
613                         int num_items, char **itemlist) {
614         int i;
615
616         cprintf("* %d FETCH (", seq);
617
618         for (i=0; i<num_items; ++i) {
619
620                 if (!strncasecmp(itemlist[i], "BODY[", 5)) {
621                         imap_fetch_body(IMAP->msgids[seq-1], itemlist[i],
622                                         0, msg);
623                 }
624                 else if (!strncasecmp(itemlist[i], "BODY.PEEK[", 10)) {
625                         imap_fetch_body(IMAP->msgids[seq-1], itemlist[i],
626                                         1, msg);
627                 }
628                 else if (!strcasecmp(itemlist[i], "BODYSTRUCTURE")) {
629                         imap_fetch_bodystructure(IMAP->msgids[seq-1],
630                                         itemlist[i], msg);
631                 }
632                 else if (!strcasecmp(itemlist[i], "ENVELOPE")) {
633                         imap_fetch_envelope(IMAP->msgids[seq-1], msg);
634                 }
635                 else if (!strcasecmp(itemlist[i], "FLAGS")) {
636                         imap_fetch_flags(msg);
637                 }
638                 else if (!strcasecmp(itemlist[i], "INTERNALDATE")) {
639                         imap_fetch_internaldate(msg);
640                 }
641                 else if (!strcasecmp(itemlist[i], "RFC822")) {
642                         imap_fetch_rfc822(IMAP->msgids[seq-1], itemlist[i], msg);
643                 }
644                 else if (!strcasecmp(itemlist[i], "RFC822.HEADER")) {
645                         imap_fetch_rfc822(IMAP->msgids[seq-1], itemlist[i], msg);
646                 }
647                 else if (!strcasecmp(itemlist[i], "RFC822.SIZE")) {
648                         imap_fetch_rfc822(IMAP->msgids[seq-1], itemlist[i], msg);
649                 }
650                 else if (!strcasecmp(itemlist[i], "RFC822.TEXT")) {
651                         imap_fetch_rfc822(IMAP->msgids[seq-1], itemlist[i], msg);
652                 }
653                 else if (!strcasecmp(itemlist[i], "UID")) {
654                         imap_fetch_uid(seq);
655                 }
656
657                 if (i != num_items-1) cprintf(" ");
658         }
659
660         cprintf(")\r\n");
661 }
662
663
664
665 /*
666  * imap_fetch() calls imap_do_fetch() to do its actual work, once it's
667  * validated and boiled down the request a bit.
668  */
669 void imap_do_fetch(int num_items, char **itemlist) {
670         int i;
671         struct CtdlMessage *msg;
672
673         if (IMAP->num_msgs > 0)
674          for (i = 0; i < IMAP->num_msgs; ++i)
675           if (IMAP->flags[i] && IMAP_FETCHED) {
676                 msg = CtdlFetchMessage(IMAP->msgids[i]);
677                 if (msg != NULL) {
678                         imap_do_fetch_msg(i+1, msg, num_items, itemlist);
679                         CtdlFreeMessage(msg);
680                 }
681                 else {
682                         cprintf("* %d FETCH <internal error>\r\n", i+1);
683                 }
684         }
685 }
686
687
688
689 /*
690  * Back end for imap_handle_macros()
691  * Note that this function *only* looks at the beginning of the string.  It
692  * is not a generic search-and-replace function.
693  */
694 void imap_macro_replace(char *str, char *find, char *replace) {
695         char holdbuf[1024];
696
697         if (!strncasecmp(str, find, strlen(find))) {
698                 if (str[strlen(find)]==' ') {
699                         strcpy(holdbuf, &str[strlen(find)+1]);
700                         strcpy(str, replace);
701                         strcat(str, " ");
702                         strcat(str, holdbuf);
703                 }
704                 if (str[strlen(find)]==0) {
705                         strcpy(holdbuf, &str[strlen(find)+1]);
706                         strcpy(str, replace);
707                 }
708         }
709 }
710
711
712
713 /*
714  * Handle macros embedded in FETCH data items.
715  * (What the heck are macros doing in a wire protocol?  Are we trying to save
716  * the computer at the other end the trouble of typing a lot of characters?)
717  */
718 void imap_handle_macros(char *str) {
719         int i;
720         int nest = 0;
721
722         for (i=0; i<strlen(str); ++i) {
723                 if (str[i]=='(') ++nest;
724                 if (str[i]=='[') ++nest;
725                 if (str[i]=='<') ++nest;
726                 if (str[i]=='{') ++nest;
727                 if (str[i]==')') --nest;
728                 if (str[i]==']') --nest;
729                 if (str[i]=='>') --nest;
730                 if (str[i]=='}') --nest;
731
732                 if (nest <= 0) {
733                         imap_macro_replace(&str[i],
734                                 "ALL",
735                                 "FLAGS INTERNALDATE RFC822.SIZE ENVELOPE"
736                         );
737                         imap_macro_replace(&str[i],
738                                 "BODY",
739                                 "BODYSTRUCTURE"
740                         );
741                         imap_macro_replace(&str[i],
742                                 "FAST",
743                                 "FLAGS INTERNALDATE RFC822.SIZE"
744                         );
745                         imap_macro_replace(&str[i],
746                                 "FULL",
747                                 "FLAGS INTERNALDATE RFC822.SIZE ENVELOPE BODY"
748                         );
749                 }
750         }
751 }
752
753
754 /*
755  * Break out the data items requested, possibly a parenthesized list.
756  * Returns the number of data items, or -1 if the list is invalid.
757  * NOTE: this function alters the string it is fed, and uses it as a buffer
758  * to hold the data for the pointers it returns.
759  */
760 int imap_extract_data_items(char **argv, char *items) {
761         int num_items = 0;
762         int nest = 0;
763         int i, initial_len;
764         char *start;
765
766         /* Convert all whitespace to ordinary space characters. */
767         for (i=0; i<strlen(items); ++i) {
768                 if (isspace(items[i])) items[i]=' ';
769         }
770
771         /* Strip leading and trailing whitespace, then strip leading and
772          * trailing parentheses if it's a list
773          */
774         striplt(items);
775         if ( (items[0]=='(') && (items[strlen(items)-1]==')') ) {
776                 items[strlen(items)-1] = 0;
777                 strcpy(items, &items[1]);
778                 striplt(items);
779         }
780
781         /* Parse any macro data items */
782         imap_handle_macros(items);
783
784         /*
785          * Now break out the data items.  We throw in one trailing space in
786          * order to avoid having to break out the last one manually.
787          */
788         strcat(items, " ");
789         start = items;
790         initial_len = strlen(items);
791         for (i=0; i<initial_len; ++i) {
792                 if (items[i]=='(') ++nest;
793                 if (items[i]=='[') ++nest;
794                 if (items[i]=='<') ++nest;
795                 if (items[i]=='{') ++nest;
796                 if (items[i]==')') --nest;
797                 if (items[i]==']') --nest;
798                 if (items[i]=='>') --nest;
799                 if (items[i]=='}') --nest;
800
801                 if (nest <= 0) if (items[i]==' ') {
802                         items[i] = 0;
803                         argv[num_items++] = start;
804                         start = &items[i+1];
805                 }
806         }
807
808         return(num_items);
809
810 }
811
812
813 /*
814  * One particularly hideous aspect of IMAP is that we have to allow the client
815  * to specify arbitrary ranges and/or sets of messages to fetch.  Citadel IMAP
816  * handles this by setting the IMAP_FETCHED flag for each message specified in
817  * the ranges/sets, then looping through the message array, outputting messages
818  * with the flag set.  We don't bother returning an error if an out-of-range
819  * number is specified (we just return quietly) because any client braindead
820  * enough to request a bogus message number isn't going to notice the
821  * difference anyway.
822  *
823  * This function clears out the IMAP_FETCHED bits, then sets that bit for each
824  * message included in the specified range.
825  *
826  * Set is_uid to 1 to fetch by UID instead of sequence number.
827  */
828 void imap_pick_range(char *range, int is_uid) {
829         int i;
830         int num_sets;
831         int s;
832         char setstr[SIZ], lostr[SIZ], histr[SIZ];       /* was 1024 */
833         int lo, hi;
834         char *actual_range;
835
836         actual_range = range;
837         if (!strcasecmp(range, "ALL")) actual_range = "1:*";
838
839         /*
840          * Clear out the IMAP_FETCHED flags for all messages.
841          */
842         for (i = 1; i <= IMAP->num_msgs; ++i) {
843                 IMAP->flags[i-1] = IMAP->flags[i-1] & ~IMAP_FETCHED;
844         }
845
846         /*
847          * Now set it for all specified messages.
848          */
849         num_sets = num_tokens(actual_range, ',');
850         for (s=0; s<num_sets; ++s) {
851                 extract_token(setstr, actual_range, s, ',');
852
853                 extract_token(lostr, setstr, 0, ':');
854                 if (num_tokens(setstr, ':') >= 2) {
855                         extract_token(histr, setstr, 1, ':');
856                         if (!strcmp(histr, "*")) sprintf(histr, "%d", INT_MAX);
857                 } 
858                 else {
859                         strcpy(histr, lostr);
860                 }
861                 lo = atoi(lostr);
862                 hi = atoi(histr);
863
864                 /* Loop through the array, flipping bits where appropriate */
865                 for (i = 1; i <= IMAP->num_msgs; ++i) {
866                         if (is_uid) {   /* fetch by sequence number */
867                                 if ( (IMAP->msgids[i-1]>=lo)
868                                    && (IMAP->msgids[i-1]<=hi)) {
869                                         IMAP->flags[i-1] =
870                                                 IMAP->flags[i-1] | IMAP_FETCHED;
871                                 }
872                         }
873                         else {          /* fetch by uid */
874                                 if ( (i>=lo) && (i<=hi)) {
875                                         IMAP->flags[i-1] =
876                                                 IMAP->flags[i-1] | IMAP_FETCHED;
877                                 }
878                         }
879                 }
880         }
881 }
882
883
884
885 /*
886  * This function is called by the main command loop.
887  */
888 void imap_fetch(int num_parms, char *parms[]) {
889         char items[SIZ];        /* was 1024 */
890         char *itemlist[SIZ];
891         int num_items;
892         int i;
893
894         if (num_parms < 4) {
895                 cprintf("%s BAD invalid parameters\r\n", parms[0]);
896                 return;
897         }
898
899         imap_pick_range(parms[2], 0);
900
901         strcpy(items, "");
902         for (i=3; i<num_parms; ++i) {
903                 strcat(items, parms[i]);
904                 if (i < (num_parms-1)) strcat(items, " ");
905         }
906
907         num_items = imap_extract_data_items(itemlist, items);
908         if (num_items < 1) {
909                 cprintf("%s BAD invalid data item list\r\n", parms[0]);
910                 return;
911         }
912
913         imap_do_fetch(num_items, itemlist);
914         cprintf("%s OK FETCH completed\r\n", parms[0]);
915 }
916
917 /*
918  * This function is called by the main command loop.
919  */
920 void imap_uidfetch(int num_parms, char *parms[]) {
921         char items[SIZ];        /* was 1024 */
922         char *itemlist[SIZ];
923         int num_items;
924         int i;
925         int have_uid_item = 0;
926
927         if (num_parms < 5) {
928                 cprintf("%s BAD invalid parameters\r\n", parms[0]);
929                 return;
930         }
931
932         imap_pick_range(parms[3], 1);
933
934         strcpy(items, "");
935         for (i=4; i<num_parms; ++i) {
936                 strcat(items, parms[i]);
937                 if (i < (num_parms-1)) strcat(items, " ");
938         }
939
940         num_items = imap_extract_data_items(itemlist, items);
941         if (num_items < 1) {
942                 cprintf("%s BAD invalid data item list\r\n", parms[0]);
943                 return;
944         }
945
946         /* If the "UID" item was not included, we include it implicitly
947          * because this is a UID FETCH command
948          */
949         for (i=0; i<num_items; ++i) {
950                 if (!strcasecmp(itemlist[i], "UID")) ++have_uid_item;
951         }
952         if (have_uid_item == 0) itemlist[num_items++] = "UID";
953
954         imap_do_fetch(num_items, itemlist);
955         cprintf("%s OK UID FETCH completed\r\n", parms[0]);
956 }
957
958