citadel/msgbase.c

   1 /*
   2  * Implements the message store.
   3  *
   4  * Copyright (c) 1987-2011 by the citadel.org team
   5  *
   6  * This program is open source software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License as published by
   8  * the Free Software Foundation; either version 3 of the License, or
   9  * (at your option) any later version.
  10  *
  11  * This program is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14  * GNU General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * along with this program; if not, write to the Free Software
  18  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  19  */
  20
  21 #include "sysdep.h"
  22 #include <stdlib.h>
  23 #include <unistd.h>
  24 #include <stdio.h>
  25 #include <fcntl.h>
  26
  27 #if TIME_WITH_SYS_TIME
  28 # include <sys/time.h>
  29 # include <time.h>
  30 #else
  31 # if HAVE_SYS_TIME_H
  32 #  include <sys/time.h>
  33 # else
  34 #  include <time.h>
  35 # endif
  36 #endif
  37
  38
  39 #include <ctype.h>
  40 #include <string.h>
  41 #include <limits.h>
  42 #include <errno.h>
  43 #include <stdarg.h>
  44 #include <sys/stat.h>
  45 #include <sys/types.h>
  46 #include <regex.h>
  47 #include <libcitadel.h>
  48 #include "citadel.h"
  49 #include "server.h"
  50 #include "serv_extensions.h"
  51 #include "database.h"
  52 #include "msgbase.h"
  53 #include "support.h"
  54 #include "sysdep_decls.h"
  55 #include "citserver.h"
  56 #include "room_ops.h"
  57 #include "user_ops.h"
  58 #include "file_ops.h"
  59 #include "config.h"
  60 #include "control.h"
  61 #include "genstamp.h"
  62 #include "internet_addressing.h"
  63 #include "euidindex.h"
  64 #include "journaling.h"
  65 #include "citadel_dirs.h"
  66 #include "clientsocket.h"
  67 #include "serv_network.h"
  68 #include "threads.h"
  69
  70 #include "ctdl_module.h"
  71
  72 long config_msgnum;
  73 struct addresses_to_be_filed *atbf = NULL;
  74
  75 /* This temp file holds the queue of operations for AdjRefCount() */
  76 static FILE *arcfp = NULL;
  77
  78 /*
  79  * This really belongs in serv_network.c, but I don't know how to export
  80  * symbols between modules.
  81  */
  82 struct FilterList *filterlist = NULL;
  83
  84
  85 /*
  86  * These are the four-character field headers we use when outputting
  87  * messages in Citadel format (as opposed to RFC822 format).
  88  */
  89 char *msgkeys[] = {
  90         NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL,
  91         NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL,
  92         NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL,
  93         NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL,
  94         NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL,
  95         NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL,
  96         NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL,
  97         NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL,
  98         NULL,
  99         "from",
 100         NULL, NULL, NULL,
 101         "exti",
 102         "rfca",
 103         NULL,
 104         "hnod",
 105         "msgn",
 106         "jrnl",
 107         NULL,
 108         "list",
 109         "text",
 110         "node",
 111         "room",
 112         "path",
 113         NULL,
 114         "rcpt",
 115         "spec",
 116         "time",
 117         "subj",
 118         NULL,
 119         "wefw",
 120         NULL,
 121         "cccc",
 122         NULL
 123 };
 124
 125 /*
 126  * This function is self explanatory.
 127  * (What can I say, I'm in a weird mood today...)
 128  */
 129 void remove_any_whitespace_to_the_left_or_right_of_at_symbol(char *name)
 130 {
 131         int i;
 132
 133         for (i = 0; i < strlen(name); ++i) {
 134                 if (name[i] == '@') {
 135                         while (isspace(name[i - 1]) && i > 0) {
 136                                 strcpy(&name[i - 1], &name[i]);
 137                                 --i;
 138                         }
 139                         while (isspace(name[i + 1])) {
 140                                 strcpy(&name[i + 1], &name[i + 2]);
 141                         }
 142                 }
 143         }
 144 }
 145
 146
 147 /*
 148  * Aliasing for network mail.
 149  * (Error messages have been commented out, because this is a server.)
 150  */
 151 int alias(char *name)
 152 {                               /* process alias and routing info for mail */
 153         FILE *fp;
 154         int a, i;
 155         char aaa[SIZ], bbb[SIZ];
 156         char *ignetcfg = NULL;
 157         char *ignetmap = NULL;
 158         int at = 0;
 159         char node[64];
 160         char testnode[64];
 161         char buf[SIZ];
 162
 163         char original_name[256];
 164         safestrncpy(original_name, name, sizeof original_name);
 165
 166         striplt(name);
 167         remove_any_whitespace_to_the_left_or_right_of_at_symbol(name);
 168         stripallbut(name, '<', '>');
 169
 170         fp = fopen(file_mail_aliases, "r");
 171         if (fp == NULL) {
 172                 fp = fopen("/dev/null", "r");
 173         }
 174         if (fp == NULL) {
 175                 return (MES_ERROR);
 176         }
 177         strcpy(aaa, "");
 178         strcpy(bbb, "");
 179         while (fgets(aaa, sizeof aaa, fp) != NULL) {
 180                 while (isspace(name[0]))
 181                         strcpy(name, &name[1]);
 182                 aaa[strlen(aaa) - 1] = 0;
 183                 strcpy(bbb, "");
 184                 for (a = 0; a < strlen(aaa); ++a) {
 185                         if (aaa[a] == ',') {
 186                                 strcpy(bbb, &aaa[a + 1]);
 187                                 aaa[a] = 0;
 188                         }
 189                 }
 190                 if (!strcasecmp(name, aaa))
 191                         strcpy(name, bbb);
 192         }
 193         fclose(fp);
 194
 195         /* Hit the Global Address Book */
 196         if (CtdlDirectoryLookup(aaa, name, sizeof aaa) == 0) {
 197                 strcpy(name, aaa);
 198         }
 199
 200         if (strcasecmp(original_name, name)) {
 201                 syslog(LOG_INFO, "%s is being forwarded to %s\n", original_name, name);
 202         }
 203
 204         /* Change "user @ xxx" to "user" if xxx is an alias for this host */
 205         for (a=0; a<strlen(name); ++a) {
 206                 if (name[a] == '@') {
 207                         if (CtdlHostAlias(&name[a+1]) == hostalias_localhost) {
 208                                 name[a] = 0;
 209                                 syslog(LOG_INFO, "Changed to <%s>\n", name);
 210                         }
 211                 }
 212         }
 213
 214         /* determine local or remote type, see citadel.h */
 215         at = haschar(name, '@');
 216         if (at == 0) return(MES_LOCAL);         /* no @'s - local address */
 217         if (at > 1) return(MES_ERROR);          /* >1 @'s - invalid address */
 218         remove_any_whitespace_to_the_left_or_right_of_at_symbol(name);
 219
 220         /* figure out the delivery mode */
 221         extract_token(node, name, 1, '@', sizeof node);
 222
 223         /* If there are one or more dots in the nodename, we assume that it
 224          * is an FQDN and will attempt SMTP delivery to the Internet.
 225          */
 226         if (haschar(node, '.') > 0) {
 227                 return(MES_INTERNET);
 228         }
 229
 230         /* Otherwise we look in the IGnet maps for a valid Citadel node.
 231          * Try directly-connected nodes first...
 232          */
 233         ignetcfg = CtdlGetSysConfig(IGNETCFG);
 234         for (i=0; i<num_tokens(ignetcfg, '\n'); ++i) {
 235                 extract_token(buf, ignetcfg, i, '\n', sizeof buf);
 236                 extract_token(testnode, buf, 0, '|', sizeof testnode);
 237                 if (!strcasecmp(node, testnode)) {
 238                         free(ignetcfg);
 239                         return(MES_IGNET);
 240                 }
 241         }
 242         free(ignetcfg);
 243
 244         /*
 245          * Then try nodes that are two or more hops away.
 246          */
 247         ignetmap = CtdlGetSysConfig(IGNETMAP);
 248         for (i=0; i<num_tokens(ignetmap, '\n'); ++i) {
 249                 extract_token(buf, ignetmap, i, '\n', sizeof buf);
 250                 extract_token(testnode, buf, 0, '|', sizeof testnode);
 251                 if (!strcasecmp(node, testnode)) {
 252                         free(ignetmap);
 253                         return(MES_IGNET);
 254                 }
 255         }
 256         free(ignetmap);
 257
 258         /* If we get to this point it's an invalid node name */
 259         return (MES_ERROR);
 260 }
 261
 262
 263 /*
 264  * Back end for the MSGS command: output message number only.
 265  */
 266 void simple_listing(long msgnum, void *userdata)
 267 {
 268         cprintf("%ld\n", msgnum);
 269 }
 270
 271
 272
 273 /*
 274  * Back end for the MSGS command: output header summary.
 275  */
 276 void headers_listing(long msgnum, void *userdata)
 277 {
 278         struct CtdlMessage *msg;
 279
 280         msg = CtdlFetchMessage(msgnum, 0);
 281         if (msg == NULL) {
 282                 cprintf("%ld|0|||||\n", msgnum);
 283                 return;
 284         }
 285
 286         cprintf("%ld|%s|%s|%s|%s|%s|\n",
 287                 msgnum,
 288                 (msg->cm_fields['T'] ? msg->cm_fields['T'] : "0"),
 289                 (msg->cm_fields['A'] ? msg->cm_fields['A'] : ""),
 290                 (msg->cm_fields['N'] ? msg->cm_fields['N'] : ""),
 291                 (msg->cm_fields['F'] ? msg->cm_fields['F'] : ""),
 292                 (msg->cm_fields['U'] ? msg->cm_fields['U'] : "")
 293         );
 294         CtdlFreeMessage(msg);
 295 }
 296
 297 /*
 298  * Back end for the MSGS command: output EUID header.
 299  */
 300 void headers_euid(long msgnum, void *userdata)
 301 {
 302         struct CtdlMessage *msg;
 303
 304         msg = CtdlFetchMessage(msgnum, 0);
 305         if (msg == NULL) {
 306                 cprintf("%ld||\n", msgnum);
 307                 return;
 308         }
 309
 310         cprintf("%ld|%s|%s\n",
 311                 msgnum,
 312                 (msg->cm_fields['E'] ? msg->cm_fields['E'] : ""),
 313                 (msg->cm_fields['T'] ? msg->cm_fields['T'] : "0"));
 314         CtdlFreeMessage(msg);
 315 }
 316
 317
 318
 319
 320
 321 /* Determine if a given message matches the fields in a message template.
 322  * Return 0 for a successful match.
 323  */
 324 int CtdlMsgCmp(struct CtdlMessage *msg, struct CtdlMessage *template) {
 325         int i;
 326
 327         /* If there aren't any fields in the template, all messages will
 328          * match.
 329          */
 330         if (template == NULL) return(0);
 331
 332         /* Null messages are bogus. */
 333         if (msg == NULL) return(1);
 334
 335         for (i='A'; i<='Z'; ++i) {
 336                 if (template->cm_fields[i] != NULL) {
 337                         if (msg->cm_fields[i] == NULL) {
 338                                 /* Considered equal if temmplate is empty string */
 339                                 if (IsEmptyStr(template->cm_fields[i])) continue;
 340                                 return 1;
 341                         }
 342                         if (strcasecmp(msg->cm_fields[i],
 343                                 template->cm_fields[i])) return 1;
 344                 }
 345         }
 346
 347         /* All compares succeeded: we have a match! */
 348         return 0;
 349 }
 350
 351
 352
 353 /*
 354  * Retrieve the "seen" message list for the current room.
 355  */
 356 void CtdlGetSeen(char *buf, int which_set) {
 357         visit vbuf;
 358
 359         /* Learn about the user and room in question */
 360         CtdlGetRelationship(&vbuf, &CC->user, &CC->room);
 361
 362         if (which_set == ctdlsetseen_seen)
 363                 safestrncpy(buf, vbuf.v_seen, SIZ);
 364         if (which_set == ctdlsetseen_answered)
 365                 safestrncpy(buf, vbuf.v_answered, SIZ);
 366 }
 367
 368
 369
 370 /*
 371  * Manipulate the "seen msgs" string (or other message set strings)
 372  */
 373 void CtdlSetSeen(long *target_msgnums, int num_target_msgnums,
 374                 int target_setting, int which_set,
 375                 struct ctdluser *which_user, struct ctdlroom *which_room) {
 376         struct cdbdata *cdbfr;
 377         int i, k;
 378         int is_seen = 0;
 379         int was_seen = 0;
 380         long lo = (-1L);
 381         long hi = (-1L);
 382         visit vbuf;
 383         long *msglist;
 384         int num_msgs = 0;
 385         StrBuf *vset;
 386         StrBuf *setstr;
 387         StrBuf *lostr;
 388         StrBuf *histr;
 389         const char *pvset;
 390         char *is_set;   /* actually an array of booleans */
 391
 392         /* Don't bother doing *anything* if we were passed a list of zero messages */
 393         if (num_target_msgnums < 1) {
 394                 return;
 395         }
 396
 397         /* If no room was specified, we go with the current room. */
 398         if (!which_room) {
 399                 which_room = &CC->room;
 400         }
 401
 402         /* If no user was specified, we go with the current user. */
 403         if (!which_user) {
 404                 which_user = &CC->user;
 405         }
 406
 407         syslog(LOG_DEBUG, "CtdlSetSeen(%d msgs starting with %ld, %s, %d) in <%s>\n",
 408                 num_target_msgnums, target_msgnums[0],
 409                 (target_setting ? "SET" : "CLEAR"),
 410                 which_set,
 411                 which_room->QRname);
 412
 413         /* Learn about the user and room in question */
 414         CtdlGetRelationship(&vbuf, which_user, which_room);
 415
 416         /* Load the message list */
 417         cdbfr = cdb_fetch(CDB_MSGLISTS, &which_room->QRnumber, sizeof(long));
 418         if (cdbfr != NULL) {
 419                 msglist = (long *) cdbfr->ptr;
 420                 cdbfr->ptr = NULL;      /* CtdlSetSeen() now owns this memory */
 421                 num_msgs = cdbfr->len / sizeof(long);
 422                 cdb_free(cdbfr);
 423         } else {
 424                 return; /* No messages at all?  No further action. */
 425         }
 426
 427         is_set = malloc(num_msgs * sizeof(char));
 428         memset(is_set, 0, (num_msgs * sizeof(char)) );
 429
 430         /* Decide which message set we're manipulating */
 431         switch(which_set) {
 432         case ctdlsetseen_seen:
 433                 vset = NewStrBufPlain(vbuf.v_seen, -1);
 434                 break;
 435         case ctdlsetseen_answered:
 436                 vset = NewStrBufPlain(vbuf.v_answered, -1);
 437                 break;
 438         default:
 439                 vset = NewStrBuf();
 440         }
 441
 442
 443 #if 0   /* This is a special diagnostic section.  Do not allow it to run during normal operation. */
 444         syslog(LOG_DEBUG, "There are %d messages in the room.\n", num_msgs);
 445         for (i=0; i<num_msgs; ++i) {
 446                 if ((i > 0) && (msglist[i] <= msglist[i-1])) abort();
 447         }
 448         syslog(LOG_DEBUG, "We are twiddling %d of them.\n", num_target_msgnums);
 449         for (k=0; k<num_target_msgnums; ++k) {
 450                 if ((k > 0) && (target_msgnums[k] <= target_msgnums[k-1])) abort();
 451         }
 452 #endif
 453
 454         syslog(LOG_DEBUG, "before update: %s\n", ChrPtr(vset));
 455
 456         /* Translate the existing sequence set into an array of booleans */
 457         setstr = NewStrBuf();
 458         lostr = NewStrBuf();
 459         histr = NewStrBuf();
 460         pvset = NULL;
 461         while (StrBufExtract_NextToken(setstr, vset, &pvset, ',') >= 0) {
 462
 463                 StrBufExtract_token(lostr, setstr, 0, ':');
 464                 if (StrBufNum_tokens(setstr, ':') >= 2) {
 465                         StrBufExtract_token(histr, setstr, 1, ':');
 466                 }
 467                 else {
 468                         FlushStrBuf(histr);
 469                         StrBufAppendBuf(histr, lostr, 0);
 470                 }
 471                 lo = StrTol(lostr);
 472                 if (!strcmp(ChrPtr(histr), "*")) {
 473                         hi = LONG_MAX;
 474                 }
 475                 else {
 476                         hi = StrTol(histr);
 477                 }
 478
 479                 for (i = 0; i < num_msgs; ++i) {
 480                         if ((msglist[i] >= lo) && (msglist[i] <= hi)) {
 481                                 is_set[i] = 1;
 482                         }
 483                 }
 484         }
 485         FreeStrBuf(&setstr);
 486         FreeStrBuf(&lostr);
 487         FreeStrBuf(&histr);
 488
 489
 490         /* Now translate the array of booleans back into a sequence set */
 491         FlushStrBuf(vset);
 492         was_seen = 0;
 493         lo = (-1);
 494         hi = (-1);
 495
 496         for (i=0; i<num_msgs; ++i) {
 497                 is_seen = is_set[i];
 498
 499                 /* Apply changes */
 500                 for (k=0; k<num_target_msgnums; ++k) {
 501                         if (msglist[i] == target_msgnums[k]) {
 502                                 is_seen = target_setting;
 503                         }
 504                 }
 505
 506                 if ((was_seen == 0) && (is_seen == 1)) {
 507                         lo = msglist[i];
 508                 }
 509                 else if ((was_seen == 1) && (is_seen == 0)) {
 510                         hi = msglist[i-1];
 511
 512                         if (StrLength(vset) > 0) {
 513                                 StrBufAppendBufPlain(vset, HKEY(","), 0);
 514                         }
 515                         if (lo == hi) {
 516                                 StrBufAppendPrintf(vset, "%ld", hi);
 517                         }
 518                         else {
 519                                 StrBufAppendPrintf(vset, "%ld:%ld", lo, hi);
 520                         }
 521                 }
 522
 523                 if ((is_seen) && (i == num_msgs - 1)) {
 524                         if (StrLength(vset) > 0) {
 525                                 StrBufAppendBufPlain(vset, HKEY(","), 0);
 526                         }
 527                         if ((i==0) || (was_seen == 0)) {
 528                                 StrBufAppendPrintf(vset, "%ld", msglist[i]);
 529                         }
 530                         else {
 531                                 StrBufAppendPrintf(vset, "%ld:%ld", lo, msglist[i]);
 532                         }
 533                 }
 534
 535                 was_seen = is_seen;
 536         }
 537
 538         /*
 539          * We will have to stuff this string back into a 4096 byte buffer, so if it's
 540          * larger than that now, truncate it by removing tokens from the beginning.
 541          * The limit of 100 iterations is there to prevent an infinite loop in case
 542          * something unexpected happens.
 543          */
 544         int number_of_truncations = 0;
 545         while ( (StrLength(vset) > SIZ) && (number_of_truncations < 100) ) {
 546                 StrBufRemove_token(vset, 0, ',');
 547                 ++number_of_truncations;
 548         }
 549
 550         /*
 551          * If we're truncating the sequence set of messages marked with the 'seen' flag,
 552          * we want the earliest messages (the truncated ones) to be marked, not unmarked.
 553          * Otherwise messages at the beginning will suddenly appear to be 'unseen'.
 554          */
 555         if ( (which_set == ctdlsetseen_seen) && (number_of_truncations > 0) ) {
 556                 StrBuf *first_tok;
 557                 first_tok = NewStrBuf();
 558                 StrBufExtract_token(first_tok, vset, 0, ',');
 559                 StrBufRemove_token(vset, 0, ',');
 560
 561                 if (StrBufNum_tokens(first_tok, ':') > 1) {
 562                         StrBufRemove_token(first_tok, 0, ':');
 563                 }
 564
 565                 StrBuf *new_set;
 566                 new_set = NewStrBuf();
 567                 StrBufAppendBufPlain(new_set, HKEY("1:"), 0);
 568                 StrBufAppendBuf(new_set, first_tok, 0);
 569                 StrBufAppendBufPlain(new_set, HKEY(":"), 0);
 570                 StrBufAppendBuf(new_set, vset, 0);
 571
 572                 FreeStrBuf(&vset);
 573                 FreeStrBuf(&first_tok);
 574                 vset = new_set;
 575         }
 576
 577         syslog(LOG_DEBUG, " after update: %s\n", ChrPtr(vset));
 578
 579         /* Decide which message set we're manipulating */
 580         switch (which_set) {
 581                 case ctdlsetseen_seen:
 582                         safestrncpy(vbuf.v_seen, ChrPtr(vset), sizeof vbuf.v_seen);
 583                         break;
 584                 case ctdlsetseen_answered:
 585                         safestrncpy(vbuf.v_answered, ChrPtr(vset), sizeof vbuf.v_answered);
 586                         break;
 587         }
 588
 589         free(is_set);
 590         free(msglist);
 591         CtdlSetRelationship(&vbuf, which_user, which_room);
 592         FreeStrBuf(&vset);
 593 }
 594
 595
 596 /*
 597  * API function to perform an operation for each qualifying message in the
 598  * current room.  (Returns the number of messages processed.)
 599  */
 600 int CtdlForEachMessage(int mode, long ref, char *search_string,
 601                         char *content_type,
 602                         struct CtdlMessage *compare,
 603                         ForEachMsgCallback CallBack,
 604                         void *userdata)
 605 {
 606
 607         int a, i, j;
 608         visit vbuf;
 609         struct cdbdata *cdbfr;
 610         long *msglist = NULL;
 611         int num_msgs = 0;
 612         int num_processed = 0;
 613         long thismsg;
 614         struct MetaData smi;
 615         struct CtdlMessage *msg = NULL;
 616         int is_seen = 0;
 617         long lastold = 0L;
 618         int printed_lastold = 0;
 619         int num_search_msgs = 0;
 620         long *search_msgs = NULL;
 621         regex_t re;
 622         int need_to_free_re = 0;
 623         regmatch_t pm;
 624
 625         if ((content_type) && (!IsEmptyStr(content_type))) {
 626                 regcomp(&re, content_type, 0);
 627                 need_to_free_re = 1;
 628         }
 629
 630         /* Learn about the user and room in question */
 631         CtdlGetUser(&CC->user, CC->curr_user);
 632         CtdlGetRelationship(&vbuf, &CC->user, &CC->room);
 633
 634         /* Load the message list */
 635         cdbfr = cdb_fetch(CDB_MSGLISTS, &CC->room.QRnumber, sizeof(long));
 636         if (cdbfr == NULL) {
 637                 if (need_to_free_re) regfree(&re);
 638                 return 0;       /* No messages at all?  No further action. */
 639         }
 640
 641         msglist = (long *) cdbfr->ptr;
 642         num_msgs = cdbfr->len / sizeof(long);
 643
 644         cdbfr->ptr = NULL;      /* clear this so that cdb_free() doesn't free it */
 645         cdb_free(cdbfr);        /* we own this memory now */
 646
 647         /*
 648          * We cache the most recent msglist in order to do security checks later
 649          */
 650         if (CC->client_socket > 0) {
 651                 if (CC->cached_msglist != NULL) {
 652                         free(CC->cached_msglist);
 653                 }
 654
 655                 CC->cached_msglist = msglist;
 656                 CC->cached_num_msgs = num_msgs;
 657         }
 658
 659         /*
 660          * Now begin the traversal.
 661          */
 662         if (num_msgs > 0) for (a = 0; a < num_msgs; ++a) {
 663
 664                 /* If the caller is looking for a specific MIME type, filter
 665                  * out all messages which are not of the type requested.
 666                  */
 667                 if ((content_type != NULL) && (!IsEmptyStr(content_type))) {
 668
 669                         /* This call to GetMetaData() sits inside this loop
 670                          * so that we only do the extra database read per msg
 671                          * if we need to.  Doing the extra read all the time
 672                          * really kills the server.  If we ever need to use
 673                          * metadata for another search criterion, we need to
 674                          * move the read somewhere else -- but still be smart
 675                          * enough to only do the read if the caller has
 676                          * specified something that will need it.
 677                          */
 678                         GetMetaData(&smi, msglist[a]);
 679
 680                         /* if (strcasecmp(smi.meta_content_type, content_type)) { old non-regex way */
 681                         if (regexec(&re, smi.meta_content_type, 1, &pm, 0) != 0) {
 682                                 msglist[a] = 0L;
 683                         }
 684                 }
 685         }
 686
 687         num_msgs = sort_msglist(msglist, num_msgs);
 688
 689         /* If a template was supplied, filter out the messages which
 690          * don't match.  (This could induce some delays!)
 691          */
 692         if (num_msgs > 0) {
 693                 if (compare != NULL) {
 694                         for (a = 0; a < num_msgs; ++a) {
 695                                 msg = CtdlFetchMessage(msglist[a], 1);
 696                                 if (msg != NULL) {
 697                                         if (CtdlMsgCmp(msg, compare)) {
 698                                                 msglist[a] = 0L;
 699                                         }
 700                                         CtdlFreeMessage(msg);
 701                                 }
 702                         }
 703                 }
 704         }
 705
 706         /* If a search string was specified, get a message list from
 707          * the full text index and remove messages which aren't on both
 708          * lists.
 709          *
 710          * How this works:
 711          * Since the lists are sorted and strictly ascending, and the
 712          * output list is guaranteed to be shorter than or equal to the
 713          * input list, we overwrite the bottom of the input list.  This
 714          * eliminates the need to memmove big chunks of the list over and
 715          * over again.
 716          */
 717         if ( (num_msgs > 0) && (mode == MSGS_SEARCH) && (search_string) ) {
 718
 719                 /* Call search module via hook mechanism.
 720                  * NULL means use any search function available.
 721                  * otherwise replace with a char * to name of search routine
 722                  */
 723                 CtdlModuleDoSearch(&num_search_msgs, &search_msgs, search_string, "fulltext");
 724
 725                 if (num_search_msgs > 0) {
 726
 727                         int orig_num_msgs;
 728
 729                         orig_num_msgs = num_msgs;
 730                         num_msgs = 0;
 731                         for (i=0; i<orig_num_msgs; ++i) {
 732                                 for (j=0; j<num_search_msgs; ++j) {
 733                                         if (msglist[i] == search_msgs[j]) {
 734                                                 msglist[num_msgs++] = msglist[i];
 735                                         }
 736                                 }
 737                         }
 738                 }
 739                 else {
 740                         num_msgs = 0;   /* No messages qualify */
 741                 }
 742                 if (search_msgs != NULL) free(search_msgs);
 743
 744                 /* Now that we've purged messages which don't contain the search
 745                  * string, treat a MSGS_SEARCH just like a MSGS_ALL from this
 746                  * point on.
 747                  */
 748                 mode = MSGS_ALL;
 749         }
 750
 751         /*
 752          * Now iterate through the message list, according to the
 753          * criteria supplied by the caller.
 754          */
 755         if (num_msgs > 0)
 756                 for (a = 0; a < num_msgs; ++a) {
 757                         thismsg = msglist[a];
 758                         if (mode == MSGS_ALL) {
 759                                 is_seen = 0;
 760                         }
 761                         else {
 762                                 is_seen = is_msg_in_sequence_set(
 763                                                         vbuf.v_seen, thismsg);
 764                                 if (is_seen) lastold = thismsg;
 765                         }
 766                         if ((thismsg > 0L)
 767                             && (
 768
 769                                        (mode == MSGS_ALL)
 770                                        || ((mode == MSGS_OLD) && (is_seen))
 771                                        || ((mode == MSGS_NEW) && (!is_seen))
 772                                        || ((mode == MSGS_LAST) && (a >= (num_msgs - ref)))
 773                                    || ((mode == MSGS_FIRST) && (a < ref))
 774                                 || ((mode == MSGS_GT) && (thismsg > ref))
 775                                 || ((mode == MSGS_LT) && (thismsg < ref))
 776                                 || ((mode == MSGS_EQ) && (thismsg == ref))
 777                             )
 778                             ) {
 779                                 if ((mode == MSGS_NEW) && (CC->user.flags & US_LASTOLD) && (lastold > 0L) && (printed_lastold == 0) && (!is_seen)) {
 780                                         if (CallBack)
 781                                                 CallBack(lastold, userdata);
 782                                         printed_lastold = 1;
 783                                         ++num_processed;
 784                                 }
 785                                 if (CallBack) CallBack(thismsg, userdata);
 786                                 ++num_processed;
 787                         }
 788                 }
 789         if (need_to_free_re) regfree(&re);
 790         if (CC->client_socket <= 0) free(msglist);
 791         return num_processed;
 792 }
 793
 794
 795
 796 /*
 797  * cmd_msgs()  -  get list of message #'s in this room
 798  *              implements the MSGS server command using CtdlForEachMessage()
 799  */
 800 void cmd_msgs(char *cmdbuf)
 801 {
 802         int mode = 0;
 803         char which[16];
 804         char buf[256];
 805         char tfield[256];
 806         char tvalue[256];
 807         int cm_ref = 0;
 808         int i;
 809         int with_template = 0;
 810         struct CtdlMessage *template = NULL;
 811         char search_string[1024];
 812         ForEachMsgCallback CallBack;
 813
 814         if (CtdlAccessCheck(ac_logged_in_or_guest)) return;
 815
 816         extract_token(which, cmdbuf, 0, '|', sizeof which);
 817         cm_ref = extract_int(cmdbuf, 1);
 818         extract_token(search_string, cmdbuf, 1, '|', sizeof search_string);
 819         with_template = extract_int(cmdbuf, 2);
 820         switch (extract_int(cmdbuf, 3))
 821         {
 822         default:
 823         case MSG_HDRS_BRIEF:
 824                 CallBack = simple_listing;
 825                 break;
 826         case MSG_HDRS_ALL:
 827                 CallBack = headers_listing;
 828                 break;
 829         case MSG_HDRS_EUID:
 830                 CallBack = headers_euid;
 831                 break;
 832         }
 833
 834         strcat(which, "   ");
 835         if (!strncasecmp(which, "OLD", 3))
 836                 mode = MSGS_OLD;
 837         else if (!strncasecmp(which, "NEW", 3))
 838                 mode = MSGS_NEW;
 839         else if (!strncasecmp(which, "FIRST", 5))
 840                 mode = MSGS_FIRST;
 841         else if (!strncasecmp(which, "LAST", 4))
 842                 mode = MSGS_LAST;
 843         else if (!strncasecmp(which, "GT", 2))
 844                 mode = MSGS_GT;
 845         else if (!strncasecmp(which, "LT", 2))
 846                 mode = MSGS_LT;
 847         else if (!strncasecmp(which, "SEARCH", 6))
 848                 mode = MSGS_SEARCH;
 849         else
 850                 mode = MSGS_ALL;
 851
 852         if ( (mode == MSGS_SEARCH) && (!config.c_enable_fulltext) ) {
 853                 cprintf("%d Full text index is not enabled on this server.\n",
 854                         ERROR + CMD_NOT_SUPPORTED);
 855                 return;
 856         }
 857
 858         if (with_template) {
 859                 unbuffer_output();
 860                 cprintf("%d Send template then receive message list\n",
 861                         START_CHAT_MODE);
 862                 template = (struct CtdlMessage *)
 863                         malloc(sizeof(struct CtdlMessage));
 864                 memset(template, 0, sizeof(struct CtdlMessage));
 865                 template->cm_magic = CTDLMESSAGE_MAGIC;
 866                 template->cm_anon_type = MES_NORMAL;
 867
 868                 while(client_getln(buf, sizeof buf) >= 0 && strcmp(buf,"000")) {
 869                         extract_token(tfield, buf, 0, '|', sizeof tfield);
 870                         extract_token(tvalue, buf, 1, '|', sizeof tvalue);
 871                         for (i='A'; i<='Z'; ++i) if (msgkeys[i]!=NULL) {
 872                                 if (!strcasecmp(tfield, msgkeys[i])) {
 873                                         template->cm_fields[i] =
 874                                                 strdup(tvalue);
 875                                 }
 876                         }
 877                 }
 878                 buffer_output();
 879         }
 880         else {
 881                 cprintf("%d  \n", LISTING_FOLLOWS);
 882         }
 883
 884         CtdlForEachMessage(mode,
 885                            ( (mode == MSGS_SEARCH) ? 0 : cm_ref ),
 886                            ( (mode == MSGS_SEARCH) ? search_string : NULL ),
 887                            NULL,
 888                            template,
 889                            CallBack,
 890                            NULL);
 891         if (template != NULL) CtdlFreeMessage(template);
 892         cprintf("000\n");
 893 }
 894
 895
 896
 897
 898 /*
 899  * help_subst()  -  support routine for help file viewer
 900  */
 901 void help_subst(char *strbuf, char *source, char *dest)
 902 {
 903         char workbuf[SIZ];
 904         int p;
 905
 906         while (p = pattern2(strbuf, source), (p >= 0)) {
 907                 strcpy(workbuf, &strbuf[p + strlen(source)]);
 908                 strcpy(&strbuf[p], dest);
 909                 strcat(strbuf, workbuf);
 910         }
 911 }
 912
 913
 914 void do_help_subst(char *buffer)
 915 {
 916         char buf2[16];
 917
 918         help_subst(buffer, "^nodename", config.c_nodename);
 919         help_subst(buffer, "^humannode", config.c_humannode);
 920         help_subst(buffer, "^fqdn", config.c_fqdn);
 921         help_subst(buffer, "^username", CC->user.fullname);
 922         snprintf(buf2, sizeof buf2, "%ld", CC->user.usernum);
 923         help_subst(buffer, "^usernum", buf2);
 924         help_subst(buffer, "^sysadm", config.c_sysadm);
 925         help_subst(buffer, "^variantname", CITADEL);
 926         snprintf(buf2, sizeof buf2, "%d", config.c_maxsessions);
 927         help_subst(buffer, "^maxsessions", buf2);
 928         help_subst(buffer, "^bbsdir", ctdl_message_dir);
 929 }
 930
 931
 932
 933 /*
 934  * memfmout()  -  Citadel text formatter and paginator.
 935  *           Although the original purpose of this routine was to format
 936  *           text to the reader's screen width, all we're really using it
 937  *           for here is to format text out to 80 columns before sending it
 938  *           to the client.  The client software may reformat it again.
 939  */
 940 void memfmout(
 941         char *mptr,             /* where are we going to get our text from? */
 942         const char *nl          /* string to terminate lines with */
 943 ) {
 944         int column = 0;
 945         unsigned char ch = 0;
 946         char outbuf[1024];
 947         int len = 0;
 948         int nllen = 0;
 949
 950         if (!mptr) return;
 951         nllen = strlen(nl);
 952         while (ch=*(mptr++), ch != 0) {
 953
 954                 if (ch == '\n') {
 955                         client_write(outbuf, len);
 956                         len = 0;
 957                         client_write(nl, nllen);
 958                         column = 0;
 959                 }
 960                 else if (ch == '\r') {
 961                         /* Ignore carriage returns.  Newlines are always LF or CRLF but never CR. */
 962                 }
 963                 else if (isspace(ch)) {
 964                         if (column > 72) {              /* Beyond 72 columns, break on the next space */
 965                                 client_write(outbuf, len);
 966                                 len = 0;
 967                                 client_write(nl, nllen);
 968                                 column = 0;
 969                         }
 970                         else {
 971                                 outbuf[len++] = ch;
 972                                 ++column;
 973                         }
 974                 }
 975                 else {
 976                         outbuf[len++] = ch;
 977                         ++column;
 978                         if (column > 1000) {            /* Beyond 1000 columns, break anywhere */
 979                                 client_write(outbuf, len);
 980                                 len = 0;
 981                                 client_write(nl, nllen);
 982                                 column = 0;
 983                         }
 984                 }
 985         }
 986         if (len) {
 987                 client_write(outbuf, len);
 988                 len = 0;
 989                 client_write(nl, nllen);
 990                 column = 0;
 991         }
 992 }
 993
 994
 995
 996 /*
 997  * Callback function for mime parser that simply lists the part
 998  */
 999 void list_this_part(char *name, char *filename, char *partnum, char *disp,
1000                     void *content, char *cbtype, char *cbcharset, size_t length, char *encoding,
1001                     char *cbid, void *cbuserdata)
1002 {
1003         struct ma_info *ma;
1004
1005         ma = (struct ma_info *)cbuserdata;
1006         if (ma->is_ma == 0) {
1007                 cprintf("part=%s|%s|%s|%s|%s|%ld|%s|%s\n",
1008                         name,
1009                         filename,
1010                         partnum,
1011                         disp,
1012                         cbtype,
1013                         (long)length,
1014                         cbid,
1015                         cbcharset);
1016         }
1017 }
1018
1019 /*
1020  * Callback function for multipart prefix
1021  */
1022 void list_this_pref(char *name, char *filename, char *partnum, char *disp,
1023                     void *content, char *cbtype, char *cbcharset, size_t length, char *encoding,
1024                     char *cbid, void *cbuserdata)
1025 {
1026         struct ma_info *ma;
1027
1028         ma = (struct ma_info *)cbuserdata;
1029         if (!strcasecmp(cbtype, "multipart/alternative")) {
1030                 ++ma->is_ma;
1031         }
1032
1033         if (ma->is_ma == 0) {
1034                 cprintf("pref=%s|%s\n", partnum, cbtype);
1035         }
1036 }
1037
1038 /*
1039  * Callback function for multipart sufffix
1040  */
1041 void list_this_suff(char *name, char *filename, char *partnum, char *disp,
1042                     void *content, char *cbtype, char *cbcharset, size_t length, char *encoding,
1043                     char *cbid, void *cbuserdata)
1044 {
1045         struct ma_info *ma;
1046
1047         ma = (struct ma_info *)cbuserdata;
1048         if (ma->is_ma == 0) {
1049                 cprintf("suff=%s|%s\n", partnum, cbtype);
1050         }
1051         if (!strcasecmp(cbtype, "multipart/alternative")) {
1052                 --ma->is_ma;
1053         }
1054 }
1055
1056
1057 /*
1058  * Callback function for mime parser that opens a section for downloading
1059  */
1060 void mime_download(char *name, char *filename, char *partnum, char *disp,
1061                    void *content, char *cbtype, char *cbcharset, size_t length,
1062                    char *encoding, char *cbid, void *cbuserdata)
1063 {
1064         int rv = 0;
1065
1066         /* Silently go away if there's already a download open. */
1067         if (CC->download_fp != NULL)
1068                 return;
1069
1070         if (
1071                 (!IsEmptyStr(partnum) && (!strcasecmp(CC->download_desired_section, partnum)))
1072         ||      (!IsEmptyStr(cbid) && (!strcasecmp(CC->download_desired_section, cbid)))
1073         ) {
1074                 CC->download_fp = tmpfile();
1075                 if (CC->download_fp == NULL)
1076                         return;
1077
1078                 rv = fwrite(content, length, 1, CC->download_fp);
1079                 fflush(CC->download_fp);
1080                 rewind(CC->download_fp);
1081
1082                 OpenCmdResult(filename, cbtype);
1083         }
1084 }
1085
1086
1087
1088 /*
1089  * Callback function for mime parser that outputs a section all at once.
1090  * We can specify the desired section by part number *or* content-id.
1091  */
1092 void mime_spew_section(char *name, char *filename, char *partnum, char *disp,
1093                    void *content, char *cbtype, char *cbcharset, size_t length,
1094                    char *encoding, char *cbid, void *cbuserdata)
1095 {
1096         int *found_it = (int *)cbuserdata;
1097
1098         if (
1099                 (!IsEmptyStr(partnum) && (!strcasecmp(CC->download_desired_section, partnum)))
1100         ||      (!IsEmptyStr(cbid) && (!strcasecmp(CC->download_desired_section, cbid)))
1101         ) {
1102                 *found_it = 1;
1103                 cprintf("%d %d|-1|%s|%s|%s\n",
1104                         BINARY_FOLLOWS,
1105                         (int)length,
1106                         filename,
1107                         cbtype,
1108                         cbcharset
1109                 );
1110                 client_write(content, length);
1111         }
1112 }
1113
1114
1115 /*
1116  * Load a message from disk into memory.
1117  * This is used by CtdlOutputMsg() and other fetch functions.
1118  *
1119  * NOTE: Caller is responsible for freeing the returned CtdlMessage struct
1120  *       using the CtdlMessageFree() function.
1121  */
1122 struct CtdlMessage *CtdlFetchMessage(long msgnum, int with_body)
1123 {
1124         struct cdbdata *dmsgtext;
1125         struct CtdlMessage *ret = NULL;
1126         char *mptr;
1127         char *upper_bound;
1128         cit_uint8_t ch;
1129         cit_uint8_t field_header;
1130
1131         syslog(LOG_DEBUG, "CtdlFetchMessage(%ld, %d)\n", msgnum, with_body);
1132         dmsgtext = cdb_fetch(CDB_MSGMAIN, &msgnum, sizeof(long));
1133         if (dmsgtext == NULL) {
1134                 return NULL;
1135         }
1136         mptr = dmsgtext->ptr;
1137         upper_bound = mptr + dmsgtext->len;
1138
1139         /* Parse the three bytes that begin EVERY message on disk.
1140          * The first is always 0xFF, the on-disk magic number.
1141          * The second is the anonymous/public type byte.
1142          * The third is the format type byte (vari, fixed, or MIME).
1143          */
1144         ch = *mptr++;
1145         if (ch != 255) {
1146                 syslog(LOG_ERR, "Message %ld appears to be corrupted.\n", msgnum);
1147                 cdb_free(dmsgtext);
1148                 return NULL;
1149         }
1150         ret = (struct CtdlMessage *) malloc(sizeof(struct CtdlMessage));
1151         memset(ret, 0, sizeof(struct CtdlMessage));
1152
1153         ret->cm_magic = CTDLMESSAGE_MAGIC;
1154         ret->cm_anon_type = *mptr++;    /* Anon type byte */
1155         ret->cm_format_type = *mptr++;  /* Format type byte */
1156
1157         /*
1158          * The rest is zero or more arbitrary fields.  Load them in.
1159          * We're done when we encounter either a zero-length field or
1160          * have just processed the 'M' (message text) field.
1161          */
1162         do {
1163                 if (mptr >= upper_bound) {
1164                         break;
1165                 }
1166                 field_header = *mptr++;
1167                 ret->cm_fields[field_header] = strdup(mptr);
1168
1169                 while (*mptr++ != 0);   /* advance to next field */
1170
1171         } while ((mptr < upper_bound) && (field_header != 'M'));
1172
1173         cdb_free(dmsgtext);
1174
1175         /* Always make sure there's something in the msg text field.  If
1176          * it's NULL, the message text is most likely stored separately,
1177          * so go ahead and fetch that.  Failing that, just set a dummy
1178          * body so other code doesn't barf.
1179          */
1180         if ( (ret->cm_fields['M'] == NULL) && (with_body) ) {
1181                 dmsgtext = cdb_fetch(CDB_BIGMSGS, &msgnum, sizeof(long));
1182                 if (dmsgtext != NULL) {
1183                         ret->cm_fields['M'] = dmsgtext->ptr;
1184                         dmsgtext->ptr = NULL;
1185                         cdb_free(dmsgtext);
1186                 }
1187         }
1188         if (ret->cm_fields['M'] == NULL) {
1189                 ret->cm_fields['M'] = strdup("\r\n\r\n (no text)\r\n");
1190         }
1191
1192         /* Perform "before read" hooks (aborting if any return nonzero) */
1193         if (PerformMessageHooks(ret, EVT_BEFOREREAD) > 0) {
1194                 CtdlFreeMessage(ret);
1195                 return NULL;
1196         }
1197
1198         return (ret);
1199 }
1200
1201
1202 /*
1203  * Returns 1 if the supplied pointer points to a valid Citadel message.
1204  * If the pointer is NULL or the magic number check fails, returns 0.
1205  */
1206 int is_valid_message(struct CtdlMessage *msg) {
1207         if (msg == NULL)
1208                 return 0;
1209         if ((msg->cm_magic) != CTDLMESSAGE_MAGIC) {
1210                 syslog(LOG_WARNING, "is_valid_message() -- self-check failed\n");
1211                 return 0;
1212         }
1213         return 1;
1214 }
1215
1216
1217 /*
1218  * 'Destructor' for struct CtdlMessage
1219  */
1220 void CtdlFreeMessage(struct CtdlMessage *msg)
1221 {
1222         int i;
1223
1224         if (is_valid_message(msg) == 0)
1225         {
1226                 if (msg != NULL) free (msg);
1227                 return;
1228         }
1229
1230         for (i = 0; i < 256; ++i)
1231                 if (msg->cm_fields[i] != NULL) {
1232                         free(msg->cm_fields[i]);
1233                 }
1234
1235         msg->cm_magic = 0;      /* just in case */
1236         free(msg);
1237 }
1238
1239
1240 /*
1241  * Pre callback function for multipart/alternative
1242  *
1243  * NOTE: this differs from the standard behavior for a reason.  Normally when
1244  *       displaying multipart/alternative you want to show the _last_ usable
1245  *       format in the message.  Here we show the _first_ one, because it's
1246  *       usually text/plain.  Since this set of functions is designed for text
1247  *       output to non-MIME-aware clients, this is the desired behavior.
1248  *
1249  */
1250 void fixed_output_pre(char *name, char *filename, char *partnum, char *disp,
1251                 void *content, char *cbtype, char *cbcharset, size_t length, char *encoding,
1252                 char *cbid, void *cbuserdata)
1253 {
1254         struct ma_info *ma;
1255
1256         ma = (struct ma_info *)cbuserdata;
1257         syslog(LOG_DEBUG, "fixed_output_pre() type=<%s>\n", cbtype);
1258         if (!strcasecmp(cbtype, "multipart/alternative")) {
1259                 ++ma->is_ma;
1260                 ma->did_print = 0;
1261         }
1262         if (!strcasecmp(cbtype, "message/rfc822")) {
1263                 ++ma->freeze;
1264         }
1265 }
1266
1267 /*
1268  * Post callback function for multipart/alternative
1269  */
1270 void fixed_output_post(char *name, char *filename, char *partnum, char *disp,
1271                 void *content, char *cbtype, char *cbcharset, size_t length,
1272                 char *encoding, char *cbid, void *cbuserdata)
1273 {
1274         struct ma_info *ma;
1275
1276         ma = (struct ma_info *)cbuserdata;
1277         syslog(LOG_DEBUG, "fixed_output_post() type=<%s>\n", cbtype);
1278         if (!strcasecmp(cbtype, "multipart/alternative")) {
1279                 --ma->is_ma;
1280                 ma->did_print = 0;
1281         }
1282         if (!strcasecmp(cbtype, "message/rfc822")) {
1283                 --ma->freeze;
1284         }
1285 }
1286
1287 /*
1288  * Inline callback function for mime parser that wants to display text
1289  */
1290 void fixed_output(char *name, char *filename, char *partnum, char *disp,
1291                 void *content, char *cbtype, char *cbcharset, size_t length,
1292                 char *encoding, char *cbid, void *cbuserdata)
1293 {
1294         char *ptr;
1295         char *wptr;
1296         size_t wlen;
1297         struct ma_info *ma;
1298
1299         ma = (struct ma_info *)cbuserdata;
1300
1301         syslog(LOG_DEBUG,
1302                 "fixed_output() part %s: %s (%s) (%ld bytes)\n",
1303                 partnum, filename, cbtype, (long)length);
1304
1305         /*
1306          * If we're in the middle of a multipart/alternative scope and
1307          * we've already printed another section, skip this one.
1308          */
1309         if ( (ma->is_ma) && (ma->did_print) ) {
1310                 syslog(LOG_DEBUG, "Skipping part %s (%s)\n", partnum, cbtype);
1311                 return;
1312         }
1313         ma->did_print = 1;
1314
1315         if ( (!strcasecmp(cbtype, "text/plain"))
1316            || (IsEmptyStr(cbtype)) ) {
1317                 wptr = content;
1318                 if (length > 0) {
1319                         client_write(wptr, length);
1320                         if (wptr[length-1] != '\n') {
1321                                 cprintf("\n");
1322                         }
1323                 }
1324                 return;
1325         }
1326
1327         if (!strcasecmp(cbtype, "text/html")) {
1328                 ptr = html_to_ascii(content, length, 80, 0);
1329                 wlen = strlen(ptr);
1330                 client_write(ptr, wlen);
1331                 if (ptr[wlen-1] != '\n') {
1332                         cprintf("\n");
1333                 }
1334                 free(ptr);
1335                 return;
1336         }
1337
1338         if (ma->use_fo_hooks) {
1339                 if (PerformFixedOutputHooks(cbtype, content, length)) {
1340                 /* above function returns nonzero if it handled the part */
1341                         return;
1342                 }
1343         }
1344
1345         if (strncasecmp(cbtype, "multipart/", 10)) {
1346                 cprintf("Part %s: %s (%s) (%ld bytes)\r\n",
1347                         partnum, filename, cbtype, (long)length);
1348                 return;
1349         }
1350 }
1351
1352 /*
1353  * The client is elegant and sophisticated and wants to be choosy about
1354  * MIME content types, so figure out which multipart/alternative part
1355  * we're going to send.
1356  *
1357  * We use a system of weights.  When we find a part that matches one of the
1358  * MIME types we've declared as preferential, we can store it in ma->chosen_part
1359  * and then set ma->chosen_pref to that MIME type's position in our preference
1360  * list.  If we then hit another match, we only replace the first match if
1361  * the preference value is lower.
1362  */
1363 void choose_preferred(char *name, char *filename, char *partnum, char *disp,
1364                 void *content, char *cbtype, char *cbcharset, size_t length,
1365                 char *encoding, char *cbid, void *cbuserdata)
1366 {
1367         char buf[1024];
1368         int i;
1369         struct ma_info *ma;
1370
1371         ma = (struct ma_info *)cbuserdata;
1372
1373         // NOTE: REMOVING THIS CONDITIONAL FIXES BUG 220
1374         //       http://bugzilla.citadel.org/show_bug.cgi?id=220
1375         // I don't know if there are any side effects!  Please TEST TEST TEST
1376         //if (ma->is_ma > 0) {
1377
1378         for (i=0; i<num_tokens(CC->preferred_formats, '|'); ++i) {
1379                 extract_token(buf, CC->preferred_formats, i, '|', sizeof buf);
1380                 if ( (!strcasecmp(buf, cbtype)) && (!ma->freeze) ) {
1381                         if (i < ma->chosen_pref) {
1382                                 syslog(LOG_DEBUG, "Setting chosen part: <%s>\n", partnum);
1383                                 safestrncpy(ma->chosen_part, partnum, sizeof ma->chosen_part);
1384                                 ma->chosen_pref = i;
1385                         }
1386                 }
1387         }
1388 }
1389
1390 /*
1391  * Now that we've chosen our preferred part, output it.
1392  */
1393 void output_preferred(char *name,
1394                       char *filename,
1395                       char *partnum,
1396                       char *disp,
1397                       void *content,
1398                       char *cbtype,
1399                       char *cbcharset,
1400                       size_t length,
1401                       char *encoding,
1402                       char *cbid,
1403                       void *cbuserdata)
1404 {
1405         int i;
1406         char buf[128];
1407         int add_newline = 0;
1408         char *text_content;
1409         struct ma_info *ma;
1410         char *decoded = NULL;
1411         size_t bytes_decoded;
1412         int rc = 0;
1413
1414         ma = (struct ma_info *)cbuserdata;
1415
1416         /* This is not the MIME part you're looking for... */
1417         if (strcasecmp(partnum, ma->chosen_part)) return;
1418
1419         /* If the content-type of this part is in our preferred formats
1420          * list, we can simply output it verbatim.
1421          */
1422         for (i=0; i<num_tokens(CC->preferred_formats, '|'); ++i) {
1423                 extract_token(buf, CC->preferred_formats, i, '|', sizeof buf);
1424                 if (!strcasecmp(buf, cbtype)) {
1425                         /* Yeah!  Go!  W00t!! */
1426                         if (ma->dont_decode == 0)
1427                                 rc = mime_decode_now (content,
1428                                                       length,
1429                                                       encoding,
1430                                                       &decoded,
1431                                                       &bytes_decoded);
1432                         if (rc < 0)
1433                                 break; /* Give us the chance, maybe theres another one. */
1434
1435                         if (rc == 0) text_content = (char *)content;
1436                         else {
1437                                 text_content = decoded;
1438                                 length = bytes_decoded;
1439                         }
1440
1441                         if (text_content[length-1] != '\n') {
1442                                 ++add_newline;
1443                         }
1444                         cprintf("Content-type: %s", cbtype);
1445                         if (!IsEmptyStr(cbcharset)) {
1446                                 cprintf("; charset=%s", cbcharset);
1447                         }
1448                         cprintf("\nContent-length: %d\n",
1449                                 (int)(length + add_newline) );
1450                         if (!IsEmptyStr(encoding)) {
1451                                 cprintf("Content-transfer-encoding: %s\n", encoding);
1452                         }
1453                         else {
1454                                 cprintf("Content-transfer-encoding: 7bit\n");
1455                         }
1456                         cprintf("X-Citadel-MSG4-Partnum: %s\n", partnum);
1457                         cprintf("\n");
1458                         client_write(text_content, length);
1459                         if (add_newline) cprintf("\n");
1460                         if (decoded != NULL) free(decoded);
1461                         return;
1462                 }
1463         }
1464
1465         /* No translations required or possible: output as text/plain */
1466         cprintf("Content-type: text/plain\n\n");
1467         rc = 0;
1468         if (ma->dont_decode == 0)
1469                 rc = mime_decode_now (content,
1470                                       length,
1471                                       encoding,
1472                                       &decoded,
1473                                       &bytes_decoded);
1474         if (rc < 0)
1475                 return; /* Give us the chance, maybe theres another one. */
1476
1477         if (rc == 0) text_content = (char *)content;
1478         else {
1479                 text_content = decoded;
1480                 length = bytes_decoded;
1481         }
1482
1483         fixed_output(name, filename, partnum, disp, text_content, cbtype, cbcharset,
1484                         length, encoding, cbid, cbuserdata);
1485         if (decoded != NULL) free(decoded);
1486 }
1487
1488
1489 struct encapmsg {
1490         char desired_section[64];
1491         char *msg;
1492         size_t msglen;
1493 };
1494
1495
1496 /*
1497  * Callback function for
1498  */
1499 void extract_encapsulated_message(char *name, char *filename, char *partnum, char *disp,
1500                    void *content, char *cbtype, char *cbcharset, size_t length,
1501                    char *encoding, char *cbid, void *cbuserdata)
1502 {
1503         struct encapmsg *encap;
1504
1505         encap = (struct encapmsg *)cbuserdata;
1506
1507         /* Only proceed if this is the desired section... */
1508         if (!strcasecmp(encap->desired_section, partnum)) {
1509                 encap->msglen = length;
1510                 encap->msg = malloc(length + 2);
1511                 memcpy(encap->msg, content, length);
1512                 return;
1513         }
1514 }
1515
1516
1517 /*
1518  * Determine whether the specified message exists in the cached_msglist
1519  * (This is a security check)
1520  */
1521 int check_cached_msglist(long msgnum) {
1522
1523         /* cases in which we skip the check */
1524         if (!CC) return om_ok;                                          /* not a session */
1525         if (CC->client_socket <= 0) return om_ok;                       /* not a client session */
1526         if (CC->cached_msglist == NULL) return om_access_denied;        /* no msglist fetched */
1527         if (CC->cached_num_msgs == 0) return om_access_denied;          /* nothing to check */
1528
1529
1530         /* Do a binary search within the cached_msglist for the requested msgnum */
1531         int min = 0;
1532         int max = (CC->cached_num_msgs - 1);
1533
1534         while (max >= min) {
1535                 int middle = min + (max-min) / 2 ;
1536                 if (msgnum == CC->cached_msglist[middle]) {
1537                         return om_ok;
1538                 }
1539                 if (msgnum > CC->cached_msglist[middle]) {
1540                         min = middle + 1;
1541                 }
1542                 else {
1543                         max = middle - 1;
1544                 }
1545         }
1546
1547         return om_access_denied;
1548 }
1549
1550
1551 /*
1552  * Determine whether the currently logged in session has permission to read
1553  * messages in the current room.
1554  */
1555 int CtdlDoIHavePermissionToReadMessagesInThisRoom(void) {
1556         if (    (!(CC->logged_in))
1557                 && (!(CC->internal_pgm))
1558                 && (!config.c_guest_logins)
1559         ) {
1560                 return(om_not_logged_in);
1561         }
1562         return(om_ok);
1563 }
1564
1565
1566 /*
1567  * Get a message off disk.  (returns om_* values found in msgbase.h)
1568  *
1569  */
1570 int CtdlOutputMsg(long msg_num,         /* message number (local) to fetch */
1571                   int mode,             /* how would you like that message? */
1572                   int headers_only,     /* eschew the message body? */
1573                   int do_proto,         /* do Citadel protocol responses? */
1574                   int crlf,             /* Use CRLF newlines instead of LF? */
1575                   char *section,        /* NULL or a message/rfc822 section */
1576                   int flags             /* various flags; see msgbase.h */
1577 ) {
1578         struct CtdlMessage *TheMessage = NULL;
1579         int retcode = om_no_such_msg;
1580         struct encapmsg encap;
1581         int r;
1582
1583         syslog(LOG_DEBUG, "CtdlOutputMsg(msgnum=%ld, mode=%d, section=%s)\n",
1584                 msg_num, mode,
1585                 (section ? section : "<>")
1586         );
1587
1588         r = CtdlDoIHavePermissionToReadMessagesInThisRoom();
1589         if (r != om_ok) {
1590                 if (do_proto) {
1591                         if (r == om_not_logged_in) {
1592                                 cprintf("%d Not logged in.\n", ERROR + NOT_LOGGED_IN);
1593                         }
1594                         else {
1595                                 cprintf("%d An unknown error has occurred.\n", ERROR);
1596                         }
1597                 }
1598                 return(r);
1599         }
1600
1601         r = check_cached_msglist(msg_num);
1602         if (r != om_ok) {
1603                 syslog(LOG_DEBUG, "\033[31m SECURITY CHECK FAIL \033[0m\n");
1604 /*
1605  * FIXME enable this section when the security check yields no false positives
1606  *
1607                 if (do_proto) {
1608                         if (r == om_access_denied) {
1609                                 cprintf("%d Message %ld was not found in this room.\n",
1610                                         ERROR + MESSAGE_NOT_FOUND,
1611                                         msg_num
1612                                 );
1613                         }
1614                         else {
1615                                 cprintf("%d An unknown error has occurred.\n", ERROR);
1616                         }
1617                 return(r);
1618                 }
1619 */
1620         }
1621
1622         /*
1623          * Fetch the message from disk.  If we're in HEADERS_FAST mode,
1624          * request that we don't even bother loading the body into memory.
1625          */
1626         if (headers_only == HEADERS_FAST) {
1627                 TheMessage = CtdlFetchMessage(msg_num, 0);
1628         }
1629         else {
1630                 TheMessage = CtdlFetchMessage(msg_num, 1);
1631         }
1632
1633         if (TheMessage == NULL) {
1634                 if (do_proto) cprintf("%d Can't locate msg %ld on disk\n",
1635                         ERROR + MESSAGE_NOT_FOUND, msg_num);
1636                 return(om_no_such_msg);
1637         }
1638
1639         /* Here is the weird form of this command, to process only an
1640          * encapsulated message/rfc822 section.
1641          */
1642         if (section) if (!IsEmptyStr(section)) if (strcmp(section, "0")) {
1643                 memset(&encap, 0, sizeof encap);
1644                 safestrncpy(encap.desired_section, section, sizeof encap.desired_section);
1645                 mime_parser(TheMessage->cm_fields['M'],
1646                         NULL,
1647                         *extract_encapsulated_message,
1648                         NULL, NULL, (void *)&encap, 0
1649                 );
1650                 CtdlFreeMessage(TheMessage);
1651                 TheMessage = NULL;
1652
1653                 if (encap.msg) {
1654                         encap.msg[encap.msglen] = 0;
1655                         TheMessage = convert_internet_message(encap.msg);
1656                         encap.msg = NULL;       /* no free() here, TheMessage owns it now */
1657
1658                         /* Now we let it fall through to the bottom of this
1659                          * function, because TheMessage now contains the
1660                          * encapsulated message instead of the top-level
1661                          * message.  Isn't that neat?
1662                          */
1663
1664                 }
1665                 else {
1666                         if (do_proto) cprintf("%d msg %ld has no part %s\n",
1667                                 ERROR + MESSAGE_NOT_FOUND, msg_num, section);
1668                         retcode = om_no_such_msg;
1669                 }
1670
1671         }
1672
1673         /* Ok, output the message now */
1674         retcode = CtdlOutputPreLoadedMsg(TheMessage, mode, headers_only, do_proto, crlf, flags);
1675         CtdlFreeMessage(TheMessage);
1676
1677         return(retcode);
1678 }
1679
1680
1681 char *qp_encode_email_addrs(char *source)
1682 {
1683         char *user, *node, *name;
1684         const char headerStr[] = "=?UTF-8?Q?";
1685         char *Encoded;
1686         char *EncodedName;
1687         char *nPtr;
1688         int need_to_encode = 0;
1689         long SourceLen;
1690         long EncodedMaxLen;
1691         long nColons = 0;
1692         long *AddrPtr;
1693         long *AddrUtf8;
1694         long nAddrPtrMax = 50;
1695         long nmax;
1696         int InQuotes = 0;
1697         int i, n;
1698
1699         if (source == NULL) return source;
1700         if (IsEmptyStr(source)) return source;
1701         cit_backtrace();
1702         syslog(LOG_DEBUG, "qp_encode_email_addrs: [%s]\n", source);
1703
1704         AddrPtr = malloc (sizeof (long) * nAddrPtrMax);
1705         AddrUtf8 = malloc (sizeof (long) * nAddrPtrMax);
1706         memset(AddrUtf8, 0, sizeof (long) * nAddrPtrMax);
1707         *AddrPtr = 0;
1708         i = 0;
1709         while (!IsEmptyStr (&source[i])) {
1710                 if (nColons >= nAddrPtrMax){
1711                         long *ptr;
1712
1713                         ptr = (long *) malloc(sizeof (long) * nAddrPtrMax * 2);
1714                         memcpy (ptr, AddrPtr, sizeof (long) * nAddrPtrMax);
1715                         free (AddrPtr), AddrPtr = ptr;
1716
1717                         ptr = (long *) malloc(sizeof (long) * nAddrPtrMax * 2);
1718                         memset(&ptr[nAddrPtrMax], 0,
1719                                sizeof (long) * nAddrPtrMax);
1720
1721                         memcpy (ptr, AddrUtf8, sizeof (long) * nAddrPtrMax);
1722                         free (AddrUtf8), AddrUtf8 = ptr;
1723                         nAddrPtrMax *= 2;
1724                 }
1725                 if (((unsigned char) source[i] < 32) ||
1726                     ((unsigned char) source[i] > 126)) {
1727                         need_to_encode = 1;
1728                         AddrUtf8[nColons] = 1;
1729                 }
1730                 if (source[i] == '"')
1731                         InQuotes = !InQuotes;
1732                 if (!InQuotes && source[i] == ',') {
1733                         AddrPtr[nColons] = i;
1734                         nColons++;
1735                 }
1736                 i++;
1737         }
1738         if (need_to_encode == 0) {
1739                 free(AddrPtr);
1740                 free(AddrUtf8);
1741                 return source;
1742         }
1743
1744         SourceLen = i;
1745         EncodedMaxLen = nColons * (sizeof(headerStr) + 3) + SourceLen * 3;
1746         Encoded = (char*) malloc (EncodedMaxLen);
1747
1748         for (i = 0; i < nColons; i++)
1749                 source[AddrPtr[i]++] = '\0';
1750         /* TODO: if libidn, this might get larger*/
1751         user = malloc(SourceLen + 1);
1752         node = malloc(SourceLen + 1);
1753         name = malloc(SourceLen + 1);
1754
1755         nPtr = Encoded;
1756         *nPtr = '\0';
1757         for (i = 0; i < nColons && nPtr != NULL; i++) {
1758                 nmax = EncodedMaxLen - (nPtr - Encoded);
1759                 if (AddrUtf8[i]) {
1760                         process_rfc822_addr(&source[AddrPtr[i]],
1761                                             user,
1762                                             node,
1763                                             name);
1764                         /* TODO: libIDN here ! */
1765                         if (IsEmptyStr(name)) {
1766                                 n = snprintf(nPtr, nmax,
1767                                              (i==0)?"%s@%s" : ",%s@%s",
1768                                              user, node);
1769                         }
1770                         else {
1771                                 EncodedName = rfc2047encode(name, strlen(name));
1772                                 n = snprintf(nPtr, nmax,
1773                                              (i==0)?"%s <%s@%s>" : ",%s <%s@%s>",
1774                                              EncodedName, user, node);
1775                                 free(EncodedName);
1776                         }
1777                 }
1778                 else {
1779                         n = snprintf(nPtr, nmax,
1780                                      (i==0)?"%s" : ",%s",
1781                                      &source[AddrPtr[i]]);
1782                 }
1783                 if (n > 0 )
1784                         nPtr += n;
1785                 else {
1786                         char *ptr, *nnPtr;
1787                         ptr = (char*) malloc(EncodedMaxLen * 2);
1788                         memcpy(ptr, Encoded, EncodedMaxLen);
1789                         nnPtr = ptr + (nPtr - Encoded), nPtr = nnPtr;
1790                         free(Encoded), Encoded = ptr;
1791                         EncodedMaxLen *= 2;
1792                         i--; /* do it once more with properly lengthened buffer */
1793                 }
1794         }
1795         for (i = 0; i < nColons; i++)
1796                 source[--AddrPtr[i]] = ',';
1797
1798         free(user);
1799         free(node);
1800         free(name);
1801         free(AddrUtf8);
1802         free(AddrPtr);
1803         return Encoded;
1804 }
1805
1806
1807 /* If the last item in a list of recipients was truncated to a partial address,
1808  * remove it completely in order to avoid choking libSieve
1809  */
1810 void sanitize_truncated_recipient(char *str)
1811 {
1812         if (!str) return;
1813         if (num_tokens(str, ',') < 2) return;
1814
1815         int len = strlen(str);
1816         if (len < 900) return;
1817         if (len > 998) str[998] = 0;
1818
1819         char *cptr = strrchr(str, ',');
1820         if (!cptr) return;
1821
1822         char *lptr = strchr(cptr, '<');
1823         char *rptr = strchr(cptr, '>');
1824
1825         if ( (lptr) && (rptr) && (rptr > lptr) ) return;
1826
1827         *cptr = 0;
1828 }
1829
1830
1831 void OutputCtdlMsgHeaders(
1832         struct CtdlMessage *TheMessage,
1833         int do_proto)           /* do Citadel protocol responses? */
1834 {
1835         char allkeys[30];
1836         int i, k, n;
1837         int suppress_f = 0;
1838         char buf[SIZ];
1839         char display_name[256];
1840
1841         /* begin header processing loop for Citadel message format */
1842         safestrncpy(display_name, "<unknown>", sizeof display_name);
1843         if (TheMessage->cm_fields['A']) {
1844                 strcpy(buf, TheMessage->cm_fields['A']);
1845                 if (TheMessage->cm_anon_type == MES_ANONONLY) {
1846                         safestrncpy(display_name, "****", sizeof display_name);
1847                 }
1848                 else if (TheMessage->cm_anon_type == MES_ANONOPT) {
1849                         safestrncpy(display_name, "anonymous", sizeof display_name);
1850                 }
1851                 else {
1852                         safestrncpy(display_name, buf, sizeof display_name);
1853                 }
1854                 if ((is_room_aide())
1855                     && ((TheMessage->cm_anon_type == MES_ANONONLY)
1856                         || (TheMessage->cm_anon_type == MES_ANONOPT))) {
1857                         size_t tmp = strlen(display_name);
1858                         snprintf(&display_name[tmp],
1859                                  sizeof display_name - tmp,
1860                                  " [%s]", buf);
1861                 }
1862         }
1863
1864         /* Don't show Internet address for users on the
1865          * local Citadel network.
1866          */
1867         suppress_f = 0;
1868         if (TheMessage->cm_fields['N'] != NULL)
1869                 if (!IsEmptyStr(TheMessage->cm_fields['N']))
1870                         if (haschar(TheMessage->cm_fields['N'], '.') == 0) {
1871                                 suppress_f = 1;
1872                         }
1873
1874         /* Now spew the header fields in the order we like them. */
1875         n = safestrncpy(allkeys, FORDER, sizeof allkeys);
1876         for (i=0; i<n; ++i) {
1877                 k = (int) allkeys[i];
1878                 if (k != 'M') {
1879                         if ( (TheMessage->cm_fields[k] != NULL)
1880                              && (msgkeys[k] != NULL) ) {
1881                                 if ((k == 'V') || (k == 'R') || (k == 'Y')) {
1882                                         sanitize_truncated_recipient(TheMessage->cm_fields[k]);
1883                                 }
1884                                 if (k == 'A') {
1885                                         if (do_proto) cprintf("%s=%s\n",
1886                                                               msgkeys[k],
1887                                                               display_name);
1888                                 }
1889                                 else if ((k == 'F') && (suppress_f)) {
1890                                         /* do nothing */
1891                                 }
1892                                 /* Masquerade display name if needed */
1893                                 else {
1894                                         if (do_proto) cprintf("%s=%s\n",
1895                                                               msgkeys[k],
1896                                                               TheMessage->cm_fields[k]
1897                                                 );
1898                                 }
1899                         }
1900                 }
1901         }
1902
1903 }
1904
1905 void OutputRFC822MsgHeaders(
1906         struct CtdlMessage *TheMessage,
1907         int flags,              /* should the bessage be exported clean */
1908         const char *nl,
1909         char *mid, long sizeof_mid,
1910         char *suser, long sizeof_suser,
1911         char *luser, long sizeof_luser,
1912         char *fuser, long sizeof_fuser,
1913         char *snode, long sizeof_snode)
1914 {
1915         char datestamp[100];
1916         int subject_found = 0;
1917         char buf[SIZ];
1918         int i, j, k;
1919         char *mptr = NULL;
1920         char *mpptr = NULL;
1921
1922         for (i = 0; i < 256; ++i) {
1923                 if (TheMessage->cm_fields[i]) {
1924                         mptr = mpptr = TheMessage->cm_fields[i];
1925
1926                         if (i == 'A') {
1927                                 safestrncpy(luser, mptr, sizeof_luser);
1928                                 safestrncpy(suser, mptr, sizeof_suser);
1929                         }
1930                         else if (i == 'Y') {
1931                                 if ((flags & QP_EADDR) != 0) {
1932                                         mptr = qp_encode_email_addrs(mptr);
1933                                 }
1934                                 sanitize_truncated_recipient(mptr);
1935                                 cprintf("CC: %s%s", mptr, nl);
1936                         }
1937                         else if (i == 'P') {
1938                                 cprintf("Return-Path: %s%s", mptr, nl);
1939                         }
1940                         else if (i == 'L') {
1941                                 cprintf("List-ID: %s%s", mptr, nl);
1942                         }
1943                         else if (i == 'V') {
1944                                 if ((flags & QP_EADDR) != 0)
1945                                         mptr = qp_encode_email_addrs(mptr);
1946                                 cprintf("Envelope-To: %s%s", mptr, nl);
1947                         }
1948                         else if (i == 'U') {
1949                                 cprintf("Subject: %s%s", mptr, nl);
1950                                 subject_found = 1;
1951                         }
1952                         else if (i == 'I')
1953                                 safestrncpy(mid, mptr, sizeof_mid); /// TODO: detect @ here and copy @nodename in if not found.
1954                         else if (i == 'F')
1955                                 safestrncpy(fuser, mptr, sizeof_fuser);
1956                         /* else if (i == 'O')
1957                            cprintf("X-Citadel-Room: %s%s",
1958                            mptr, nl); */
1959                         else if (i == 'N')
1960                                 safestrncpy(snode, mptr, sizeof_snode);
1961                         else if (i == 'R')
1962                         {
1963                                 if (haschar(mptr, '@') == 0)
1964                                 {
1965                                         sanitize_truncated_recipient(mptr);
1966                                         cprintf("To: %s@%s", mptr, config.c_fqdn);
1967                                         cprintf("%s", nl);
1968                                 }
1969                                 else
1970                                 {
1971                                         if ((flags & QP_EADDR) != 0) {
1972                                                 mptr = qp_encode_email_addrs(mptr);
1973                                         }
1974                                         sanitize_truncated_recipient(mptr);
1975                                         cprintf("To: %s", mptr);
1976                                         cprintf("%s", nl);
1977                                 }
1978                         }
1979                         else if (i == 'T') {
1980                                 datestring(datestamp, sizeof datestamp,
1981                                            atol(mptr), DATESTRING_RFC822);
1982                                 cprintf("Date: %s%s", datestamp, nl);
1983                         }
1984                         else if (i == 'W') {
1985                                 cprintf("References: ");
1986                                 k = num_tokens(mptr, '|');
1987                                 for (j=0; j<k; ++j) {
1988                                         extract_token(buf, mptr, j, '|', sizeof buf);
1989                                         cprintf("<%s>", buf);
1990                                         if (j == (k-1)) {
1991                                                 cprintf("%s", nl);
1992                                         }
1993                                         else {
1994                                                 cprintf(" ");
1995                                         }
1996                                 }
1997                         }
1998                         else if (i == 'K') {
1999                                 cprintf("Reply-To: <%s>%s", mptr, nl);
2000                         }
2001                         if (mptr != mpptr)
2002                                 free (mptr);
2003                 }
2004         }
2005         if (subject_found == 0) {
2006                 cprintf("Subject: (no subject)%s", nl);
2007         }
2008 }
2009
2010
2011 void Dump_RFC822HeadersBody(
2012         struct CtdlMessage *TheMessage,
2013         int headers_only,       /* eschew the message body? */
2014         int flags,              /* should the bessage be exported clean? */
2015
2016         const char *nl)
2017 {
2018         cit_uint8_t prev_ch;
2019         int eoh = 0;
2020         const char *StartOfText = StrBufNOTNULL;
2021         char outbuf[1024];
2022         int outlen = 0;
2023         int nllen = strlen(nl);
2024         char *mptr;
2025
2026         mptr = TheMessage->cm_fields['M'];
2027
2028
2029         prev_ch = '\0';
2030         while (*mptr != '\0') {
2031                 if (*mptr == '\r') {
2032                         /* do nothing */
2033                 }
2034                 else {
2035                         if ((!eoh) &&
2036                             (*mptr == '\n'))
2037                         {
2038                                 eoh = (*(mptr+1) == '\r') && (*(mptr+2) == '\n');
2039                                 if (!eoh)
2040                                         eoh = *(mptr+1) == '\n';
2041                                 if (eoh)
2042                                 {
2043                                         StartOfText = mptr;
2044                                         StartOfText = strchr(StartOfText, '\n');
2045                                         StartOfText = strchr(StartOfText, '\n');
2046                                 }
2047                         }
2048                         if (((headers_only == HEADERS_NONE) && (mptr >= StartOfText)) ||
2049                             ((headers_only == HEADERS_ONLY) && (mptr < StartOfText)) ||
2050                             ((headers_only != HEADERS_NONE) &&
2051                              (headers_only != HEADERS_ONLY))
2052                                 ) {
2053                                 if (*mptr == '\n') {
2054                                         memcpy(&outbuf[outlen], nl, nllen);
2055                                         outlen += nllen;
2056                                         outbuf[outlen] = '\0';
2057                                 }
2058                                 else {
2059                                         outbuf[outlen++] = *mptr;
2060                                 }
2061                         }
2062                 }
2063                 if (flags & ESC_DOT)
2064                 {
2065                         if ((prev_ch == '\n') &&
2066                             (*mptr == '.') &&
2067                             ((*(mptr+1) == '\r') || (*(mptr+1) == '\n')))
2068                         {
2069                                 outbuf[outlen++] = '.';
2070                         }
2071                         prev_ch = *mptr;
2072                 }
2073                 ++mptr;
2074                 if (outlen > 1000) {
2075                         client_write(outbuf, outlen);
2076                         outlen = 0;
2077                 }
2078         }
2079         if (outlen > 0) {
2080                 client_write(outbuf, outlen);
2081                 outlen = 0;
2082         }
2083 }
2084
2085
2086
2087 /* If the format type on disk is 1 (fixed-format), then we want
2088  * everything to be output completely literally ... regardless of
2089  * what message transfer format is in use.
2090  */
2091 void DumpFormatFixed(
2092         struct CtdlMessage *TheMessage,
2093         int mode,               /* how would you like that message? */
2094         const char *nl)
2095 {
2096         cit_uint8_t ch;
2097         char buf[SIZ];
2098         int buflen;
2099         int xlline = 0;
2100         int nllen = strlen (nl);
2101         char *mptr;
2102
2103         mptr = TheMessage->cm_fields['M'];
2104
2105         if (mode == MT_MIME) {
2106                 cprintf("Content-type: text/plain\n\n");
2107         }
2108         *buf = '\0';
2109         buflen = 0;
2110         while (ch = *mptr++, ch > 0) {
2111                 if (ch == '\n')
2112                         ch = '\r';
2113
2114                 if ((buflen > 250) && (!xlline)){
2115                         int tbuflen;
2116                         tbuflen = buflen;
2117
2118                         while ((buflen > 0) &&
2119                                (!isspace(buf[buflen])))
2120                                 buflen --;
2121                         if (buflen == 0) {
2122                                 xlline = 1;
2123                         }
2124                         else {
2125                                 mptr -= tbuflen - buflen;
2126                                 buf[buflen] = '\0';
2127                                 ch = '\r';
2128                         }
2129                 }
2130                 /* if we reach the outer bounds of our buffer,
2131                    abort without respect what whe purge. */
2132                 if (xlline &&
2133                     ((isspace(ch)) ||
2134                      (buflen > SIZ - nllen - 2)))
2135                         ch = '\r';
2136
2137                 if (ch == '\r') {
2138                         memcpy (&buf[buflen], nl, nllen);
2139                         buflen += nllen;
2140                         buf[buflen] = '\0';
2141
2142                         client_write(buf, buflen);
2143                         *buf = '\0';
2144                         buflen = 0;
2145                         xlline = 0;
2146                 } else {
2147                         buf[buflen] = ch;
2148                         buflen++;
2149                 }
2150         }
2151         buf[buflen] = '\0';
2152         if (!IsEmptyStr(buf))
2153                 cprintf("%s%s", buf, nl);
2154 }
2155
2156 /*
2157  * Get a message off disk.  (returns om_* values found in msgbase.h)
2158  */
2159 int CtdlOutputPreLoadedMsg(
2160                 struct CtdlMessage *TheMessage,
2161                 int mode,               /* how would you like that message? */
2162                 int headers_only,       /* eschew the message body? */
2163                 int do_proto,           /* do Citadel protocol responses? */
2164                 int crlf,               /* Use CRLF newlines instead of LF? */
2165                 int flags               /* should the bessage be exported clean? */
2166 ) {
2167         int i;
2168         char *mptr = NULL;
2169         const char *nl; /* newline string */
2170         struct ma_info ma;
2171
2172         /* Buffers needed for RFC822 translation.  These are all filled
2173          * using functions that are bounds-checked, and therefore we can
2174          * make them substantially smaller than SIZ.
2175          */
2176         char suser[100];
2177         char luser[100];
2178         char fuser[100];
2179         char snode[100];
2180         char mid[100];
2181
2182         syslog(LOG_DEBUG, "CtdlOutputPreLoadedMsg(TheMessage=%s, %d, %d, %d, %d\n",
2183                 ((TheMessage == NULL) ? "NULL" : "not null"),
2184                 mode, headers_only, do_proto, crlf);
2185
2186         strcpy(mid, "unknown");
2187         nl = (crlf ? "\r\n" : "\n");
2188
2189         if (!is_valid_message(TheMessage)) {
2190                 syslog(LOG_ERR,
2191                         "ERROR: invalid preloaded message for output\n");
2192                 cit_backtrace ();
2193                 return(om_no_such_msg);
2194         }
2195
2196         /* Suppress envelope recipients if required to avoid disclosing BCC addresses.
2197          * Pad it with spaces in order to avoid changing the RFC822 length of the message.
2198          */
2199         if ( (flags & SUPPRESS_ENV_TO) && (TheMessage->cm_fields['V'] != NULL) ) {
2200                 memset(TheMessage->cm_fields['V'], ' ', strlen(TheMessage->cm_fields['V']));
2201         }
2202
2203         /* Are we downloading a MIME component? */
2204         if (mode == MT_DOWNLOAD) {
2205                 if (TheMessage->cm_format_type != FMT_RFC822) {
2206                         if (do_proto)
2207                                 cprintf("%d This is not a MIME message.\n",
2208                                 ERROR + ILLEGAL_VALUE);
2209                 } else if (CC->download_fp != NULL) {
2210                         if (do_proto) cprintf(
2211                                 "%d You already have a download open.\n",
2212                                 ERROR + RESOURCE_BUSY);
2213                 } else {
2214                         /* Parse the message text component */
2215                         mptr = TheMessage->cm_fields['M'];
2216                         mime_parser(mptr, NULL, *mime_download, NULL, NULL, NULL, 0);
2217                         /* If there's no file open by this time, the requested
2218                          * section wasn't found, so print an error
2219                          */
2220                         if (CC->download_fp == NULL) {
2221                                 if (do_proto) cprintf(
2222                                         "%d Section %s not found.\n",
2223                                         ERROR + FILE_NOT_FOUND,
2224                                         CC->download_desired_section);
2225                         }
2226                 }
2227                 return((CC->download_fp != NULL) ? om_ok : om_mime_error);
2228         }
2229
2230         /* MT_SPEW_SECTION is like MT_DOWNLOAD except it outputs the whole MIME part
2231          * in a single server operation instead of opening a download file.
2232          */
2233         if (mode == MT_SPEW_SECTION) {
2234                 if (TheMessage->cm_format_type != FMT_RFC822) {
2235                         if (do_proto)
2236                                 cprintf("%d This is not a MIME message.\n",
2237                                 ERROR + ILLEGAL_VALUE);
2238                 } else {
2239                         /* Parse the message text component */
2240                         int found_it = 0;
2241
2242                         mptr = TheMessage->cm_fields['M'];
2243                         mime_parser(mptr, NULL, *mime_spew_section, NULL, NULL, (void *)&found_it, 0);
2244                         /* If section wasn't found, print an error
2245                          */
2246                         if (!found_it) {
2247                                 if (do_proto) cprintf(
2248                                         "%d Section %s not found.\n",
2249                                         ERROR + FILE_NOT_FOUND,
2250                                         CC->download_desired_section);
2251                         }
2252                 }
2253                 return((CC->download_fp != NULL) ? om_ok : om_mime_error);
2254         }
2255
2256         /* now for the user-mode message reading loops */
2257         if (do_proto) cprintf("%d msg:\n", LISTING_FOLLOWS);
2258
2259         /* Does the caller want to skip the headers? */
2260         if (headers_only == HEADERS_NONE) goto START_TEXT;
2261
2262         /* Tell the client which format type we're using. */
2263         if ( (mode == MT_CITADEL) && (do_proto) ) {
2264                 cprintf("type=%d\n", TheMessage->cm_format_type);
2265         }
2266
2267         /* nhdr=yes means that we're only displaying headers, no body */
2268         if ( (TheMessage->cm_anon_type == MES_ANONONLY)
2269            && ((mode == MT_CITADEL) || (mode == MT_MIME))
2270            && (do_proto)
2271            ) {
2272                 cprintf("nhdr=yes\n");
2273         }
2274
2275         if ((mode == MT_CITADEL) || (mode == MT_MIME))
2276                 OutputCtdlMsgHeaders(TheMessage, do_proto);
2277
2278
2279         /* begin header processing loop for RFC822 transfer format */
2280         strcpy(suser, "");
2281         strcpy(luser, "");
2282         strcpy(fuser, "");
2283         strcpy(snode, NODENAME);
2284         if (mode == MT_RFC822)
2285                 OutputRFC822MsgHeaders(
2286                         TheMessage,
2287                         flags,
2288                         nl,
2289                         mid, sizeof(mid),
2290                         suser, sizeof(suser),
2291                         luser, sizeof(luser),
2292                         fuser, sizeof(fuser),
2293                         snode, sizeof(snode)
2294                         );
2295
2296
2297         for (i=0; !IsEmptyStr(&suser[i]); ++i) {
2298                 suser[i] = tolower(suser[i]);
2299                 if (!isalnum(suser[i])) suser[i]='_';
2300         }
2301
2302         if (mode == MT_RFC822) {
2303                 if (!strcasecmp(snode, NODENAME)) {
2304                         safestrncpy(snode, FQDN, sizeof snode);
2305                 }
2306
2307                 /* Construct a fun message id */
2308                 cprintf("Message-ID: <%s", mid);/// todo: this possibly breaks threadding mails.
2309                 if (strchr(mid, '@')==NULL) {
2310                         cprintf("@%s", snode);
2311                 }
2312                 cprintf(">%s", nl);
2313
2314                 if (!is_room_aide() && (TheMessage->cm_anon_type == MES_ANONONLY)) {
2315                         cprintf("From: \"----\" <x@x.org>%s", nl);
2316                 }
2317                 else if (!is_room_aide() && (TheMessage->cm_anon_type == MES_ANONOPT)) {
2318                         cprintf("From: \"anonymous\" <x@x.org>%s", nl);
2319                 }
2320                 else if (!IsEmptyStr(fuser)) {
2321                         cprintf("From: \"%s\" <%s>%s", luser, fuser, nl);
2322                 }
2323                 else {
2324                         cprintf("From: \"%s\" <%s@%s>%s", luser, suser, snode, nl);
2325                 }
2326
2327                 /* Blank line signifying RFC822 end-of-headers */
2328                 if (TheMessage->cm_format_type != FMT_RFC822) {
2329                         cprintf("%s", nl);
2330                 }
2331         }
2332
2333         /* end header processing loop ... at this point, we're in the text */
2334 START_TEXT:
2335         if (headers_only == HEADERS_FAST) goto DONE;
2336
2337         /* Tell the client about the MIME parts in this message */
2338         if (TheMessage->cm_format_type == FMT_RFC822) {
2339                 if ( (mode == MT_CITADEL) || (mode == MT_MIME) ) {
2340                         mptr = TheMessage->cm_fields['M'];
2341                         memset(&ma, 0, sizeof(struct ma_info));
2342                         mime_parser(mptr, NULL,
2343                                 (do_proto ? *list_this_part : NULL),
2344                                 (do_proto ? *list_this_pref : NULL),
2345                                 (do_proto ? *list_this_suff : NULL),
2346                                 (void *)&ma, 1);
2347                 }
2348                 else if (mode == MT_RFC822) {   /* unparsed RFC822 dump */
2349                         Dump_RFC822HeadersBody(
2350                                 TheMessage,
2351                                 headers_only,
2352                                 flags,
2353                                 nl);
2354                         goto DONE;
2355                 }
2356         }
2357
2358         if (headers_only == HEADERS_ONLY) {
2359                 goto DONE;
2360         }
2361
2362         /* signify start of msg text */
2363         if ( (mode == MT_CITADEL) || (mode == MT_MIME) ) {
2364                 if (do_proto) cprintf("text\n");
2365         }
2366
2367         if (TheMessage->cm_format_type == FMT_FIXED)
2368                 DumpFormatFixed(
2369                         TheMessage,
2370                         mode,           /* how would you like that message? */
2371                         nl);
2372
2373         /* If the message on disk is format 0 (Citadel vari-format), we
2374          * output using the formatter at 80 columns.  This is the final output
2375          * form if the transfer format is RFC822, but if the transfer format
2376          * is Citadel proprietary, it'll still work, because the indentation
2377          * for new paragraphs is correct and the client will reformat the
2378          * message to the reader's screen width.
2379          */
2380         if (TheMessage->cm_format_type == FMT_CITADEL) {
2381                 mptr = TheMessage->cm_fields['M'];
2382
2383                 if (mode == MT_MIME) {
2384                         cprintf("Content-type: text/x-citadel-variformat\n\n");
2385                 }
2386                 memfmout(mptr, nl);
2387         }
2388
2389         /* If the message on disk is format 4 (MIME), we've gotta hand it
2390          * off to the MIME parser.  The client has already been told that
2391          * this message is format 1 (fixed format), so the callback function
2392          * we use will display those parts as-is.
2393          */
2394         if (TheMessage->cm_format_type == FMT_RFC822) {
2395                 memset(&ma, 0, sizeof(struct ma_info));
2396
2397                 if (mode == MT_MIME) {
2398                         ma.use_fo_hooks = 0;
2399                         strcpy(ma.chosen_part, "1");
2400                         ma.chosen_pref = 9999;
2401                         ma.dont_decode = CC->msg4_dont_decode;
2402                         mime_parser(mptr, NULL,
2403                                 *choose_preferred, *fixed_output_pre,
2404                                 *fixed_output_post, (void *)&ma, 1);
2405                         mime_parser(mptr, NULL,
2406                                 *output_preferred, NULL, NULL, (void *)&ma, 1);
2407                 }
2408                 else {
2409                         ma.use_fo_hooks = 1;
2410                         mime_parser(mptr, NULL,
2411                                 *fixed_output, *fixed_output_pre,
2412                                 *fixed_output_post, (void *)&ma, 0);
2413                 }
2414
2415         }
2416
2417 DONE:   /* now we're done */
2418         if (do_proto) cprintf("000\n");
2419         return(om_ok);
2420 }
2421
2422
2423 /*
2424  * display a message (mode 0 - Citadel proprietary)
2425  */
2426 void cmd_msg0(char *cmdbuf)
2427 {
2428         long msgid;
2429         int headers_only = HEADERS_ALL;
2430
2431         msgid = extract_long(cmdbuf, 0);
2432         headers_only = extract_int(cmdbuf, 1);
2433
2434         CtdlOutputMsg(msgid, MT_CITADEL, headers_only, 1, 0, NULL, 0);
2435         return;
2436 }
2437
2438
2439 /*
2440  * display a message (mode 2 - RFC822)
2441  */
2442 void cmd_msg2(char *cmdbuf)
2443 {
2444         long msgid;
2445         int headers_only = HEADERS_ALL;
2446
2447         msgid = extract_long(cmdbuf, 0);
2448         headers_only = extract_int(cmdbuf, 1);
2449
2450         CtdlOutputMsg(msgid, MT_RFC822, headers_only, 1, 1, NULL, 0);
2451 }
2452
2453
2454
2455 /*
2456  * display a message (mode 3 - IGnet raw format - internal programs only)
2457  */
2458 void cmd_msg3(char *cmdbuf)
2459 {
2460         long msgnum;
2461         struct CtdlMessage *msg = NULL;
2462         struct ser_ret smr;
2463
2464         if (CC->internal_pgm == 0) {
2465                 cprintf("%d This command is for internal programs only.\n",
2466                         ERROR + HIGHER_ACCESS_REQUIRED);
2467                 return;
2468         }
2469
2470         msgnum = extract_long(cmdbuf, 0);
2471         msg = CtdlFetchMessage(msgnum, 1);
2472         if (msg == NULL) {
2473                 cprintf("%d Message %ld not found.\n",
2474                         ERROR + MESSAGE_NOT_FOUND, msgnum);
2475                 return;
2476         }
2477
2478         serialize_message(&smr, msg);
2479         CtdlFreeMessage(msg);
2480
2481         if (smr.len == 0) {
2482                 cprintf("%d Unable to serialize message\n",
2483                         ERROR + INTERNAL_ERROR);
2484                 return;
2485         }
2486
2487         cprintf("%d %ld\n", BINARY_FOLLOWS, (long)smr.len);
2488         client_write((char *)smr.ser, (int)smr.len);
2489         free(smr.ser);
2490 }
2491
2492
2493
2494 /*
2495  * Display a message using MIME content types
2496  */
2497 void cmd_msg4(char *cmdbuf)
2498 {
2499         long msgid;
2500         char section[64];
2501
2502         msgid = extract_long(cmdbuf, 0);
2503         extract_token(section, cmdbuf, 1, '|', sizeof section);
2504         CtdlOutputMsg(msgid, MT_MIME, 0, 1, 0, (section[0] ? section : NULL) , 0);
2505 }
2506
2507
2508
2509 /*
2510  * Client tells us its preferred message format(s)
2511  */
2512 void cmd_msgp(char *cmdbuf)
2513 {
2514         if (!strcasecmp(cmdbuf, "dont_decode")) {
2515                 CC->msg4_dont_decode = 1;
2516                 cprintf("%d MSG4 will not pre-decode messages.\n", CIT_OK);
2517         }
2518         else {
2519                 safestrncpy(CC->preferred_formats, cmdbuf, sizeof(CC->preferred_formats));
2520                 cprintf("%d Preferred MIME formats have been set.\n", CIT_OK);
2521         }
2522 }
2523
2524
2525 /*
2526  * Open a component of a MIME message as a download file
2527  */
2528 void cmd_opna(char *cmdbuf)
2529 {
2530         long msgid;
2531         char desired_section[128];
2532
2533         msgid = extract_long(cmdbuf, 0);
2534         extract_token(desired_section, cmdbuf, 1, '|', sizeof desired_section);
2535         safestrncpy(CC->download_desired_section, desired_section,
2536                 sizeof CC->download_desired_section);
2537         CtdlOutputMsg(msgid, MT_DOWNLOAD, 0, 1, 1, NULL, 0);
2538 }
2539
2540
2541 /*
2542  * Open a component of a MIME message and transmit it all at once
2543  */
2544 void cmd_dlat(char *cmdbuf)
2545 {
2546         long msgid;
2547         char desired_section[128];
2548
2549         msgid = extract_long(cmdbuf, 0);
2550         extract_token(desired_section, cmdbuf, 1, '|', sizeof desired_section);
2551         safestrncpy(CC->download_desired_section, desired_section,
2552                 sizeof CC->download_desired_section);
2553         CtdlOutputMsg(msgid, MT_SPEW_SECTION, 0, 1, 1, NULL, 0);
2554 }
2555
2556
2557 /*
2558  * Save one or more message pointers into a specified room
2559  * (Returns 0 for success, nonzero for failure)
2560  * roomname may be NULL to use the current room
2561  *
2562  * Note that the 'supplied_msg' field may be set to NULL, in which case
2563  * the message will be fetched from disk, by number, if we need to perform
2564  * replication checks.  This adds an additional database read, so if the
2565  * caller already has the message in memory then it should be supplied.  (Obviously
2566  * this mode of operation only works if we're saving a single message.)
2567  */
2568 int CtdlSaveMsgPointersInRoom(char *roomname, long newmsgidlist[], int num_newmsgs,
2569                         int do_repl_check, struct CtdlMessage *supplied_msg, int suppress_refcount_adj
2570 ) {
2571         int i, j, unique;
2572         char hold_rm[ROOMNAMELEN];
2573         struct cdbdata *cdbfr;
2574         int num_msgs;
2575         long *msglist;
2576         long highest_msg = 0L;
2577
2578         long msgid = 0;
2579         struct CtdlMessage *msg = NULL;
2580
2581         long *msgs_to_be_merged = NULL;
2582         int num_msgs_to_be_merged = 0;
2583
2584         syslog(LOG_DEBUG,
2585                 "CtdlSaveMsgPointersInRoom(room=%s, num_msgs=%d, repl=%d, suppress_rca=%d)\n",
2586                 roomname, num_newmsgs, do_repl_check, suppress_refcount_adj
2587         );
2588
2589         strcpy(hold_rm, CC->room.QRname);
2590
2591         /* Sanity checks */
2592         if (newmsgidlist == NULL) return(ERROR + INTERNAL_ERROR);
2593         if (num_newmsgs < 1) return(ERROR + INTERNAL_ERROR);
2594         if (num_newmsgs > 1) supplied_msg = NULL;
2595
2596         /* Now the regular stuff */
2597         if (CtdlGetRoomLock(&CC->room,
2598            ((roomname != NULL) ? roomname : CC->room.QRname) )
2599            != 0) {
2600                 syslog(LOG_ERR, "No such room <%s>\n", roomname);
2601                 return(ERROR + ROOM_NOT_FOUND);
2602         }
2603
2604
2605         msgs_to_be_merged = malloc(sizeof(long) * num_newmsgs);
2606         num_msgs_to_be_merged = 0;
2607
2608
2609         cdbfr = cdb_fetch(CDB_MSGLISTS, &CC->room.QRnumber, sizeof(long));
2610         if (cdbfr == NULL) {
2611                 msglist = NULL;
2612                 num_msgs = 0;
2613         } else {
2614                 msglist = (long *) cdbfr->ptr;
2615                 cdbfr->ptr = NULL;      /* CtdlSaveMsgPointerInRoom() now owns this memory */
2616                 num_msgs = cdbfr->len / sizeof(long);
2617                 cdb_free(cdbfr);
2618         }
2619
2620
2621         /* Create a list of msgid's which were supplied by the caller, but do
2622          * not already exist in the target room.  It is absolutely taboo to
2623          * have more than one reference to the same message in a room.
2624          */
2625         for (i=0; i<num_newmsgs; ++i) {
2626                 unique = 1;
2627                 if (num_msgs > 0) for (j=0; j<num_msgs; ++j) {
2628                         if (msglist[j] == newmsgidlist[i]) {
2629                                 unique = 0;
2630                         }
2631                 }
2632                 if (unique) {
2633                         msgs_to_be_merged[num_msgs_to_be_merged++] = newmsgidlist[i];
2634                 }
2635         }
2636
2637         syslog(LOG_DEBUG, "%d unique messages to be merged\n", num_msgs_to_be_merged);
2638
2639         /*
2640          * Now merge the new messages
2641          */
2642         msglist = realloc(msglist, (sizeof(long) * (num_msgs + num_msgs_to_be_merged)) );
2643         if (msglist == NULL) {
2644                 syslog(LOG_ALERT, "ERROR: can't realloc message list!\n");
2645         }
2646         memcpy(&msglist[num_msgs], msgs_to_be_merged, (sizeof(long) * num_msgs_to_be_merged) );
2647         num_msgs += num_msgs_to_be_merged;
2648
2649         /* Sort the message list, so all the msgid's are in order */
2650         num_msgs = sort_msglist(msglist, num_msgs);
2651
2652         /* Determine the highest message number */
2653         highest_msg = msglist[num_msgs - 1];
2654
2655         /* Write it back to disk. */
2656         cdb_store(CDB_MSGLISTS, &CC->room.QRnumber, (int)sizeof(long),
2657                   msglist, (int)(num_msgs * sizeof(long)));
2658
2659         /* Free up the memory we used. */
2660         free(msglist);
2661
2662         /* Update the highest-message pointer and unlock the room. */
2663         CC->room.QRhighest = highest_msg;
2664         CtdlPutRoomLock(&CC->room);
2665
2666         /* Perform replication checks if necessary */
2667         if ( (DoesThisRoomNeedEuidIndexing(&CC->room)) && (do_repl_check) ) {
2668                 syslog(LOG_DEBUG, "CtdlSaveMsgPointerInRoom() doing repl checks\n");
2669
2670                 for (i=0; i<num_msgs_to_be_merged; ++i) {
2671                         msgid = msgs_to_be_merged[i];
2672
2673                         if (supplied_msg != NULL) {
2674                                 msg = supplied_msg;
2675                         }
2676                         else {
2677                                 msg = CtdlFetchMessage(msgid, 0);
2678                         }
2679
2680                         if (msg != NULL) {
2681                                 ReplicationChecks(msg);
2682
2683                                 /* If the message has an Exclusive ID, index that... */
2684                                 if (msg->cm_fields['E'] != NULL) {
2685                                         index_message_by_euid(msg->cm_fields['E'], &CC->room, msgid);
2686                                 }
2687
2688                                 /* Free up the memory we may have allocated */
2689                                 if (msg != supplied_msg) {
2690                                         CtdlFreeMessage(msg);
2691                                 }
2692                         }
2693
2694                 }
2695         }
2696
2697         else {
2698                 syslog(LOG_DEBUG, "CtdlSaveMsgPointerInRoom() skips repl checks\n");
2699         }
2700
2701         /* Submit this room for processing by hooks */
2702         PerformRoomHooks(&CC->room);
2703
2704         /* Go back to the room we were in before we wandered here... */
2705         CtdlGetRoom(&CC->room, hold_rm);
2706
2707         /* Bump the reference count for all messages which were merged */
2708         if (!suppress_refcount_adj) {
2709                 for (i=0; i<num_msgs_to_be_merged; ++i) {
2710                         AdjRefCount(msgs_to_be_merged[i], +1);
2711                 }
2712         }
2713
2714         /* Free up memory... */
2715         if (msgs_to_be_merged != NULL) {
2716                 free(msgs_to_be_merged);
2717         }
2718
2719         /* Return success. */
2720         return (0);
2721 }
2722
2723
2724 /*
2725  * This is the same as CtdlSaveMsgPointersInRoom() but it only accepts
2726  * a single message.
2727  */
2728 int CtdlSaveMsgPointerInRoom(char *roomname, long msgid,
2729                         int do_repl_check, struct CtdlMessage *supplied_msg)
2730 {
2731         return CtdlSaveMsgPointersInRoom(roomname, &msgid, 1, do_repl_check, supplied_msg, 0);
2732 }
2733
2734
2735
2736
2737 /*
2738  * Message base operation to save a new message to the message store
2739  * (returns new message number)
2740  *
2741  * This is the back end for CtdlSubmitMsg() and should not be directly
2742  * called by server-side modules.
2743  *
2744  */
2745 long send_message(struct CtdlMessage *msg) {
2746         long newmsgid;
2747         long retval;
2748         char msgidbuf[256];
2749         struct ser_ret smr;
2750         int is_bigmsg = 0;
2751         char *holdM = NULL;
2752
2753         /* Get a new message number */
2754         newmsgid = get_new_message_number();
2755         snprintf(msgidbuf, sizeof msgidbuf, "%010ld@%s", newmsgid, config.c_fqdn);
2756
2757         /* Generate an ID if we don't have one already */
2758         if (msg->cm_fields['I']==NULL) {
2759                 msg->cm_fields['I'] = strdup(msgidbuf);
2760         }
2761
2762         /* If the message is big, set its body aside for storage elsewhere */
2763         if (msg->cm_fields['M'] != NULL) {
2764                 if (strlen(msg->cm_fields['M']) > BIGMSG) {
2765                         is_bigmsg = 1;
2766                         holdM = msg->cm_fields['M'];
2767                         msg->cm_fields['M'] = NULL;
2768                 }
2769         }
2770
2771         /* Serialize our data structure for storage in the database */
2772         serialize_message(&smr, msg);
2773
2774         if (is_bigmsg) {
2775                 msg->cm_fields['M'] = holdM;
2776         }
2777
2778         if (smr.len == 0) {
2779                 cprintf("%d Unable to serialize message\n",
2780                         ERROR + INTERNAL_ERROR);
2781                 return (-1L);
2782         }
2783
2784         /* Write our little bundle of joy into the message base */
2785         if (cdb_store(CDB_MSGMAIN, &newmsgid, (int)sizeof(long),
2786                       smr.ser, smr.len) < 0) {
2787                 syslog(LOG_ERR, "Can't store message\n");
2788                 retval = 0L;
2789         } else {
2790                 if (is_bigmsg) {
2791                         cdb_store(CDB_BIGMSGS,
2792                                 &newmsgid,
2793                                 (int)sizeof(long),
2794                                 holdM,
2795                                 (strlen(holdM) + 1)
2796                         );
2797                 }
2798                 retval = newmsgid;
2799         }
2800
2801         /* Free the memory we used for the serialized message */
2802         free(smr.ser);
2803
2804         /* Return the *local* message ID to the caller
2805          * (even if we're storing an incoming network message)
2806          */
2807         return(retval);
2808 }
2809
2810
2811
2812 /*
2813  * Serialize a struct CtdlMessage into the format used on disk and network.
2814  *
2815  * This function loads up a "struct ser_ret" (defined in server.h) which
2816  * contains the length of the serialized message and a pointer to the
2817  * serialized message in memory.  THE LATTER MUST BE FREED BY THE CALLER.
2818  */
2819 void serialize_message(struct ser_ret *ret,             /* return values */
2820                         struct CtdlMessage *msg)        /* unserialized msg */
2821 {
2822         size_t wlen, fieldlen;
2823         int i;
2824         static char *forder = FORDER;
2825
2826         /*
2827          * Check for valid message format
2828          */
2829         if (is_valid_message(msg) == 0) {
2830                 syslog(LOG_ERR, "serialize_message() aborting due to invalid message\n");
2831                 ret->len = 0;
2832                 ret->ser = NULL;
2833                 return;
2834         }
2835
2836         ret->len = 3;
2837         for (i=0; i<26; ++i) if (msg->cm_fields[(int)forder[i]] != NULL)
2838                 ret->len = ret->len +
2839                         strlen(msg->cm_fields[(int)forder[i]]) + 2;
2840
2841         ret->ser = malloc(ret->len);
2842         if (ret->ser == NULL) {
2843                 syslog(LOG_ERR, "serialize_message() malloc(%ld) failed: %s\n",
2844                         (long)ret->len, strerror(errno));
2845                 ret->len = 0;
2846                 ret->ser = NULL;
2847                 return;
2848         }
2849
2850         ret->ser[0] = 0xFF;
2851         ret->ser[1] = msg->cm_anon_type;
2852         ret->ser[2] = msg->cm_format_type;
2853         wlen = 3;
2854
2855         for (i=0; i<26; ++i) if (msg->cm_fields[(int)forder[i]] != NULL) {
2856                 fieldlen = strlen(msg->cm_fields[(int)forder[i]]);
2857                 ret->ser[wlen++] = (char)forder[i];
2858                 safestrncpy((char *)&ret->ser[wlen], msg->cm_fields[(int)forder[i]], fieldlen+1);
2859                 wlen = wlen + fieldlen + 1;
2860         }
2861         if (ret->len != wlen) syslog(LOG_ERR, "ERROR: len=%ld wlen=%ld\n",
2862                 (long)ret->len, (long)wlen);
2863
2864         return;
2865 }
2866
2867
2868 /*
2869  * Serialize a struct CtdlMessage into the format used on disk and network.
2870  *
2871  * This function loads up a "struct ser_ret" (defined in server.h) which
2872  * contains the length of the serialized message and a pointer to the
2873  * serialized message in memory.  THE LATTER MUST BE FREED BY THE CALLER.
2874  */
2875 void dump_message(struct CtdlMessage *msg,      /* unserialized msg */
2876                   long Siz)                     /* how many chars ? */
2877 {
2878         size_t wlen;
2879         int i;
2880         static char *forder = FORDER;
2881         char *buf;
2882
2883         /*
2884          * Check for valid message format
2885          */
2886         if (is_valid_message(msg) == 0) {
2887                 syslog(LOG_ERR, "dump_message() aborting due to invalid message\n");
2888                 return;
2889         }
2890
2891         buf = (char*) malloc (Siz + 1);
2892
2893         wlen = 3;
2894
2895         for (i=0; i<26; ++i) if (msg->cm_fields[(int)forder[i]] != NULL) {
2896                         snprintf (buf, Siz, " msg[%c] = %s ...\n", (char) forder[i],
2897                                    msg->cm_fields[(int)forder[i]]);
2898                         client_write (buf, strlen(buf));
2899                 }
2900
2901         return;
2902 }
2903
2904
2905
2906 /*
2907  * Check to see if any messages already exist in the current room which
2908  * carry the same Exclusive ID as this one.  If any are found, delete them.
2909  */
2910 void ReplicationChecks(struct CtdlMessage *msg) {
2911         long old_msgnum = (-1L);
2912
2913         if (DoesThisRoomNeedEuidIndexing(&CC->room) == 0) return;
2914
2915         syslog(LOG_DEBUG, "Performing replication checks in <%s>\n",
2916                 CC->room.QRname);
2917
2918         /* No exclusive id?  Don't do anything. */
2919         if (msg == NULL) return;
2920         if (msg->cm_fields['E'] == NULL) return;
2921         if (IsEmptyStr(msg->cm_fields['E'])) return;
2922         /*syslog(LOG_DEBUG, "Exclusive ID: <%s> for room <%s>\n",
2923                 msg->cm_fields['E'], CC->room.QRname);*/
2924
2925         old_msgnum = CtdlLocateMessageByEuid(msg->cm_fields['E'], &CC->room);
2926         if (old_msgnum > 0L) {
2927                 syslog(LOG_DEBUG, "ReplicationChecks() replacing message %ld\n", old_msgnum);
2928                 CtdlDeleteMessages(CC->room.QRname, &old_msgnum, 1, "");
2929         }
2930 }
2931
2932
2933
2934 /*
2935  * Save a message to disk and submit it into the delivery system.
2936  */
2937 long CtdlSubmitMsg(struct CtdlMessage *msg,     /* message to save */
2938                    struct recptypes *recps,     /* recipients (if mail) */
2939                    char *force,                 /* force a particular room? */
2940                    int flags                    /* should the message be exported clean? */
2941 ) {
2942         char submit_filename[128];
2943         char generated_timestamp[32];
2944         char hold_rm[ROOMNAMELEN];
2945         char actual_rm[ROOMNAMELEN];
2946         char force_room[ROOMNAMELEN];
2947         char content_type[SIZ];                 /* We have to learn this */
2948         char recipient[SIZ];
2949         long newmsgid;
2950         const char *mptr = NULL;
2951         struct ctdluser userbuf;
2952         int a, i;
2953         struct MetaData smi;
2954         FILE *network_fp = NULL;
2955         static int seqnum = 1;
2956         struct CtdlMessage *imsg = NULL;
2957         char *instr = NULL;
2958         size_t instr_alloc = 0;
2959         struct ser_ret smr;
2960         char *hold_R, *hold_D;
2961         char *collected_addresses = NULL;
2962         struct addresses_to_be_filed *aptr = NULL;
2963         StrBuf *saved_rfc822_version = NULL;
2964         int qualified_for_journaling = 0;
2965         CitContext *CCC = MyContext();
2966         char bounce_to[1024] = "";
2967         size_t tmp = 0;
2968         int rv = 0;
2969
2970         syslog(LOG_DEBUG, "CtdlSubmitMsg() called\n");
2971         if (is_valid_message(msg) == 0) return(-1);     /* self check */
2972
2973         /* If this message has no timestamp, we take the liberty of
2974          * giving it one, right now.
2975          */
2976         if (msg->cm_fields['T'] == NULL) {
2977                 snprintf(generated_timestamp, sizeof generated_timestamp, "%ld", (long)time(NULL));
2978                 msg->cm_fields['T'] = strdup(generated_timestamp);
2979         }
2980
2981         /* If this message has no path, we generate one.
2982          */
2983         if (msg->cm_fields['P'] == NULL) {
2984                 if (msg->cm_fields['A'] != NULL) {
2985                         msg->cm_fields['P'] = strdup(msg->cm_fields['A']);
2986                         for (a=0; !IsEmptyStr(&msg->cm_fields['P'][a]); ++a) {
2987                                 if (isspace(msg->cm_fields['P'][a])) {
2988                                         msg->cm_fields['P'][a] = ' ';
2989                                 }
2990                         }
2991                 }
2992                 else {
2993                         msg->cm_fields['P'] = strdup("unknown");
2994                 }
2995         }
2996
2997         if (force == NULL) {
2998                 strcpy(force_room, "");
2999         }
3000         else {
3001                 strcpy(force_room, force);
3002         }
3003
3004         /* Learn about what's inside, because it's what's inside that counts */
3005         if (msg->cm_fields['M'] == NULL) {
3006                 syslog(LOG_ERR, "ERROR: attempt to save message with NULL body\n");
3007                 return(-2);
3008         }
3009
3010         switch (msg->cm_format_type) {
3011         case 0:
3012                 strcpy(content_type, "text/x-citadel-variformat");
3013                 break;
3014         case 1:
3015                 strcpy(content_type, "text/plain");
3016                 break;
3017         case 4:
3018                 strcpy(content_type, "text/plain");
3019                 mptr = bmstrcasestr(msg->cm_fields['M'], "Content-type:");
3020                 if (mptr != NULL) {
3021                         char *aptr;
3022                         safestrncpy(content_type, &mptr[13], sizeof content_type);
3023                         striplt(content_type);
3024                         aptr = content_type;
3025                         while (!IsEmptyStr(aptr)) {
3026                                 if ((*aptr == ';')
3027                                     || (*aptr == ' ')
3028                                     || (*aptr == 13)
3029                                     || (*aptr == 10)) {
3030                                         *aptr = 0;
3031                                 }
3032                                 else aptr++;
3033                         }
3034                 }
3035         }
3036
3037         /* Goto the correct room */
3038         syslog(LOG_DEBUG, "Selected room %s\n", (recps) ? CCC->room.QRname : SENTITEMS);
3039         strcpy(hold_rm, CCC->room.QRname);
3040         strcpy(actual_rm, CCC->room.QRname);
3041         if (recps != NULL) {
3042                 strcpy(actual_rm, SENTITEMS);
3043         }
3044
3045         /* If the user is a twit, move to the twit room for posting */
3046         if (TWITDETECT) {
3047                 if (CCC->user.axlevel == AxProbU) {
3048                         strcpy(hold_rm, actual_rm);
3049                         strcpy(actual_rm, config.c_twitroom);
3050                         syslog(LOG_DEBUG, "Diverting to twit room\n");
3051                 }
3052         }
3053
3054         /* ...or if this message is destined for Aide> then go there. */
3055         if (!IsEmptyStr(force_room)) {
3056                 strcpy(actual_rm, force_room);
3057         }
3058
3059         syslog(LOG_DEBUG, "Final selection: %s\n", actual_rm);
3060         if (strcasecmp(actual_rm, CCC->room.QRname)) {
3061                 /* CtdlGetRoom(&CCC->room, actual_rm); */
3062                 CtdlUserGoto(actual_rm, 0, 1, NULL, NULL);
3063         }
3064
3065         /*
3066          * If this message has no O (room) field, generate one.
3067          */
3068         if (msg->cm_fields['O'] == NULL) {
3069                 msg->cm_fields['O'] = strdup(CCC->room.QRname);
3070         }
3071
3072         /* Perform "before save" hooks (aborting if any return nonzero) */
3073         syslog(LOG_DEBUG, "Performing before-save hooks\n");
3074         if (PerformMessageHooks(msg, EVT_BEFORESAVE) > 0) return(-3);
3075
3076         /*
3077          * If this message has an Exclusive ID, and the room is replication
3078          * checking enabled, then do replication checks.
3079          */
3080         if (DoesThisRoomNeedEuidIndexing(&CCC->room)) {
3081                 ReplicationChecks(msg);
3082         }
3083
3084         /* Save it to disk */
3085         syslog(LOG_DEBUG, "Saving to disk\n");
3086         newmsgid = send_message(msg);
3087         if (newmsgid <= 0L) return(-5);
3088
3089         /* Write a supplemental message info record.  This doesn't have to
3090          * be a critical section because nobody else knows about this message
3091          * yet.
3092          */
3093         syslog(LOG_DEBUG, "Creating MetaData record\n");
3094         memset(&smi, 0, sizeof(struct MetaData));
3095         smi.meta_msgnum = newmsgid;
3096         smi.meta_refcount = 0;
3097         safestrncpy(smi.meta_content_type, content_type,
3098                         sizeof smi.meta_content_type);
3099
3100         /*
3101          * Measure how big this message will be when rendered as RFC822.
3102          * We do this for two reasons:
3103          * 1. We need the RFC822 length for the new metadata record, so the
3104          *    POP and IMAP services don't have to calculate message lengths
3105          *    while the user is waiting (multiplied by potentially hundreds
3106          *    or thousands of messages).
3107          * 2. If journaling is enabled, we will need an RFC822 version of the
3108          *    message to attach to the journalized copy.
3109          */
3110         if (CCC->redirect_buffer != NULL) {
3111                 syslog(LOG_ALERT, "CCC->redirect_buffer is not NULL during message submission!\n");
3112                 abort();
3113         }
3114         CCC->redirect_buffer = NewStrBufPlain(NULL, SIZ);
3115         CtdlOutputPreLoadedMsg(msg, MT_RFC822, HEADERS_ALL, 0, 1, QP_EADDR);
3116         smi.meta_rfc822_length = StrLength(CCC->redirect_buffer);
3117         saved_rfc822_version = CCC->redirect_buffer;
3118         CCC->redirect_buffer = NULL;
3119
3120         PutMetaData(&smi);
3121
3122         /* Now figure out where to store the pointers */
3123         syslog(LOG_DEBUG, "Storing pointers\n");
3124
3125         /* If this is being done by the networker delivering a private
3126          * message, we want to BYPASS saving the sender's copy (because there
3127          * is no local sender; it would otherwise go to the Trashcan).
3128          */
3129         if ((!CCC->internal_pgm) || (recps == NULL)) {
3130                 if (CtdlSaveMsgPointerInRoom(actual_rm, newmsgid, 1, msg) != 0) {
3131                         syslog(LOG_ERR, "ERROR saving message pointer!\n");
3132                         CtdlSaveMsgPointerInRoom(config.c_aideroom, newmsgid, 0, msg);
3133                 }
3134         }
3135
3136         /* For internet mail, drop a copy in the outbound queue room */
3137         if ((recps != NULL) && (recps->num_internet > 0)) {
3138                 CtdlSaveMsgPointerInRoom(SMTP_SPOOLOUT_ROOM, newmsgid, 0, msg);
3139         }
3140
3141         /* If other rooms are specified, drop them there too. */
3142         if ((recps != NULL) && (recps->num_room > 0))
3143           for (i=0; i<num_tokens(recps->recp_room, '|'); ++i) {
3144                 extract_token(recipient, recps->recp_room, i,
3145                                         '|', sizeof recipient);
3146                 syslog(LOG_DEBUG, "Delivering to room <%s>\n", recipient);
3147                 CtdlSaveMsgPointerInRoom(recipient, newmsgid, 0, msg);
3148         }
3149
3150         /* Bump this user's messages posted counter. */
3151         syslog(LOG_DEBUG, "Updating user\n");
3152         CtdlGetUserLock(&CCC->user, CCC->curr_user);
3153         CCC->user.posted = CCC->user.posted + 1;
3154         CtdlPutUserLock(&CCC->user);
3155
3156         /* Decide where bounces need to be delivered */
3157         if ((recps != NULL) && (recps->bounce_to != NULL)) {
3158                 safestrncpy(bounce_to, recps->bounce_to, sizeof bounce_to);
3159         }
3160         else if (CCC->logged_in) {
3161                 snprintf(bounce_to, sizeof bounce_to, "%s@%s", CCC->user.fullname, config.c_nodename);
3162         }
3163         else {
3164                 snprintf(bounce_to, sizeof bounce_to, "%s@%s", msg->cm_fields['A'], msg->cm_fields['N']);
3165         }
3166
3167         /* If this is private, local mail, make a copy in the
3168          * recipient's mailbox and bump the reference count.
3169          */
3170         if ((recps != NULL) && (recps->num_local > 0))
3171           for (i=0; i<num_tokens(recps->recp_local, '|'); ++i) {
3172                 extract_token(recipient, recps->recp_local, i,
3173                                         '|', sizeof recipient);
3174                 syslog(LOG_DEBUG, "Delivering private local mail to <%s>\n",
3175                         recipient);
3176                 if (CtdlGetUser(&userbuf, recipient) == 0) {
3177                         // Add a flag so the Funambol module knows its mail
3178                         msg->cm_fields['W'] = strdup(recipient);
3179                         CtdlMailboxName(actual_rm, sizeof actual_rm, &userbuf, MAILROOM);
3180                         CtdlSaveMsgPointerInRoom(actual_rm, newmsgid, 0, msg);
3181                         CtdlBumpNewMailCounter(userbuf.usernum);
3182                         if (!IsEmptyStr(config.c_funambol_host) || !IsEmptyStr(config.c_pager_program)) {
3183                         /* Generate a instruction message for the Funambol notification
3184                          * server, in the same style as the SMTP queue
3185                          */
3186                            instr_alloc = 1024;
3187                            instr = malloc(instr_alloc);
3188                            snprintf(instr, instr_alloc,
3189                         "Content-type: %s\n\nmsgid|%ld\nsubmitted|%ld\n"
3190                         "bounceto|%s\n",
3191                         SPOOLMIME, newmsgid, (long)time(NULL),
3192                         bounce_to
3193                         );
3194
3195                            imsg = malloc(sizeof(struct CtdlMessage));
3196                            memset(imsg, 0, sizeof(struct CtdlMessage));
3197                            imsg->cm_magic = CTDLMESSAGE_MAGIC;
3198                            imsg->cm_anon_type = MES_NORMAL;
3199                            imsg->cm_format_type = FMT_RFC822;
3200                            imsg->cm_fields['A'] = strdup("Citadel");
3201                            imsg->cm_fields['J'] = strdup("do not journal");
3202                            imsg->cm_fields['M'] = instr;        /* imsg owns this memory now */
3203                            imsg->cm_fields['W'] = strdup(recipient);
3204                            CtdlSubmitMsg(imsg, NULL, FNBL_QUEUE_ROOM, 0);
3205                            CtdlFreeMessage(imsg);
3206                         }
3207                 }
3208                 else {
3209                         syslog(LOG_DEBUG, "No user <%s>\n", recipient);
3210                         CtdlSaveMsgPointerInRoom(config.c_aideroom,
3211                                 newmsgid, 0, msg);
3212                 }
3213         }
3214
3215         /* Perform "after save" hooks */
3216         syslog(LOG_DEBUG, "Performing after-save hooks\n");
3217         PerformMessageHooks(msg, EVT_AFTERSAVE);
3218
3219         /* For IGnet mail, we have to save a new copy into the spooler for
3220          * each recipient, with the R and D fields set to the recipient and
3221          * destination-node.  This has two ugly side effects: all other
3222          * recipients end up being unlisted in this recipient's copy of the
3223          * message, and it has to deliver multiple messages to the same
3224          * node.  We'll revisit this again in a year or so when everyone has
3225          * a network spool receiver that can handle the new style messages.
3226          */
3227         if ((recps != NULL) && (recps->num_ignet > 0))
3228           for (i=0; i<num_tokens(recps->recp_ignet, '|'); ++i) {
3229                 extract_token(recipient, recps->recp_ignet, i,
3230                                 '|', sizeof recipient);
3231
3232                 hold_R = msg->cm_fields['R'];
3233                 hold_D = msg->cm_fields['D'];
3234                 msg->cm_fields['R'] = malloc(SIZ);
3235                 msg->cm_fields['D'] = malloc(128);
3236                 extract_token(msg->cm_fields['R'], recipient, 0, '@', SIZ);
3237                 extract_token(msg->cm_fields['D'], recipient, 1, '@', 128);
3238
3239                 serialize_message(&smr, msg);
3240                 if (smr.len > 0) {
3241                         snprintf(submit_filename, sizeof submit_filename,
3242                                          "%s/netmail.%04lx.%04x.%04x",
3243                                          ctdl_netin_dir,
3244                                          (long) getpid(), CCC->cs_pid, ++seqnum);
3245                         network_fp = fopen(submit_filename, "wb+");
3246                         if (network_fp != NULL) {
3247                                 rv = fwrite(smr.ser, smr.len, 1, network_fp);
3248                                 fclose(network_fp);
3249                         }
3250                         free(smr.ser);
3251                 }
3252
3253                 free(msg->cm_fields['R']);
3254                 free(msg->cm_fields['D']);
3255                 msg->cm_fields['R'] = hold_R;
3256                 msg->cm_fields['D'] = hold_D;
3257         }
3258
3259         /* Go back to the room we started from */
3260         syslog(LOG_DEBUG, "Returning to original room %s\n", hold_rm);
3261         if (strcasecmp(hold_rm, CCC->room.QRname))
3262                 CtdlUserGoto(hold_rm, 0, 1, NULL, NULL);
3263
3264         /* For internet mail, generate delivery instructions.
3265          * Yes, this is recursive.  Deal with it.  Infinite recursion does
3266          * not happen because the delivery instructions message does not
3267          * contain a recipient.
3268          */
3269         if ((recps != NULL) && (recps->num_internet > 0)) {
3270                 syslog(LOG_DEBUG, "Generating delivery instructions\n");
3271                 instr_alloc = 1024;
3272                 instr = malloc(instr_alloc);
3273                 snprintf(instr, instr_alloc,
3274                         "Content-type: %s\n\nmsgid|%ld\nsubmitted|%ld\n"
3275                         "bounceto|%s\n",
3276                         SPOOLMIME, newmsgid, (long)time(NULL),
3277                         bounce_to
3278                 );
3279
3280                 if (recps->envelope_from != NULL) {
3281                         tmp = strlen(instr);
3282                         snprintf(&instr[tmp], instr_alloc-tmp, "envelope_from|%s\n", recps->envelope_from);
3283                 }
3284
3285                 for (i=0; i<num_tokens(recps->recp_internet, '|'); ++i) {
3286                         tmp = strlen(instr);
3287                         extract_token(recipient, recps->recp_internet, i, '|', sizeof recipient);
3288                         if ((tmp + strlen(recipient) + 32) > instr_alloc) {
3289                                 instr_alloc = instr_alloc * 2;
3290                                 instr = realloc(instr, instr_alloc);
3291                         }
3292                         snprintf(&instr[tmp], instr_alloc - tmp, "remote|%s|0||\n", recipient);
3293                 }
3294
3295                 imsg = malloc(sizeof(struct CtdlMessage));
3296                 memset(imsg, 0, sizeof(struct CtdlMessage));
3297                 imsg->cm_magic = CTDLMESSAGE_MAGIC;
3298                 imsg->cm_anon_type = MES_NORMAL;
3299                 imsg->cm_format_type = FMT_RFC822;
3300                 imsg->cm_fields['A'] = strdup("Citadel");
3301                 imsg->cm_fields['J'] = strdup("do not journal");
3302                 imsg->cm_fields['M'] = instr;   /* imsg owns this memory now */
3303                 CtdlSubmitMsg(imsg, NULL, SMTP_SPOOLOUT_ROOM, QP_EADDR);
3304                 CtdlFreeMessage(imsg);
3305         }
3306
3307         /*
3308          * Any addresses to harvest for someone's address book?
3309          */
3310         if ( (CCC->logged_in) && (recps != NULL) ) {
3311                 collected_addresses = harvest_collected_addresses(msg);
3312         }
3313
3314         if (collected_addresses != NULL) {
3315                 aptr = (struct addresses_to_be_filed *)
3316                         malloc(sizeof(struct addresses_to_be_filed));
3317                 CtdlMailboxName(actual_rm, sizeof actual_rm,
3318                         &CCC->user, USERCONTACTSROOM);
3319                 aptr->roomname = strdup(actual_rm);
3320                 aptr->collected_addresses = collected_addresses;
3321                 begin_critical_section(S_ATBF);
3322                 aptr->next = atbf;
3323                 atbf = aptr;
3324                 end_critical_section(S_ATBF);
3325         }
3326
3327         /*
3328          * Determine whether this message qualifies for journaling.
3329          */
3330         if (msg->cm_fields['J'] != NULL) {
3331                 qualified_for_journaling = 0;
3332         }
3333         else {
3334                 if (recps == NULL) {
3335                         qualified_for_journaling = config.c_journal_pubmsgs;
3336                 }
3337                 else if (recps->num_local + recps->num_ignet + recps->num_internet > 0) {
3338                         qualified_for_journaling = config.c_journal_email;
3339                 }
3340                 else {
3341                         qualified_for_journaling = config.c_journal_pubmsgs;
3342                 }
3343         }
3344
3345         /*
3346          * Do we have to perform journaling?  If so, hand off the saved
3347          * RFC822 version will be handed off to the journaler for background
3348          * submit.  Otherwise, we have to free the memory ourselves.
3349          */
3350         if (saved_rfc822_version != NULL) {
3351                 if (qualified_for_journaling) {
3352                         JournalBackgroundSubmit(msg, saved_rfc822_version, recps);
3353                 }
3354                 else {
3355                         FreeStrBuf(&saved_rfc822_version);
3356                 }
3357         }
3358
3359         /* Done. */
3360         return(newmsgid);
3361 }
3362
3363
3364
3365 void aide_message (char *text, char *subject)
3366 {
3367         quickie_message("Citadel",NULL,NULL,AIDEROOM,text,FMT_CITADEL,subject);
3368 }
3369
3370
3371 /*
3372  * Convenience function for generating small administrative messages.
3373  */
3374 void quickie_message(const char *from, const char *fromaddr, char *to, char *room, const char *text,
3375                         int format_type, const char *subject)
3376 {
3377         struct CtdlMessage *msg;
3378         struct recptypes *recp = NULL;
3379
3380         msg = malloc(sizeof(struct CtdlMessage));
3381         memset(msg, 0, sizeof(struct CtdlMessage));
3382         msg->cm_magic = CTDLMESSAGE_MAGIC;
3383         msg->cm_anon_type = MES_NORMAL;
3384         msg->cm_format_type = format_type;
3385
3386         if (from != NULL) {
3387                 msg->cm_fields['A'] = strdup(from);
3388         }
3389         else if (fromaddr != NULL) {
3390                 msg->cm_fields['A'] = strdup(fromaddr);
3391                 if (strchr(msg->cm_fields['A'], '@')) {
3392                         *strchr(msg->cm_fields['A'], '@') = 0;
3393                 }
3394         }
3395         else {
3396                 msg->cm_fields['A'] = strdup("Citadel");
3397         }
3398
3399         if (fromaddr != NULL) msg->cm_fields['F'] = strdup(fromaddr);
3400         if (room != NULL) msg->cm_fields['O'] = strdup(room);
3401         msg->cm_fields['N'] = strdup(NODENAME);
3402         if (to != NULL) {
3403                 msg->cm_fields['R'] = strdup(to);
3404                 recp = validate_recipients(to, NULL, 0);
3405         }
3406         if (subject != NULL) {
3407                 msg->cm_fields['U'] = strdup(subject);
3408         }
3409         msg->cm_fields['M'] = strdup(text);
3410
3411         CtdlSubmitMsg(msg, recp, room, 0);
3412         CtdlFreeMessage(msg);
3413         if (recp != NULL) free_recipients(recp);
3414 }
3415
3416
3417
3418 /*
3419  * Back end function used by CtdlMakeMessage() and similar functions
3420  */
3421 StrBuf *CtdlReadMessageBodyBuf(char *terminator,        /* token signalling EOT */
3422                                long tlen,
3423                                size_t maxlen,           /* maximum message length */
3424                                char *exist,             /* if non-null, append to it;
3425                                                            exist is ALWAYS freed  */
3426                                int crlf,                /* CRLF newlines instead of LF */
3427                                int *sock                /* socket handle or 0 for this session's client socket */
3428                         )
3429 {
3430         StrBuf *Message;
3431         StrBuf *LineBuf;
3432         int flushing = 0;
3433         int finished = 0;
3434         int dotdot = 0;
3435
3436         LineBuf = NewStrBufPlain(NULL, SIZ);
3437         if (exist == NULL) {
3438                 Message = NewStrBufPlain(NULL, 4 * SIZ);
3439         }
3440         else {
3441                 Message = NewStrBufPlain(exist, -1);
3442                 free(exist);
3443         }
3444
3445         /* Do we need to change leading ".." to "." for SMTP escaping? */
3446         if ((tlen == 1) && (*terminator == '.')) {
3447                 dotdot = 1;
3448         }
3449
3450         /* read in the lines of message text one by one */
3451         do {
3452                 if (sock != NULL) {
3453                         if ((CtdlSockGetLine(sock, LineBuf, 5) < 0) ||
3454                             (*sock == -1))
3455                                 finished = 1;
3456                 }
3457                 else {
3458                         if (CtdlClientGetLine(LineBuf) < 0) finished = 1;
3459                 }
3460                 if ((StrLength(LineBuf) == tlen) &&
3461                     (!strcmp(ChrPtr(LineBuf), terminator)))
3462                         finished = 1;
3463
3464                 if ( (!flushing) && (!finished) ) {
3465                         if (crlf) {
3466                                 StrBufAppendBufPlain(LineBuf, HKEY("\r\n"), 0);
3467                         }
3468                         else {
3469                                 StrBufAppendBufPlain(LineBuf, HKEY("\n"), 0);
3470                         }
3471
3472                         /* Unescape SMTP-style input of two dots at the beginning of the line */
3473                         if ((dotdot) &&
3474                             (StrLength(LineBuf) == 2) &&
3475                             (!strcmp(ChrPtr(LineBuf), "..")))
3476                         {
3477                                 StrBufCutLeft(LineBuf, 1);
3478                         }
3479
3480                         StrBufAppendBuf(Message, LineBuf, 0);
3481                 }
3482
3483                 /* if we've hit the max msg length, flush the rest */
3484                 if (StrLength(Message) >= maxlen) flushing = 1;
3485
3486         } while (!finished);
3487         FreeStrBuf(&LineBuf);
3488         return Message;
3489 }
3490
3491
3492 /*
3493  * Back end function used by CtdlMakeMessage() and similar functions
3494  */
3495 char *CtdlReadMessageBody(char *terminator,     /* token signalling EOT */
3496                           long tlen,
3497                           size_t maxlen,                /* maximum message length */
3498                           char *exist,          /* if non-null, append to it;
3499                                                    exist is ALWAYS freed  */
3500                           int crlf,             /* CRLF newlines instead of LF */
3501                           int *sock             /* socket handle or 0 for this session's client socket */
3502         )
3503 {
3504         StrBuf *Message;
3505
3506         Message = CtdlReadMessageBodyBuf(terminator,
3507                                          tlen,
3508                                          maxlen,
3509                                          exist,
3510                                          crlf,
3511                                          sock);
3512         if (Message == NULL)
3513                 return NULL;
3514         else
3515                 return SmashStrBuf(&Message);
3516 }
3517
3518
3519 /*
3520  * Build a binary message to be saved on disk.
3521  * (NOTE: if you supply 'preformatted_text', the buffer you give it
3522  * will become part of the message.  This means you are no longer
3523  * responsible for managing that memory -- it will be freed along with
3524  * the rest of the fields when CtdlFreeMessage() is called.)
3525  */
3526
3527 struct CtdlMessage *CtdlMakeMessage(
3528         struct ctdluser *author,        /* author's user structure */
3529         char *recipient,                /* NULL if it's not mail */
3530         char *recp_cc,                  /* NULL if it's not mail */
3531         char *room,                     /* room where it's going */
3532         int type,                       /* see MES_ types in header file */
3533         int format_type,                /* variformat, plain text, MIME... */
3534         char *fake_name,                /* who we're masquerading as */
3535         char *my_email,                 /* which of my email addresses to use (empty is ok) */
3536         char *subject,                  /* Subject (optional) */
3537         char *supplied_euid,            /* ...or NULL if this is irrelevant */
3538         char *preformatted_text,        /* ...or NULL to read text from client */
3539         char *references                /* Thread references */
3540 ) {
3541         char dest_node[256];
3542         char buf[1024];
3543         struct CtdlMessage *msg;
3544         StrBuf *FakeAuthor;
3545         StrBuf *FakeEncAuthor = NULL;
3546
3547         msg = malloc(sizeof(struct CtdlMessage));
3548         memset(msg, 0, sizeof(struct CtdlMessage));
3549         msg->cm_magic = CTDLMESSAGE_MAGIC;
3550         msg->cm_anon_type = type;
3551         msg->cm_format_type = format_type;
3552
3553         /* Don't confuse the poor folks if it's not routed mail. */
3554         strcpy(dest_node, "");
3555
3556         if (recipient != NULL) striplt(recipient);
3557         if (recp_cc != NULL) striplt(recp_cc);
3558
3559         /* Path or Return-Path */
3560         if (my_email == NULL) my_email = "";
3561
3562         if (!IsEmptyStr(my_email)) {
3563                 msg->cm_fields['P'] = strdup(my_email);
3564         }
3565         else {
3566                 snprintf(buf, sizeof buf, "%s", author->fullname);
3567                 msg->cm_fields['P'] = strdup(buf);
3568         }
3569         convert_spaces_to_underscores(msg->cm_fields['P']);
3570
3571         snprintf(buf, sizeof buf, "%ld", (long)time(NULL));     /* timestamp */
3572         msg->cm_fields['T'] = strdup(buf);
3573
3574         if ((fake_name != NULL) && (fake_name[0])) {            /* author */
3575                 FakeAuthor = NewStrBufPlain (fake_name, -1);
3576         }
3577         else {
3578                 FakeAuthor = NewStrBufPlain (author->fullname, -1);
3579         }
3580         StrBufRFC2047encode(&FakeEncAuthor, FakeAuthor);
3581         msg->cm_fields['A'] = SmashStrBuf(&FakeEncAuthor);
3582         FreeStrBuf(&FakeAuthor);
3583
3584         if (CC->room.QRflags & QR_MAILBOX) {            /* room */
3585                 msg->cm_fields['O'] = strdup(&CC->room.QRname[11]);
3586         }
3587         else {
3588                 msg->cm_fields['O'] = strdup(CC->room.QRname);
3589         }
3590
3591         msg->cm_fields['N'] = strdup(NODENAME);         /* nodename */
3592         msg->cm_fields['H'] = strdup(HUMANNODE);                /* hnodename */
3593
3594         if ((recipient != NULL) && (recipient[0] != 0)) {
3595                 msg->cm_fields['R'] = strdup(recipient);
3596         }
3597         if ((recp_cc != NULL) && (recp_cc[0] != 0)) {
3598                 msg->cm_fields['Y'] = strdup(recp_cc);
3599         }
3600         if (dest_node[0] != 0) {
3601                 msg->cm_fields['D'] = strdup(dest_node);
3602         }
3603
3604         if (!IsEmptyStr(my_email)) {
3605                 msg->cm_fields['F'] = strdup(my_email);
3606         }
3607         else if ( (author == &CC->user) && (!IsEmptyStr(CC->cs_inet_email)) ) {
3608                 msg->cm_fields['F'] = strdup(CC->cs_inet_email);
3609         }
3610
3611         if (subject != NULL) {
3612                 long length;
3613                 striplt(subject);
3614                 length = strlen(subject);
3615                 if (length > 0) {
3616                         long i;
3617                         long IsAscii;
3618                         IsAscii = -1;
3619                         i = 0;
3620                         while ((subject[i] != '\0') &&
3621                                (IsAscii = isascii(subject[i]) != 0 ))
3622                                 i++;
3623                         if (IsAscii != 0)
3624                                 msg->cm_fields['U'] = strdup(subject);
3625                         else /* ok, we've got utf8 in the string. */
3626                         {
3627                                 msg->cm_fields['U'] = rfc2047encode(subject, length);
3628                         }
3629
3630                 }
3631         }
3632
3633         if (supplied_euid != NULL) {
3634                 msg->cm_fields['E'] = strdup(supplied_euid);
3635         }
3636
3637         if (references != NULL) {
3638                 if (!IsEmptyStr(references)) {
3639                         msg->cm_fields['W'] = strdup(references);
3640                 }
3641         }
3642
3643         if (preformatted_text != NULL) {
3644                 msg->cm_fields['M'] = preformatted_text;
3645         }
3646         else {
3647                 msg->cm_fields['M'] = CtdlReadMessageBody(HKEY("000"), config.c_maxmsglen, NULL, 0, 0);
3648         }
3649
3650         return(msg);
3651 }
3652
3653
3654 /*
3655  * Check to see whether we have permission to post a message in the current
3656  * room.  Returns a *CITADEL ERROR CODE* and puts a message in errmsgbuf, or
3657  * returns 0 on success.
3658  */
3659 int CtdlDoIHavePermissionToPostInThisRoom(
3660         char *errmsgbuf,
3661         size_t n,
3662         const char* RemoteIdentifier,
3663         int PostPublic,
3664         int is_reply
3665 ) {
3666         int ra;
3667
3668         if (!(CC->logged_in) &&
3669             (PostPublic == POST_LOGGED_IN)) {
3670                 snprintf(errmsgbuf, n, "Not logged in.");
3671                 return (ERROR + NOT_LOGGED_IN);
3672         }
3673         else if (PostPublic == CHECK_EXISTANCE) {
3674                 return (0); // We're Evaling whether a recipient exists
3675         }
3676         else if (!(CC->logged_in)) {
3677
3678                 if ((CC->room.QRflags & QR_READONLY)) {
3679                         snprintf(errmsgbuf, n, "Not logged in.");
3680                         return (ERROR + NOT_LOGGED_IN);
3681                 }
3682                 if (CC->room.QRflags2 & QR2_MODERATED) {
3683                         snprintf(errmsgbuf, n, "Not logged in Moderation feature not yet implemented!");
3684                         return (ERROR + NOT_LOGGED_IN);
3685                 }
3686                 if ((PostPublic!=POST_LMTP) &&(CC->room.QRflags2 & QR2_SMTP_PUBLIC) == 0) {
3687                         SpoolControl *sc;
3688                         char filename[SIZ];
3689                         int found;
3690
3691                         if (RemoteIdentifier == NULL)
3692                         {
3693                                 snprintf(errmsgbuf, n, "Need sender to permit access.");
3694                                 return (ERROR + USERNAME_REQUIRED);
3695                         }
3696
3697                         assoc_file_name(filename, sizeof filename, &CC->room, ctdl_netcfg_dir);
3698                         begin_critical_section(S_NETCONFIGS);
3699                         if (!read_spoolcontrol_file(&sc, filename))
3700                         {
3701                                 end_critical_section(S_NETCONFIGS);
3702                                 snprintf(errmsgbuf, n,
3703                                         "This mailing list only accepts posts from subscribers.");
3704                                 return (ERROR + NO_SUCH_USER);
3705                         }
3706                         end_critical_section(S_NETCONFIGS);
3707                         found = is_recipient (sc, RemoteIdentifier);
3708                         free_spoolcontrol_struct(&sc);
3709                         if (found) {
3710                                 return (0);
3711                         }
3712                         else {
3713                                 snprintf(errmsgbuf, n,
3714                                         "This mailing list only accepts posts from subscribers.");
3715                                 return (ERROR + NO_SUCH_USER);
3716                         }
3717                 }
3718                 return (0);
3719
3720         }
3721
3722         if ((CC->user.axlevel < AxProbU)
3723             && ((CC->room.QRflags & QR_MAILBOX) == 0)) {
3724                 snprintf(errmsgbuf, n, "Need to be validated to enter "
3725                                 "(except in %s> to sysop)", MAILROOM);
3726                 return (ERROR + HIGHER_ACCESS_REQUIRED);
3727         }
3728
3729         CtdlRoomAccess(&CC->room, &CC->user, &ra, NULL);
3730
3731         if ( (!(ra & UA_POSTALLOWED)) && (ra & UA_REPLYALLOWED) && (!is_reply) ) {
3732                 /*
3733                  * To be thorough, we ought to check to see if the message they are
3734                  * replying to is actually a valid one in this room, but unless this
3735                  * actually becomes a problem we'll go with high performance instead.
3736                  */
3737                 snprintf(errmsgbuf, n, "You may only reply to existing messages here.");
3738                 return (ERROR + HIGHER_ACCESS_REQUIRED);
3739         }
3740
3741         else if (!(ra & UA_POSTALLOWED)) {
3742                 snprintf(errmsgbuf, n, "Higher access is required to post in this room.");
3743                 return (ERROR + HIGHER_ACCESS_REQUIRED);
3744         }
3745
3746         strcpy(errmsgbuf, "Ok");
3747         return(0);
3748 }
3749
3750
3751 /*
3752  * Check to see if the specified user has Internet mail permission
3753  * (returns nonzero if permission is granted)
3754  */
3755 int CtdlCheckInternetMailPermission(struct ctdluser *who) {
3756
3757         /* Do not allow twits to send Internet mail */
3758         if (who->axlevel <= AxProbU) return(0);
3759
3760         /* Globally enabled? */
3761         if (config.c_restrict == 0) return(1);
3762
3763         /* User flagged ok? */
3764         if (who->flags & US_INTERNET) return(2);
3765
3766         /* Aide level access? */
3767         if (who->axlevel >= AxAideU) return(3);
3768
3769         /* No mail for you! */
3770         return(0);
3771 }
3772
3773
3774 /*
3775  * Validate recipients, count delivery types and errors, and handle aliasing
3776  * FIXME check for dupes!!!!!
3777  *
3778  * Returns 0 if all addresses are ok, ret->num_error = -1 if no addresses
3779  * were specified, or the number of addresses found invalid.
3780  *
3781  * Caller needs to free the result using free_recipients()
3782  */
3783 struct recptypes *validate_recipients(const char *supplied_recipients,
3784                                       const char *RemoteIdentifier,
3785                                       int Flags) {
3786         struct recptypes *ret;
3787         char *recipients = NULL;
3788         char this_recp[256];
3789         char this_recp_cooked[256];
3790         char append[SIZ];
3791         int num_recps = 0;
3792         int i, j;
3793         int mailtype;
3794         int invalid;
3795         struct ctdluser tempUS;
3796         struct ctdlroom tempQR;
3797         struct ctdlroom tempQR2;
3798         int err = 0;
3799         char errmsg[SIZ];
3800         int in_quotes = 0;
3801
3802         /* Initialize */
3803         ret = (struct recptypes *) malloc(sizeof(struct recptypes));
3804         if (ret == NULL) return(NULL);
3805
3806         /* Set all strings to null and numeric values to zero */
3807         memset(ret, 0, sizeof(struct recptypes));
3808
3809         if (supplied_recipients == NULL) {
3810                 recipients = strdup("");
3811         }
3812         else {
3813                 recipients = strdup(supplied_recipients);
3814         }
3815
3816         /* Allocate some memory.  Yes, this allocates 500% more memory than we will
3817          * actually need, but it's healthier for the heap than doing lots of tiny
3818          * realloc() calls instead.
3819          */
3820
3821         ret->errormsg = malloc(strlen(recipients) + 1024);
3822         ret->recp_local = malloc(strlen(recipients) + 1024);
3823         ret->recp_internet = malloc(strlen(recipients) + 1024);
3824         ret->recp_ignet = malloc(strlen(recipients) + 1024);
3825         ret->recp_room = malloc(strlen(recipients) + 1024);
3826         ret->display_recp = malloc(strlen(recipients) + 1024);
3827
3828         ret->errormsg[0] = 0;
3829         ret->recp_local[0] = 0;
3830         ret->recp_internet[0] = 0;
3831         ret->recp_ignet[0] = 0;
3832         ret->recp_room[0] = 0;
3833         ret->display_recp[0] = 0;
3834
3835         ret->recptypes_magic = RECPTYPES_MAGIC;
3836
3837         /* Change all valid separator characters to commas */
3838         for (i=0; !IsEmptyStr(&recipients[i]); ++i) {
3839                 if ((recipients[i] == ';') || (recipients[i] == '|')) {
3840                         recipients[i] = ',';
3841                 }
3842         }
3843
3844         /* Now start extracting recipients... */
3845
3846         while (!IsEmptyStr(recipients)) {
3847
3848                 for (i=0; i<=strlen(recipients); ++i) {
3849                         if (recipients[i] == '\"') in_quotes = 1 - in_quotes;
3850                         if ( ( (recipients[i] == ',') && (!in_quotes) ) || (recipients[i] == 0) ) {
3851                                 safestrncpy(this_recp, recipients, i+1);
3852                                 this_recp[i] = 0;
3853                                 if (recipients[i] == ',') {
3854                                         strcpy(recipients, &recipients[i+1]);
3855                                 }
3856                                 else {
3857                                         strcpy(recipients, "");
3858                                 }
3859                                 break;
3860                         }
3861                 }
3862
3863                 striplt(this_recp);
3864                 if (IsEmptyStr(this_recp))
3865                         break;
3866                 syslog(LOG_DEBUG, "Evaluating recipient #%d: %s\n", num_recps, this_recp);
3867                 ++num_recps;
3868                 mailtype = alias(this_recp);
3869                 mailtype = alias(this_recp);
3870                 mailtype = alias(this_recp);
3871                 j = 0;
3872                 for (j=0; !IsEmptyStr(&this_recp[j]); ++j) {
3873                         if (this_recp[j]=='_') {
3874                                 this_recp_cooked[j] = ' ';
3875                         }
3876                         else {
3877                                 this_recp_cooked[j] = this_recp[j];
3878                         }
3879                 }
3880                 this_recp_cooked[j] = '\0';
3881                 invalid = 0;
3882                 errmsg[0] = 0;
3883                 switch(mailtype) {
3884                         case MES_LOCAL:
3885                                 if (!strcasecmp(this_recp, "sysop")) {
3886                                         ++ret->num_room;
3887                                         strcpy(this_recp, config.c_aideroom);
3888                                         if (!IsEmptyStr(ret->recp_room)) {
3889                                                 strcat(ret->recp_room, "|");
3890                                         }
3891                                         strcat(ret->recp_room, this_recp);
3892                                 }
3893                                 else if ( (!strncasecmp(this_recp, "room_", 5))
3894                                       && (!CtdlGetRoom(&tempQR, &this_recp_cooked[5])) ) {
3895
3896                                         /* Save room so we can restore it later */
3897                                         tempQR2 = CC->room;
3898                                         CC->room = tempQR;
3899
3900                                         /* Check permissions to send mail to this room */
3901                                         err = CtdlDoIHavePermissionToPostInThisRoom(
3902                                                 errmsg,
3903                                                 sizeof errmsg,
3904                                                 RemoteIdentifier,
3905                                                 Flags,
3906                                                 0                       /* 0 = not a reply */
3907                                         );
3908                                         if (err)
3909                                         {
3910                                                 ++ret->num_error;
3911                                                 invalid = 1;
3912                                         }
3913                                         else {
3914                                                 ++ret->num_room;
3915                                                 if (!IsEmptyStr(ret->recp_room)) {
3916                                                         strcat(ret->recp_room, "|");
3917                                                 }
3918                                                 strcat(ret->recp_room, &this_recp_cooked[5]);
3919                                         }
3920
3921                                         /* Restore room in case something needs it */
3922                                         CC->room = tempQR2;
3923
3924                                 }
3925                                 else if (CtdlGetUser(&tempUS, this_recp) == 0) {
3926                                         ++ret->num_local;
3927                                         strcpy(this_recp, tempUS.fullname);
3928                                         if (!IsEmptyStr(ret->recp_local)) {
3929                                                 strcat(ret->recp_local, "|");
3930                                         }
3931                                         strcat(ret->recp_local, this_recp);
3932                                 }
3933                                 else if (CtdlGetUser(&tempUS, this_recp_cooked) == 0) {
3934                                         ++ret->num_local;
3935                                         strcpy(this_recp, tempUS.fullname);
3936                                         if (!IsEmptyStr(ret->recp_local)) {
3937                                                 strcat(ret->recp_local, "|");
3938                                         }
3939                                         strcat(ret->recp_local, this_recp);
3940                                 }
3941                                 else {
3942                                         ++ret->num_error;
3943                                         invalid = 1;
3944                                 }
3945                                 break;
3946                         case MES_INTERNET:
3947                                 /* Yes, you're reading this correctly: if the target
3948                                  * domain points back to the local system or an attached
3949                                  * Citadel directory, the address is invalid.  That's
3950                                  * because if the address were valid, we would have
3951                                  * already translated it to a local address by now.
3952                                  */
3953                                 if (IsDirectory(this_recp, 0)) {
3954                                         ++ret->num_error;
3955                                         invalid = 1;
3956                                 }
3957                                 else {
3958                                         ++ret->num_internet;
3959                                         if (!IsEmptyStr(ret->recp_internet)) {
3960                                                 strcat(ret->recp_internet, "|");
3961                                         }
3962                                         strcat(ret->recp_internet, this_recp);
3963                                 }
3964                                 break;
3965                         case MES_IGNET:
3966                                 ++ret->num_ignet;
3967                                 if (!IsEmptyStr(ret->recp_ignet)) {
3968                                         strcat(ret->recp_ignet, "|");
3969                                 }
3970                                 strcat(ret->recp_ignet, this_recp);
3971                                 break;
3972                         case MES_ERROR:
3973                                 ++ret->num_error;
3974                                 invalid = 1;
3975                                 break;
3976                 }
3977                 if (invalid) {
3978                         if (IsEmptyStr(errmsg)) {
3979                                 snprintf(append, sizeof append, "Invalid recipient: %s", this_recp);
3980                         }
3981                         else {
3982                                 snprintf(append, sizeof append, "%s", errmsg);
3983                         }
3984                         if ( (strlen(ret->errormsg) + strlen(append) + 3) < SIZ) {
3985                                 if (!IsEmptyStr(ret->errormsg)) {
3986                                         strcat(ret->errormsg, "; ");
3987                                 }
3988                                 strcat(ret->errormsg, append);
3989                         }
3990                 }
3991                 else {
3992                         if (IsEmptyStr(ret->display_recp)) {
3993                                 strcpy(append, this_recp);
3994                         }
3995                         else {
3996                                 snprintf(append, sizeof append, ", %s", this_recp);
3997                         }
3998                         if ( (strlen(ret->display_recp)+strlen(append)) < SIZ) {
3999                                 strcat(ret->display_recp, append);
4000                         }
4001                 }
4002         }
4003
4004         if ((ret->num_local + ret->num_internet + ret->num_ignet +
4005            ret->num_room + ret->num_error) == 0) {
4006                 ret->num_error = (-1);
4007                 strcpy(ret->errormsg, "No recipients specified.");
4008         }
4009
4010         syslog(LOG_DEBUG, "validate_recipients()\n");
4011         syslog(LOG_DEBUG, " local: %d <%s>\n", ret->num_local, ret->recp_local);
4012         syslog(LOG_DEBUG, "  room: %d <%s>\n", ret->num_room, ret->recp_room);
4013         syslog(LOG_DEBUG, "  inet: %d <%s>\n", ret->num_internet, ret->recp_internet);
4014         syslog(LOG_DEBUG, " ignet: %d <%s>\n", ret->num_ignet, ret->recp_ignet);
4015         syslog(LOG_DEBUG, " error: %d <%s>\n", ret->num_error, ret->errormsg);
4016
4017         free(recipients);
4018         return(ret);
4019 }
4020
4021
4022 /*
4023  * Destructor for struct recptypes
4024  */
4025 void free_recipients(struct recptypes *valid) {
4026
4027         if (valid == NULL) {
4028                 return;
4029         }
4030
4031         if (valid->recptypes_magic != RECPTYPES_MAGIC) {
4032                 syslog(LOG_EMERG, "Attempt to call free_recipients() on some other data type!\n");
4033                 abort();
4034         }
4035
4036         if (valid->errormsg != NULL)            free(valid->errormsg);
4037         if (valid->recp_local != NULL)          free(valid->recp_local);
4038         if (valid->recp_internet != NULL)       free(valid->recp_internet);
4039         if (valid->recp_ignet != NULL)          free(valid->recp_ignet);
4040         if (valid->recp_room != NULL)           free(valid->recp_room);
4041         if (valid->display_recp != NULL)        free(valid->display_recp);
4042         if (valid->bounce_to != NULL)           free(valid->bounce_to);
4043         if (valid->envelope_from != NULL)       free(valid->envelope_from);
4044         free(valid);
4045 }
4046
4047
4048
4049 /*
4050  * message entry  -  mode 0 (normal)
4051  */
4052 void cmd_ent0(char *entargs)
4053 {
4054         int post = 0;
4055         char recp[SIZ];
4056         char cc[SIZ];
4057         char bcc[SIZ];
4058         char supplied_euid[128];
4059         int anon_flag = 0;
4060         int format_type = 0;
4061         char newusername[256];
4062         char newuseremail[256];
4063         struct CtdlMessage *msg;
4064         int anonymous = 0;
4065         char errmsg[SIZ];
4066         int err = 0;
4067         struct recptypes *valid = NULL;
4068         struct recptypes *valid_to = NULL;
4069         struct recptypes *valid_cc = NULL;
4070         struct recptypes *valid_bcc = NULL;
4071         char subject[SIZ];
4072         int subject_required = 0;
4073         int do_confirm = 0;
4074         long msgnum;
4075         int i, j;
4076         char buf[256];
4077         int newuseremail_ok = 0;
4078         char references[SIZ];
4079         char *ptr;
4080
4081         unbuffer_output();
4082
4083         post = extract_int(entargs, 0);
4084         extract_token(recp, entargs, 1, '|', sizeof recp);
4085         anon_flag = extract_int(entargs, 2);
4086         format_type = extract_int(entargs, 3);
4087         extract_token(subject, entargs, 4, '|', sizeof subject);
4088         extract_token(newusername, entargs, 5, '|', sizeof newusername);
4089         do_confirm = extract_int(entargs, 6);
4090         extract_token(cc, entargs, 7, '|', sizeof cc);
4091         extract_token(bcc, entargs, 8, '|', sizeof bcc);
4092         switch(CC->room.QRdefaultview) {
4093                 case VIEW_NOTES:
4094                 case VIEW_WIKI:
4095                         extract_token(supplied_euid, entargs, 9, '|', sizeof supplied_euid);
4096                         break;
4097                 default:
4098                         supplied_euid[0] = 0;
4099                         break;
4100         }
4101         extract_token(newuseremail, entargs, 10, '|', sizeof newuseremail);
4102         extract_token(references, entargs, 11, '|', sizeof references);
4103         for (ptr=references; *ptr != 0; ++ptr) {
4104                 if (*ptr == '!') *ptr = '|';
4105         }
4106
4107         /* first check to make sure the request is valid. */
4108
4109         err = CtdlDoIHavePermissionToPostInThisRoom(
4110                 errmsg,
4111                 sizeof errmsg,
4112                 NULL,
4113                 POST_LOGGED_IN,
4114                 (!IsEmptyStr(references))               /* is this a reply?  or a top-level post? */
4115         );
4116         if (err)
4117         {
4118                 cprintf("%d %s\n", err, errmsg);
4119                 return;
4120         }
4121
4122         /* Check some other permission type things. */
4123
4124         if (IsEmptyStr(newusername)) {
4125                 strcpy(newusername, CC->user.fullname);
4126         }
4127         if (  (CC->user.axlevel < AxAideU)
4128            && (strcasecmp(newusername, CC->user.fullname))
4129            && (strcasecmp(newusername, CC->cs_inet_fn))
4130         ) {
4131                 cprintf("%d You don't have permission to author messages as '%s'.\n",
4132                         ERROR + HIGHER_ACCESS_REQUIRED,
4133                         newusername
4134                 );
4135                 return;
4136         }
4137
4138
4139         if (IsEmptyStr(newuseremail)) {
4140                 newuseremail_ok = 1;
4141         }
4142
4143         if (!IsEmptyStr(newuseremail)) {
4144                 if (!strcasecmp(newuseremail, CC->cs_inet_email)) {
4145                         newuseremail_ok = 1;
4146                 }
4147                 else if (!IsEmptyStr(CC->cs_inet_other_emails)) {
4148                         j = num_tokens(CC->cs_inet_other_emails, '|');
4149                         for (i=0; i<j; ++i) {
4150                                 extract_token(buf, CC->cs_inet_other_emails, i, '|', sizeof buf);
4151                                 if (!strcasecmp(newuseremail, buf)) {
4152                                         newuseremail_ok = 1;
4153                                 }
4154                         }
4155                 }
4156         }
4157
4158         if (!newuseremail_ok) {
4159                 cprintf("%d You don't have permission to author messages as '%s'.\n",
4160                         ERROR + HIGHER_ACCESS_REQUIRED,
4161                         newuseremail
4162                 );
4163                 return;
4164         }
4165
4166         CC->cs_flags |= CS_POSTING;
4167
4168         /* In mailbox rooms we have to behave a little differently --
4169          * make sure the user has specified at least one recipient.  Then
4170          * validate the recipient(s).  We do this for the Mail> room, as
4171          * well as any room which has the "Mailbox" view set - unless it
4172          * is the DRAFTS room which does not require recipients
4173          */
4174
4175         if ( (  ( (CC->room.QRflags & QR_MAILBOX) && (!strcasecmp(&CC->room.QRname[11], MAILROOM)) )
4176              || ( (CC->room.QRflags & QR_MAILBOX) && (CC->curr_view == VIEW_MAILBOX) )
4177         ) && (strcasecmp(&CC->room.QRname[11], USERDRAFTROOM)) !=0 ) {
4178                 if (CC->user.axlevel < AxProbU) {
4179                         strcpy(recp, "sysop");
4180                         strcpy(cc, "");
4181                         strcpy(bcc, "");
4182                 }
4183
4184                 valid_to = validate_recipients(recp, NULL, 0);
4185                 if (valid_to->num_error > 0) {
4186                         cprintf("%d %s\n", ERROR + NO_SUCH_USER, valid_to->errormsg);
4187                         free_recipients(valid_to);
4188                         return;
4189                 }
4190
4191                 valid_cc = validate_recipients(cc, NULL, 0);
4192                 if (valid_cc->num_error > 0) {
4193                         cprintf("%d %s\n", ERROR + NO_SUCH_USER, valid_cc->errormsg);
4194                         free_recipients(valid_to);
4195                         free_recipients(valid_cc);
4196                         return;
4197                 }
4198
4199                 valid_bcc = validate_recipients(bcc, NULL, 0);
4200                 if (valid_bcc->num_error > 0) {
4201                         cprintf("%d %s\n", ERROR + NO_SUCH_USER, valid_bcc->errormsg);
4202                         free_recipients(valid_to);
4203                         free_recipients(valid_cc);
4204                         free_recipients(valid_bcc);
4205                         return;
4206                 }
4207
4208                 /* Recipient required, but none were specified */
4209                 if ( (valid_to->num_error < 0) && (valid_cc->num_error < 0) && (valid_bcc->num_error < 0) ) {
4210                         free_recipients(valid_to);
4211                         free_recipients(valid_cc);
4212                         free_recipients(valid_bcc);
4213                         cprintf("%d At least one recipient is required.\n", ERROR + NO_SUCH_USER);
4214                         return;
4215                 }
4216
4217                 if (valid_to->num_internet + valid_cc->num_internet + valid_bcc->num_internet > 0) {
4218                         if (CtdlCheckInternetMailPermission(&CC->user)==0) {
4219                                 cprintf("%d You do not have permission "
4220                                         "to send Internet mail.\n",
4221                                         ERROR + HIGHER_ACCESS_REQUIRED);
4222                                 free_recipients(valid_to);
4223                                 free_recipients(valid_cc);
4224                                 free_recipients(valid_bcc);
4225                                 return;
4226                         }
4227                 }
4228
4229                 if ( ( (valid_to->num_internet + valid_to->num_ignet + valid_cc->num_internet + valid_cc->num_ignet + valid_bcc->num_internet + valid_bcc->num_ignet) > 0)
4230                    && (CC->user.axlevel < AxNetU) ) {
4231                         cprintf("%d Higher access required for network mail.\n",
4232                                 ERROR + HIGHER_ACCESS_REQUIRED);
4233                         free_recipients(valid_to);
4234                         free_recipients(valid_cc);
4235                         free_recipients(valid_bcc);
4236                         return;
4237                 }
4238
4239                 if ((RESTRICT_INTERNET == 1)
4240                     && (valid_to->num_internet + valid_cc->num_internet + valid_bcc->num_internet > 0)
4241                     && ((CC->user.flags & US_INTERNET) == 0)
4242                     && (!CC->internal_pgm)) {
4243                         cprintf("%d You don't have access to Internet mail.\n",
4244                                 ERROR + HIGHER_ACCESS_REQUIRED);
4245                         free_recipients(valid_to);
4246                         free_recipients(valid_cc);
4247                         free_recipients(valid_bcc);
4248                         return;
4249                 }
4250
4251         }
4252
4253         /* Is this a room which has anonymous-only or anonymous-option? */
4254         anonymous = MES_NORMAL;
4255         if (CC->room.QRflags & QR_ANONONLY) {
4256                 anonymous = MES_ANONONLY;
4257         }
4258         if (CC->room.QRflags & QR_ANONOPT) {
4259                 if (anon_flag == 1) {   /* only if the user requested it */
4260                         anonymous = MES_ANONOPT;
4261                 }
4262         }
4263
4264         if ((CC->room.QRflags & QR_MAILBOX) == 0) {
4265                 recp[0] = 0;
4266         }
4267
4268         /* Recommend to the client that the use of a message subject is
4269          * strongly recommended in this room, if either the SUBJECTREQ flag
4270          * is set, or if there is one or more Internet email recipients.
4271          */
4272         if (CC->room.QRflags2 & QR2_SUBJECTREQ) subject_required = 1;
4273         if ((valid_to)  && (valid_to->num_internet > 0))        subject_required = 1;
4274         if ((valid_cc)  && (valid_cc->num_internet > 0))        subject_required = 1;
4275         if ((valid_bcc) && (valid_bcc->num_internet > 0))       subject_required = 1;
4276
4277         /* If we're only checking the validity of the request, return
4278          * success without creating the message.
4279          */
4280         if (post == 0) {
4281                 cprintf("%d %s|%d\n", CIT_OK,
4282                         ((valid_to != NULL) ? valid_to->display_recp : ""),
4283                         subject_required);
4284                 free_recipients(valid_to);
4285                 free_recipients(valid_cc);
4286                 free_recipients(valid_bcc);
4287                 return;
4288         }
4289
4290         /* We don't need these anymore because we'll do it differently below */
4291         free_recipients(valid_to);
4292         free_recipients(valid_cc);
4293         free_recipients(valid_bcc);
4294
4295         /* Read in the message from the client. */
4296         if (do_confirm) {
4297                 cprintf("%d send message\n", START_CHAT_MODE);
4298         } else {
4299                 cprintf("%d send message\n", SEND_LISTING);
4300         }
4301
4302         msg = CtdlMakeMessage(&CC->user, recp, cc,
4303                 CC->room.QRname, anonymous, format_type,
4304                 newusername, newuseremail, subject,
4305                 ((!IsEmptyStr(supplied_euid)) ? supplied_euid : NULL),
4306                 NULL, references);
4307
4308         /* Put together one big recipients struct containing to/cc/bcc all in
4309          * one.  This is for the envelope.
4310          */
4311         char *all_recps = malloc(SIZ * 3);
4312         strcpy(all_recps, recp);
4313         if (!IsEmptyStr(cc)) {
4314                 if (!IsEmptyStr(all_recps)) {
4315                         strcat(all_recps, ",");
4316                 }
4317                 strcat(all_recps, cc);
4318         }
4319         if (!IsEmptyStr(bcc)) {
4320                 if (!IsEmptyStr(all_recps)) {
4321                         strcat(all_recps, ",");
4322                 }
4323                 strcat(all_recps, bcc);
4324         }
4325         if (!IsEmptyStr(all_recps)) {
4326                 valid = validate_recipients(all_recps, NULL, 0);
4327         }
4328         else {
4329                 valid = NULL;
4330         }
4331         free(all_recps);
4332
4333         if (msg != NULL) {
4334                 msgnum = CtdlSubmitMsg(msg, valid, "", QP_EADDR);
4335
4336                 if (do_confirm) {
4337                         cprintf("%ld\n", msgnum);
4338                         if (msgnum >= 0L) {
4339                                 cprintf("Message accepted.\n");
4340                         }
4341                         else {
4342                                 cprintf("Internal error.\n");
4343                         }
4344                         if (msg->cm_fields['E'] != NULL) {
4345                                 cprintf("%s\n", msg->cm_fields['E']);
4346                         } else {
4347                                 cprintf("\n");
4348                         }
4349                         cprintf("000\n");
4350                 }
4351
4352                 CtdlFreeMessage(msg);
4353         }
4354         if (valid != NULL) {
4355                 free_recipients(valid);
4356         }
4357         return;
4358 }
4359
4360
4361
4362 /*
4363  * API function to delete messages which match a set of criteria
4364  * (returns the actual number of messages deleted)
4365  */
4366 int CtdlDeleteMessages(char *room_name,         /* which room */
4367                         long *dmsgnums,         /* array of msg numbers to be deleted */
4368                         int num_dmsgnums,       /* number of msgs to be deleted, or 0 for "any" */
4369                         char *content_type      /* or "" for any.  regular expressions expected. */
4370 )
4371 {
4372         struct ctdlroom qrbuf;
4373         struct cdbdata *cdbfr;
4374         long *msglist = NULL;
4375         long *dellist = NULL;
4376         int num_msgs = 0;
4377         int i, j;
4378         int num_deleted = 0;
4379         int delete_this;
4380         struct MetaData smi;
4381         regex_t re;
4382         regmatch_t pm;
4383         int need_to_free_re = 0;
4384
4385         if (content_type) if (!IsEmptyStr(content_type)) {
4386                 regcomp(&re, content_type, 0);
4387                 need_to_free_re = 1;
4388         }
4389         syslog(LOG_DEBUG, "CtdlDeleteMessages(%s, %d msgs, %s)\n",
4390                 room_name, num_dmsgnums, content_type);
4391
4392         /* get room record, obtaining a lock... */
4393         if (CtdlGetRoomLock(&qrbuf, room_name) != 0) {
4394                 syslog(LOG_ERR, "CtdlDeleteMessages(): Room <%s> not found\n",
4395                         room_name);
4396                 if (need_to_free_re) regfree(&re);
4397                 return (0);     /* room not found */
4398         }
4399         cdbfr = cdb_fetch(CDB_MSGLISTS, &qrbuf.QRnumber, sizeof(long));
4400
4401         if (cdbfr != NULL) {
4402                 dellist = malloc(cdbfr->len);
4403                 msglist = (long *) cdbfr->ptr;
4404                 cdbfr->ptr = NULL;      /* CtdlDeleteMessages() now owns this memory */
4405                 num_msgs = cdbfr->len / sizeof(long);
4406                 cdb_free(cdbfr);
4407         }
4408         if (num_msgs > 0) {
4409                 for (i = 0; i < num_msgs; ++i) {
4410                         delete_this = 0x00;
4411
4412                         /* Set/clear a bit for each criterion */
4413
4414                         /* 0 messages in the list or a null list means that we are
4415                          * interested in deleting any messages which meet the other criteria.
4416                          */
4417                         if ((num_dmsgnums == 0) || (dmsgnums == NULL)) {
4418                                 delete_this |= 0x01;
4419                         }
4420                         else {
4421                                 for (j=0; j<num_dmsgnums; ++j) {
4422                                         if (msglist[i] == dmsgnums[j]) {
4423                                                 delete_this |= 0x01;
4424                                         }
4425                                 }
4426                         }
4427
4428                         if (IsEmptyStr(content_type)) {
4429                                 delete_this |= 0x02;
4430                         } else {
4431                                 GetMetaData(&smi, msglist[i]);
4432                                 if (regexec(&re, smi.meta_content_type, 1, &pm, 0) == 0) {
4433                                         delete_this |= 0x02;
4434                                 }
4435                         }
4436
4437                         /* Delete message only if all bits are set */
4438                         if (delete_this == 0x03) {
4439                                 dellist[num_deleted++] = msglist[i];
4440                                 msglist[i] = 0L;
4441                         }
4442                 }
4443
4444                 num_msgs = sort_msglist(msglist, num_msgs);
4445                 cdb_store(CDB_MSGLISTS, &qrbuf.QRnumber, (int)sizeof(long),
4446                           msglist, (int)(num_msgs * sizeof(long)));
4447
4448                 if (num_msgs > 0)
4449                         qrbuf.QRhighest = msglist[num_msgs - 1];
4450                 else
4451                         qrbuf.QRhighest = 0;
4452         }
4453         CtdlPutRoomLock(&qrbuf);
4454
4455         /* Go through the messages we pulled out of the index, and decrement
4456          * their reference counts by 1.  If this is the only room the message
4457          * was in, the reference count will reach zero and the message will
4458          * automatically be deleted from the database.  We do this in a
4459          * separate pass because there might be plug-in hooks getting called,
4460          * and we don't want that happening during an S_ROOMS critical
4461          * section.
4462          */
4463         if (num_deleted) for (i=0; i<num_deleted; ++i) {
4464                 PerformDeleteHooks(qrbuf.QRname, dellist[i]);
4465                 AdjRefCount(dellist[i], -1);
4466         }
4467
4468         /* Now free the memory we used, and go away. */
4469         if (msglist != NULL) free(msglist);
4470         if (dellist != NULL) free(dellist);
4471         syslog(LOG_DEBUG, "%d message(s) deleted.\n", num_deleted);
4472         if (need_to_free_re) regfree(&re);
4473         return (num_deleted);
4474 }
4475
4476
4477
4478 /*
4479  * Check whether the current user has permission to delete messages from
4480  * the current room (returns 1 for yes, 0 for no)
4481  */
4482 int CtdlDoIHavePermissionToDeleteMessagesFromThisRoom(void) {
4483         int ra;
4484         CtdlRoomAccess(&CC->room, &CC->user, &ra, NULL);
4485         if (ra & UA_DELETEALLOWED) return(1);
4486         return(0);
4487 }
4488
4489
4490
4491
4492 /*
4493  * Delete message from current room
4494  */
4495 void cmd_dele(char *args)
4496 {
4497         int num_deleted;
4498         int i;
4499         char msgset[SIZ];
4500         char msgtok[32];
4501         long *msgs;
4502         int num_msgs = 0;
4503
4504         extract_token(msgset, args, 0, '|', sizeof msgset);
4505         num_msgs = num_tokens(msgset, ',');
4506         if (num_msgs < 1) {
4507                 cprintf("%d Nothing to do.\n", CIT_OK);
4508                 return;
4509         }
4510
4511         if (CtdlDoIHavePermissionToDeleteMessagesFromThisRoom() == 0) {
4512                 cprintf("%d Higher access required.\n",
4513                         ERROR + HIGHER_ACCESS_REQUIRED);
4514                 return;
4515         }
4516
4517         /*
4518          * Build our message set to be moved/copied
4519          */
4520         msgs = malloc(num_msgs * sizeof(long));
4521         for (i=0; i<num_msgs; ++i) {
4522                 extract_token(msgtok, msgset, i, ',', sizeof msgtok);
4523                 msgs[i] = atol(msgtok);
4524         }
4525
4526         num_deleted = CtdlDeleteMessages(CC->room.QRname, msgs, num_msgs, "");
4527         free(msgs);
4528
4529         if (num_deleted) {
4530                 cprintf("%d %d message%s deleted.\n", CIT_OK,
4531                         num_deleted, ((num_deleted != 1) ? "s" : ""));
4532         } else {
4533                 cprintf("%d Message not found.\n", ERROR + MESSAGE_NOT_FOUND);
4534         }
4535 }
4536
4537
4538
4539
4540 /*
4541  * move or copy a message to another room
4542  */
4543 void cmd_move(char *args)
4544 {
4545         char msgset[SIZ];
4546         char msgtok[32];
4547         long *msgs;
4548         int num_msgs = 0;
4549
4550         char targ[ROOMNAMELEN];
4551         struct ctdlroom qtemp;
4552         int err;
4553         int is_copy = 0;
4554         int ra;
4555         int permit = 0;
4556         int i;
4557
4558         extract_token(msgset, args, 0, '|', sizeof msgset);
4559         num_msgs = num_tokens(msgset, ',');
4560         if (num_msgs < 1) {
4561                 cprintf("%d Nothing to do.\n", CIT_OK);
4562                 return;
4563         }
4564
4565         extract_token(targ, args, 1, '|', sizeof targ);
4566         convert_room_name_macros(targ, sizeof targ);
4567         targ[ROOMNAMELEN - 1] = 0;
4568         is_copy = extract_int(args, 2);
4569
4570         if (CtdlGetRoom(&qtemp, targ) != 0) {
4571                 cprintf("%d '%s' does not exist.\n", ERROR + ROOM_NOT_FOUND, targ);
4572                 return;
4573         }
4574
4575         if (!strcasecmp(qtemp.QRname, CC->room.QRname)) {
4576                 cprintf("%d Source and target rooms are the same.\n", ERROR + ALREADY_EXISTS);
4577                 return;
4578         }
4579
4580         CtdlGetUser(&CC->user, CC->curr_user);
4581         CtdlRoomAccess(&qtemp, &CC->user, &ra, NULL);
4582
4583         /* Check for permission to perform this operation.
4584          * Remember: "CC->room" is source, "qtemp" is target.
4585          */
4586         permit = 0;
4587
4588         /* Aides can move/copy */
4589         if (CC->user.axlevel >= AxAideU) permit = 1;
4590
4591         /* Room aides can move/copy */
4592         if (CC->user.usernum == CC->room.QRroomaide) permit = 1;
4593
4594         /* Permit move/copy from personal rooms */
4595         if ((CC->room.QRflags & QR_MAILBOX)
4596            && (qtemp.QRflags & QR_MAILBOX)) permit = 1;
4597
4598         /* Permit only copy from public to personal room */
4599         if ( (is_copy)
4600            && (!(CC->room.QRflags & QR_MAILBOX))
4601            && (qtemp.QRflags & QR_MAILBOX)) permit = 1;
4602
4603         /* Permit message removal from collaborative delete rooms */
4604         if (CC->room.QRflags2 & QR2_COLLABDEL) permit = 1;
4605
4606         /* Users allowed to post into the target room may move into it too. */
4607         if ((CC->room.QRflags & QR_MAILBOX) &&
4608             (qtemp.QRflags & UA_POSTALLOWED))  permit = 1;
4609
4610         /* User must have access to target room */
4611         if (!(ra & UA_KNOWN))  permit = 0;
4612
4613         if (!permit) {
4614                 cprintf("%d Higher access required.\n",
4615                         ERROR + HIGHER_ACCESS_REQUIRED);
4616                 return;
4617         }
4618
4619         /*
4620          * Build our message set to be moved/copied
4621          */
4622         msgs = malloc(num_msgs * sizeof(long));
4623         for (i=0; i<num_msgs; ++i) {
4624                 extract_token(msgtok, msgset, i, ',', sizeof msgtok);
4625                 msgs[i] = atol(msgtok);
4626         }
4627
4628         /*
4629          * Do the copy
4630          */
4631         err = CtdlSaveMsgPointersInRoom(targ, msgs, num_msgs, 1, NULL, 0);
4632         if (err != 0) {
4633                 cprintf("%d Cannot store message(s) in %s: error %d\n",
4634                         err, targ, err);
4635                 free(msgs);
4636                 return;
4637         }
4638
4639         /* Now delete the message from the source room,
4640          * if this is a 'move' rather than a 'copy' operation.
4641          */
4642         if (is_copy == 0) {
4643                 CtdlDeleteMessages(CC->room.QRname, msgs, num_msgs, "");
4644         }
4645         free(msgs);
4646
4647         cprintf("%d Message(s) %s.\n", CIT_OK, (is_copy ? "copied" : "moved") );
4648 }
4649
4650
4651
4652 /*
4653  * GetMetaData()  -  Get the supplementary record for a message
4654  */
4655 void GetMetaData(struct MetaData *smibuf, long msgnum)
4656 {
4657
4658         struct cdbdata *cdbsmi;
4659         long TheIndex;
4660
4661         memset(smibuf, 0, sizeof(struct MetaData));
4662         smibuf->meta_msgnum = msgnum;
4663         smibuf->meta_refcount = 1;      /* Default reference count is 1 */
4664
4665         /* Use the negative of the message number for its supp record index */
4666         TheIndex = (0L - msgnum);
4667
4668         cdbsmi = cdb_fetch(CDB_MSGMAIN, &TheIndex, sizeof(long));
4669         if (cdbsmi == NULL) {
4670                 return;         /* record not found; go with defaults */
4671         }
4672         memcpy(smibuf, cdbsmi->ptr,
4673                ((cdbsmi->len > sizeof(struct MetaData)) ?
4674                 sizeof(struct MetaData) : cdbsmi->len));
4675         cdb_free(cdbsmi);
4676         return;
4677 }
4678
4679
4680 /*
4681  * PutMetaData()  -  (re)write supplementary record for a message
4682  */
4683 void PutMetaData(struct MetaData *smibuf)
4684 {
4685         long TheIndex;
4686
4687         /* Use the negative of the message number for the metadata db index */
4688         TheIndex = (0L - smibuf->meta_msgnum);
4689
4690         cdb_store(CDB_MSGMAIN,
4691                   &TheIndex, (int)sizeof(long),
4692                   smibuf, (int)sizeof(struct MetaData));
4693
4694 }
4695
4696 /*
4697  * AdjRefCount  -  submit an adjustment to the reference count for a message.
4698  *                 (These are just queued -- we actually process them later.)
4699  */
4700 void AdjRefCount(long msgnum, int incr)
4701 {
4702         struct arcq new_arcq;
4703         int rv = 0;
4704
4705         syslog(LOG_DEBUG, "AdjRefCount() msg %ld ref count delta %+d\n",
4706                 msgnum, incr
4707         );
4708
4709         begin_critical_section(S_SUPPMSGMAIN);
4710         if (arcfp == NULL) {
4711                 arcfp = fopen(file_arcq, "ab+");
4712         }
4713         end_critical_section(S_SUPPMSGMAIN);
4714
4715         /* msgnum < 0 means that we're trying to close the file */
4716         if (msgnum < 0) {
4717                 syslog(LOG_DEBUG, "Closing the AdjRefCount queue file\n");
4718                 begin_critical_section(S_SUPPMSGMAIN);
4719                 if (arcfp != NULL) {
4720                         fclose(arcfp);
4721                         arcfp = NULL;
4722                 }
4723                 end_critical_section(S_SUPPMSGMAIN);
4724                 return;
4725         }
4726
4727         /*
4728          * If we can't open the queue, perform the operation synchronously.
4729          */
4730         if (arcfp == NULL) {
4731                 TDAP_AdjRefCount(msgnum, incr);
4732                 return;
4733         }
4734
4735         new_arcq.arcq_msgnum = msgnum;
4736         new_arcq.arcq_delta = incr;
4737         rv = fwrite(&new_arcq, sizeof(struct arcq), 1, arcfp);
4738         fflush(arcfp);
4739
4740         return;
4741 }
4742
4743
4744 /*
4745  * TDAP_ProcessAdjRefCountQueue()
4746  *
4747  * Process the queue of message count adjustments that was created by calls
4748  * to AdjRefCount() ... by reading the queue and calling TDAP_AdjRefCount()
4749  * for each one.  This should be an "off hours" operation.
4750  */
4751 int TDAP_ProcessAdjRefCountQueue(void)
4752 {
4753         char file_arcq_temp[PATH_MAX];
4754         int r;
4755         FILE *fp;
4756         struct arcq arcq_rec;
4757         int num_records_processed = 0;
4758
4759         snprintf(file_arcq_temp, sizeof file_arcq_temp, "%s.%04x", file_arcq, rand());
4760
4761         begin_critical_section(S_SUPPMSGMAIN);
4762         if (arcfp != NULL) {
4763                 fclose(arcfp);
4764                 arcfp = NULL;
4765         }
4766
4767         r = link(file_arcq, file_arcq_temp);
4768         if (r != 0) {
4769                 syslog(LOG_CRIT, "%s: %s\n", file_arcq_temp, strerror(errno));
4770                 end_critical_section(S_SUPPMSGMAIN);
4771                 return(num_records_processed);
4772         }
4773
4774         unlink(file_arcq);
4775         end_critical_section(S_SUPPMSGMAIN);
4776
4777         fp = fopen(file_arcq_temp, "rb");
4778         if (fp == NULL) {
4779                 syslog(LOG_CRIT, "%s: %s\n", file_arcq_temp, strerror(errno));
4780                 return(num_records_processed);
4781         }
4782
4783         while (fread(&arcq_rec, sizeof(struct arcq), 1, fp) == 1) {
4784                 TDAP_AdjRefCount(arcq_rec.arcq_msgnum, arcq_rec.arcq_delta);
4785                 ++num_records_processed;
4786         }
4787
4788         fclose(fp);
4789         r = unlink(file_arcq_temp);
4790         if (r != 0) {
4791                 syslog(LOG_CRIT, "%s: %s\n", file_arcq_temp, strerror(errno));
4792         }
4793
4794         return(num_records_processed);
4795 }
4796
4797
4798
4799 /*
4800  * TDAP_AdjRefCount  -  adjust the reference count for a message.
4801  *                      This one does it "for real" because it's called by
4802  *                      the autopurger function that processes the queue
4803  *                      created by AdjRefCount().   If a message's reference
4804  *                      count becomes zero, we also delete the message from
4805  *                      disk and de-index it.
4806  */
4807 void TDAP_AdjRefCount(long msgnum, int incr)
4808 {
4809
4810         struct MetaData smi;
4811         long delnum;
4812
4813         /* This is a *tight* critical section; please keep it that way, as
4814          * it may get called while nested in other critical sections.
4815          * Complicating this any further will surely cause deadlock!
4816          */
4817         begin_critical_section(S_SUPPMSGMAIN);
4818         GetMetaData(&smi, msgnum);
4819         smi.meta_refcount += incr;
4820         PutMetaData(&smi);
4821         end_critical_section(S_SUPPMSGMAIN);
4822         syslog(LOG_DEBUG, "TDAP_AdjRefCount() msg %ld ref count delta %+d, is now %d\n",
4823                 msgnum, incr, smi.meta_refcount
4824         );
4825
4826         /* If the reference count is now zero, delete the message
4827          * (and its supplementary record as well).
4828          */
4829         if (smi.meta_refcount == 0) {
4830                 syslog(LOG_DEBUG, "Deleting message <%ld>\n", msgnum);
4831
4832                 /* Call delete hooks with NULL room to show it has gone altogether */
4833                 PerformDeleteHooks(NULL, msgnum);
4834
4835                 /* Remove from message base */
4836                 delnum = msgnum;
4837                 cdb_delete(CDB_MSGMAIN, &delnum, (int)sizeof(long));
4838                 cdb_delete(CDB_BIGMSGS, &delnum, (int)sizeof(long));
4839
4840                 /* Remove metadata record */
4841                 delnum = (0L - msgnum);
4842                 cdb_delete(CDB_MSGMAIN, &delnum, (int)sizeof(long));
4843         }
4844
4845 }
4846
4847 /*
4848  * Write a generic object to this room
4849  *
4850  * Note: this could be much more efficient.  Right now we use two temporary
4851  * files, and still pull the message into memory as with all others.
4852  */
4853 void CtdlWriteObject(char *req_room,                    /* Room to stuff it in */
4854                         char *content_type,             /* MIME type of this object */
4855                         char *raw_message,              /* Data to be written */
4856                         off_t raw_length,               /* Size of raw_message */
4857                         struct ctdluser *is_mailbox,    /* Mailbox room? */
4858                         int is_binary,                  /* Is encoding necessary? */
4859                         int is_unique,                  /* Del others of this type? */
4860                         unsigned int flags              /* Internal save flags */
4861                         )
4862 {
4863
4864         struct ctdlroom qrbuf;
4865         char roomname[ROOMNAMELEN];
4866         struct CtdlMessage *msg;
4867         char *encoded_message = NULL;
4868
4869         if (is_mailbox != NULL) {
4870                 CtdlMailboxName(roomname, sizeof roomname, is_mailbox, req_room);
4871         }
4872         else {
4873                 safestrncpy(roomname, req_room, sizeof(roomname));
4874         }
4875
4876         syslog(LOG_DEBUG, "Raw length is %ld\n", (long)raw_length);
4877
4878         if (is_binary) {
4879                 encoded_message = malloc((size_t) (((raw_length * 134) / 100) + 4096 ) );
4880         }
4881         else {
4882                 encoded_message = malloc((size_t)(raw_length + 4096));
4883         }
4884
4885         sprintf(encoded_message, "Content-type: %s\n", content_type);
4886
4887         if (is_binary) {
4888                 sprintf(&encoded_message[strlen(encoded_message)],
4889                         "Content-transfer-encoding: base64\n\n"
4890                 );
4891         }
4892         else {
4893                 sprintf(&encoded_message[strlen(encoded_message)],
4894                         "Content-transfer-encoding: 7bit\n\n"
4895                 );
4896         }
4897
4898         if (is_binary) {
4899                 CtdlEncodeBase64(
4900                         &encoded_message[strlen(encoded_message)],
4901                         raw_message,
4902                         (int)raw_length,
4903                         0
4904                 );
4905         }
4906         else {
4907                 memcpy(
4908                         &encoded_message[strlen(encoded_message)],
4909                         raw_message,
4910                         (int)(raw_length+1)
4911                 );
4912         }
4913
4914         syslog(LOG_DEBUG, "Allocating\n");
4915         msg = malloc(sizeof(struct CtdlMessage));
4916         memset(msg, 0, sizeof(struct CtdlMessage));
4917         msg->cm_magic = CTDLMESSAGE_MAGIC;
4918         msg->cm_anon_type = MES_NORMAL;
4919         msg->cm_format_type = 4;
4920         msg->cm_fields['A'] = strdup(CC->user.fullname);
4921         msg->cm_fields['O'] = strdup(req_room);
4922         msg->cm_fields['N'] = strdup(config.c_nodename);
4923         msg->cm_fields['H'] = strdup(config.c_humannode);
4924         msg->cm_flags = flags;
4925
4926         msg->cm_fields['M'] = encoded_message;
4927
4928         /* Create the requested room if we have to. */
4929         if (CtdlGetRoom(&qrbuf, roomname) != 0) {
4930                 CtdlCreateRoom(roomname,
4931                         ( (is_mailbox != NULL) ? 5 : 3 ),
4932                         "", 0, 1, 0, VIEW_BBS);
4933         }
4934         /* If the caller specified this object as unique, delete all
4935          * other objects of this type that are currently in the room.
4936          */
4937         if (is_unique) {
4938                 syslog(LOG_DEBUG, "Deleted %d other msgs of this type\n",
4939                         CtdlDeleteMessages(roomname, NULL, 0, content_type)
4940                 );
4941         }
4942         /* Now write the data */
4943         CtdlSubmitMsg(msg, NULL, roomname, 0);
4944         CtdlFreeMessage(msg);
4945 }
4946
4947
4948
4949
4950
4951
4952 void CtdlGetSysConfigBackend(long msgnum, void *userdata) {
4953         config_msgnum = msgnum;
4954 }
4955
4956
4957 char *CtdlGetSysConfig(char *sysconfname) {
4958         char hold_rm[ROOMNAMELEN];
4959         long msgnum;
4960         char *conf;
4961         struct CtdlMessage *msg;
4962         char buf[SIZ];
4963
4964         strcpy(hold_rm, CC->room.QRname);
4965         if (CtdlGetRoom(&CC->room, SYSCONFIGROOM) != 0) {
4966                 CtdlGetRoom(&CC->room, hold_rm);
4967                 return NULL;
4968         }
4969
4970
4971         /* We want the last (and probably only) config in this room */
4972         begin_critical_section(S_CONFIG);
4973         config_msgnum = (-1L);
4974         CtdlForEachMessage(MSGS_LAST, 1, NULL, sysconfname, NULL,
4975                 CtdlGetSysConfigBackend, NULL);
4976         msgnum = config_msgnum;
4977         end_critical_section(S_CONFIG);
4978
4979         if (msgnum < 0L) {
4980                 conf = NULL;
4981         }
4982         else {
4983                 msg = CtdlFetchMessage(msgnum, 1);
4984                 if (msg != NULL) {
4985                         conf = strdup(msg->cm_fields['M']);
4986                         CtdlFreeMessage(msg);
4987                 }
4988                 else {
4989                         conf = NULL;
4990                 }
4991         }
4992
4993         CtdlGetRoom(&CC->room, hold_rm);
4994
4995         if (conf != NULL) do {
4996                 extract_token(buf, conf, 0, '\n', sizeof buf);
4997                 strcpy(conf, &conf[strlen(buf)+1]);
4998         } while ( (!IsEmptyStr(conf)) && (!IsEmptyStr(buf)) );
4999
5000         return(conf);
5001 }
5002
5003
5004 void CtdlPutSysConfig(char *sysconfname, char *sysconfdata) {
5005         CtdlWriteObject(SYSCONFIGROOM, sysconfname, sysconfdata, (strlen(sysconfdata)+1), NULL, 0, 1, 0);
5006 }
5007
5008
5009 /*
5010  * Determine whether a given Internet address belongs to the current user
5011  */
5012 int CtdlIsMe(char *addr, int addr_buf_len)
5013 {
5014         struct recptypes *recp;
5015         int i;
5016
5017         recp = validate_recipients(addr, NULL, 0);
5018         if (recp == NULL) return(0);
5019
5020         if (recp->num_local == 0) {
5021                 free_recipients(recp);
5022                 return(0);
5023         }
5024
5025         for (i=0; i<recp->num_local; ++i) {
5026                 extract_token(addr, recp->recp_local, i, '|', addr_buf_len);
5027                 if (!strcasecmp(addr, CC->user.fullname)) {
5028                         free_recipients(recp);
5029                         return(1);
5030                 }
5031         }
5032
5033         free_recipients(recp);
5034         return(0);
5035 }
5036
5037
5038 /*
5039  * Citadel protocol command to do the same
5040  */
5041 void cmd_isme(char *argbuf) {
5042         char addr[256];
5043
5044         if (CtdlAccessCheck(ac_logged_in)) return;
5045         extract_token(addr, argbuf, 0, '|', sizeof addr);
5046
5047         if (CtdlIsMe(addr, sizeof addr)) {
5048                 cprintf("%d %s\n", CIT_OK, addr);
5049         }
5050         else {
5051                 cprintf("%d Not you.\n", ERROR + ILLEGAL_VALUE);
5052         }
5053
5054 }
5055
5056
5057 /*****************************************************************************/
5058 /*                      MODULE INITIALIZATION STUFF                          */
5059 /*****************************************************************************/
5060
5061 CTDL_MODULE_INIT(msgbase)
5062 {
5063         if (!threading) {
5064                 CtdlRegisterProtoHook(cmd_msgs, "MSGS", "Output a list of messages in the current room");
5065                 CtdlRegisterProtoHook(cmd_msg0, "MSG0", "Output a message in plain text format");
5066                 CtdlRegisterProtoHook(cmd_msg2, "MSG2", "Output a message in RFC822 format");
5067                 CtdlRegisterProtoHook(cmd_msg3, "MSG3", "Output a message in raw format (deprecated)");
5068                 CtdlRegisterProtoHook(cmd_msg4, "MSG4", "Output a message in the client's preferred format");
5069                 CtdlRegisterProtoHook(cmd_msgp, "MSGP", "Select preferred format for MSG4 output");
5070                 CtdlRegisterProtoHook(cmd_opna, "OPNA", "Open an attachment for download");
5071                 CtdlRegisterProtoHook(cmd_dlat, "DLAT", "Download an attachment");
5072                 CtdlRegisterProtoHook(cmd_ent0, "ENT0", "Enter a message");
5073                 CtdlRegisterProtoHook(cmd_dele, "DELE", "Delete a message");
5074                 CtdlRegisterProtoHook(cmd_move, "MOVE", "Move or copy a message to another room");
5075                 CtdlRegisterProtoHook(cmd_isme, "ISME", "Determine whether an email address belongs to a user");
5076         }
5077
5078         /* return our Subversion id for the Log */
5079         return "msgbase";
5080 }