citadel/msgbase.c

   1 /*
   2  * Implements the message store.
   3  *
   4  * Copyright (c) 1987-2011 by the citadel.org team
   5  *
   6  * This program is open source software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License as published by
   8  * the Free Software Foundation; either version 3 of the License, or
   9  * (at your option) any later version.
  10  *
  11  * This program is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14  * GNU General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * along with this program; if not, write to the Free Software
  18  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  19  */
  20
  21 #include "sysdep.h"
  22 #include <stdlib.h>
  23 #include <unistd.h>
  24 #include <stdio.h>
  25 #include <fcntl.h>
  26
  27 #if TIME_WITH_SYS_TIME
  28 # include <sys/time.h>
  29 # include <time.h>
  30 #else
  31 # if HAVE_SYS_TIME_H
  32 #  include <sys/time.h>
  33 # else
  34 #  include <time.h>
  35 # endif
  36 #endif
  37
  38
  39 #include <ctype.h>
  40 #include <string.h>
  41 #include <limits.h>
  42 #include <errno.h>
  43 #include <stdarg.h>
  44 #include <sys/stat.h>
  45 #include <sys/types.h>
  46 #include <regex.h>
  47 #include <libcitadel.h>
  48 #include "citadel.h"
  49 #include "server.h"
  50 #include "serv_extensions.h"
  51 #include "database.h"
  52 #include "msgbase.h"
  53 #include "support.h"
  54 #include "sysdep_decls.h"
  55 #include "citserver.h"
  56 #include "room_ops.h"
  57 #include "user_ops.h"
  58 #include "file_ops.h"
  59 #include "config.h"
  60 #include "control.h"
  61 #include "genstamp.h"
  62 #include "internet_addressing.h"
  63 #include "euidindex.h"
  64 #include "journaling.h"
  65 #include "citadel_dirs.h"
  66 #include "clientsocket.h"
  67 #include "serv_network.h"
  68 #include "threads.h"
  69
  70 #include "ctdl_module.h"
  71
  72 long config_msgnum;
  73 struct addresses_to_be_filed *atbf = NULL;
  74
  75 /* This temp file holds the queue of operations for AdjRefCount() */
  76 static FILE *arcfp = NULL;
  77
  78 /*
  79  * This really belongs in serv_network.c, but I don't know how to export
  80  * symbols between modules.
  81  */
  82 struct FilterList *filterlist = NULL;
  83
  84
  85 /*
  86  * These are the four-character field headers we use when outputting
  87  * messages in Citadel format (as opposed to RFC822 format).
  88  */
  89 char *msgkeys[] = {
  90         NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL,
  91         NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL,
  92         NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL,
  93         NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL,
  94         NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL,
  95         NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL,
  96         NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL,
  97         NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL,
  98         NULL,
  99         "from",
 100         NULL, NULL, NULL,
 101         "exti",
 102         "rfca",
 103         NULL,
 104         "hnod",
 105         "msgn",
 106         "jrnl",
 107         NULL,
 108         "list",
 109         "text",
 110         "node",
 111         "room",
 112         "path",
 113         NULL,
 114         "rcpt",
 115         "spec",
 116         "time",
 117         "subj",
 118         NULL,
 119         "wefw",
 120         NULL,
 121         "cccc",
 122         NULL
 123 };
 124
 125 /*
 126  * This function is self explanatory.
 127  * (What can I say, I'm in a weird mood today...)
 128  */
 129 void remove_any_whitespace_to_the_left_or_right_of_at_symbol(char *name)
 130 {
 131         int i;
 132
 133         for (i = 0; i < strlen(name); ++i) {
 134                 if (name[i] == '@') {
 135                         while (isspace(name[i - 1]) && i > 0) {
 136                                 strcpy(&name[i - 1], &name[i]);
 137                                 --i;
 138                         }
 139                         while (isspace(name[i + 1])) {
 140                                 strcpy(&name[i + 1], &name[i + 2]);
 141                         }
 142                 }
 143         }
 144 }
 145
 146
 147 /*
 148  * Aliasing for network mail.
 149  * (Error messages have been commented out, because this is a server.)
 150  */
 151 int alias(char *name)
 152 {                               /* process alias and routing info for mail */
 153         FILE *fp;
 154         int a, i;
 155         char aaa[SIZ], bbb[SIZ];
 156         char *ignetcfg = NULL;
 157         char *ignetmap = NULL;
 158         int at = 0;
 159         char node[64];
 160         char testnode[64];
 161         char buf[SIZ];
 162
 163         char original_name[256];
 164         safestrncpy(original_name, name, sizeof original_name);
 165
 166         striplt(name);
 167         remove_any_whitespace_to_the_left_or_right_of_at_symbol(name);
 168         stripallbut(name, '<', '>');
 169
 170         fp = fopen(file_mail_aliases, "r");
 171         if (fp == NULL) {
 172                 fp = fopen("/dev/null", "r");
 173         }
 174         if (fp == NULL) {
 175                 return (MES_ERROR);
 176         }
 177         strcpy(aaa, "");
 178         strcpy(bbb, "");
 179         while (fgets(aaa, sizeof aaa, fp) != NULL) {
 180                 while (isspace(name[0]))
 181                         strcpy(name, &name[1]);
 182                 aaa[strlen(aaa) - 1] = 0;
 183                 strcpy(bbb, "");
 184                 for (a = 0; a < strlen(aaa); ++a) {
 185                         if (aaa[a] == ',') {
 186                                 strcpy(bbb, &aaa[a + 1]);
 187                                 aaa[a] = 0;
 188                         }
 189                 }
 190                 if (!strcasecmp(name, aaa))
 191                         strcpy(name, bbb);
 192         }
 193         fclose(fp);
 194
 195         /* Hit the Global Address Book */
 196         if (CtdlDirectoryLookup(aaa, name, sizeof aaa) == 0) {
 197                 strcpy(name, aaa);
 198         }
 199
 200         if (strcasecmp(original_name, name)) {
 201                 syslog(LOG_INFO, "%s is being forwarded to %s\n", original_name, name);
 202         }
 203
 204         /* Change "user @ xxx" to "user" if xxx is an alias for this host */
 205         for (a=0; a<strlen(name); ++a) {
 206                 if (name[a] == '@') {
 207                         if (CtdlHostAlias(&name[a+1]) == hostalias_localhost) {
 208                                 name[a] = 0;
 209                                 syslog(LOG_INFO, "Changed to <%s>\n", name);
 210                         }
 211                 }
 212         }
 213
 214         /* determine local or remote type, see citadel.h */
 215         at = haschar(name, '@');
 216         if (at == 0) return(MES_LOCAL);         /* no @'s - local address */
 217         if (at > 1) return(MES_ERROR);          /* >1 @'s - invalid address */
 218         remove_any_whitespace_to_the_left_or_right_of_at_symbol(name);
 219
 220         /* figure out the delivery mode */
 221         extract_token(node, name, 1, '@', sizeof node);
 222
 223         /* If there are one or more dots in the nodename, we assume that it
 224          * is an FQDN and will attempt SMTP delivery to the Internet.
 225          */
 226         if (haschar(node, '.') > 0) {
 227                 return(MES_INTERNET);
 228         }
 229
 230         /* Otherwise we look in the IGnet maps for a valid Citadel node.
 231          * Try directly-connected nodes first...
 232          */
 233         ignetcfg = CtdlGetSysConfig(IGNETCFG);
 234         for (i=0; i<num_tokens(ignetcfg, '\n'); ++i) {
 235                 extract_token(buf, ignetcfg, i, '\n', sizeof buf);
 236                 extract_token(testnode, buf, 0, '|', sizeof testnode);
 237                 if (!strcasecmp(node, testnode)) {
 238                         free(ignetcfg);
 239                         return(MES_IGNET);
 240                 }
 241         }
 242         free(ignetcfg);
 243
 244         /*
 245          * Then try nodes that are two or more hops away.
 246          */
 247         ignetmap = CtdlGetSysConfig(IGNETMAP);
 248         for (i=0; i<num_tokens(ignetmap, '\n'); ++i) {
 249                 extract_token(buf, ignetmap, i, '\n', sizeof buf);
 250                 extract_token(testnode, buf, 0, '|', sizeof testnode);
 251                 if (!strcasecmp(node, testnode)) {
 252                         free(ignetmap);
 253                         return(MES_IGNET);
 254                 }
 255         }
 256         free(ignetmap);
 257
 258         /* If we get to this point it's an invalid node name */
 259         return (MES_ERROR);
 260 }
 261
 262
 263 /*
 264  * Back end for the MSGS command: output message number only.
 265  */
 266 void simple_listing(long msgnum, void *userdata)
 267 {
 268         cprintf("%ld\n", msgnum);
 269 }
 270
 271
 272
 273 /*
 274  * Back end for the MSGS command: output header summary.
 275  */
 276 void headers_listing(long msgnum, void *userdata)
 277 {
 278         struct CtdlMessage *msg;
 279
 280         msg = CtdlFetchMessage(msgnum, 0);
 281         if (msg == NULL) {
 282                 cprintf("%ld|0|||||\n", msgnum);
 283                 return;
 284         }
 285
 286         cprintf("%ld|%s|%s|%s|%s|%s|\n",
 287                 msgnum,
 288                 (msg->cm_fields['T'] ? msg->cm_fields['T'] : "0"),
 289                 (msg->cm_fields['A'] ? msg->cm_fields['A'] : ""),
 290                 (msg->cm_fields['N'] ? msg->cm_fields['N'] : ""),
 291                 (msg->cm_fields['F'] ? msg->cm_fields['F'] : ""),
 292                 (msg->cm_fields['U'] ? msg->cm_fields['U'] : "")
 293         );
 294         CtdlFreeMessage(msg);
 295 }
 296
 297 /*
 298  * Back end for the MSGS command: output EUID header.
 299  */
 300 void headers_euid(long msgnum, void *userdata)
 301 {
 302         struct CtdlMessage *msg;
 303
 304         msg = CtdlFetchMessage(msgnum, 0);
 305         if (msg == NULL) {
 306                 cprintf("%ld||\n", msgnum);
 307                 return;
 308         }
 309
 310         cprintf("%ld|%s|%s\n",
 311                 msgnum,
 312                 (msg->cm_fields['E'] ? msg->cm_fields['E'] : ""),
 313                 (msg->cm_fields['T'] ? msg->cm_fields['T'] : "0"));
 314         CtdlFreeMessage(msg);
 315 }
 316
 317
 318
 319
 320
 321 /* Determine if a given message matches the fields in a message template.
 322  * Return 0 for a successful match.
 323  */
 324 int CtdlMsgCmp(struct CtdlMessage *msg, struct CtdlMessage *template) {
 325         int i;
 326
 327         /* If there aren't any fields in the template, all messages will
 328          * match.
 329          */
 330         if (template == NULL) return(0);
 331
 332         /* Null messages are bogus. */
 333         if (msg == NULL) return(1);
 334
 335         for (i='A'; i<='Z'; ++i) {
 336                 if (template->cm_fields[i] != NULL) {
 337                         if (msg->cm_fields[i] == NULL) {
 338                                 /* Considered equal if temmplate is empty string */
 339                                 if (IsEmptyStr(template->cm_fields[i])) continue;
 340                                 return 1;
 341                         }
 342                         if (strcasecmp(msg->cm_fields[i],
 343                                 template->cm_fields[i])) return 1;
 344                 }
 345         }
 346
 347         /* All compares succeeded: we have a match! */
 348         return 0;
 349 }
 350
 351
 352
 353 /*
 354  * Retrieve the "seen" message list for the current room.
 355  */
 356 void CtdlGetSeen(char *buf, int which_set) {
 357         visit vbuf;
 358
 359         /* Learn about the user and room in question */
 360         CtdlGetRelationship(&vbuf, &CC->user, &CC->room);
 361
 362         if (which_set == ctdlsetseen_seen)
 363                 safestrncpy(buf, vbuf.v_seen, SIZ);
 364         if (which_set == ctdlsetseen_answered)
 365                 safestrncpy(buf, vbuf.v_answered, SIZ);
 366 }
 367
 368
 369
 370 /*
 371  * Manipulate the "seen msgs" string (or other message set strings)
 372  */
 373 void CtdlSetSeen(long *target_msgnums, int num_target_msgnums,
 374                 int target_setting, int which_set,
 375                 struct ctdluser *which_user, struct ctdlroom *which_room) {
 376         struct cdbdata *cdbfr;
 377         int i, k;
 378         int is_seen = 0;
 379         int was_seen = 0;
 380         long lo = (-1L);
 381         long hi = (-1L);
 382         visit vbuf;
 383         long *msglist;
 384         int num_msgs = 0;
 385         StrBuf *vset;
 386         StrBuf *setstr;
 387         StrBuf *lostr;
 388         StrBuf *histr;
 389         const char *pvset;
 390         char *is_set;   /* actually an array of booleans */
 391
 392         /* Don't bother doing *anything* if we were passed a list of zero messages */
 393         if (num_target_msgnums < 1) {
 394                 return;
 395         }
 396
 397         /* If no room was specified, we go with the current room. */
 398         if (!which_room) {
 399                 which_room = &CC->room;
 400         }
 401
 402         /* If no user was specified, we go with the current user. */
 403         if (!which_user) {
 404                 which_user = &CC->user;
 405         }
 406
 407         syslog(LOG_DEBUG, "CtdlSetSeen(%d msgs starting with %ld, %s, %d) in <%s>\n",
 408                 num_target_msgnums, target_msgnums[0],
 409                 (target_setting ? "SET" : "CLEAR"),
 410                 which_set,
 411                 which_room->QRname);
 412
 413         /* Learn about the user and room in question */
 414         CtdlGetRelationship(&vbuf, which_user, which_room);
 415
 416         /* Load the message list */
 417         cdbfr = cdb_fetch(CDB_MSGLISTS, &which_room->QRnumber, sizeof(long));
 418         if (cdbfr != NULL) {
 419                 msglist = (long *) cdbfr->ptr;
 420                 cdbfr->ptr = NULL;      /* CtdlSetSeen() now owns this memory */
 421                 num_msgs = cdbfr->len / sizeof(long);
 422                 cdb_free(cdbfr);
 423         } else {
 424                 return; /* No messages at all?  No further action. */
 425         }
 426
 427         is_set = malloc(num_msgs * sizeof(char));
 428         memset(is_set, 0, (num_msgs * sizeof(char)) );
 429
 430         /* Decide which message set we're manipulating */
 431         switch(which_set) {
 432         case ctdlsetseen_seen:
 433                 vset = NewStrBufPlain(vbuf.v_seen, -1);
 434                 break;
 435         case ctdlsetseen_answered:
 436                 vset = NewStrBufPlain(vbuf.v_answered, -1);
 437                 break;
 438         default:
 439                 vset = NewStrBuf();
 440         }
 441
 442
 443 #if 0   /* This is a special diagnostic section.  Do not allow it to run during normal operation. */
 444         syslog(LOG_DEBUG, "There are %d messages in the room.\n", num_msgs);
 445         for (i=0; i<num_msgs; ++i) {
 446                 if ((i > 0) && (msglist[i] <= msglist[i-1])) abort();
 447         }
 448         syslog(LOG_DEBUG, "We are twiddling %d of them.\n", num_target_msgnums);
 449         for (k=0; k<num_target_msgnums; ++k) {
 450                 if ((k > 0) && (target_msgnums[k] <= target_msgnums[k-1])) abort();
 451         }
 452 #endif
 453
 454         syslog(LOG_DEBUG, "before update: %s\n", ChrPtr(vset));
 455
 456         /* Translate the existing sequence set into an array of booleans */
 457         setstr = NewStrBuf();
 458         lostr = NewStrBuf();
 459         histr = NewStrBuf();
 460         pvset = NULL;
 461         while (StrBufExtract_NextToken(setstr, vset, &pvset, ',') >= 0) {
 462
 463                 StrBufExtract_token(lostr, setstr, 0, ':');
 464                 if (StrBufNum_tokens(setstr, ':') >= 2) {
 465                         StrBufExtract_token(histr, setstr, 1, ':');
 466                 }
 467                 else {
 468                         FlushStrBuf(histr);
 469                         StrBufAppendBuf(histr, lostr, 0);
 470                 }
 471                 lo = StrTol(lostr);
 472                 if (!strcmp(ChrPtr(histr), "*")) {
 473                         hi = LONG_MAX;
 474                 }
 475                 else {
 476                         hi = StrTol(histr);
 477                 }
 478
 479                 for (i = 0; i < num_msgs; ++i) {
 480                         if ((msglist[i] >= lo) && (msglist[i] <= hi)) {
 481                                 is_set[i] = 1;
 482                         }
 483                 }
 484         }
 485         FreeStrBuf(&setstr);
 486         FreeStrBuf(&lostr);
 487         FreeStrBuf(&histr);
 488
 489
 490         /* Now translate the array of booleans back into a sequence set */
 491         FlushStrBuf(vset);
 492         was_seen = 0;
 493         lo = (-1);
 494         hi = (-1);
 495
 496         for (i=0; i<num_msgs; ++i) {
 497                 is_seen = is_set[i];
 498
 499                 /* Apply changes */
 500                 for (k=0; k<num_target_msgnums; ++k) {
 501                         if (msglist[i] == target_msgnums[k]) {
 502                                 is_seen = target_setting;
 503                         }
 504                 }
 505
 506                 if ((was_seen == 0) && (is_seen == 1)) {
 507                         lo = msglist[i];
 508                 }
 509                 else if ((was_seen == 1) && (is_seen == 0)) {
 510                         hi = msglist[i-1];
 511
 512                         if (StrLength(vset) > 0) {
 513                                 StrBufAppendBufPlain(vset, HKEY(","), 0);
 514                         }
 515                         if (lo == hi) {
 516                                 StrBufAppendPrintf(vset, "%ld", hi);
 517                         }
 518                         else {
 519                                 StrBufAppendPrintf(vset, "%ld:%ld", lo, hi);
 520                         }
 521                 }
 522
 523                 if ((is_seen) && (i == num_msgs - 1)) {
 524                         if (StrLength(vset) > 0) {
 525                                 StrBufAppendBufPlain(vset, HKEY(","), 0);
 526                         }
 527                         if ((i==0) || (was_seen == 0)) {
 528                                 StrBufAppendPrintf(vset, "%ld", msglist[i]);
 529                         }
 530                         else {
 531                                 StrBufAppendPrintf(vset, "%ld:%ld", lo, msglist[i]);
 532                         }
 533                 }
 534
 535                 was_seen = is_seen;
 536         }
 537
 538         /*
 539          * We will have to stuff this string back into a 4096 byte buffer, so if it's
 540          * larger than that now, truncate it by removing tokens from the beginning.
 541          * The limit of 100 iterations is there to prevent an infinite loop in case
 542          * something unexpected happens.
 543          */
 544         int number_of_truncations = 0;
 545         while ( (StrLength(vset) > SIZ) && (number_of_truncations < 100) ) {
 546                 StrBufRemove_token(vset, 0, ',');
 547                 ++number_of_truncations;
 548         }
 549
 550         /*
 551          * If we're truncating the sequence set of messages marked with the 'seen' flag,
 552          * we want the earliest messages (the truncated ones) to be marked, not unmarked.
 553          * Otherwise messages at the beginning will suddenly appear to be 'unseen'.
 554          */
 555         if ( (which_set == ctdlsetseen_seen) && (number_of_truncations > 0) ) {
 556                 StrBuf *first_tok;
 557                 first_tok = NewStrBuf();
 558                 StrBufExtract_token(first_tok, vset, 0, ',');
 559                 StrBufRemove_token(vset, 0, ',');
 560
 561                 if (StrBufNum_tokens(first_tok, ':') > 1) {
 562                         StrBufRemove_token(first_tok, 0, ':');
 563                 }
 564
 565                 StrBuf *new_set;
 566                 new_set = NewStrBuf();
 567                 StrBufAppendBufPlain(new_set, HKEY("1:"), 0);
 568                 StrBufAppendBuf(new_set, first_tok, 0);
 569                 StrBufAppendBufPlain(new_set, HKEY(":"), 0);
 570                 StrBufAppendBuf(new_set, vset, 0);
 571
 572                 FreeStrBuf(&vset);
 573                 FreeStrBuf(&first_tok);
 574                 vset = new_set;
 575         }
 576
 577         syslog(LOG_DEBUG, " after update: %s\n", ChrPtr(vset));
 578
 579         /* Decide which message set we're manipulating */
 580         switch (which_set) {
 581                 case ctdlsetseen_seen:
 582                         safestrncpy(vbuf.v_seen, ChrPtr(vset), sizeof vbuf.v_seen);
 583                         break;
 584                 case ctdlsetseen_answered:
 585                         safestrncpy(vbuf.v_answered, ChrPtr(vset), sizeof vbuf.v_answered);
 586                         break;
 587         }
 588
 589         free(is_set);
 590         free(msglist);
 591         CtdlSetRelationship(&vbuf, which_user, which_room);
 592         FreeStrBuf(&vset);
 593 }
 594
 595
 596 /*
 597  * API function to perform an operation for each qualifying message in the
 598  * current room.  (Returns the number of messages processed.)
 599  */
 600 int CtdlForEachMessage(int mode, long ref, char *search_string,
 601                         char *content_type,
 602                         struct CtdlMessage *compare,
 603                         ForEachMsgCallback CallBack,
 604                         void *userdata)
 605 {
 606
 607         int a, i, j;
 608         visit vbuf;
 609         struct cdbdata *cdbfr;
 610         long *msglist = NULL;
 611         int num_msgs = 0;
 612         int num_processed = 0;
 613         long thismsg;
 614         struct MetaData smi;
 615         struct CtdlMessage *msg = NULL;
 616         int is_seen = 0;
 617         long lastold = 0L;
 618         int printed_lastold = 0;
 619         int num_search_msgs = 0;
 620         long *search_msgs = NULL;
 621         regex_t re;
 622         int need_to_free_re = 0;
 623         regmatch_t pm;
 624
 625         if ((content_type) && (!IsEmptyStr(content_type))) {
 626                 regcomp(&re, content_type, 0);
 627                 need_to_free_re = 1;
 628         }
 629
 630         /* Learn about the user and room in question */
 631         CtdlGetUser(&CC->user, CC->curr_user);
 632         CtdlGetRelationship(&vbuf, &CC->user, &CC->room);
 633
 634         /* Load the message list */
 635         cdbfr = cdb_fetch(CDB_MSGLISTS, &CC->room.QRnumber, sizeof(long));
 636         if (cdbfr == NULL) {
 637                 if (need_to_free_re) regfree(&re);
 638                 return 0;       /* No messages at all?  No further action. */
 639         }
 640
 641         msglist = (long *) cdbfr->ptr;
 642         num_msgs = cdbfr->len / sizeof(long);
 643
 644         cdbfr->ptr = NULL;      /* clear this so that cdb_free() doesn't free it */
 645         cdb_free(cdbfr);        /* we own this memory now */
 646
 647         /*
 648          * We cache the most recent msglist in order to do security checks later
 649          */
 650         if (CC->client_socket > 0) {
 651                 if (CC->cached_msglist != NULL) {
 652                         free(CC->cached_msglist);
 653                 }
 654
 655                 CC->cached_msglist = msglist;
 656                 CC->cached_num_msgs = num_msgs;
 657         }
 658
 659         /*
 660          * Now begin the traversal.
 661          */
 662         if (num_msgs > 0) for (a = 0; a < num_msgs; ++a) {
 663
 664                 /* If the caller is looking for a specific MIME type, filter
 665                  * out all messages which are not of the type requested.
 666                  */
 667                 if ((content_type != NULL) && (!IsEmptyStr(content_type))) {
 668
 669                         /* This call to GetMetaData() sits inside this loop
 670                          * so that we only do the extra database read per msg
 671                          * if we need to.  Doing the extra read all the time
 672                          * really kills the server.  If we ever need to use
 673                          * metadata for another search criterion, we need to
 674                          * move the read somewhere else -- but still be smart
 675                          * enough to only do the read if the caller has
 676                          * specified something that will need it.
 677                          */
 678                         GetMetaData(&smi, msglist[a]);
 679
 680                         /* if (strcasecmp(smi.meta_content_type, content_type)) { old non-regex way */
 681                         if (regexec(&re, smi.meta_content_type, 1, &pm, 0) != 0) {
 682                                 msglist[a] = 0L;
 683                         }
 684                 }
 685         }
 686
 687         num_msgs = sort_msglist(msglist, num_msgs);
 688
 689         /* If a template was supplied, filter out the messages which
 690          * don't match.  (This could induce some delays!)
 691          */
 692         if (num_msgs > 0) {
 693                 if (compare != NULL) {
 694                         for (a = 0; a < num_msgs; ++a) {
 695                                 msg = CtdlFetchMessage(msglist[a], 1);
 696                                 if (msg != NULL) {
 697                                         if (CtdlMsgCmp(msg, compare)) {
 698                                                 msglist[a] = 0L;
 699                                         }
 700                                         CtdlFreeMessage(msg);
 701                                 }
 702                         }
 703                 }
 704         }
 705
 706         /* If a search string was specified, get a message list from
 707          * the full text index and remove messages which aren't on both
 708          * lists.
 709          *
 710          * How this works:
 711          * Since the lists are sorted and strictly ascending, and the
 712          * output list is guaranteed to be shorter than or equal to the
 713          * input list, we overwrite the bottom of the input list.  This
 714          * eliminates the need to memmove big chunks of the list over and
 715          * over again.
 716          */
 717         if ( (num_msgs > 0) && (mode == MSGS_SEARCH) && (search_string) ) {
 718
 719                 /* Call search module via hook mechanism.
 720                  * NULL means use any search function available.
 721                  * otherwise replace with a char * to name of search routine
 722                  */
 723                 CtdlModuleDoSearch(&num_search_msgs, &search_msgs, search_string, "fulltext");
 724
 725                 if (num_search_msgs > 0) {
 726
 727                         int orig_num_msgs;
 728
 729                         orig_num_msgs = num_msgs;
 730                         num_msgs = 0;
 731                         for (i=0; i<orig_num_msgs; ++i) {
 732                                 for (j=0; j<num_search_msgs; ++j) {
 733                                         if (msglist[i] == search_msgs[j]) {
 734                                                 msglist[num_msgs++] = msglist[i];
 735                                         }
 736                                 }
 737                         }
 738                 }
 739                 else {
 740                         num_msgs = 0;   /* No messages qualify */
 741                 }
 742                 if (search_msgs != NULL) free(search_msgs);
 743
 744                 /* Now that we've purged messages which don't contain the search
 745                  * string, treat a MSGS_SEARCH just like a MSGS_ALL from this
 746                  * point on.
 747                  */
 748                 mode = MSGS_ALL;
 749         }
 750
 751         /*
 752          * Now iterate through the message list, according to the
 753          * criteria supplied by the caller.
 754          */
 755         if (num_msgs > 0)
 756                 for (a = 0; a < num_msgs; ++a) {
 757                         thismsg = msglist[a];
 758                         if (mode == MSGS_ALL) {
 759                                 is_seen = 0;
 760                         }
 761                         else {
 762                                 is_seen = is_msg_in_sequence_set(
 763                                                         vbuf.v_seen, thismsg);
 764                                 if (is_seen) lastold = thismsg;
 765                         }
 766                         if ((thismsg > 0L)
 767                             && (
 768
 769                                        (mode == MSGS_ALL)
 770                                        || ((mode == MSGS_OLD) && (is_seen))
 771                                        || ((mode == MSGS_NEW) && (!is_seen))
 772                                        || ((mode == MSGS_LAST) && (a >= (num_msgs - ref)))
 773                                    || ((mode == MSGS_FIRST) && (a < ref))
 774                                 || ((mode == MSGS_GT) && (thismsg > ref))
 775                                 || ((mode == MSGS_LT) && (thismsg < ref))
 776                                 || ((mode == MSGS_EQ) && (thismsg == ref))
 777                             )
 778                             ) {
 779                                 if ((mode == MSGS_NEW) && (CC->user.flags & US_LASTOLD) && (lastold > 0L) && (printed_lastold == 0) && (!is_seen)) {
 780                                         if (CallBack)
 781                                                 CallBack(lastold, userdata);
 782                                         printed_lastold = 1;
 783                                         ++num_processed;
 784                                 }
 785                                 if (CallBack) CallBack(thismsg, userdata);
 786                                 ++num_processed;
 787                         }
 788                 }
 789         if (need_to_free_re) regfree(&re);
 790         if (CC->client_socket <= 0) free(msglist);
 791         return num_processed;
 792 }
 793
 794
 795
 796 /*
 797  * cmd_msgs()  -  get list of message #'s in this room
 798  *              implements the MSGS server command using CtdlForEachMessage()
 799  */
 800 void cmd_msgs(char *cmdbuf)
 801 {
 802         int mode = 0;
 803         char which[16];
 804         char buf[256];
 805         char tfield[256];
 806         char tvalue[256];
 807         int cm_ref = 0;
 808         int i;
 809         int with_template = 0;
 810         struct CtdlMessage *template = NULL;
 811         char search_string[1024];
 812         ForEachMsgCallback CallBack;
 813
 814         if (CtdlAccessCheck(ac_logged_in_or_guest)) return;
 815
 816         extract_token(which, cmdbuf, 0, '|', sizeof which);
 817         cm_ref = extract_int(cmdbuf, 1);
 818         extract_token(search_string, cmdbuf, 1, '|', sizeof search_string);
 819         with_template = extract_int(cmdbuf, 2);
 820         switch (extract_int(cmdbuf, 3))
 821         {
 822         default:
 823         case MSG_HDRS_BRIEF:
 824                 CallBack = simple_listing;
 825                 break;
 826         case MSG_HDRS_ALL:
 827                 CallBack = headers_listing;
 828                 break;
 829         case MSG_HDRS_EUID:
 830                 CallBack = headers_euid;
 831                 break;
 832         }
 833
 834         strcat(which, "   ");
 835         if (!strncasecmp(which, "OLD", 3))
 836                 mode = MSGS_OLD;
 837         else if (!strncasecmp(which, "NEW", 3))
 838                 mode = MSGS_NEW;
 839         else if (!strncasecmp(which, "FIRST", 5))
 840                 mode = MSGS_FIRST;
 841         else if (!strncasecmp(which, "LAST", 4))
 842                 mode = MSGS_LAST;
 843         else if (!strncasecmp(which, "GT", 2))
 844                 mode = MSGS_GT;
 845         else if (!strncasecmp(which, "LT", 2))
 846                 mode = MSGS_LT;
 847         else if (!strncasecmp(which, "SEARCH", 6))
 848                 mode = MSGS_SEARCH;
 849         else
 850                 mode = MSGS_ALL;
 851
 852         if ( (mode == MSGS_SEARCH) && (!config.c_enable_fulltext) ) {
 853                 cprintf("%d Full text index is not enabled on this server.\n",
 854                         ERROR + CMD_NOT_SUPPORTED);
 855                 return;
 856         }
 857
 858         if (with_template) {
 859                 unbuffer_output();
 860                 cprintf("%d Send template then receive message list\n",
 861                         START_CHAT_MODE);
 862                 template = (struct CtdlMessage *)
 863                         malloc(sizeof(struct CtdlMessage));
 864                 memset(template, 0, sizeof(struct CtdlMessage));
 865                 template->cm_magic = CTDLMESSAGE_MAGIC;
 866                 template->cm_anon_type = MES_NORMAL;
 867
 868                 while(client_getln(buf, sizeof buf) >= 0 && strcmp(buf,"000")) {
 869                         extract_token(tfield, buf, 0, '|', sizeof tfield);
 870                         extract_token(tvalue, buf, 1, '|', sizeof tvalue);
 871                         for (i='A'; i<='Z'; ++i) if (msgkeys[i]!=NULL) {
 872                                 if (!strcasecmp(tfield, msgkeys[i])) {
 873                                         template->cm_fields[i] =
 874                                                 strdup(tvalue);
 875                                 }
 876                         }
 877                 }
 878                 buffer_output();
 879         }
 880         else {
 881                 cprintf("%d  \n", LISTING_FOLLOWS);
 882         }
 883
 884         CtdlForEachMessage(mode,
 885                            ( (mode == MSGS_SEARCH) ? 0 : cm_ref ),
 886                            ( (mode == MSGS_SEARCH) ? search_string : NULL ),
 887                            NULL,
 888                            template,
 889                            CallBack,
 890                            NULL);
 891         if (template != NULL) CtdlFreeMessage(template);
 892         cprintf("000\n");
 893 }
 894
 895
 896
 897
 898 /*
 899  * help_subst()  -  support routine for help file viewer
 900  */
 901 void help_subst(char *strbuf, char *source, char *dest)
 902 {
 903         char workbuf[SIZ];
 904         int p;
 905
 906         while (p = pattern2(strbuf, source), (p >= 0)) {
 907                 strcpy(workbuf, &strbuf[p + strlen(source)]);
 908                 strcpy(&strbuf[p], dest);
 909                 strcat(strbuf, workbuf);
 910         }
 911 }
 912
 913
 914 void do_help_subst(char *buffer)
 915 {
 916         char buf2[16];
 917
 918         help_subst(buffer, "^nodename", config.c_nodename);
 919         help_subst(buffer, "^humannode", config.c_humannode);
 920         help_subst(buffer, "^fqdn", config.c_fqdn);
 921         help_subst(buffer, "^username", CC->user.fullname);
 922         snprintf(buf2, sizeof buf2, "%ld", CC->user.usernum);
 923         help_subst(buffer, "^usernum", buf2);
 924         help_subst(buffer, "^sysadm", config.c_sysadm);
 925         help_subst(buffer, "^variantname", CITADEL);
 926         snprintf(buf2, sizeof buf2, "%d", config.c_maxsessions);
 927         help_subst(buffer, "^maxsessions", buf2);
 928         help_subst(buffer, "^bbsdir", ctdl_message_dir);
 929 }
 930
 931
 932
 933 /*
 934  * memfmout()  -  Citadel text formatter and paginator.
 935  *           Although the original purpose of this routine was to format
 936  *           text to the reader's screen width, all we're really using it
 937  *           for here is to format text out to 80 columns before sending it
 938  *           to the client.  The client software may reformat it again.
 939  */
 940 void memfmout(
 941         char *mptr,             /* where are we going to get our text from? */
 942         const char *nl          /* string to terminate lines with */
 943 ) {
 944         int column = 0;
 945         unsigned char ch = 0;
 946         char outbuf[1024];
 947         int len = 0;
 948         int nllen = 0;
 949
 950         if (!mptr) return;
 951         nllen = strlen(nl);
 952         while (ch=*(mptr++), ch != 0) {
 953
 954                 if (ch == '\n') {
 955                         client_write(outbuf, len);
 956                         len = 0;
 957                         client_write(nl, nllen);
 958                         column = 0;
 959                 }
 960                 else if (ch == '\r') {
 961                         /* Ignore carriage returns.  Newlines are always LF or CRLF but never CR. */
 962                 }
 963                 else if (isspace(ch)) {
 964                         if (column > 72) {              /* Beyond 72 columns, break on the next space */
 965                                 client_write(outbuf, len);
 966                                 len = 0;
 967                                 client_write(nl, nllen);
 968                                 column = 0;
 969                         }
 970                         else {
 971                                 outbuf[len++] = ch;
 972                                 ++column;
 973                         }
 974                 }
 975                 else {
 976                         outbuf[len++] = ch;
 977                         ++column;
 978                         if (column > 1000) {            /* Beyond 1000 columns, break anywhere */
 979                                 client_write(outbuf, len);
 980                                 len = 0;
 981                                 client_write(nl, nllen);
 982                                 column = 0;
 983                         }
 984                 }
 985         }
 986         if (len) {
 987                 client_write(outbuf, len);
 988                 len = 0;
 989                 client_write(nl, nllen);
 990                 column = 0;
 991         }
 992 }
 993
 994
 995
 996 /*
 997  * Callback function for mime parser that simply lists the part
 998  */
 999 void list_this_part(char *name, char *filename, char *partnum, char *disp,
1000                     void *content, char *cbtype, char *cbcharset, size_t length, char *encoding,
1001                     char *cbid, void *cbuserdata)
1002 {
1003         struct ma_info *ma;
1004
1005         ma = (struct ma_info *)cbuserdata;
1006         if (ma->is_ma == 0) {
1007                 cprintf("part=%s|%s|%s|%s|%s|%ld|%s|%s\n",
1008                         name,
1009                         filename,
1010                         partnum,
1011                         disp,
1012                         cbtype,
1013                         (long)length,
1014                         cbid,
1015                         cbcharset);
1016         }
1017 }
1018
1019 /*
1020  * Callback function for multipart prefix
1021  */
1022 void list_this_pref(char *name, char *filename, char *partnum, char *disp,
1023                     void *content, char *cbtype, char *cbcharset, size_t length, char *encoding,
1024                     char *cbid, void *cbuserdata)
1025 {
1026         struct ma_info *ma;
1027
1028         ma = (struct ma_info *)cbuserdata;
1029         if (!strcasecmp(cbtype, "multipart/alternative")) {
1030                 ++ma->is_ma;
1031         }
1032
1033         if (ma->is_ma == 0) {
1034                 cprintf("pref=%s|%s\n", partnum, cbtype);
1035         }
1036 }
1037
1038 /*
1039  * Callback function for multipart sufffix
1040  */
1041 void list_this_suff(char *name, char *filename, char *partnum, char *disp,
1042                     void *content, char *cbtype, char *cbcharset, size_t length, char *encoding,
1043                     char *cbid, void *cbuserdata)
1044 {
1045         struct ma_info *ma;
1046
1047         ma = (struct ma_info *)cbuserdata;
1048         if (ma->is_ma == 0) {
1049                 cprintf("suff=%s|%s\n", partnum, cbtype);
1050         }
1051         if (!strcasecmp(cbtype, "multipart/alternative")) {
1052                 --ma->is_ma;
1053         }
1054 }
1055
1056
1057 /*
1058  * Callback function for mime parser that opens a section for downloading
1059  */
1060 void mime_download(char *name, char *filename, char *partnum, char *disp,
1061                    void *content, char *cbtype, char *cbcharset, size_t length,
1062                    char *encoding, char *cbid, void *cbuserdata)
1063 {
1064         int rv = 0;
1065
1066         /* Silently go away if there's already a download open. */
1067         if (CC->download_fp != NULL)
1068                 return;
1069
1070         if (
1071                 (!IsEmptyStr(partnum) && (!strcasecmp(CC->download_desired_section, partnum)))
1072         ||      (!IsEmptyStr(cbid) && (!strcasecmp(CC->download_desired_section, cbid)))
1073         ) {
1074                 CC->download_fp = tmpfile();
1075                 if (CC->download_fp == NULL)
1076                         return;
1077
1078                 rv = fwrite(content, length, 1, CC->download_fp);
1079                 fflush(CC->download_fp);
1080                 rewind(CC->download_fp);
1081
1082                 OpenCmdResult(filename, cbtype);
1083         }
1084 }
1085
1086
1087
1088 /*
1089  * Callback function for mime parser that outputs a section all at once.
1090  * We can specify the desired section by part number *or* content-id.
1091  */
1092 void mime_spew_section(char *name, char *filename, char *partnum, char *disp,
1093                    void *content, char *cbtype, char *cbcharset, size_t length,
1094                    char *encoding, char *cbid, void *cbuserdata)
1095 {
1096         int *found_it = (int *)cbuserdata;
1097
1098         if (
1099                 (!IsEmptyStr(partnum) && (!strcasecmp(CC->download_desired_section, partnum)))
1100         ||      (!IsEmptyStr(cbid) && (!strcasecmp(CC->download_desired_section, cbid)))
1101         ) {
1102                 *found_it = 1;
1103                 cprintf("%d %d|-1|%s|%s|%s\n",
1104                         BINARY_FOLLOWS,
1105                         (int)length,
1106                         filename,
1107                         cbtype,
1108                         cbcharset
1109                 );
1110                 client_write(content, length);
1111         }
1112 }
1113
1114
1115 /*
1116  * Load a message from disk into memory.
1117  * This is used by CtdlOutputMsg() and other fetch functions.
1118  *
1119  * NOTE: Caller is responsible for freeing the returned CtdlMessage struct
1120  *       using the CtdlMessageFree() function.
1121  */
1122 struct CtdlMessage *CtdlFetchMessage(long msgnum, int with_body)
1123 {
1124         struct cdbdata *dmsgtext;
1125         struct CtdlMessage *ret = NULL;
1126         char *mptr;
1127         char *upper_bound;
1128         cit_uint8_t ch;
1129         cit_uint8_t field_header;
1130
1131         syslog(LOG_DEBUG, "CtdlFetchMessage(%ld, %d)\n", msgnum, with_body);
1132         dmsgtext = cdb_fetch(CDB_MSGMAIN, &msgnum, sizeof(long));
1133         if (dmsgtext == NULL) {
1134                 return NULL;
1135         }
1136         mptr = dmsgtext->ptr;
1137         upper_bound = mptr + dmsgtext->len;
1138
1139         /* Parse the three bytes that begin EVERY message on disk.
1140          * The first is always 0xFF, the on-disk magic number.
1141          * The second is the anonymous/public type byte.
1142          * The third is the format type byte (vari, fixed, or MIME).
1143          */
1144         ch = *mptr++;
1145         if (ch != 255) {
1146                 syslog(LOG_ERR, "Message %ld appears to be corrupted.\n", msgnum);
1147                 cdb_free(dmsgtext);
1148                 return NULL;
1149         }
1150         ret = (struct CtdlMessage *) malloc(sizeof(struct CtdlMessage));
1151         memset(ret, 0, sizeof(struct CtdlMessage));
1152
1153         ret->cm_magic = CTDLMESSAGE_MAGIC;
1154         ret->cm_anon_type = *mptr++;    /* Anon type byte */
1155         ret->cm_format_type = *mptr++;  /* Format type byte */
1156
1157         /*
1158          * The rest is zero or more arbitrary fields.  Load them in.
1159          * We're done when we encounter either a zero-length field or
1160          * have just processed the 'M' (message text) field.
1161          */
1162         do {
1163                 if (mptr >= upper_bound) {
1164                         break;
1165                 }
1166                 field_header = *mptr++;
1167                 ret->cm_fields[field_header] = strdup(mptr);
1168
1169                 while (*mptr++ != 0);   /* advance to next field */
1170
1171         } while ((mptr < upper_bound) && (field_header != 'M'));
1172
1173         cdb_free(dmsgtext);
1174
1175         /* Always make sure there's something in the msg text field.  If
1176          * it's NULL, the message text is most likely stored separately,
1177          * so go ahead and fetch that.  Failing that, just set a dummy
1178          * body so other code doesn't barf.
1179          */
1180         if ( (ret->cm_fields['M'] == NULL) && (with_body) ) {
1181                 dmsgtext = cdb_fetch(CDB_BIGMSGS, &msgnum, sizeof(long));
1182                 if (dmsgtext != NULL) {
1183                         ret->cm_fields['M'] = dmsgtext->ptr;
1184                         dmsgtext->ptr = NULL;
1185                         cdb_free(dmsgtext);
1186                 }
1187         }
1188         if (ret->cm_fields['M'] == NULL) {
1189                 ret->cm_fields['M'] = strdup("\r\n\r\n (no text)\r\n");
1190         }
1191
1192         /* Perform "before read" hooks (aborting if any return nonzero) */
1193         if (PerformMessageHooks(ret, EVT_BEFOREREAD) > 0) {
1194                 CtdlFreeMessage(ret);
1195                 return NULL;
1196         }
1197
1198         return (ret);
1199 }
1200
1201
1202 /*
1203  * Returns 1 if the supplied pointer points to a valid Citadel message.
1204  * If the pointer is NULL or the magic number check fails, returns 0.
1205  */
1206 int is_valid_message(struct CtdlMessage *msg) {
1207         if (msg == NULL)
1208                 return 0;
1209         if ((msg->cm_magic) != CTDLMESSAGE_MAGIC) {
1210                 syslog(LOG_WARNING, "is_valid_message() -- self-check failed\n");
1211                 return 0;
1212         }
1213         return 1;
1214 }
1215
1216
1217 /*
1218  * 'Destructor' for struct CtdlMessage
1219  */
1220 void CtdlFreeMessage(struct CtdlMessage *msg)
1221 {
1222         int i;
1223
1224         if (is_valid_message(msg) == 0)
1225         {
1226                 if (msg != NULL) free (msg);
1227                 return;
1228         }
1229
1230         for (i = 0; i < 256; ++i)
1231                 if (msg->cm_fields[i] != NULL) {
1232                         free(msg->cm_fields[i]);
1233                 }
1234
1235         msg->cm_magic = 0;      /* just in case */
1236         free(msg);
1237 }
1238
1239
1240 /*
1241  * Pre callback function for multipart/alternative
1242  *
1243  * NOTE: this differs from the standard behavior for a reason.  Normally when
1244  *       displaying multipart/alternative you want to show the _last_ usable
1245  *       format in the message.  Here we show the _first_ one, because it's
1246  *       usually text/plain.  Since this set of functions is designed for text
1247  *       output to non-MIME-aware clients, this is the desired behavior.
1248  *
1249  */
1250 void fixed_output_pre(char *name, char *filename, char *partnum, char *disp,
1251                 void *content, char *cbtype, char *cbcharset, size_t length, char *encoding,
1252                 char *cbid, void *cbuserdata)
1253 {
1254         struct ma_info *ma;
1255
1256         ma = (struct ma_info *)cbuserdata;
1257         syslog(LOG_DEBUG, "fixed_output_pre() type=<%s>\n", cbtype);
1258         if (!strcasecmp(cbtype, "multipart/alternative")) {
1259                 ++ma->is_ma;
1260                 ma->did_print = 0;
1261         }
1262         if (!strcasecmp(cbtype, "message/rfc822")) {
1263                 ++ma->freeze;
1264         }
1265 }
1266
1267 /*
1268  * Post callback function for multipart/alternative
1269  */
1270 void fixed_output_post(char *name, char *filename, char *partnum, char *disp,
1271                 void *content, char *cbtype, char *cbcharset, size_t length,
1272                 char *encoding, char *cbid, void *cbuserdata)
1273 {
1274         struct ma_info *ma;
1275
1276         ma = (struct ma_info *)cbuserdata;
1277         syslog(LOG_DEBUG, "fixed_output_post() type=<%s>\n", cbtype);
1278         if (!strcasecmp(cbtype, "multipart/alternative")) {
1279                 --ma->is_ma;
1280                 ma->did_print = 0;
1281         }
1282         if (!strcasecmp(cbtype, "message/rfc822")) {
1283                 --ma->freeze;
1284         }
1285 }
1286
1287 /*
1288  * Inline callback function for mime parser that wants to display text
1289  */
1290 void fixed_output(char *name, char *filename, char *partnum, char *disp,
1291                 void *content, char *cbtype, char *cbcharset, size_t length,
1292                 char *encoding, char *cbid, void *cbuserdata)
1293 {
1294         char *ptr;
1295         char *wptr;
1296         size_t wlen;
1297         struct ma_info *ma;
1298
1299         ma = (struct ma_info *)cbuserdata;
1300
1301         syslog(LOG_DEBUG,
1302                 "fixed_output() part %s: %s (%s) (%ld bytes)\n",
1303                 partnum, filename, cbtype, (long)length);
1304
1305         /*
1306          * If we're in the middle of a multipart/alternative scope and
1307          * we've already printed another section, skip this one.
1308          */
1309         if ( (ma->is_ma) && (ma->did_print) ) {
1310                 syslog(LOG_DEBUG, "Skipping part %s (%s)\n", partnum, cbtype);
1311                 return;
1312         }
1313         ma->did_print = 1;
1314
1315         if ( (!strcasecmp(cbtype, "text/plain"))
1316            || (IsEmptyStr(cbtype)) ) {
1317                 wptr = content;
1318                 if (length > 0) {
1319                         client_write(wptr, length);
1320                         if (wptr[length-1] != '\n') {
1321                                 cprintf("\n");
1322                         }
1323                 }
1324                 return;
1325         }
1326
1327         if (!strcasecmp(cbtype, "text/html")) {
1328                 ptr = html_to_ascii(content, length, 80, 0);
1329                 wlen = strlen(ptr);
1330                 client_write(ptr, wlen);
1331                 if (ptr[wlen-1] != '\n') {
1332                         cprintf("\n");
1333                 }
1334                 free(ptr);
1335                 return;
1336         }
1337
1338         if (ma->use_fo_hooks) {
1339                 if (PerformFixedOutputHooks(cbtype, content, length)) {
1340                 /* above function returns nonzero if it handled the part */
1341                         return;
1342                 }
1343         }
1344
1345         if (strncasecmp(cbtype, "multipart/", 10)) {
1346                 cprintf("Part %s: %s (%s) (%ld bytes)\r\n",
1347                         partnum, filename, cbtype, (long)length);
1348                 return;
1349         }
1350 }
1351
1352 /*
1353  * The client is elegant and sophisticated and wants to be choosy about
1354  * MIME content types, so figure out which multipart/alternative part
1355  * we're going to send.
1356  *
1357  * We use a system of weights.  When we find a part that matches one of the
1358  * MIME types we've declared as preferential, we can store it in ma->chosen_part
1359  * and then set ma->chosen_pref to that MIME type's position in our preference
1360  * list.  If we then hit another match, we only replace the first match if
1361  * the preference value is lower.
1362  */
1363 void choose_preferred(char *name, char *filename, char *partnum, char *disp,
1364                 void *content, char *cbtype, char *cbcharset, size_t length,
1365                 char *encoding, char *cbid, void *cbuserdata)
1366 {
1367         char buf[1024];
1368         int i;
1369         struct ma_info *ma;
1370
1371         ma = (struct ma_info *)cbuserdata;
1372
1373         // NOTE: REMOVING THIS CONDITIONAL FIXES BUG 220
1374         //       http://bugzilla.citadel.org/show_bug.cgi?id=220
1375         // I don't know if there are any side effects!  Please TEST TEST TEST
1376         //if (ma->is_ma > 0) {
1377
1378         for (i=0; i<num_tokens(CC->preferred_formats, '|'); ++i) {
1379                 extract_token(buf, CC->preferred_formats, i, '|', sizeof buf);
1380                 if ( (!strcasecmp(buf, cbtype)) && (!ma->freeze) ) {
1381                         if (i < ma->chosen_pref) {
1382                                 syslog(LOG_DEBUG, "Setting chosen part: <%s>\n", partnum);
1383                                 safestrncpy(ma->chosen_part, partnum, sizeof ma->chosen_part);
1384                                 ma->chosen_pref = i;
1385                         }
1386                 }
1387         }
1388 }
1389
1390 /*
1391  * Now that we've chosen our preferred part, output it.
1392  */
1393 void output_preferred(char *name,
1394                       char *filename,
1395                       char *partnum,
1396                       char *disp,
1397                       void *content,
1398                       char *cbtype,
1399                       char *cbcharset,
1400                       size_t length,
1401                       char *encoding,
1402                       char *cbid,
1403                       void *cbuserdata)
1404 {
1405         int i;
1406         char buf[128];
1407         int add_newline = 0;
1408         char *text_content;
1409         struct ma_info *ma;
1410         char *decoded = NULL;
1411         size_t bytes_decoded;
1412         int rc = 0;
1413
1414         ma = (struct ma_info *)cbuserdata;
1415
1416         /* This is not the MIME part you're looking for... */
1417         if (strcasecmp(partnum, ma->chosen_part)) return;
1418
1419         /* If the content-type of this part is in our preferred formats
1420          * list, we can simply output it verbatim.
1421          */
1422         for (i=0; i<num_tokens(CC->preferred_formats, '|'); ++i) {
1423                 extract_token(buf, CC->preferred_formats, i, '|', sizeof buf);
1424                 if (!strcasecmp(buf, cbtype)) {
1425                         /* Yeah!  Go!  W00t!! */
1426                         if (ma->dont_decode == 0)
1427                                 rc = mime_decode_now (content,
1428                                                       length,
1429                                                       encoding,
1430                                                       &decoded,
1431                                                       &bytes_decoded);
1432                         if (rc < 0)
1433                                 break; /* Give us the chance, maybe theres another one. */
1434
1435                         if (rc == 0) text_content = (char *)content;
1436                         else {
1437                                 text_content = decoded;
1438                                 length = bytes_decoded;
1439                         }
1440
1441                         if (text_content[length-1] != '\n') {
1442                                 ++add_newline;
1443                         }
1444                         cprintf("Content-type: %s", cbtype);
1445                         if (!IsEmptyStr(cbcharset)) {
1446                                 cprintf("; charset=%s", cbcharset);
1447                         }
1448                         cprintf("\nContent-length: %d\n",
1449                                 (int)(length + add_newline) );
1450                         if (!IsEmptyStr(encoding)) {
1451                                 cprintf("Content-transfer-encoding: %s\n", encoding);
1452                         }
1453                         else {
1454                                 cprintf("Content-transfer-encoding: 7bit\n");
1455                         }
1456                         cprintf("X-Citadel-MSG4-Partnum: %s\n", partnum);
1457                         cprintf("\n");
1458                         client_write(text_content, length);
1459                         if (add_newline) cprintf("\n");
1460                         if (decoded != NULL) free(decoded);
1461                         return;
1462                 }
1463         }
1464
1465         /* No translations required or possible: output as text/plain */
1466         cprintf("Content-type: text/plain\n\n");
1467         rc = 0;
1468         if (ma->dont_decode == 0)
1469                 rc = mime_decode_now (content,
1470                                       length,
1471                                       encoding,
1472                                       &decoded,
1473                                       &bytes_decoded);
1474         if (rc < 0)
1475                 return; /* Give us the chance, maybe theres another one. */
1476
1477         if (rc == 0) text_content = (char *)content;
1478         else {
1479                 text_content = decoded;
1480                 length = bytes_decoded;
1481         }
1482
1483         fixed_output(name, filename, partnum, disp, text_content, cbtype, cbcharset,
1484                         length, encoding, cbid, cbuserdata);
1485         if (decoded != NULL) free(decoded);
1486 }
1487
1488
1489 struct encapmsg {
1490         char desired_section[64];
1491         char *msg;
1492         size_t msglen;
1493 };
1494
1495
1496 /*
1497  * Callback function for
1498  */
1499 void extract_encapsulated_message(char *name, char *filename, char *partnum, char *disp,
1500                    void *content, char *cbtype, char *cbcharset, size_t length,
1501                    char *encoding, char *cbid, void *cbuserdata)
1502 {
1503         struct encapmsg *encap;
1504
1505         encap = (struct encapmsg *)cbuserdata;
1506
1507         /* Only proceed if this is the desired section... */
1508         if (!strcasecmp(encap->desired_section, partnum)) {
1509                 encap->msglen = length;
1510                 encap->msg = malloc(length + 2);
1511                 memcpy(encap->msg, content, length);
1512                 return;
1513         }
1514 }
1515
1516
1517 /*
1518  * Determine whether the specified message exists in the cached_msglist
1519  * (This is a security check)
1520  */
1521 int check_cached_msglist(long msgnum) {
1522
1523         /* cases in which we skip the check */
1524         if (!CC) return om_ok;                                          /* not a session */
1525         if (CC->client_socket <= 0) return om_ok;                       /* not a client session */
1526         if (CC->cached_msglist == NULL) return om_access_denied;        /* no msglist fetched */
1527         if (CC->cached_num_msgs == 0) return om_access_denied;          /* nothing to check */
1528
1529
1530         /* Do a binary search within the cached_msglist for the requested msgnum */
1531         int min = 0;
1532         int max = (CC->cached_num_msgs - 1);
1533
1534         while (max >= min) {
1535                 int middle = min + (max-min) / 2 ;
1536                 if (msgnum == CC->cached_msglist[middle]) {
1537                         return om_ok;
1538                 }
1539                 if (msgnum > CC->cached_msglist[middle]) {
1540                         min = middle + 1;
1541                 }
1542                 else {
1543                         max = middle - 1;
1544                 }
1545         }
1546
1547         return om_access_denied;
1548 }
1549
1550
1551 /*
1552  * Determine whether the currently logged in session has permission to read
1553  * messages in the current room.
1554  */
1555 int CtdlDoIHavePermissionToReadMessagesInThisRoom(void) {
1556         if (    (!(CC->logged_in))
1557                 && (!(CC->internal_pgm))
1558                 && (!config.c_guest_logins)
1559         ) {
1560                 return(om_not_logged_in);
1561         }
1562         return(om_ok);
1563 }
1564
1565
1566 /*
1567  * Get a message off disk.  (returns om_* values found in msgbase.h)
1568  *
1569  */
1570 int CtdlOutputMsg(long msg_num,         /* message number (local) to fetch */
1571                   int mode,             /* how would you like that message? */
1572                   int headers_only,     /* eschew the message body? */
1573                   int do_proto,         /* do Citadel protocol responses? */
1574                   int crlf,             /* Use CRLF newlines instead of LF? */
1575                   char *section,        /* NULL or a message/rfc822 section */
1576                   int flags             /* various flags; see msgbase.h */
1577 ) {
1578         struct CtdlMessage *TheMessage = NULL;
1579         int retcode = om_no_such_msg;
1580         struct encapmsg encap;
1581         int r;
1582
1583         syslog(LOG_DEBUG, "CtdlOutputMsg(msgnum=%ld, mode=%d, section=%s)\n",
1584                 msg_num, mode,
1585                 (section ? section : "<>")
1586         );
1587
1588         r = CtdlDoIHavePermissionToReadMessagesInThisRoom();
1589         if (r != om_ok) {
1590                 if (do_proto) {
1591                         if (r == om_not_logged_in) {
1592                                 cprintf("%d Not logged in.\n", ERROR + NOT_LOGGED_IN);
1593                         }
1594                         else {
1595                                 cprintf("%d An unknown error has occurred.\n", ERROR);
1596                         }
1597                 }
1598                 return(r);
1599         }
1600
1601         /*
1602          * Check to make sure the message is actually IN this room
1603          */
1604         r = check_cached_msglist(msg_num);
1605         if (r == om_access_denied) {
1606                 /* Not in the cache?  We get ONE shot to check it again. */
1607                 CtdlForEachMessage(MSGS_ALL, 0L, NULL, NULL, NULL, NULL, NULL);
1608                 r = check_cached_msglist(msg_num);
1609         }
1610         if (r != om_ok) {
1611                 syslog(LOG_DEBUG, "Security check fail: message %ld is not in %s\n",
1612                         msg_num, CC->room.QRname
1613                 );
1614                 if (do_proto) {
1615                         if (r == om_access_denied) {
1616                                 cprintf("%d message %ld was not found in this room\n",
1617                                         ERROR + HIGHER_ACCESS_REQUIRED,
1618                                         msg_num
1619                                 );
1620                         }
1621                 }
1622                 return(r);
1623         }
1624
1625         /*
1626          * Fetch the message from disk.  If we're in HEADERS_FAST mode,
1627          * request that we don't even bother loading the body into memory.
1628          */
1629         if (headers_only == HEADERS_FAST) {
1630                 TheMessage = CtdlFetchMessage(msg_num, 0);
1631         }
1632         else {
1633                 TheMessage = CtdlFetchMessage(msg_num, 1);
1634         }
1635
1636         if (TheMessage == NULL) {
1637                 if (do_proto) cprintf("%d Can't locate msg %ld on disk\n",
1638                         ERROR + MESSAGE_NOT_FOUND, msg_num);
1639                 return(om_no_such_msg);
1640         }
1641
1642         /* Here is the weird form of this command, to process only an
1643          * encapsulated message/rfc822 section.
1644          */
1645         if (section) if (!IsEmptyStr(section)) if (strcmp(section, "0")) {
1646                 memset(&encap, 0, sizeof encap);
1647                 safestrncpy(encap.desired_section, section, sizeof encap.desired_section);
1648                 mime_parser(TheMessage->cm_fields['M'],
1649                         NULL,
1650                         *extract_encapsulated_message,
1651                         NULL, NULL, (void *)&encap, 0
1652                 );
1653                 CtdlFreeMessage(TheMessage);
1654                 TheMessage = NULL;
1655
1656                 if (encap.msg) {
1657                         encap.msg[encap.msglen] = 0;
1658                         TheMessage = convert_internet_message(encap.msg);
1659                         encap.msg = NULL;       /* no free() here, TheMessage owns it now */
1660
1661                         /* Now we let it fall through to the bottom of this
1662                          * function, because TheMessage now contains the
1663                          * encapsulated message instead of the top-level
1664                          * message.  Isn't that neat?
1665                          */
1666
1667                 }
1668                 else {
1669                         if (do_proto) cprintf("%d msg %ld has no part %s\n",
1670                                 ERROR + MESSAGE_NOT_FOUND, msg_num, section);
1671                         retcode = om_no_such_msg;
1672                 }
1673
1674         }
1675
1676         /* Ok, output the message now */
1677         retcode = CtdlOutputPreLoadedMsg(TheMessage, mode, headers_only, do_proto, crlf, flags);
1678         CtdlFreeMessage(TheMessage);
1679
1680         return(retcode);
1681 }
1682
1683
1684 char *qp_encode_email_addrs(char *source)
1685 {
1686         char *user, *node, *name;
1687         const char headerStr[] = "=?UTF-8?Q?";
1688         char *Encoded;
1689         char *EncodedName;
1690         char *nPtr;
1691         int need_to_encode = 0;
1692         long SourceLen;
1693         long EncodedMaxLen;
1694         long nColons = 0;
1695         long *AddrPtr;
1696         long *AddrUtf8;
1697         long nAddrPtrMax = 50;
1698         long nmax;
1699         int InQuotes = 0;
1700         int i, n;
1701
1702         if (source == NULL) return source;
1703         if (IsEmptyStr(source)) return source;
1704         cit_backtrace();
1705         syslog(LOG_DEBUG, "qp_encode_email_addrs: [%s]\n", source);
1706
1707         AddrPtr = malloc (sizeof (long) * nAddrPtrMax);
1708         AddrUtf8 = malloc (sizeof (long) * nAddrPtrMax);
1709         memset(AddrUtf8, 0, sizeof (long) * nAddrPtrMax);
1710         *AddrPtr = 0;
1711         i = 0;
1712         while (!IsEmptyStr (&source[i])) {
1713                 if (nColons >= nAddrPtrMax){
1714                         long *ptr;
1715
1716                         ptr = (long *) malloc(sizeof (long) * nAddrPtrMax * 2);
1717                         memcpy (ptr, AddrPtr, sizeof (long) * nAddrPtrMax);
1718                         free (AddrPtr), AddrPtr = ptr;
1719
1720                         ptr = (long *) malloc(sizeof (long) * nAddrPtrMax * 2);
1721                         memset(&ptr[nAddrPtrMax], 0,
1722                                sizeof (long) * nAddrPtrMax);
1723
1724                         memcpy (ptr, AddrUtf8, sizeof (long) * nAddrPtrMax);
1725                         free (AddrUtf8), AddrUtf8 = ptr;
1726                         nAddrPtrMax *= 2;
1727                 }
1728                 if (((unsigned char) source[i] < 32) ||
1729                     ((unsigned char) source[i] > 126)) {
1730                         need_to_encode = 1;
1731                         AddrUtf8[nColons] = 1;
1732                 }
1733                 if (source[i] == '"')
1734                         InQuotes = !InQuotes;
1735                 if (!InQuotes && source[i] == ',') {
1736                         AddrPtr[nColons] = i;
1737                         nColons++;
1738                 }
1739                 i++;
1740         }
1741         if (need_to_encode == 0) {
1742                 free(AddrPtr);
1743                 free(AddrUtf8);
1744                 return source;
1745         }
1746
1747         SourceLen = i;
1748         EncodedMaxLen = nColons * (sizeof(headerStr) + 3) + SourceLen * 3;
1749         Encoded = (char*) malloc (EncodedMaxLen);
1750
1751         for (i = 0; i < nColons; i++)
1752                 source[AddrPtr[i]++] = '\0';
1753         /* TODO: if libidn, this might get larger*/
1754         user = malloc(SourceLen + 1);
1755         node = malloc(SourceLen + 1);
1756         name = malloc(SourceLen + 1);
1757
1758         nPtr = Encoded;
1759         *nPtr = '\0';
1760         for (i = 0; i < nColons && nPtr != NULL; i++) {
1761                 nmax = EncodedMaxLen - (nPtr - Encoded);
1762                 if (AddrUtf8[i]) {
1763                         process_rfc822_addr(&source[AddrPtr[i]],
1764                                             user,
1765                                             node,
1766                                             name);
1767                         /* TODO: libIDN here ! */
1768                         if (IsEmptyStr(name)) {
1769                                 n = snprintf(nPtr, nmax,
1770                                              (i==0)?"%s@%s" : ",%s@%s",
1771                                              user, node);
1772                         }
1773                         else {
1774                                 EncodedName = rfc2047encode(name, strlen(name));
1775                                 n = snprintf(nPtr, nmax,
1776                                              (i==0)?"%s <%s@%s>" : ",%s <%s@%s>",
1777                                              EncodedName, user, node);
1778                                 free(EncodedName);
1779                         }
1780                 }
1781                 else {
1782                         n = snprintf(nPtr, nmax,
1783                                      (i==0)?"%s" : ",%s",
1784                                      &source[AddrPtr[i]]);
1785                 }
1786                 if (n > 0 )
1787                         nPtr += n;
1788                 else {
1789                         char *ptr, *nnPtr;
1790                         ptr = (char*) malloc(EncodedMaxLen * 2);
1791                         memcpy(ptr, Encoded, EncodedMaxLen);
1792                         nnPtr = ptr + (nPtr - Encoded), nPtr = nnPtr;
1793                         free(Encoded), Encoded = ptr;
1794                         EncodedMaxLen *= 2;
1795                         i--; /* do it once more with properly lengthened buffer */
1796                 }
1797         }
1798         for (i = 0; i < nColons; i++)
1799                 source[--AddrPtr[i]] = ',';
1800
1801         free(user);
1802         free(node);
1803         free(name);
1804         free(AddrUtf8);
1805         free(AddrPtr);
1806         return Encoded;
1807 }
1808
1809
1810 /* If the last item in a list of recipients was truncated to a partial address,
1811  * remove it completely in order to avoid choking libSieve
1812  */
1813 void sanitize_truncated_recipient(char *str)
1814 {
1815         if (!str) return;
1816         if (num_tokens(str, ',') < 2) return;
1817
1818         int len = strlen(str);
1819         if (len < 900) return;
1820         if (len > 998) str[998] = 0;
1821
1822         char *cptr = strrchr(str, ',');
1823         if (!cptr) return;
1824
1825         char *lptr = strchr(cptr, '<');
1826         char *rptr = strchr(cptr, '>');
1827
1828         if ( (lptr) && (rptr) && (rptr > lptr) ) return;
1829
1830         *cptr = 0;
1831 }
1832
1833
1834 void OutputCtdlMsgHeaders(
1835         struct CtdlMessage *TheMessage,
1836         int do_proto)           /* do Citadel protocol responses? */
1837 {
1838         char allkeys[30];
1839         int i, k, n;
1840         int suppress_f = 0;
1841         char buf[SIZ];
1842         char display_name[256];
1843
1844         /* begin header processing loop for Citadel message format */
1845         safestrncpy(display_name, "<unknown>", sizeof display_name);
1846         if (TheMessage->cm_fields['A']) {
1847                 strcpy(buf, TheMessage->cm_fields['A']);
1848                 if (TheMessage->cm_anon_type == MES_ANONONLY) {
1849                         safestrncpy(display_name, "****", sizeof display_name);
1850                 }
1851                 else if (TheMessage->cm_anon_type == MES_ANONOPT) {
1852                         safestrncpy(display_name, "anonymous", sizeof display_name);
1853                 }
1854                 else {
1855                         safestrncpy(display_name, buf, sizeof display_name);
1856                 }
1857                 if ((is_room_aide())
1858                     && ((TheMessage->cm_anon_type == MES_ANONONLY)
1859                         || (TheMessage->cm_anon_type == MES_ANONOPT))) {
1860                         size_t tmp = strlen(display_name);
1861                         snprintf(&display_name[tmp],
1862                                  sizeof display_name - tmp,
1863                                  " [%s]", buf);
1864                 }
1865         }
1866
1867         /* Don't show Internet address for users on the
1868          * local Citadel network.
1869          */
1870         suppress_f = 0;
1871         if (TheMessage->cm_fields['N'] != NULL)
1872                 if (!IsEmptyStr(TheMessage->cm_fields['N']))
1873                         if (haschar(TheMessage->cm_fields['N'], '.') == 0) {
1874                                 suppress_f = 1;
1875                         }
1876
1877         /* Now spew the header fields in the order we like them. */
1878         n = safestrncpy(allkeys, FORDER, sizeof allkeys);
1879         for (i=0; i<n; ++i) {
1880                 k = (int) allkeys[i];
1881                 if (k != 'M') {
1882                         if ( (TheMessage->cm_fields[k] != NULL)
1883                              && (msgkeys[k] != NULL) ) {
1884                                 if ((k == 'V') || (k == 'R') || (k == 'Y')) {
1885                                         sanitize_truncated_recipient(TheMessage->cm_fields[k]);
1886                                 }
1887                                 if (k == 'A') {
1888                                         if (do_proto) cprintf("%s=%s\n",
1889                                                               msgkeys[k],
1890                                                               display_name);
1891                                 }
1892                                 else if ((k == 'F') && (suppress_f)) {
1893                                         /* do nothing */
1894                                 }
1895                                 /* Masquerade display name if needed */
1896                                 else {
1897                                         if (do_proto) cprintf("%s=%s\n",
1898                                                               msgkeys[k],
1899                                                               TheMessage->cm_fields[k]
1900                                                 );
1901                                 }
1902                         }
1903                 }
1904         }
1905
1906 }
1907
1908 void OutputRFC822MsgHeaders(
1909         struct CtdlMessage *TheMessage,
1910         int flags,              /* should the bessage be exported clean */
1911         const char *nl,
1912         char *mid, long sizeof_mid,
1913         char *suser, long sizeof_suser,
1914         char *luser, long sizeof_luser,
1915         char *fuser, long sizeof_fuser,
1916         char *snode, long sizeof_snode)
1917 {
1918         char datestamp[100];
1919         int subject_found = 0;
1920         char buf[SIZ];
1921         int i, j, k;
1922         char *mptr = NULL;
1923         char *mpptr = NULL;
1924
1925         for (i = 0; i < 256; ++i) {
1926                 if (TheMessage->cm_fields[i]) {
1927                         mptr = mpptr = TheMessage->cm_fields[i];
1928
1929                         if (i == 'A') {
1930                                 safestrncpy(luser, mptr, sizeof_luser);
1931                                 safestrncpy(suser, mptr, sizeof_suser);
1932                         }
1933                         else if (i == 'Y') {
1934                                 if ((flags & QP_EADDR) != 0) {
1935                                         mptr = qp_encode_email_addrs(mptr);
1936                                 }
1937                                 sanitize_truncated_recipient(mptr);
1938                                 cprintf("CC: %s%s", mptr, nl);
1939                         }
1940                         else if (i == 'P') {
1941                                 cprintf("Return-Path: %s%s", mptr, nl);
1942                         }
1943                         else if (i == 'L') {
1944                                 cprintf("List-ID: %s%s", mptr, nl);
1945                         }
1946                         else if (i == 'V') {
1947                                 if ((flags & QP_EADDR) != 0)
1948                                         mptr = qp_encode_email_addrs(mptr);
1949                                 cprintf("Envelope-To: %s%s", mptr, nl);
1950                         }
1951                         else if (i == 'U') {
1952                                 cprintf("Subject: %s%s", mptr, nl);
1953                                 subject_found = 1;
1954                         }
1955                         else if (i == 'I')
1956                                 safestrncpy(mid, mptr, sizeof_mid); /// TODO: detect @ here and copy @nodename in if not found.
1957                         else if (i == 'F')
1958                                 safestrncpy(fuser, mptr, sizeof_fuser);
1959                         /* else if (i == 'O')
1960                            cprintf("X-Citadel-Room: %s%s",
1961                            mptr, nl); */
1962                         else if (i == 'N')
1963                                 safestrncpy(snode, mptr, sizeof_snode);
1964                         else if (i == 'R')
1965                         {
1966                                 if (haschar(mptr, '@') == 0)
1967                                 {
1968                                         sanitize_truncated_recipient(mptr);
1969                                         cprintf("To: %s@%s", mptr, config.c_fqdn);
1970                                         cprintf("%s", nl);
1971                                 }
1972                                 else
1973                                 {
1974                                         if ((flags & QP_EADDR) != 0) {
1975                                                 mptr = qp_encode_email_addrs(mptr);
1976                                         }
1977                                         sanitize_truncated_recipient(mptr);
1978                                         cprintf("To: %s", mptr);
1979                                         cprintf("%s", nl);
1980                                 }
1981                         }
1982                         else if (i == 'T') {
1983                                 datestring(datestamp, sizeof datestamp,
1984                                            atol(mptr), DATESTRING_RFC822);
1985                                 cprintf("Date: %s%s", datestamp, nl);
1986                         }
1987                         else if (i == 'W') {
1988                                 cprintf("References: ");
1989                                 k = num_tokens(mptr, '|');
1990                                 for (j=0; j<k; ++j) {
1991                                         extract_token(buf, mptr, j, '|', sizeof buf);
1992                                         cprintf("<%s>", buf);
1993                                         if (j == (k-1)) {
1994                                                 cprintf("%s", nl);
1995                                         }
1996                                         else {
1997                                                 cprintf(" ");
1998                                         }
1999                                 }
2000                         }
2001                         else if (i == 'K') {
2002                                 cprintf("Reply-To: <%s>%s", mptr, nl);
2003                         }
2004                         if (mptr != mpptr)
2005                                 free (mptr);
2006                 }
2007         }
2008         if (subject_found == 0) {
2009                 cprintf("Subject: (no subject)%s", nl);
2010         }
2011 }
2012
2013
2014 void Dump_RFC822HeadersBody(
2015         struct CtdlMessage *TheMessage,
2016         int headers_only,       /* eschew the message body? */
2017         int flags,              /* should the bessage be exported clean? */
2018
2019         const char *nl)
2020 {
2021         cit_uint8_t prev_ch;
2022         int eoh = 0;
2023         const char *StartOfText = StrBufNOTNULL;
2024         char outbuf[1024];
2025         int outlen = 0;
2026         int nllen = strlen(nl);
2027         char *mptr;
2028
2029         mptr = TheMessage->cm_fields['M'];
2030
2031
2032         prev_ch = '\0';
2033         while (*mptr != '\0') {
2034                 if (*mptr == '\r') {
2035                         /* do nothing */
2036                 }
2037                 else {
2038                         if ((!eoh) &&
2039                             (*mptr == '\n'))
2040                         {
2041                                 eoh = (*(mptr+1) == '\r') && (*(mptr+2) == '\n');
2042                                 if (!eoh)
2043                                         eoh = *(mptr+1) == '\n';
2044                                 if (eoh)
2045                                 {
2046                                         StartOfText = mptr;
2047                                         StartOfText = strchr(StartOfText, '\n');
2048                                         StartOfText = strchr(StartOfText, '\n');
2049                                 }
2050                         }
2051                         if (((headers_only == HEADERS_NONE) && (mptr >= StartOfText)) ||
2052                             ((headers_only == HEADERS_ONLY) && (mptr < StartOfText)) ||
2053                             ((headers_only != HEADERS_NONE) &&
2054                              (headers_only != HEADERS_ONLY))
2055                                 ) {
2056                                 if (*mptr == '\n') {
2057                                         memcpy(&outbuf[outlen], nl, nllen);
2058                                         outlen += nllen;
2059                                         outbuf[outlen] = '\0';
2060                                 }
2061                                 else {
2062                                         outbuf[outlen++] = *mptr;
2063                                 }
2064                         }
2065                 }
2066                 if (flags & ESC_DOT)
2067                 {
2068                         if ((prev_ch == '\n') &&
2069                             (*mptr == '.') &&
2070                             ((*(mptr+1) == '\r') || (*(mptr+1) == '\n')))
2071                         {
2072                                 outbuf[outlen++] = '.';
2073                         }
2074                         prev_ch = *mptr;
2075                 }
2076                 ++mptr;
2077                 if (outlen > 1000) {
2078                         client_write(outbuf, outlen);
2079                         outlen = 0;
2080                 }
2081         }
2082         if (outlen > 0) {
2083                 client_write(outbuf, outlen);
2084                 outlen = 0;
2085         }
2086 }
2087
2088
2089
2090 /* If the format type on disk is 1 (fixed-format), then we want
2091  * everything to be output completely literally ... regardless of
2092  * what message transfer format is in use.
2093  */
2094 void DumpFormatFixed(
2095         struct CtdlMessage *TheMessage,
2096         int mode,               /* how would you like that message? */
2097         const char *nl)
2098 {
2099         cit_uint8_t ch;
2100         char buf[SIZ];
2101         int buflen;
2102         int xlline = 0;
2103         int nllen = strlen (nl);
2104         char *mptr;
2105
2106         mptr = TheMessage->cm_fields['M'];
2107
2108         if (mode == MT_MIME) {
2109                 cprintf("Content-type: text/plain\n\n");
2110         }
2111         *buf = '\0';
2112         buflen = 0;
2113         while (ch = *mptr++, ch > 0) {
2114                 if (ch == '\n')
2115                         ch = '\r';
2116
2117                 if ((buflen > 250) && (!xlline)){
2118                         int tbuflen;
2119                         tbuflen = buflen;
2120
2121                         while ((buflen > 0) &&
2122                                (!isspace(buf[buflen])))
2123                                 buflen --;
2124                         if (buflen == 0) {
2125                                 xlline = 1;
2126                         }
2127                         else {
2128                                 mptr -= tbuflen - buflen;
2129                                 buf[buflen] = '\0';
2130                                 ch = '\r';
2131                         }
2132                 }
2133                 /* if we reach the outer bounds of our buffer,
2134                    abort without respect what whe purge. */
2135                 if (xlline &&
2136                     ((isspace(ch)) ||
2137                      (buflen > SIZ - nllen - 2)))
2138                         ch = '\r';
2139
2140                 if (ch == '\r') {
2141                         memcpy (&buf[buflen], nl, nllen);
2142                         buflen += nllen;
2143                         buf[buflen] = '\0';
2144
2145                         client_write(buf, buflen);
2146                         *buf = '\0';
2147                         buflen = 0;
2148                         xlline = 0;
2149                 } else {
2150                         buf[buflen] = ch;
2151                         buflen++;
2152                 }
2153         }
2154         buf[buflen] = '\0';
2155         if (!IsEmptyStr(buf))
2156                 cprintf("%s%s", buf, nl);
2157 }
2158
2159 /*
2160  * Get a message off disk.  (returns om_* values found in msgbase.h)
2161  */
2162 int CtdlOutputPreLoadedMsg(
2163                 struct CtdlMessage *TheMessage,
2164                 int mode,               /* how would you like that message? */
2165                 int headers_only,       /* eschew the message body? */
2166                 int do_proto,           /* do Citadel protocol responses? */
2167                 int crlf,               /* Use CRLF newlines instead of LF? */
2168                 int flags               /* should the bessage be exported clean? */
2169 ) {
2170         int i;
2171         char *mptr = NULL;
2172         const char *nl; /* newline string */
2173         struct ma_info ma;
2174
2175         /* Buffers needed for RFC822 translation.  These are all filled
2176          * using functions that are bounds-checked, and therefore we can
2177          * make them substantially smaller than SIZ.
2178          */
2179         char suser[100];
2180         char luser[100];
2181         char fuser[100];
2182         char snode[100];
2183         char mid[100];
2184
2185         syslog(LOG_DEBUG, "CtdlOutputPreLoadedMsg(TheMessage=%s, %d, %d, %d, %d\n",
2186                 ((TheMessage == NULL) ? "NULL" : "not null"),
2187                 mode, headers_only, do_proto, crlf);
2188
2189         strcpy(mid, "unknown");
2190         nl = (crlf ? "\r\n" : "\n");
2191
2192         if (!is_valid_message(TheMessage)) {
2193                 syslog(LOG_ERR,
2194                         "ERROR: invalid preloaded message for output\n");
2195                 cit_backtrace ();
2196                 return(om_no_such_msg);
2197         }
2198
2199         /* Suppress envelope recipients if required to avoid disclosing BCC addresses.
2200          * Pad it with spaces in order to avoid changing the RFC822 length of the message.
2201          */
2202         if ( (flags & SUPPRESS_ENV_TO) && (TheMessage->cm_fields['V'] != NULL) ) {
2203                 memset(TheMessage->cm_fields['V'], ' ', strlen(TheMessage->cm_fields['V']));
2204         }
2205
2206         /* Are we downloading a MIME component? */
2207         if (mode == MT_DOWNLOAD) {
2208                 if (TheMessage->cm_format_type != FMT_RFC822) {
2209                         if (do_proto)
2210                                 cprintf("%d This is not a MIME message.\n",
2211                                 ERROR + ILLEGAL_VALUE);
2212                 } else if (CC->download_fp != NULL) {
2213                         if (do_proto) cprintf(
2214                                 "%d You already have a download open.\n",
2215                                 ERROR + RESOURCE_BUSY);
2216                 } else {
2217                         /* Parse the message text component */
2218                         mptr = TheMessage->cm_fields['M'];
2219                         mime_parser(mptr, NULL, *mime_download, NULL, NULL, NULL, 0);
2220                         /* If there's no file open by this time, the requested
2221                          * section wasn't found, so print an error
2222                          */
2223                         if (CC->download_fp == NULL) {
2224                                 if (do_proto) cprintf(
2225                                         "%d Section %s not found.\n",
2226                                         ERROR + FILE_NOT_FOUND,
2227                                         CC->download_desired_section);
2228                         }
2229                 }
2230                 return((CC->download_fp != NULL) ? om_ok : om_mime_error);
2231         }
2232
2233         /* MT_SPEW_SECTION is like MT_DOWNLOAD except it outputs the whole MIME part
2234          * in a single server operation instead of opening a download file.
2235          */
2236         if (mode == MT_SPEW_SECTION) {
2237                 if (TheMessage->cm_format_type != FMT_RFC822) {
2238                         if (do_proto)
2239                                 cprintf("%d This is not a MIME message.\n",
2240                                 ERROR + ILLEGAL_VALUE);
2241                 } else {
2242                         /* Parse the message text component */
2243                         int found_it = 0;
2244
2245                         mptr = TheMessage->cm_fields['M'];
2246                         mime_parser(mptr, NULL, *mime_spew_section, NULL, NULL, (void *)&found_it, 0);
2247                         /* If section wasn't found, print an error
2248                          */
2249                         if (!found_it) {
2250                                 if (do_proto) cprintf(
2251                                         "%d Section %s not found.\n",
2252                                         ERROR + FILE_NOT_FOUND,
2253                                         CC->download_desired_section);
2254                         }
2255                 }
2256                 return((CC->download_fp != NULL) ? om_ok : om_mime_error);
2257         }
2258
2259         /* now for the user-mode message reading loops */
2260         if (do_proto) cprintf("%d msg:\n", LISTING_FOLLOWS);
2261
2262         /* Does the caller want to skip the headers? */
2263         if (headers_only == HEADERS_NONE) goto START_TEXT;
2264
2265         /* Tell the client which format type we're using. */
2266         if ( (mode == MT_CITADEL) && (do_proto) ) {
2267                 cprintf("type=%d\n", TheMessage->cm_format_type);
2268         }
2269
2270         /* nhdr=yes means that we're only displaying headers, no body */
2271         if ( (TheMessage->cm_anon_type == MES_ANONONLY)
2272            && ((mode == MT_CITADEL) || (mode == MT_MIME))
2273            && (do_proto)
2274            ) {
2275                 cprintf("nhdr=yes\n");
2276         }
2277
2278         if ((mode == MT_CITADEL) || (mode == MT_MIME))
2279                 OutputCtdlMsgHeaders(TheMessage, do_proto);
2280
2281
2282         /* begin header processing loop for RFC822 transfer format */
2283         strcpy(suser, "");
2284         strcpy(luser, "");
2285         strcpy(fuser, "");
2286         strcpy(snode, NODENAME);
2287         if (mode == MT_RFC822)
2288                 OutputRFC822MsgHeaders(
2289                         TheMessage,
2290                         flags,
2291                         nl,
2292                         mid, sizeof(mid),
2293                         suser, sizeof(suser),
2294                         luser, sizeof(luser),
2295                         fuser, sizeof(fuser),
2296                         snode, sizeof(snode)
2297                         );
2298
2299
2300         for (i=0; !IsEmptyStr(&suser[i]); ++i) {
2301                 suser[i] = tolower(suser[i]);
2302                 if (!isalnum(suser[i])) suser[i]='_';
2303         }
2304
2305         if (mode == MT_RFC822) {
2306                 if (!strcasecmp(snode, NODENAME)) {
2307                         safestrncpy(snode, FQDN, sizeof snode);
2308                 }
2309
2310                 /* Construct a fun message id */
2311                 cprintf("Message-ID: <%s", mid);/// todo: this possibly breaks threadding mails.
2312                 if (strchr(mid, '@')==NULL) {
2313                         cprintf("@%s", snode);
2314                 }
2315                 cprintf(">%s", nl);
2316
2317                 if (!is_room_aide() && (TheMessage->cm_anon_type == MES_ANONONLY)) {
2318                         cprintf("From: \"----\" <x@x.org>%s", nl);
2319                 }
2320                 else if (!is_room_aide() && (TheMessage->cm_anon_type == MES_ANONOPT)) {
2321                         cprintf("From: \"anonymous\" <x@x.org>%s", nl);
2322                 }
2323                 else if (!IsEmptyStr(fuser)) {
2324                         cprintf("From: \"%s\" <%s>%s", luser, fuser, nl);
2325                 }
2326                 else {
2327                         cprintf("From: \"%s\" <%s@%s>%s", luser, suser, snode, nl);
2328                 }
2329
2330                 /* Blank line signifying RFC822 end-of-headers */
2331                 if (TheMessage->cm_format_type != FMT_RFC822) {
2332                         cprintf("%s", nl);
2333                 }
2334         }
2335
2336         /* end header processing loop ... at this point, we're in the text */
2337 START_TEXT:
2338         if (headers_only == HEADERS_FAST) goto DONE;
2339
2340         /* Tell the client about the MIME parts in this message */
2341         if (TheMessage->cm_format_type == FMT_RFC822) {
2342                 if ( (mode == MT_CITADEL) || (mode == MT_MIME) ) {
2343                         mptr = TheMessage->cm_fields['M'];
2344                         memset(&ma, 0, sizeof(struct ma_info));
2345                         mime_parser(mptr, NULL,
2346                                 (do_proto ? *list_this_part : NULL),
2347                                 (do_proto ? *list_this_pref : NULL),
2348                                 (do_proto ? *list_this_suff : NULL),
2349                                 (void *)&ma, 1);
2350                 }
2351                 else if (mode == MT_RFC822) {   /* unparsed RFC822 dump */
2352                         Dump_RFC822HeadersBody(
2353                                 TheMessage,
2354                                 headers_only,
2355                                 flags,
2356                                 nl);
2357                         goto DONE;
2358                 }
2359         }
2360
2361         if (headers_only == HEADERS_ONLY) {
2362                 goto DONE;
2363         }
2364
2365         /* signify start of msg text */
2366         if ( (mode == MT_CITADEL) || (mode == MT_MIME) ) {
2367                 if (do_proto) cprintf("text\n");
2368         }
2369
2370         if (TheMessage->cm_format_type == FMT_FIXED)
2371                 DumpFormatFixed(
2372                         TheMessage,
2373                         mode,           /* how would you like that message? */
2374                         nl);
2375
2376         /* If the message on disk is format 0 (Citadel vari-format), we
2377          * output using the formatter at 80 columns.  This is the final output
2378          * form if the transfer format is RFC822, but if the transfer format
2379          * is Citadel proprietary, it'll still work, because the indentation
2380          * for new paragraphs is correct and the client will reformat the
2381          * message to the reader's screen width.
2382          */
2383         if (TheMessage->cm_format_type == FMT_CITADEL) {
2384                 mptr = TheMessage->cm_fields['M'];
2385
2386                 if (mode == MT_MIME) {
2387                         cprintf("Content-type: text/x-citadel-variformat\n\n");
2388                 }
2389                 memfmout(mptr, nl);
2390         }
2391
2392         /* If the message on disk is format 4 (MIME), we've gotta hand it
2393          * off to the MIME parser.  The client has already been told that
2394          * this message is format 1 (fixed format), so the callback function
2395          * we use will display those parts as-is.
2396          */
2397         if (TheMessage->cm_format_type == FMT_RFC822) {
2398                 memset(&ma, 0, sizeof(struct ma_info));
2399
2400                 if (mode == MT_MIME) {
2401                         ma.use_fo_hooks = 0;
2402                         strcpy(ma.chosen_part, "1");
2403                         ma.chosen_pref = 9999;
2404                         ma.dont_decode = CC->msg4_dont_decode;
2405                         mime_parser(mptr, NULL,
2406                                 *choose_preferred, *fixed_output_pre,
2407                                 *fixed_output_post, (void *)&ma, 1);
2408                         mime_parser(mptr, NULL,
2409                                 *output_preferred, NULL, NULL, (void *)&ma, 1);
2410                 }
2411                 else {
2412                         ma.use_fo_hooks = 1;
2413                         mime_parser(mptr, NULL,
2414                                 *fixed_output, *fixed_output_pre,
2415                                 *fixed_output_post, (void *)&ma, 0);
2416                 }
2417
2418         }
2419
2420 DONE:   /* now we're done */
2421         if (do_proto) cprintf("000\n");
2422         return(om_ok);
2423 }
2424
2425
2426 /*
2427  * display a message (mode 0 - Citadel proprietary)
2428  */
2429 void cmd_msg0(char *cmdbuf)
2430 {
2431         long msgid;
2432         int headers_only = HEADERS_ALL;
2433
2434         msgid = extract_long(cmdbuf, 0);
2435         headers_only = extract_int(cmdbuf, 1);
2436
2437         CtdlOutputMsg(msgid, MT_CITADEL, headers_only, 1, 0, NULL, 0);
2438         return;
2439 }
2440
2441
2442 /*
2443  * display a message (mode 2 - RFC822)
2444  */
2445 void cmd_msg2(char *cmdbuf)
2446 {
2447         long msgid;
2448         int headers_only = HEADERS_ALL;
2449
2450         msgid = extract_long(cmdbuf, 0);
2451         headers_only = extract_int(cmdbuf, 1);
2452
2453         CtdlOutputMsg(msgid, MT_RFC822, headers_only, 1, 1, NULL, 0);
2454 }
2455
2456
2457
2458 /*
2459  * display a message (mode 3 - IGnet raw format - internal programs only)
2460  */
2461 void cmd_msg3(char *cmdbuf)
2462 {
2463         long msgnum;
2464         struct CtdlMessage *msg = NULL;
2465         struct ser_ret smr;
2466
2467         if (CC->internal_pgm == 0) {
2468                 cprintf("%d This command is for internal programs only.\n",
2469                         ERROR + HIGHER_ACCESS_REQUIRED);
2470                 return;
2471         }
2472
2473         msgnum = extract_long(cmdbuf, 0);
2474         msg = CtdlFetchMessage(msgnum, 1);
2475         if (msg == NULL) {
2476                 cprintf("%d Message %ld not found.\n",
2477                         ERROR + MESSAGE_NOT_FOUND, msgnum);
2478                 return;
2479         }
2480
2481         serialize_message(&smr, msg);
2482         CtdlFreeMessage(msg);
2483
2484         if (smr.len == 0) {
2485                 cprintf("%d Unable to serialize message\n",
2486                         ERROR + INTERNAL_ERROR);
2487                 return;
2488         }
2489
2490         cprintf("%d %ld\n", BINARY_FOLLOWS, (long)smr.len);
2491         client_write((char *)smr.ser, (int)smr.len);
2492         free(smr.ser);
2493 }
2494
2495
2496
2497 /*
2498  * Display a message using MIME content types
2499  */
2500 void cmd_msg4(char *cmdbuf)
2501 {
2502         long msgid;
2503         char section[64];
2504
2505         msgid = extract_long(cmdbuf, 0);
2506         extract_token(section, cmdbuf, 1, '|', sizeof section);
2507         CtdlOutputMsg(msgid, MT_MIME, 0, 1, 0, (section[0] ? section : NULL) , 0);
2508 }
2509
2510
2511
2512 /*
2513  * Client tells us its preferred message format(s)
2514  */
2515 void cmd_msgp(char *cmdbuf)
2516 {
2517         if (!strcasecmp(cmdbuf, "dont_decode")) {
2518                 CC->msg4_dont_decode = 1;
2519                 cprintf("%d MSG4 will not pre-decode messages.\n", CIT_OK);
2520         }
2521         else {
2522                 safestrncpy(CC->preferred_formats, cmdbuf, sizeof(CC->preferred_formats));
2523                 cprintf("%d Preferred MIME formats have been set.\n", CIT_OK);
2524         }
2525 }
2526
2527
2528 /*
2529  * Open a component of a MIME message as a download file
2530  */
2531 void cmd_opna(char *cmdbuf)
2532 {
2533         long msgid;
2534         char desired_section[128];
2535
2536         msgid = extract_long(cmdbuf, 0);
2537         extract_token(desired_section, cmdbuf, 1, '|', sizeof desired_section);
2538         safestrncpy(CC->download_desired_section, desired_section,
2539                 sizeof CC->download_desired_section);
2540         CtdlOutputMsg(msgid, MT_DOWNLOAD, 0, 1, 1, NULL, 0);
2541 }
2542
2543
2544 /*
2545  * Open a component of a MIME message and transmit it all at once
2546  */
2547 void cmd_dlat(char *cmdbuf)
2548 {
2549         long msgid;
2550         char desired_section[128];
2551
2552         msgid = extract_long(cmdbuf, 0);
2553         extract_token(desired_section, cmdbuf, 1, '|', sizeof desired_section);
2554         safestrncpy(CC->download_desired_section, desired_section,
2555                 sizeof CC->download_desired_section);
2556         CtdlOutputMsg(msgid, MT_SPEW_SECTION, 0, 1, 1, NULL, 0);
2557 }
2558
2559
2560 /*
2561  * Save one or more message pointers into a specified room
2562  * (Returns 0 for success, nonzero for failure)
2563  * roomname may be NULL to use the current room
2564  *
2565  * Note that the 'supplied_msg' field may be set to NULL, in which case
2566  * the message will be fetched from disk, by number, if we need to perform
2567  * replication checks.  This adds an additional database read, so if the
2568  * caller already has the message in memory then it should be supplied.  (Obviously
2569  * this mode of operation only works if we're saving a single message.)
2570  */
2571 int CtdlSaveMsgPointersInRoom(char *roomname, long newmsgidlist[], int num_newmsgs,
2572                         int do_repl_check, struct CtdlMessage *supplied_msg, int suppress_refcount_adj
2573 ) {
2574         int i, j, unique;
2575         char hold_rm[ROOMNAMELEN];
2576         struct cdbdata *cdbfr;
2577         int num_msgs;
2578         long *msglist;
2579         long highest_msg = 0L;
2580
2581         long msgid = 0;
2582         struct CtdlMessage *msg = NULL;
2583
2584         long *msgs_to_be_merged = NULL;
2585         int num_msgs_to_be_merged = 0;
2586
2587         syslog(LOG_DEBUG,
2588                 "CtdlSaveMsgPointersInRoom(room=%s, num_msgs=%d, repl=%d, suppress_rca=%d)\n",
2589                 roomname, num_newmsgs, do_repl_check, suppress_refcount_adj
2590         );
2591
2592         strcpy(hold_rm, CC->room.QRname);
2593
2594         /* Sanity checks */
2595         if (newmsgidlist == NULL) return(ERROR + INTERNAL_ERROR);
2596         if (num_newmsgs < 1) return(ERROR + INTERNAL_ERROR);
2597         if (num_newmsgs > 1) supplied_msg = NULL;
2598
2599         /* Now the regular stuff */
2600         if (CtdlGetRoomLock(&CC->room,
2601            ((roomname != NULL) ? roomname : CC->room.QRname) )
2602            != 0) {
2603                 syslog(LOG_ERR, "No such room <%s>\n", roomname);
2604                 return(ERROR + ROOM_NOT_FOUND);
2605         }
2606
2607
2608         msgs_to_be_merged = malloc(sizeof(long) * num_newmsgs);
2609         num_msgs_to_be_merged = 0;
2610
2611
2612         cdbfr = cdb_fetch(CDB_MSGLISTS, &CC->room.QRnumber, sizeof(long));
2613         if (cdbfr == NULL) {
2614                 msglist = NULL;
2615                 num_msgs = 0;
2616         } else {
2617                 msglist = (long *) cdbfr->ptr;
2618                 cdbfr->ptr = NULL;      /* CtdlSaveMsgPointerInRoom() now owns this memory */
2619                 num_msgs = cdbfr->len / sizeof(long);
2620                 cdb_free(cdbfr);
2621         }
2622
2623
2624         /* Create a list of msgid's which were supplied by the caller, but do
2625          * not already exist in the target room.  It is absolutely taboo to
2626          * have more than one reference to the same message in a room.
2627          */
2628         for (i=0; i<num_newmsgs; ++i) {
2629                 unique = 1;
2630                 if (num_msgs > 0) for (j=0; j<num_msgs; ++j) {
2631                         if (msglist[j] == newmsgidlist[i]) {
2632                                 unique = 0;
2633                         }
2634                 }
2635                 if (unique) {
2636                         msgs_to_be_merged[num_msgs_to_be_merged++] = newmsgidlist[i];
2637                 }
2638         }
2639
2640         syslog(LOG_DEBUG, "%d unique messages to be merged\n", num_msgs_to_be_merged);
2641
2642         /*
2643          * Now merge the new messages
2644          */
2645         msglist = realloc(msglist, (sizeof(long) * (num_msgs + num_msgs_to_be_merged)) );
2646         if (msglist == NULL) {
2647                 syslog(LOG_ALERT, "ERROR: can't realloc message list!\n");
2648         }
2649         memcpy(&msglist[num_msgs], msgs_to_be_merged, (sizeof(long) * num_msgs_to_be_merged) );
2650         num_msgs += num_msgs_to_be_merged;
2651
2652         /* Sort the message list, so all the msgid's are in order */
2653         num_msgs = sort_msglist(msglist, num_msgs);
2654
2655         /* Determine the highest message number */
2656         highest_msg = msglist[num_msgs - 1];
2657
2658         /* Write it back to disk. */
2659         cdb_store(CDB_MSGLISTS, &CC->room.QRnumber, (int)sizeof(long),
2660                   msglist, (int)(num_msgs * sizeof(long)));
2661
2662         /* Free up the memory we used. */
2663         free(msglist);
2664
2665         /* Update the highest-message pointer and unlock the room. */
2666         CC->room.QRhighest = highest_msg;
2667         CtdlPutRoomLock(&CC->room);
2668
2669         /* Perform replication checks if necessary */
2670         if ( (DoesThisRoomNeedEuidIndexing(&CC->room)) && (do_repl_check) ) {
2671                 syslog(LOG_DEBUG, "CtdlSaveMsgPointerInRoom() doing repl checks\n");
2672
2673                 for (i=0; i<num_msgs_to_be_merged; ++i) {
2674                         msgid = msgs_to_be_merged[i];
2675
2676                         if (supplied_msg != NULL) {
2677                                 msg = supplied_msg;
2678                         }
2679                         else {
2680                                 msg = CtdlFetchMessage(msgid, 0);
2681                         }
2682
2683                         if (msg != NULL) {
2684                                 ReplicationChecks(msg);
2685
2686                                 /* If the message has an Exclusive ID, index that... */
2687                                 if (msg->cm_fields['E'] != NULL) {
2688                                         index_message_by_euid(msg->cm_fields['E'], &CC->room, msgid);
2689                                 }
2690
2691                                 /* Free up the memory we may have allocated */
2692                                 if (msg != supplied_msg) {
2693                                         CtdlFreeMessage(msg);
2694                                 }
2695                         }
2696
2697                 }
2698         }
2699
2700         else {
2701                 syslog(LOG_DEBUG, "CtdlSaveMsgPointerInRoom() skips repl checks\n");
2702         }
2703
2704         /* Submit this room for processing by hooks */
2705         PerformRoomHooks(&CC->room);
2706
2707         /* Go back to the room we were in before we wandered here... */
2708         CtdlGetRoom(&CC->room, hold_rm);
2709
2710         /* Bump the reference count for all messages which were merged */
2711         if (!suppress_refcount_adj) {
2712                 for (i=0; i<num_msgs_to_be_merged; ++i) {
2713                         AdjRefCount(msgs_to_be_merged[i], +1);
2714                 }
2715         }
2716
2717         /* Free up memory... */
2718         if (msgs_to_be_merged != NULL) {
2719                 free(msgs_to_be_merged);
2720         }
2721
2722         /* Return success. */
2723         return (0);
2724 }
2725
2726
2727 /*
2728  * This is the same as CtdlSaveMsgPointersInRoom() but it only accepts
2729  * a single message.
2730  */
2731 int CtdlSaveMsgPointerInRoom(char *roomname, long msgid,
2732                         int do_repl_check, struct CtdlMessage *supplied_msg)
2733 {
2734         return CtdlSaveMsgPointersInRoom(roomname, &msgid, 1, do_repl_check, supplied_msg, 0);
2735 }
2736
2737
2738
2739
2740 /*
2741  * Message base operation to save a new message to the message store
2742  * (returns new message number)
2743  *
2744  * This is the back end for CtdlSubmitMsg() and should not be directly
2745  * called by server-side modules.
2746  *
2747  */
2748 long send_message(struct CtdlMessage *msg) {
2749         long newmsgid;
2750         long retval;
2751         char msgidbuf[256];
2752         struct ser_ret smr;
2753         int is_bigmsg = 0;
2754         char *holdM = NULL;
2755
2756         /* Get a new message number */
2757         newmsgid = get_new_message_number();
2758         snprintf(msgidbuf, sizeof msgidbuf, "%08lX-%08lX@%s",
2759                 (long unsigned int) time(NULL),
2760                 (long unsigned int) newmsgid,
2761                 config.c_fqdn
2762         );
2763
2764         /* Generate an ID if we don't have one already */
2765         if (msg->cm_fields['I']==NULL) {
2766                 msg->cm_fields['I'] = strdup(msgidbuf);
2767         }
2768
2769         /* If the message is big, set its body aside for storage elsewhere */
2770         if (msg->cm_fields['M'] != NULL) {
2771                 if (strlen(msg->cm_fields['M']) > BIGMSG) {
2772                         is_bigmsg = 1;
2773                         holdM = msg->cm_fields['M'];
2774                         msg->cm_fields['M'] = NULL;
2775                 }
2776         }
2777
2778         /* Serialize our data structure for storage in the database */
2779         serialize_message(&smr, msg);
2780
2781         if (is_bigmsg) {
2782                 msg->cm_fields['M'] = holdM;
2783         }
2784
2785         if (smr.len == 0) {
2786                 cprintf("%d Unable to serialize message\n",
2787                         ERROR + INTERNAL_ERROR);
2788                 return (-1L);
2789         }
2790
2791         /* Write our little bundle of joy into the message base */
2792         if (cdb_store(CDB_MSGMAIN, &newmsgid, (int)sizeof(long),
2793                       smr.ser, smr.len) < 0) {
2794                 syslog(LOG_ERR, "Can't store message\n");
2795                 retval = 0L;
2796         } else {
2797                 if (is_bigmsg) {
2798                         cdb_store(CDB_BIGMSGS,
2799                                 &newmsgid,
2800                                 (int)sizeof(long),
2801                                 holdM,
2802                                 (strlen(holdM) + 1)
2803                         );
2804                 }
2805                 retval = newmsgid;
2806         }
2807
2808         /* Free the memory we used for the serialized message */
2809         free(smr.ser);
2810
2811         /* Return the *local* message ID to the caller
2812          * (even if we're storing an incoming network message)
2813          */
2814         return(retval);
2815 }
2816
2817
2818
2819 /*
2820  * Serialize a struct CtdlMessage into the format used on disk and network.
2821  *
2822  * This function loads up a "struct ser_ret" (defined in server.h) which
2823  * contains the length of the serialized message and a pointer to the
2824  * serialized message in memory.  THE LATTER MUST BE FREED BY THE CALLER.
2825  */
2826 void serialize_message(struct ser_ret *ret,             /* return values */
2827                         struct CtdlMessage *msg)        /* unserialized msg */
2828 {
2829         size_t wlen, fieldlen;
2830         int i;
2831         static char *forder = FORDER;
2832
2833         /*
2834          * Check for valid message format
2835          */
2836         if (is_valid_message(msg) == 0) {
2837                 syslog(LOG_ERR, "serialize_message() aborting due to invalid message\n");
2838                 ret->len = 0;
2839                 ret->ser = NULL;
2840                 return;
2841         }
2842
2843         ret->len = 3;
2844         for (i=0; i<26; ++i) if (msg->cm_fields[(int)forder[i]] != NULL)
2845                 ret->len = ret->len +
2846                         strlen(msg->cm_fields[(int)forder[i]]) + 2;
2847
2848         ret->ser = malloc(ret->len);
2849         if (ret->ser == NULL) {
2850                 syslog(LOG_ERR, "serialize_message() malloc(%ld) failed: %s\n",
2851                         (long)ret->len, strerror(errno));
2852                 ret->len = 0;
2853                 ret->ser = NULL;
2854                 return;
2855         }
2856
2857         ret->ser[0] = 0xFF;
2858         ret->ser[1] = msg->cm_anon_type;
2859         ret->ser[2] = msg->cm_format_type;
2860         wlen = 3;
2861
2862         for (i=0; i<26; ++i) if (msg->cm_fields[(int)forder[i]] != NULL) {
2863                 fieldlen = strlen(msg->cm_fields[(int)forder[i]]);
2864                 ret->ser[wlen++] = (char)forder[i];
2865                 safestrncpy((char *)&ret->ser[wlen], msg->cm_fields[(int)forder[i]], fieldlen+1);
2866                 wlen = wlen + fieldlen + 1;
2867         }
2868         if (ret->len != wlen) syslog(LOG_ERR, "ERROR: len=%ld wlen=%ld\n",
2869                 (long)ret->len, (long)wlen);
2870
2871         return;
2872 }
2873
2874
2875 /*
2876  * Serialize a struct CtdlMessage into the format used on disk and network.
2877  *
2878  * This function loads up a "struct ser_ret" (defined in server.h) which
2879  * contains the length of the serialized message and a pointer to the
2880  * serialized message in memory.  THE LATTER MUST BE FREED BY THE CALLER.
2881  */
2882 void dump_message(struct CtdlMessage *msg,      /* unserialized msg */
2883                   long Siz)                     /* how many chars ? */
2884 {
2885         size_t wlen;
2886         int i;
2887         static char *forder = FORDER;
2888         char *buf;
2889
2890         /*
2891          * Check for valid message format
2892          */
2893         if (is_valid_message(msg) == 0) {
2894                 syslog(LOG_ERR, "dump_message() aborting due to invalid message\n");
2895                 return;
2896         }
2897
2898         buf = (char*) malloc (Siz + 1);
2899
2900         wlen = 3;
2901
2902         for (i=0; i<26; ++i) if (msg->cm_fields[(int)forder[i]] != NULL) {
2903                         snprintf (buf, Siz, " msg[%c] = %s ...\n", (char) forder[i],
2904                                    msg->cm_fields[(int)forder[i]]);
2905                         client_write (buf, strlen(buf));
2906                 }
2907
2908         return;
2909 }
2910
2911
2912
2913 /*
2914  * Check to see if any messages already exist in the current room which
2915  * carry the same Exclusive ID as this one.  If any are found, delete them.
2916  */
2917 void ReplicationChecks(struct CtdlMessage *msg) {
2918         long old_msgnum = (-1L);
2919
2920         if (DoesThisRoomNeedEuidIndexing(&CC->room) == 0) return;
2921
2922         syslog(LOG_DEBUG, "Performing replication checks in <%s>\n",
2923                 CC->room.QRname);
2924
2925         /* No exclusive id?  Don't do anything. */
2926         if (msg == NULL) return;
2927         if (msg->cm_fields['E'] == NULL) return;
2928         if (IsEmptyStr(msg->cm_fields['E'])) return;
2929         /*syslog(LOG_DEBUG, "Exclusive ID: <%s> for room <%s>\n",
2930                 msg->cm_fields['E'], CC->room.QRname);*/
2931
2932         old_msgnum = CtdlLocateMessageByEuid(msg->cm_fields['E'], &CC->room);
2933         if (old_msgnum > 0L) {
2934                 syslog(LOG_DEBUG, "ReplicationChecks() replacing message %ld\n", old_msgnum);
2935                 CtdlDeleteMessages(CC->room.QRname, &old_msgnum, 1, "");
2936         }
2937 }
2938
2939
2940
2941 /*
2942  * Save a message to disk and submit it into the delivery system.
2943  */
2944 long CtdlSubmitMsg(struct CtdlMessage *msg,     /* message to save */
2945                    struct recptypes *recps,     /* recipients (if mail) */
2946                    char *force,                 /* force a particular room? */
2947                    int flags                    /* should the message be exported clean? */
2948 ) {
2949         char submit_filename[128];
2950         char generated_timestamp[32];
2951         char hold_rm[ROOMNAMELEN];
2952         char actual_rm[ROOMNAMELEN];
2953         char force_room[ROOMNAMELEN];
2954         char content_type[SIZ];                 /* We have to learn this */
2955         char recipient[SIZ];
2956         long newmsgid;
2957         const char *mptr = NULL;
2958         struct ctdluser userbuf;
2959         int a, i;
2960         struct MetaData smi;
2961         FILE *network_fp = NULL;
2962         static int seqnum = 1;
2963         struct CtdlMessage *imsg = NULL;
2964         char *instr = NULL;
2965         size_t instr_alloc = 0;
2966         struct ser_ret smr;
2967         char *hold_R, *hold_D;
2968         char *collected_addresses = NULL;
2969         struct addresses_to_be_filed *aptr = NULL;
2970         StrBuf *saved_rfc822_version = NULL;
2971         int qualified_for_journaling = 0;
2972         CitContext *CCC = MyContext();
2973         char bounce_to[1024] = "";
2974         size_t tmp = 0;
2975         int rv = 0;
2976
2977         syslog(LOG_DEBUG, "CtdlSubmitMsg() called\n");
2978         if (is_valid_message(msg) == 0) return(-1);     /* self check */
2979
2980         /* If this message has no timestamp, we take the liberty of
2981          * giving it one, right now.
2982          */
2983         if (msg->cm_fields['T'] == NULL) {
2984                 snprintf(generated_timestamp, sizeof generated_timestamp, "%ld", (long)time(NULL));
2985                 msg->cm_fields['T'] = strdup(generated_timestamp);
2986         }
2987
2988         /* If this message has no path, we generate one.
2989          */
2990         if (msg->cm_fields['P'] == NULL) {
2991                 if (msg->cm_fields['A'] != NULL) {
2992                         msg->cm_fields['P'] = strdup(msg->cm_fields['A']);
2993                         for (a=0; !IsEmptyStr(&msg->cm_fields['P'][a]); ++a) {
2994                                 if (isspace(msg->cm_fields['P'][a])) {
2995                                         msg->cm_fields['P'][a] = ' ';
2996                                 }
2997                         }
2998                 }
2999                 else {
3000                         msg->cm_fields['P'] = strdup("unknown");
3001                 }
3002         }
3003
3004         if (force == NULL) {
3005                 strcpy(force_room, "");
3006         }
3007         else {
3008                 strcpy(force_room, force);
3009         }
3010
3011         /* Learn about what's inside, because it's what's inside that counts */
3012         if (msg->cm_fields['M'] == NULL) {
3013                 syslog(LOG_ERR, "ERROR: attempt to save message with NULL body\n");
3014                 return(-2);
3015         }
3016
3017         switch (msg->cm_format_type) {
3018         case 0:
3019                 strcpy(content_type, "text/x-citadel-variformat");
3020                 break;
3021         case 1:
3022                 strcpy(content_type, "text/plain");
3023                 break;
3024         case 4:
3025                 strcpy(content_type, "text/plain");
3026                 mptr = bmstrcasestr(msg->cm_fields['M'], "Content-type:");
3027                 if (mptr != NULL) {
3028                         char *aptr;
3029                         safestrncpy(content_type, &mptr[13], sizeof content_type);
3030                         striplt(content_type);
3031                         aptr = content_type;
3032                         while (!IsEmptyStr(aptr)) {
3033                                 if ((*aptr == ';')
3034                                     || (*aptr == ' ')
3035                                     || (*aptr == 13)
3036                                     || (*aptr == 10)) {
3037                                         *aptr = 0;
3038                                 }
3039                                 else aptr++;
3040                         }
3041                 }
3042         }
3043
3044         /* Goto the correct room */
3045         syslog(LOG_DEBUG, "Selected room %s\n", (recps) ? CCC->room.QRname : SENTITEMS);
3046         strcpy(hold_rm, CCC->room.QRname);
3047         strcpy(actual_rm, CCC->room.QRname);
3048         if (recps != NULL) {
3049                 strcpy(actual_rm, SENTITEMS);
3050         }
3051
3052         /* If the user is a twit, move to the twit room for posting */
3053         if (TWITDETECT) {
3054                 if (CCC->user.axlevel == AxProbU) {
3055                         strcpy(hold_rm, actual_rm);
3056                         strcpy(actual_rm, config.c_twitroom);
3057                         syslog(LOG_DEBUG, "Diverting to twit room\n");
3058                 }
3059         }
3060
3061         /* ...or if this message is destined for Aide> then go there. */
3062         if (!IsEmptyStr(force_room)) {
3063                 strcpy(actual_rm, force_room);
3064         }
3065
3066         syslog(LOG_DEBUG, "Final selection: %s\n", actual_rm);
3067         if (strcasecmp(actual_rm, CCC->room.QRname)) {
3068                 /* CtdlGetRoom(&CCC->room, actual_rm); */
3069                 CtdlUserGoto(actual_rm, 0, 1, NULL, NULL);
3070         }
3071
3072         /*
3073          * If this message has no O (room) field, generate one.
3074          */
3075         if (msg->cm_fields['O'] == NULL) {
3076                 msg->cm_fields['O'] = strdup(CCC->room.QRname);
3077         }
3078
3079         /* Perform "before save" hooks (aborting if any return nonzero) */
3080         syslog(LOG_DEBUG, "Performing before-save hooks\n");
3081         if (PerformMessageHooks(msg, EVT_BEFORESAVE) > 0) return(-3);
3082
3083         /*
3084          * If this message has an Exclusive ID, and the room is replication
3085          * checking enabled, then do replication checks.
3086          */
3087         if (DoesThisRoomNeedEuidIndexing(&CCC->room)) {
3088                 ReplicationChecks(msg);
3089         }
3090
3091         /* Save it to disk */
3092         syslog(LOG_DEBUG, "Saving to disk\n");
3093         newmsgid = send_message(msg);
3094         if (newmsgid <= 0L) return(-5);
3095
3096         /* Write a supplemental message info record.  This doesn't have to
3097          * be a critical section because nobody else knows about this message
3098          * yet.
3099          */
3100         syslog(LOG_DEBUG, "Creating MetaData record\n");
3101         memset(&smi, 0, sizeof(struct MetaData));
3102         smi.meta_msgnum = newmsgid;
3103         smi.meta_refcount = 0;
3104         safestrncpy(smi.meta_content_type, content_type,
3105                         sizeof smi.meta_content_type);
3106
3107         /*
3108          * Measure how big this message will be when rendered as RFC822.
3109          * We do this for two reasons:
3110          * 1. We need the RFC822 length for the new metadata record, so the
3111          *    POP and IMAP services don't have to calculate message lengths
3112          *    while the user is waiting (multiplied by potentially hundreds
3113          *    or thousands of messages).
3114          * 2. If journaling is enabled, we will need an RFC822 version of the
3115          *    message to attach to the journalized copy.
3116          */
3117         if (CCC->redirect_buffer != NULL) {
3118                 syslog(LOG_ALERT, "CCC->redirect_buffer is not NULL during message submission!\n");
3119                 abort();
3120         }
3121         CCC->redirect_buffer = NewStrBufPlain(NULL, SIZ);
3122         CtdlOutputPreLoadedMsg(msg, MT_RFC822, HEADERS_ALL, 0, 1, QP_EADDR);
3123         smi.meta_rfc822_length = StrLength(CCC->redirect_buffer);
3124         saved_rfc822_version = CCC->redirect_buffer;
3125         CCC->redirect_buffer = NULL;
3126
3127         PutMetaData(&smi);
3128
3129         /* Now figure out where to store the pointers */
3130         syslog(LOG_DEBUG, "Storing pointers\n");
3131
3132         /* If this is being done by the networker delivering a private
3133          * message, we want to BYPASS saving the sender's copy (because there
3134          * is no local sender; it would otherwise go to the Trashcan).
3135          */
3136         if ((!CCC->internal_pgm) || (recps == NULL)) {
3137                 if (CtdlSaveMsgPointerInRoom(actual_rm, newmsgid, 1, msg) != 0) {
3138                         syslog(LOG_ERR, "ERROR saving message pointer!\n");
3139                         CtdlSaveMsgPointerInRoom(config.c_aideroom, newmsgid, 0, msg);
3140                 }
3141         }
3142
3143         /* For internet mail, drop a copy in the outbound queue room */
3144         if ((recps != NULL) && (recps->num_internet > 0)) {
3145                 CtdlSaveMsgPointerInRoom(SMTP_SPOOLOUT_ROOM, newmsgid, 0, msg);
3146         }
3147
3148         /* If other rooms are specified, drop them there too. */
3149         if ((recps != NULL) && (recps->num_room > 0))
3150           for (i=0; i<num_tokens(recps->recp_room, '|'); ++i) {
3151                 extract_token(recipient, recps->recp_room, i,
3152                                         '|', sizeof recipient);
3153                 syslog(LOG_DEBUG, "Delivering to room <%s>\n", recipient);
3154                 CtdlSaveMsgPointerInRoom(recipient, newmsgid, 0, msg);
3155         }
3156
3157         /* Bump this user's messages posted counter. */
3158         syslog(LOG_DEBUG, "Updating user\n");
3159         CtdlGetUserLock(&CCC->user, CCC->curr_user);
3160         CCC->user.posted = CCC->user.posted + 1;
3161         CtdlPutUserLock(&CCC->user);
3162
3163         /* Decide where bounces need to be delivered */
3164         if ((recps != NULL) && (recps->bounce_to != NULL)) {
3165                 safestrncpy(bounce_to, recps->bounce_to, sizeof bounce_to);
3166         }
3167         else if (CCC->logged_in) {
3168                 snprintf(bounce_to, sizeof bounce_to, "%s@%s", CCC->user.fullname, config.c_nodename);
3169         }
3170         else {
3171                 snprintf(bounce_to, sizeof bounce_to, "%s@%s", msg->cm_fields['A'], msg->cm_fields['N']);
3172         }
3173
3174         /* If this is private, local mail, make a copy in the
3175          * recipient's mailbox and bump the reference count.
3176          */
3177         if ((recps != NULL) && (recps->num_local > 0))
3178           for (i=0; i<num_tokens(recps->recp_local, '|'); ++i) {
3179                 extract_token(recipient, recps->recp_local, i,
3180                                         '|', sizeof recipient);
3181                 syslog(LOG_DEBUG, "Delivering private local mail to <%s>\n",
3182                         recipient);
3183                 if (CtdlGetUser(&userbuf, recipient) == 0) {
3184                         // Add a flag so the Funambol module knows its mail
3185                         msg->cm_fields['W'] = strdup(recipient);
3186                         CtdlMailboxName(actual_rm, sizeof actual_rm, &userbuf, MAILROOM);
3187                         CtdlSaveMsgPointerInRoom(actual_rm, newmsgid, 0, msg);
3188                         CtdlBumpNewMailCounter(userbuf.usernum);
3189                         if (!IsEmptyStr(config.c_funambol_host) || !IsEmptyStr(config.c_pager_program)) {
3190                         /* Generate a instruction message for the Funambol notification
3191                          * server, in the same style as the SMTP queue
3192                          */
3193                            instr_alloc = 1024;
3194                            instr = malloc(instr_alloc);
3195                            snprintf(instr, instr_alloc,
3196                         "Content-type: %s\n\nmsgid|%ld\nsubmitted|%ld\n"
3197                         "bounceto|%s\n",
3198                         SPOOLMIME, newmsgid, (long)time(NULL),
3199                         bounce_to
3200                         );
3201
3202                            imsg = malloc(sizeof(struct CtdlMessage));
3203                            memset(imsg, 0, sizeof(struct CtdlMessage));
3204                            imsg->cm_magic = CTDLMESSAGE_MAGIC;
3205                            imsg->cm_anon_type = MES_NORMAL;
3206                            imsg->cm_format_type = FMT_RFC822;
3207                            imsg->cm_fields['A'] = strdup("Citadel");
3208                            imsg->cm_fields['J'] = strdup("do not journal");
3209                            imsg->cm_fields['M'] = instr;        /* imsg owns this memory now */
3210                            imsg->cm_fields['W'] = strdup(recipient);
3211                            CtdlSubmitMsg(imsg, NULL, FNBL_QUEUE_ROOM, 0);
3212                            CtdlFreeMessage(imsg);
3213                         }
3214                 }
3215                 else {
3216                         syslog(LOG_DEBUG, "No user <%s>\n", recipient);
3217                         CtdlSaveMsgPointerInRoom(config.c_aideroom,
3218                                 newmsgid, 0, msg);
3219                 }
3220         }
3221
3222         /* Perform "after save" hooks */
3223         syslog(LOG_DEBUG, "Performing after-save hooks\n");
3224         PerformMessageHooks(msg, EVT_AFTERSAVE);
3225
3226         /* For IGnet mail, we have to save a new copy into the spooler for
3227          * each recipient, with the R and D fields set to the recipient and
3228          * destination-node.  This has two ugly side effects: all other
3229          * recipients end up being unlisted in this recipient's copy of the
3230          * message, and it has to deliver multiple messages to the same
3231          * node.  We'll revisit this again in a year or so when everyone has
3232          * a network spool receiver that can handle the new style messages.
3233          */
3234         if ((recps != NULL) && (recps->num_ignet > 0))
3235           for (i=0; i<num_tokens(recps->recp_ignet, '|'); ++i) {
3236                 extract_token(recipient, recps->recp_ignet, i,
3237                                 '|', sizeof recipient);
3238
3239                 hold_R = msg->cm_fields['R'];
3240                 hold_D = msg->cm_fields['D'];
3241                 msg->cm_fields['R'] = malloc(SIZ);
3242                 msg->cm_fields['D'] = malloc(128);
3243                 extract_token(msg->cm_fields['R'], recipient, 0, '@', SIZ);
3244                 extract_token(msg->cm_fields['D'], recipient, 1, '@', 128);
3245
3246                 serialize_message(&smr, msg);
3247                 if (smr.len > 0) {
3248                         snprintf(submit_filename, sizeof submit_filename,
3249                                          "%s/netmail.%04lx.%04x.%04x",
3250                                          ctdl_netin_dir,
3251                                          (long) getpid(), CCC->cs_pid, ++seqnum);
3252                         network_fp = fopen(submit_filename, "wb+");
3253                         if (network_fp != NULL) {
3254                                 rv = fwrite(smr.ser, smr.len, 1, network_fp);
3255                                 fclose(network_fp);
3256                         }
3257                         free(smr.ser);
3258                 }
3259
3260                 free(msg->cm_fields['R']);
3261                 free(msg->cm_fields['D']);
3262                 msg->cm_fields['R'] = hold_R;
3263                 msg->cm_fields['D'] = hold_D;
3264         }
3265
3266         /* Go back to the room we started from */
3267         syslog(LOG_DEBUG, "Returning to original room %s\n", hold_rm);
3268         if (strcasecmp(hold_rm, CCC->room.QRname))
3269                 CtdlUserGoto(hold_rm, 0, 1, NULL, NULL);
3270
3271         /* For internet mail, generate delivery instructions.
3272          * Yes, this is recursive.  Deal with it.  Infinite recursion does
3273          * not happen because the delivery instructions message does not
3274          * contain a recipient.
3275          */
3276         if ((recps != NULL) && (recps->num_internet > 0)) {
3277                 syslog(LOG_DEBUG, "Generating delivery instructions\n");
3278                 instr_alloc = 1024;
3279                 instr = malloc(instr_alloc);
3280                 snprintf(instr, instr_alloc,
3281                         "Content-type: %s\n\nmsgid|%ld\nsubmitted|%ld\n"
3282                         "bounceto|%s\n",
3283                         SPOOLMIME, newmsgid, (long)time(NULL),
3284                         bounce_to
3285                 );
3286
3287                 if (recps->envelope_from != NULL) {
3288                         tmp = strlen(instr);
3289                         snprintf(&instr[tmp], instr_alloc-tmp, "envelope_from|%s\n", recps->envelope_from);
3290                 }
3291
3292                 for (i=0; i<num_tokens(recps->recp_internet, '|'); ++i) {
3293                         tmp = strlen(instr);
3294                         extract_token(recipient, recps->recp_internet, i, '|', sizeof recipient);
3295                         if ((tmp + strlen(recipient) + 32) > instr_alloc) {
3296                                 instr_alloc = instr_alloc * 2;
3297                                 instr = realloc(instr, instr_alloc);
3298                         }
3299                         snprintf(&instr[tmp], instr_alloc - tmp, "remote|%s|0||\n", recipient);
3300                 }
3301
3302                 imsg = malloc(sizeof(struct CtdlMessage));
3303                 memset(imsg, 0, sizeof(struct CtdlMessage));
3304                 imsg->cm_magic = CTDLMESSAGE_MAGIC;
3305                 imsg->cm_anon_type = MES_NORMAL;
3306                 imsg->cm_format_type = FMT_RFC822;
3307                 imsg->cm_fields['A'] = strdup("Citadel");
3308                 imsg->cm_fields['J'] = strdup("do not journal");
3309                 imsg->cm_fields['M'] = instr;   /* imsg owns this memory now */
3310                 CtdlSubmitMsg(imsg, NULL, SMTP_SPOOLOUT_ROOM, QP_EADDR);
3311                 CtdlFreeMessage(imsg);
3312         }
3313
3314         /*
3315          * Any addresses to harvest for someone's address book?
3316          */
3317         if ( (CCC->logged_in) && (recps != NULL) ) {
3318                 collected_addresses = harvest_collected_addresses(msg);
3319         }
3320
3321         if (collected_addresses != NULL) {
3322                 aptr = (struct addresses_to_be_filed *)
3323                         malloc(sizeof(struct addresses_to_be_filed));
3324                 CtdlMailboxName(actual_rm, sizeof actual_rm,
3325                         &CCC->user, USERCONTACTSROOM);
3326                 aptr->roomname = strdup(actual_rm);
3327                 aptr->collected_addresses = collected_addresses;
3328                 begin_critical_section(S_ATBF);
3329                 aptr->next = atbf;
3330                 atbf = aptr;
3331                 end_critical_section(S_ATBF);
3332         }
3333
3334         /*
3335          * Determine whether this message qualifies for journaling.
3336          */
3337         if (msg->cm_fields['J'] != NULL) {
3338                 qualified_for_journaling = 0;
3339         }
3340         else {
3341                 if (recps == NULL) {
3342                         qualified_for_journaling = config.c_journal_pubmsgs;
3343                 }
3344                 else if (recps->num_local + recps->num_ignet + recps->num_internet > 0) {
3345                         qualified_for_journaling = config.c_journal_email;
3346                 }
3347                 else {
3348                         qualified_for_journaling = config.c_journal_pubmsgs;
3349                 }
3350         }
3351
3352         /*
3353          * Do we have to perform journaling?  If so, hand off the saved
3354          * RFC822 version will be handed off to the journaler for background
3355          * submit.  Otherwise, we have to free the memory ourselves.
3356          */
3357         if (saved_rfc822_version != NULL) {
3358                 if (qualified_for_journaling) {
3359                         JournalBackgroundSubmit(msg, saved_rfc822_version, recps);
3360                 }
3361                 else {
3362                         FreeStrBuf(&saved_rfc822_version);
3363                 }
3364         }
3365
3366         /* Done. */
3367         return(newmsgid);
3368 }
3369
3370
3371
3372 void aide_message (char *text, char *subject)
3373 {
3374         quickie_message("Citadel",NULL,NULL,AIDEROOM,text,FMT_CITADEL,subject);
3375 }
3376
3377
3378 /*
3379  * Convenience function for generating small administrative messages.
3380  */
3381 void quickie_message(const char *from, const char *fromaddr, char *to, char *room, const char *text,
3382                         int format_type, const char *subject)
3383 {
3384         struct CtdlMessage *msg;
3385         struct recptypes *recp = NULL;
3386
3387         msg = malloc(sizeof(struct CtdlMessage));
3388         memset(msg, 0, sizeof(struct CtdlMessage));
3389         msg->cm_magic = CTDLMESSAGE_MAGIC;
3390         msg->cm_anon_type = MES_NORMAL;
3391         msg->cm_format_type = format_type;
3392
3393         if (from != NULL) {
3394                 msg->cm_fields['A'] = strdup(from);
3395         }
3396         else if (fromaddr != NULL) {
3397                 msg->cm_fields['A'] = strdup(fromaddr);
3398                 if (strchr(msg->cm_fields['A'], '@')) {
3399                         *strchr(msg->cm_fields['A'], '@') = 0;
3400                 }
3401         }
3402         else {
3403                 msg->cm_fields['A'] = strdup("Citadel");
3404         }
3405
3406         if (fromaddr != NULL) msg->cm_fields['F'] = strdup(fromaddr);
3407         if (room != NULL) msg->cm_fields['O'] = strdup(room);
3408         msg->cm_fields['N'] = strdup(NODENAME);
3409         if (to != NULL) {
3410                 msg->cm_fields['R'] = strdup(to);
3411                 recp = validate_recipients(to, NULL, 0);
3412         }
3413         if (subject != NULL) {
3414                 msg->cm_fields['U'] = strdup(subject);
3415         }
3416         msg->cm_fields['M'] = strdup(text);
3417
3418         CtdlSubmitMsg(msg, recp, room, 0);
3419         CtdlFreeMessage(msg);
3420         if (recp != NULL) free_recipients(recp);
3421 }
3422
3423
3424
3425 /*
3426  * Back end function used by CtdlMakeMessage() and similar functions
3427  */
3428 StrBuf *CtdlReadMessageBodyBuf(char *terminator,        /* token signalling EOT */
3429                                long tlen,
3430                                size_t maxlen,           /* maximum message length */
3431                                char *exist,             /* if non-null, append to it;
3432                                                            exist is ALWAYS freed  */
3433                                int crlf,                /* CRLF newlines instead of LF */
3434                                int *sock                /* socket handle or 0 for this session's client socket */
3435                         )
3436 {
3437         StrBuf *Message;
3438         StrBuf *LineBuf;
3439         int flushing = 0;
3440         int finished = 0;
3441         int dotdot = 0;
3442
3443         LineBuf = NewStrBufPlain(NULL, SIZ);
3444         if (exist == NULL) {
3445                 Message = NewStrBufPlain(NULL, 4 * SIZ);
3446         }
3447         else {
3448                 Message = NewStrBufPlain(exist, -1);
3449                 free(exist);
3450         }
3451
3452         /* Do we need to change leading ".." to "." for SMTP escaping? */
3453         if ((tlen == 1) && (*terminator == '.')) {
3454                 dotdot = 1;
3455         }
3456
3457         /* read in the lines of message text one by one */
3458         do {
3459                 if (sock != NULL) {
3460                         if ((CtdlSockGetLine(sock, LineBuf, 5) < 0) ||
3461                             (*sock == -1))
3462                                 finished = 1;
3463                 }
3464                 else {
3465                         if (CtdlClientGetLine(LineBuf) < 0) finished = 1;
3466                 }
3467                 if ((StrLength(LineBuf) == tlen) &&
3468                     (!strcmp(ChrPtr(LineBuf), terminator)))
3469                         finished = 1;
3470
3471                 if ( (!flushing) && (!finished) ) {
3472                         if (crlf) {
3473                                 StrBufAppendBufPlain(LineBuf, HKEY("\r\n"), 0);
3474                         }
3475                         else {
3476                                 StrBufAppendBufPlain(LineBuf, HKEY("\n"), 0);
3477                         }
3478
3479                         /* Unescape SMTP-style input of two dots at the beginning of the line */
3480                         if ((dotdot) &&
3481                             (StrLength(LineBuf) == 2) &&
3482                             (!strcmp(ChrPtr(LineBuf), "..")))
3483                         {
3484                                 StrBufCutLeft(LineBuf, 1);
3485                         }
3486
3487                         StrBufAppendBuf(Message, LineBuf, 0);
3488                 }
3489
3490                 /* if we've hit the max msg length, flush the rest */
3491                 if (StrLength(Message) >= maxlen) flushing = 1;
3492
3493         } while (!finished);
3494         FreeStrBuf(&LineBuf);
3495         return Message;
3496 }
3497
3498
3499 /*
3500  * Back end function used by CtdlMakeMessage() and similar functions
3501  */
3502 char *CtdlReadMessageBody(char *terminator,     /* token signalling EOT */
3503                           long tlen,
3504                           size_t maxlen,                /* maximum message length */
3505                           char *exist,          /* if non-null, append to it;
3506                                                    exist is ALWAYS freed  */
3507                           int crlf,             /* CRLF newlines instead of LF */
3508                           int *sock             /* socket handle or 0 for this session's client socket */
3509         )
3510 {
3511         StrBuf *Message;
3512
3513         Message = CtdlReadMessageBodyBuf(terminator,
3514                                          tlen,
3515                                          maxlen,
3516                                          exist,
3517                                          crlf,
3518                                          sock);
3519         if (Message == NULL)
3520                 return NULL;
3521         else
3522                 return SmashStrBuf(&Message);
3523 }
3524
3525
3526 /*
3527  * Build a binary message to be saved on disk.
3528  * (NOTE: if you supply 'preformatted_text', the buffer you give it
3529  * will become part of the message.  This means you are no longer
3530  * responsible for managing that memory -- it will be freed along with
3531  * the rest of the fields when CtdlFreeMessage() is called.)
3532  */
3533
3534 struct CtdlMessage *CtdlMakeMessage(
3535         struct ctdluser *author,        /* author's user structure */
3536         char *recipient,                /* NULL if it's not mail */
3537         char *recp_cc,                  /* NULL if it's not mail */
3538         char *room,                     /* room where it's going */
3539         int type,                       /* see MES_ types in header file */
3540         int format_type,                /* variformat, plain text, MIME... */
3541         char *fake_name,                /* who we're masquerading as */
3542         char *my_email,                 /* which of my email addresses to use (empty is ok) */
3543         char *subject,                  /* Subject (optional) */
3544         char *supplied_euid,            /* ...or NULL if this is irrelevant */
3545         char *preformatted_text,        /* ...or NULL to read text from client */
3546         char *references                /* Thread references */
3547 ) {
3548         char dest_node[256];
3549         char buf[1024];
3550         struct CtdlMessage *msg;
3551         StrBuf *FakeAuthor;
3552         StrBuf *FakeEncAuthor = NULL;
3553
3554         msg = malloc(sizeof(struct CtdlMessage));
3555         memset(msg, 0, sizeof(struct CtdlMessage));
3556         msg->cm_magic = CTDLMESSAGE_MAGIC;
3557         msg->cm_anon_type = type;
3558         msg->cm_format_type = format_type;
3559
3560         /* Don't confuse the poor folks if it's not routed mail. */
3561         strcpy(dest_node, "");
3562
3563         if (recipient != NULL) striplt(recipient);
3564         if (recp_cc != NULL) striplt(recp_cc);
3565
3566         /* Path or Return-Path */
3567         if (my_email == NULL) my_email = "";
3568
3569         if (!IsEmptyStr(my_email)) {
3570                 msg->cm_fields['P'] = strdup(my_email);
3571         }
3572         else {
3573                 snprintf(buf, sizeof buf, "%s", author->fullname);
3574                 msg->cm_fields['P'] = strdup(buf);
3575         }
3576         convert_spaces_to_underscores(msg->cm_fields['P']);
3577
3578         snprintf(buf, sizeof buf, "%ld", (long)time(NULL));     /* timestamp */
3579         msg->cm_fields['T'] = strdup(buf);
3580
3581         if ((fake_name != NULL) && (fake_name[0])) {            /* author */
3582                 FakeAuthor = NewStrBufPlain (fake_name, -1);
3583         }
3584         else {
3585                 FakeAuthor = NewStrBufPlain (author->fullname, -1);
3586         }
3587         StrBufRFC2047encode(&FakeEncAuthor, FakeAuthor);
3588         msg->cm_fields['A'] = SmashStrBuf(&FakeEncAuthor);
3589         FreeStrBuf(&FakeAuthor);
3590
3591         if (CC->room.QRflags & QR_MAILBOX) {            /* room */
3592                 msg->cm_fields['O'] = strdup(&CC->room.QRname[11]);
3593         }
3594         else {
3595                 msg->cm_fields['O'] = strdup(CC->room.QRname);
3596         }
3597
3598         msg->cm_fields['N'] = strdup(NODENAME);         /* nodename */
3599         msg->cm_fields['H'] = strdup(HUMANNODE);                /* hnodename */
3600
3601         if ((recipient != NULL) && (recipient[0] != 0)) {
3602                 msg->cm_fields['R'] = strdup(recipient);
3603         }
3604         if ((recp_cc != NULL) && (recp_cc[0] != 0)) {
3605                 msg->cm_fields['Y'] = strdup(recp_cc);
3606         }
3607         if (dest_node[0] != 0) {
3608                 msg->cm_fields['D'] = strdup(dest_node);
3609         }
3610
3611         if (!IsEmptyStr(my_email)) {
3612                 msg->cm_fields['F'] = strdup(my_email);
3613         }
3614         else if ( (author == &CC->user) && (!IsEmptyStr(CC->cs_inet_email)) ) {
3615                 msg->cm_fields['F'] = strdup(CC->cs_inet_email);
3616         }
3617
3618         if (subject != NULL) {
3619                 long length;
3620                 striplt(subject);
3621                 length = strlen(subject);
3622                 if (length > 0) {
3623                         long i;
3624                         long IsAscii;
3625                         IsAscii = -1;
3626                         i = 0;
3627                         while ((subject[i] != '\0') &&
3628                                (IsAscii = isascii(subject[i]) != 0 ))
3629                                 i++;
3630                         if (IsAscii != 0)
3631                                 msg->cm_fields['U'] = strdup(subject);
3632                         else /* ok, we've got utf8 in the string. */
3633                         {
3634                                 msg->cm_fields['U'] = rfc2047encode(subject, length);
3635                         }
3636
3637                 }
3638         }
3639
3640         if (supplied_euid != NULL) {
3641                 msg->cm_fields['E'] = strdup(supplied_euid);
3642         }
3643
3644         if (references != NULL) {
3645                 if (!IsEmptyStr(references)) {
3646                         msg->cm_fields['W'] = strdup(references);
3647                 }
3648         }
3649
3650         if (preformatted_text != NULL) {
3651                 msg->cm_fields['M'] = preformatted_text;
3652         }
3653         else {
3654                 msg->cm_fields['M'] = CtdlReadMessageBody(HKEY("000"), config.c_maxmsglen, NULL, 0, 0);
3655         }
3656
3657         return(msg);
3658 }
3659
3660
3661 /*
3662  * Check to see whether we have permission to post a message in the current
3663  * room.  Returns a *CITADEL ERROR CODE* and puts a message in errmsgbuf, or
3664  * returns 0 on success.
3665  */
3666 int CtdlDoIHavePermissionToPostInThisRoom(
3667         char *errmsgbuf,
3668         size_t n,
3669         const char* RemoteIdentifier,
3670         int PostPublic,
3671         int is_reply
3672 ) {
3673         int ra;
3674
3675         if (!(CC->logged_in) &&
3676             (PostPublic == POST_LOGGED_IN)) {
3677                 snprintf(errmsgbuf, n, "Not logged in.");
3678                 return (ERROR + NOT_LOGGED_IN);
3679         }
3680         else if (PostPublic == CHECK_EXISTANCE) {
3681                 return (0); // We're Evaling whether a recipient exists
3682         }
3683         else if (!(CC->logged_in)) {
3684
3685                 if ((CC->room.QRflags & QR_READONLY)) {
3686                         snprintf(errmsgbuf, n, "Not logged in.");
3687                         return (ERROR + NOT_LOGGED_IN);
3688                 }
3689                 if (CC->room.QRflags2 & QR2_MODERATED) {
3690                         snprintf(errmsgbuf, n, "Not logged in Moderation feature not yet implemented!");
3691                         return (ERROR + NOT_LOGGED_IN);
3692                 }
3693                 if ((PostPublic!=POST_LMTP) &&(CC->room.QRflags2 & QR2_SMTP_PUBLIC) == 0) {
3694                         SpoolControl *sc;
3695                         char filename[SIZ];
3696                         int found;
3697
3698                         if (RemoteIdentifier == NULL)
3699                         {
3700                                 snprintf(errmsgbuf, n, "Need sender to permit access.");
3701                                 return (ERROR + USERNAME_REQUIRED);
3702                         }
3703
3704                         assoc_file_name(filename, sizeof filename, &CC->room, ctdl_netcfg_dir);
3705                         begin_critical_section(S_NETCONFIGS);
3706                         if (!read_spoolcontrol_file(&sc, filename))
3707                         {
3708                                 end_critical_section(S_NETCONFIGS);
3709                                 snprintf(errmsgbuf, n,
3710                                         "This mailing list only accepts posts from subscribers.");
3711                                 return (ERROR + NO_SUCH_USER);
3712                         }
3713                         end_critical_section(S_NETCONFIGS);
3714                         found = is_recipient (sc, RemoteIdentifier);
3715                         free_spoolcontrol_struct(&sc);
3716                         if (found) {
3717                                 return (0);
3718                         }
3719                         else {
3720                                 snprintf(errmsgbuf, n,
3721                                         "This mailing list only accepts posts from subscribers.");
3722                                 return (ERROR + NO_SUCH_USER);
3723                         }
3724                 }
3725                 return (0);
3726
3727         }
3728
3729         if ((CC->user.axlevel < AxProbU)
3730             && ((CC->room.QRflags & QR_MAILBOX) == 0)) {
3731                 snprintf(errmsgbuf, n, "Need to be validated to enter "
3732                                 "(except in %s> to sysop)", MAILROOM);
3733                 return (ERROR + HIGHER_ACCESS_REQUIRED);
3734         }
3735
3736         CtdlRoomAccess(&CC->room, &CC->user, &ra, NULL);
3737
3738         if ( (!(ra & UA_POSTALLOWED)) && (ra & UA_REPLYALLOWED) && (!is_reply) ) {
3739                 /*
3740                  * To be thorough, we ought to check to see if the message they are
3741                  * replying to is actually a valid one in this room, but unless this
3742                  * actually becomes a problem we'll go with high performance instead.
3743                  */
3744                 snprintf(errmsgbuf, n, "You may only reply to existing messages here.");
3745                 return (ERROR + HIGHER_ACCESS_REQUIRED);
3746         }
3747
3748         else if (!(ra & UA_POSTALLOWED)) {
3749                 snprintf(errmsgbuf, n, "Higher access is required to post in this room.");
3750                 return (ERROR + HIGHER_ACCESS_REQUIRED);
3751         }
3752
3753         strcpy(errmsgbuf, "Ok");
3754         return(0);
3755 }
3756
3757
3758 /*
3759  * Check to see if the specified user has Internet mail permission
3760  * (returns nonzero if permission is granted)
3761  */
3762 int CtdlCheckInternetMailPermission(struct ctdluser *who) {
3763
3764         /* Do not allow twits to send Internet mail */
3765         if (who->axlevel <= AxProbU) return(0);
3766
3767         /* Globally enabled? */
3768         if (config.c_restrict == 0) return(1);
3769
3770         /* User flagged ok? */
3771         if (who->flags & US_INTERNET) return(2);
3772
3773         /* Aide level access? */
3774         if (who->axlevel >= AxAideU) return(3);
3775
3776         /* No mail for you! */
3777         return(0);
3778 }
3779
3780
3781 /*
3782  * Validate recipients, count delivery types and errors, and handle aliasing
3783  * FIXME check for dupes!!!!!
3784  *
3785  * Returns 0 if all addresses are ok, ret->num_error = -1 if no addresses
3786  * were specified, or the number of addresses found invalid.
3787  *
3788  * Caller needs to free the result using free_recipients()
3789  */
3790 struct recptypes *validate_recipients(const char *supplied_recipients,
3791                                       const char *RemoteIdentifier,
3792                                       int Flags) {
3793         struct recptypes *ret;
3794         char *recipients = NULL;
3795         char this_recp[256];
3796         char this_recp_cooked[256];
3797         char append[SIZ];
3798         int num_recps = 0;
3799         int i, j;
3800         int mailtype;
3801         int invalid;
3802         struct ctdluser tempUS;
3803         struct ctdlroom tempQR;
3804         struct ctdlroom tempQR2;
3805         int err = 0;
3806         char errmsg[SIZ];
3807         int in_quotes = 0;
3808
3809         /* Initialize */
3810         ret = (struct recptypes *) malloc(sizeof(struct recptypes));
3811         if (ret == NULL) return(NULL);
3812
3813         /* Set all strings to null and numeric values to zero */
3814         memset(ret, 0, sizeof(struct recptypes));
3815
3816         if (supplied_recipients == NULL) {
3817                 recipients = strdup("");
3818         }
3819         else {
3820                 recipients = strdup(supplied_recipients);
3821         }
3822
3823         /* Allocate some memory.  Yes, this allocates 500% more memory than we will
3824          * actually need, but it's healthier for the heap than doing lots of tiny
3825          * realloc() calls instead.
3826          */
3827
3828         ret->errormsg = malloc(strlen(recipients) + 1024);
3829         ret->recp_local = malloc(strlen(recipients) + 1024);
3830         ret->recp_internet = malloc(strlen(recipients) + 1024);
3831         ret->recp_ignet = malloc(strlen(recipients) + 1024);
3832         ret->recp_room = malloc(strlen(recipients) + 1024);
3833         ret->display_recp = malloc(strlen(recipients) + 1024);
3834
3835         ret->errormsg[0] = 0;
3836         ret->recp_local[0] = 0;
3837         ret->recp_internet[0] = 0;
3838         ret->recp_ignet[0] = 0;
3839         ret->recp_room[0] = 0;
3840         ret->display_recp[0] = 0;
3841
3842         ret->recptypes_magic = RECPTYPES_MAGIC;
3843
3844         /* Change all valid separator characters to commas */
3845         for (i=0; !IsEmptyStr(&recipients[i]); ++i) {
3846                 if ((recipients[i] == ';') || (recipients[i] == '|')) {
3847                         recipients[i] = ',';
3848                 }
3849         }
3850
3851         /* Now start extracting recipients... */
3852
3853         while (!IsEmptyStr(recipients)) {
3854
3855                 for (i=0; i<=strlen(recipients); ++i) {
3856                         if (recipients[i] == '\"') in_quotes = 1 - in_quotes;
3857                         if ( ( (recipients[i] == ',') && (!in_quotes) ) || (recipients[i] == 0) ) {
3858                                 safestrncpy(this_recp, recipients, i+1);
3859                                 this_recp[i] = 0;
3860                                 if (recipients[i] == ',') {
3861                                         strcpy(recipients, &recipients[i+1]);
3862                                 }
3863                                 else {
3864                                         strcpy(recipients, "");
3865                                 }
3866                                 break;
3867                         }
3868                 }
3869
3870                 striplt(this_recp);
3871                 if (IsEmptyStr(this_recp))
3872                         break;
3873                 syslog(LOG_DEBUG, "Evaluating recipient #%d: %s\n", num_recps, this_recp);
3874                 ++num_recps;
3875                 mailtype = alias(this_recp);
3876                 mailtype = alias(this_recp);
3877                 mailtype = alias(this_recp);
3878                 j = 0;
3879                 for (j=0; !IsEmptyStr(&this_recp[j]); ++j) {
3880                         if (this_recp[j]=='_') {
3881                                 this_recp_cooked[j] = ' ';
3882                         }
3883                         else {
3884                                 this_recp_cooked[j] = this_recp[j];
3885                         }
3886                 }
3887                 this_recp_cooked[j] = '\0';
3888                 invalid = 0;
3889                 errmsg[0] = 0;
3890                 switch(mailtype) {
3891                         case MES_LOCAL:
3892                                 if (!strcasecmp(this_recp, "sysop")) {
3893                                         ++ret->num_room;
3894                                         strcpy(this_recp, config.c_aideroom);
3895                                         if (!IsEmptyStr(ret->recp_room)) {
3896                                                 strcat(ret->recp_room, "|");
3897                                         }
3898                                         strcat(ret->recp_room, this_recp);
3899                                 }
3900                                 else if ( (!strncasecmp(this_recp, "room_", 5))
3901                                       && (!CtdlGetRoom(&tempQR, &this_recp_cooked[5])) ) {
3902
3903                                         /* Save room so we can restore it later */
3904                                         tempQR2 = CC->room;
3905                                         CC->room = tempQR;
3906
3907                                         /* Check permissions to send mail to this room */
3908                                         err = CtdlDoIHavePermissionToPostInThisRoom(
3909                                                 errmsg,
3910                                                 sizeof errmsg,
3911                                                 RemoteIdentifier,
3912                                                 Flags,
3913                                                 0                       /* 0 = not a reply */
3914                                         );
3915                                         if (err)
3916                                         {
3917                                                 ++ret->num_error;
3918                                                 invalid = 1;
3919                                         }
3920                                         else {
3921                                                 ++ret->num_room;
3922                                                 if (!IsEmptyStr(ret->recp_room)) {
3923                                                         strcat(ret->recp_room, "|");
3924                                                 }
3925                                                 strcat(ret->recp_room, &this_recp_cooked[5]);
3926                                         }
3927
3928                                         /* Restore room in case something needs it */
3929                                         CC->room = tempQR2;
3930
3931                                 }
3932                                 else if (CtdlGetUser(&tempUS, this_recp) == 0) {
3933                                         ++ret->num_local;
3934                                         strcpy(this_recp, tempUS.fullname);
3935                                         if (!IsEmptyStr(ret->recp_local)) {
3936                                                 strcat(ret->recp_local, "|");
3937                                         }
3938                                         strcat(ret->recp_local, this_recp);
3939                                 }
3940                                 else if (CtdlGetUser(&tempUS, this_recp_cooked) == 0) {
3941                                         ++ret->num_local;
3942                                         strcpy(this_recp, tempUS.fullname);
3943                                         if (!IsEmptyStr(ret->recp_local)) {
3944                                                 strcat(ret->recp_local, "|");
3945                                         }
3946                                         strcat(ret->recp_local, this_recp);
3947                                 }
3948                                 else {
3949                                         ++ret->num_error;
3950                                         invalid = 1;
3951                                 }
3952                                 break;
3953                         case MES_INTERNET:
3954                                 /* Yes, you're reading this correctly: if the target
3955                                  * domain points back to the local system or an attached
3956                                  * Citadel directory, the address is invalid.  That's
3957                                  * because if the address were valid, we would have
3958                                  * already translated it to a local address by now.
3959                                  */
3960                                 if (IsDirectory(this_recp, 0)) {
3961                                         ++ret->num_error;
3962                                         invalid = 1;
3963                                 }
3964                                 else {
3965                                         ++ret->num_internet;
3966                                         if (!IsEmptyStr(ret->recp_internet)) {
3967                                                 strcat(ret->recp_internet, "|");
3968                                         }
3969                                         strcat(ret->recp_internet, this_recp);
3970                                 }
3971                                 break;
3972                         case MES_IGNET:
3973                                 ++ret->num_ignet;
3974                                 if (!IsEmptyStr(ret->recp_ignet)) {
3975                                         strcat(ret->recp_ignet, "|");
3976                                 }
3977                                 strcat(ret->recp_ignet, this_recp);
3978                                 break;
3979                         case MES_ERROR:
3980                                 ++ret->num_error;
3981                                 invalid = 1;
3982                                 break;
3983                 }
3984                 if (invalid) {
3985                         if (IsEmptyStr(errmsg)) {
3986                                 snprintf(append, sizeof append, "Invalid recipient: %s", this_recp);
3987                         }
3988                         else {
3989                                 snprintf(append, sizeof append, "%s", errmsg);
3990                         }
3991                         if ( (strlen(ret->errormsg) + strlen(append) + 3) < SIZ) {
3992                                 if (!IsEmptyStr(ret->errormsg)) {
3993                                         strcat(ret->errormsg, "; ");
3994                                 }
3995                                 strcat(ret->errormsg, append);
3996                         }
3997                 }
3998                 else {
3999                         if (IsEmptyStr(ret->display_recp)) {
4000                                 strcpy(append, this_recp);
4001                         }
4002                         else {
4003                                 snprintf(append, sizeof append, ", %s", this_recp);
4004                         }
4005                         if ( (strlen(ret->display_recp)+strlen(append)) < SIZ) {
4006                                 strcat(ret->display_recp, append);
4007                         }
4008                 }
4009         }
4010
4011         if ((ret->num_local + ret->num_internet + ret->num_ignet +
4012            ret->num_room + ret->num_error) == 0) {
4013                 ret->num_error = (-1);
4014                 strcpy(ret->errormsg, "No recipients specified.");
4015         }
4016
4017         syslog(LOG_DEBUG, "validate_recipients()\n");
4018         syslog(LOG_DEBUG, " local: %d <%s>\n", ret->num_local, ret->recp_local);
4019         syslog(LOG_DEBUG, "  room: %d <%s>\n", ret->num_room, ret->recp_room);
4020         syslog(LOG_DEBUG, "  inet: %d <%s>\n", ret->num_internet, ret->recp_internet);
4021         syslog(LOG_DEBUG, " ignet: %d <%s>\n", ret->num_ignet, ret->recp_ignet);
4022         syslog(LOG_DEBUG, " error: %d <%s>\n", ret->num_error, ret->errormsg);
4023
4024         free(recipients);
4025         return(ret);
4026 }
4027
4028
4029 /*
4030  * Destructor for struct recptypes
4031  */
4032 void free_recipients(struct recptypes *valid) {
4033
4034         if (valid == NULL) {
4035                 return;
4036         }
4037
4038         if (valid->recptypes_magic != RECPTYPES_MAGIC) {
4039                 syslog(LOG_EMERG, "Attempt to call free_recipients() on some other data type!\n");
4040                 abort();
4041         }
4042
4043         if (valid->errormsg != NULL)            free(valid->errormsg);
4044         if (valid->recp_local != NULL)          free(valid->recp_local);
4045         if (valid->recp_internet != NULL)       free(valid->recp_internet);
4046         if (valid->recp_ignet != NULL)          free(valid->recp_ignet);
4047         if (valid->recp_room != NULL)           free(valid->recp_room);
4048         if (valid->display_recp != NULL)        free(valid->display_recp);
4049         if (valid->bounce_to != NULL)           free(valid->bounce_to);
4050         if (valid->envelope_from != NULL)       free(valid->envelope_from);
4051         free(valid);
4052 }
4053
4054
4055
4056 /*
4057  * message entry  -  mode 0 (normal)
4058  */
4059 void cmd_ent0(char *entargs)
4060 {
4061         int post = 0;
4062         char recp[SIZ];
4063         char cc[SIZ];
4064         char bcc[SIZ];
4065         char supplied_euid[128];
4066         int anon_flag = 0;
4067         int format_type = 0;
4068         char newusername[256];
4069         char newuseremail[256];
4070         struct CtdlMessage *msg;
4071         int anonymous = 0;
4072         char errmsg[SIZ];
4073         int err = 0;
4074         struct recptypes *valid = NULL;
4075         struct recptypes *valid_to = NULL;
4076         struct recptypes *valid_cc = NULL;
4077         struct recptypes *valid_bcc = NULL;
4078         char subject[SIZ];
4079         int subject_required = 0;
4080         int do_confirm = 0;
4081         long msgnum;
4082         int i, j;
4083         char buf[256];
4084         int newuseremail_ok = 0;
4085         char references[SIZ];
4086         char *ptr;
4087
4088         unbuffer_output();
4089
4090         post = extract_int(entargs, 0);
4091         extract_token(recp, entargs, 1, '|', sizeof recp);
4092         anon_flag = extract_int(entargs, 2);
4093         format_type = extract_int(entargs, 3);
4094         extract_token(subject, entargs, 4, '|', sizeof subject);
4095         extract_token(newusername, entargs, 5, '|', sizeof newusername);
4096         do_confirm = extract_int(entargs, 6);
4097         extract_token(cc, entargs, 7, '|', sizeof cc);
4098         extract_token(bcc, entargs, 8, '|', sizeof bcc);
4099         switch(CC->room.QRdefaultview) {
4100                 case VIEW_NOTES:
4101                 case VIEW_WIKI:
4102                         extract_token(supplied_euid, entargs, 9, '|', sizeof supplied_euid);
4103                         break;
4104                 default:
4105                         supplied_euid[0] = 0;
4106                         break;
4107         }
4108         extract_token(newuseremail, entargs, 10, '|', sizeof newuseremail);
4109         extract_token(references, entargs, 11, '|', sizeof references);
4110         for (ptr=references; *ptr != 0; ++ptr) {
4111                 if (*ptr == '!') *ptr = '|';
4112         }
4113
4114         /* first check to make sure the request is valid. */
4115
4116         err = CtdlDoIHavePermissionToPostInThisRoom(
4117                 errmsg,
4118                 sizeof errmsg,
4119                 NULL,
4120                 POST_LOGGED_IN,
4121                 (!IsEmptyStr(references))               /* is this a reply?  or a top-level post? */
4122         );
4123         if (err)
4124         {
4125                 cprintf("%d %s\n", err, errmsg);
4126                 return;
4127         }
4128
4129         /* Check some other permission type things. */
4130
4131         if (IsEmptyStr(newusername)) {
4132                 strcpy(newusername, CC->user.fullname);
4133         }
4134         if (  (CC->user.axlevel < AxAideU)
4135            && (strcasecmp(newusername, CC->user.fullname))
4136            && (strcasecmp(newusername, CC->cs_inet_fn))
4137         ) {
4138                 cprintf("%d You don't have permission to author messages as '%s'.\n",
4139                         ERROR + HIGHER_ACCESS_REQUIRED,
4140                         newusername
4141                 );
4142                 return;
4143         }
4144
4145
4146         if (IsEmptyStr(newuseremail)) {
4147                 newuseremail_ok = 1;
4148         }
4149
4150         if (!IsEmptyStr(newuseremail)) {
4151                 if (!strcasecmp(newuseremail, CC->cs_inet_email)) {
4152                         newuseremail_ok = 1;
4153                 }
4154                 else if (!IsEmptyStr(CC->cs_inet_other_emails)) {
4155                         j = num_tokens(CC->cs_inet_other_emails, '|');
4156                         for (i=0; i<j; ++i) {
4157                                 extract_token(buf, CC->cs_inet_other_emails, i, '|', sizeof buf);
4158                                 if (!strcasecmp(newuseremail, buf)) {
4159                                         newuseremail_ok = 1;
4160                                 }
4161                         }
4162                 }
4163         }
4164
4165         if (!newuseremail_ok) {
4166                 cprintf("%d You don't have permission to author messages as '%s'.\n",
4167                         ERROR + HIGHER_ACCESS_REQUIRED,
4168                         newuseremail
4169                 );
4170                 return;
4171         }
4172
4173         CC->cs_flags |= CS_POSTING;
4174
4175         /* In mailbox rooms we have to behave a little differently --
4176          * make sure the user has specified at least one recipient.  Then
4177          * validate the recipient(s).  We do this for the Mail> room, as
4178          * well as any room which has the "Mailbox" view set - unless it
4179          * is the DRAFTS room which does not require recipients
4180          */
4181
4182         if ( (  ( (CC->room.QRflags & QR_MAILBOX) && (!strcasecmp(&CC->room.QRname[11], MAILROOM)) )
4183              || ( (CC->room.QRflags & QR_MAILBOX) && (CC->curr_view == VIEW_MAILBOX) )
4184         ) && (strcasecmp(&CC->room.QRname[11], USERDRAFTROOM)) !=0 ) {
4185                 if (CC->user.axlevel < AxProbU) {
4186                         strcpy(recp, "sysop");
4187                         strcpy(cc, "");
4188                         strcpy(bcc, "");
4189                 }
4190
4191                 valid_to = validate_recipients(recp, NULL, 0);
4192                 if (valid_to->num_error > 0) {
4193                         cprintf("%d %s\n", ERROR + NO_SUCH_USER, valid_to->errormsg);
4194                         free_recipients(valid_to);
4195                         return;
4196                 }
4197
4198                 valid_cc = validate_recipients(cc, NULL, 0);
4199                 if (valid_cc->num_error > 0) {
4200                         cprintf("%d %s\n", ERROR + NO_SUCH_USER, valid_cc->errormsg);
4201                         free_recipients(valid_to);
4202                         free_recipients(valid_cc);
4203                         return;
4204                 }
4205
4206                 valid_bcc = validate_recipients(bcc, NULL, 0);
4207                 if (valid_bcc->num_error > 0) {
4208                         cprintf("%d %s\n", ERROR + NO_SUCH_USER, valid_bcc->errormsg);
4209                         free_recipients(valid_to);
4210                         free_recipients(valid_cc);
4211                         free_recipients(valid_bcc);
4212                         return;
4213                 }
4214
4215                 /* Recipient required, but none were specified */
4216                 if ( (valid_to->num_error < 0) && (valid_cc->num_error < 0) && (valid_bcc->num_error < 0) ) {
4217                         free_recipients(valid_to);
4218                         free_recipients(valid_cc);
4219                         free_recipients(valid_bcc);
4220                         cprintf("%d At least one recipient is required.\n", ERROR + NO_SUCH_USER);
4221                         return;
4222                 }
4223
4224                 if (valid_to->num_internet + valid_cc->num_internet + valid_bcc->num_internet > 0) {
4225                         if (CtdlCheckInternetMailPermission(&CC->user)==0) {
4226                                 cprintf("%d You do not have permission "
4227                                         "to send Internet mail.\n",
4228                                         ERROR + HIGHER_ACCESS_REQUIRED);
4229                                 free_recipients(valid_to);
4230                                 free_recipients(valid_cc);
4231                                 free_recipients(valid_bcc);
4232                                 return;
4233                         }
4234                 }
4235
4236                 if ( ( (valid_to->num_internet + valid_to->num_ignet + valid_cc->num_internet + valid_cc->num_ignet + valid_bcc->num_internet + valid_bcc->num_ignet) > 0)
4237                    && (CC->user.axlevel < AxNetU) ) {
4238                         cprintf("%d Higher access required for network mail.\n",
4239                                 ERROR + HIGHER_ACCESS_REQUIRED);
4240                         free_recipients(valid_to);
4241                         free_recipients(valid_cc);
4242                         free_recipients(valid_bcc);
4243                         return;
4244                 }
4245
4246                 if ((RESTRICT_INTERNET == 1)
4247                     && (valid_to->num_internet + valid_cc->num_internet + valid_bcc->num_internet > 0)
4248                     && ((CC->user.flags & US_INTERNET) == 0)
4249                     && (!CC->internal_pgm)) {
4250                         cprintf("%d You don't have access to Internet mail.\n",
4251                                 ERROR + HIGHER_ACCESS_REQUIRED);
4252                         free_recipients(valid_to);
4253                         free_recipients(valid_cc);
4254                         free_recipients(valid_bcc);
4255                         return;
4256                 }
4257
4258         }
4259
4260         /* Is this a room which has anonymous-only or anonymous-option? */
4261         anonymous = MES_NORMAL;
4262         if (CC->room.QRflags & QR_ANONONLY) {
4263                 anonymous = MES_ANONONLY;
4264         }
4265         if (CC->room.QRflags & QR_ANONOPT) {
4266                 if (anon_flag == 1) {   /* only if the user requested it */
4267                         anonymous = MES_ANONOPT;
4268                 }
4269         }
4270
4271         if ((CC->room.QRflags & QR_MAILBOX) == 0) {
4272                 recp[0] = 0;
4273         }
4274
4275         /* Recommend to the client that the use of a message subject is
4276          * strongly recommended in this room, if either the SUBJECTREQ flag
4277          * is set, or if there is one or more Internet email recipients.
4278          */
4279         if (CC->room.QRflags2 & QR2_SUBJECTREQ) subject_required = 1;
4280         if ((valid_to)  && (valid_to->num_internet > 0))        subject_required = 1;
4281         if ((valid_cc)  && (valid_cc->num_internet > 0))        subject_required = 1;
4282         if ((valid_bcc) && (valid_bcc->num_internet > 0))       subject_required = 1;
4283
4284         /* If we're only checking the validity of the request, return
4285          * success without creating the message.
4286          */
4287         if (post == 0) {
4288                 cprintf("%d %s|%d\n", CIT_OK,
4289                         ((valid_to != NULL) ? valid_to->display_recp : ""),
4290                         subject_required);
4291                 free_recipients(valid_to);
4292                 free_recipients(valid_cc);
4293                 free_recipients(valid_bcc);
4294                 return;
4295         }
4296
4297         /* We don't need these anymore because we'll do it differently below */
4298         free_recipients(valid_to);
4299         free_recipients(valid_cc);
4300         free_recipients(valid_bcc);
4301
4302         /* Read in the message from the client. */
4303         if (do_confirm) {
4304                 cprintf("%d send message\n", START_CHAT_MODE);
4305         } else {
4306                 cprintf("%d send message\n", SEND_LISTING);
4307         }
4308
4309         msg = CtdlMakeMessage(&CC->user, recp, cc,
4310                 CC->room.QRname, anonymous, format_type,
4311                 newusername, newuseremail, subject,
4312                 ((!IsEmptyStr(supplied_euid)) ? supplied_euid : NULL),
4313                 NULL, references);
4314
4315         /* Put together one big recipients struct containing to/cc/bcc all in
4316          * one.  This is for the envelope.
4317          */
4318         char *all_recps = malloc(SIZ * 3);
4319         strcpy(all_recps, recp);
4320         if (!IsEmptyStr(cc)) {
4321                 if (!IsEmptyStr(all_recps)) {
4322                         strcat(all_recps, ",");
4323                 }
4324                 strcat(all_recps, cc);
4325         }
4326         if (!IsEmptyStr(bcc)) {
4327                 if (!IsEmptyStr(all_recps)) {
4328                         strcat(all_recps, ",");
4329                 }
4330                 strcat(all_recps, bcc);
4331         }
4332         if (!IsEmptyStr(all_recps)) {
4333                 valid = validate_recipients(all_recps, NULL, 0);
4334         }
4335         else {
4336                 valid = NULL;
4337         }
4338         free(all_recps);
4339
4340         if (msg != NULL) {
4341                 msgnum = CtdlSubmitMsg(msg, valid, "", QP_EADDR);
4342
4343                 if (do_confirm) {
4344                         cprintf("%ld\n", msgnum);
4345                         if (msgnum >= 0L) {
4346                                 cprintf("Message accepted.\n");
4347                         }
4348                         else {
4349                                 cprintf("Internal error.\n");
4350                         }
4351                         if (msg->cm_fields['E'] != NULL) {
4352                                 cprintf("%s\n", msg->cm_fields['E']);
4353                         } else {
4354                                 cprintf("\n");
4355                         }
4356                         cprintf("000\n");
4357                 }
4358
4359                 CtdlFreeMessage(msg);
4360         }
4361         if (valid != NULL) {
4362                 free_recipients(valid);
4363         }
4364         return;
4365 }
4366
4367
4368
4369 /*
4370  * API function to delete messages which match a set of criteria
4371  * (returns the actual number of messages deleted)
4372  */
4373 int CtdlDeleteMessages(char *room_name,         /* which room */
4374                         long *dmsgnums,         /* array of msg numbers to be deleted */
4375                         int num_dmsgnums,       /* number of msgs to be deleted, or 0 for "any" */
4376                         char *content_type      /* or "" for any.  regular expressions expected. */
4377 )
4378 {
4379         struct ctdlroom qrbuf;
4380         struct cdbdata *cdbfr;
4381         long *msglist = NULL;
4382         long *dellist = NULL;
4383         int num_msgs = 0;
4384         int i, j;
4385         int num_deleted = 0;
4386         int delete_this;
4387         struct MetaData smi;
4388         regex_t re;
4389         regmatch_t pm;
4390         int need_to_free_re = 0;
4391
4392         if (content_type) if (!IsEmptyStr(content_type)) {
4393                 regcomp(&re, content_type, 0);
4394                 need_to_free_re = 1;
4395         }
4396         syslog(LOG_DEBUG, "CtdlDeleteMessages(%s, %d msgs, %s)\n",
4397                 room_name, num_dmsgnums, content_type);
4398
4399         /* get room record, obtaining a lock... */
4400         if (CtdlGetRoomLock(&qrbuf, room_name) != 0) {
4401                 syslog(LOG_ERR, "CtdlDeleteMessages(): Room <%s> not found\n",
4402                         room_name);
4403                 if (need_to_free_re) regfree(&re);
4404                 return (0);     /* room not found */
4405         }
4406         cdbfr = cdb_fetch(CDB_MSGLISTS, &qrbuf.QRnumber, sizeof(long));
4407
4408         if (cdbfr != NULL) {
4409                 dellist = malloc(cdbfr->len);
4410                 msglist = (long *) cdbfr->ptr;
4411                 cdbfr->ptr = NULL;      /* CtdlDeleteMessages() now owns this memory */
4412                 num_msgs = cdbfr->len / sizeof(long);
4413                 cdb_free(cdbfr);
4414         }
4415         if (num_msgs > 0) {
4416                 for (i = 0; i < num_msgs; ++i) {
4417                         delete_this = 0x00;
4418
4419                         /* Set/clear a bit for each criterion */
4420
4421                         /* 0 messages in the list or a null list means that we are
4422                          * interested in deleting any messages which meet the other criteria.
4423                          */
4424                         if ((num_dmsgnums == 0) || (dmsgnums == NULL)) {
4425                                 delete_this |= 0x01;
4426                         }
4427                         else {
4428                                 for (j=0; j<num_dmsgnums; ++j) {
4429                                         if (msglist[i] == dmsgnums[j]) {
4430                                                 delete_this |= 0x01;
4431                                         }
4432                                 }
4433                         }
4434
4435                         if (IsEmptyStr(content_type)) {
4436                                 delete_this |= 0x02;
4437                         } else {
4438                                 GetMetaData(&smi, msglist[i]);
4439                                 if (regexec(&re, smi.meta_content_type, 1, &pm, 0) == 0) {
4440                                         delete_this |= 0x02;
4441                                 }
4442                         }
4443
4444                         /* Delete message only if all bits are set */
4445                         if (delete_this == 0x03) {
4446                                 dellist[num_deleted++] = msglist[i];
4447                                 msglist[i] = 0L;
4448                         }
4449                 }
4450
4451                 num_msgs = sort_msglist(msglist, num_msgs);
4452                 cdb_store(CDB_MSGLISTS, &qrbuf.QRnumber, (int)sizeof(long),
4453                           msglist, (int)(num_msgs * sizeof(long)));
4454
4455                 if (num_msgs > 0)
4456                         qrbuf.QRhighest = msglist[num_msgs - 1];
4457                 else
4458                         qrbuf.QRhighest = 0;
4459         }
4460         CtdlPutRoomLock(&qrbuf);
4461
4462         /* Go through the messages we pulled out of the index, and decrement
4463          * their reference counts by 1.  If this is the only room the message
4464          * was in, the reference count will reach zero and the message will
4465          * automatically be deleted from the database.  We do this in a
4466          * separate pass because there might be plug-in hooks getting called,
4467          * and we don't want that happening during an S_ROOMS critical
4468          * section.
4469          */
4470         if (num_deleted) for (i=0; i<num_deleted; ++i) {
4471                 PerformDeleteHooks(qrbuf.QRname, dellist[i]);
4472                 AdjRefCount(dellist[i], -1);
4473         }
4474
4475         /* Now free the memory we used, and go away. */
4476         if (msglist != NULL) free(msglist);
4477         if (dellist != NULL) free(dellist);
4478         syslog(LOG_DEBUG, "%d message(s) deleted.\n", num_deleted);
4479         if (need_to_free_re) regfree(&re);
4480         return (num_deleted);
4481 }
4482
4483
4484
4485 /*
4486  * Check whether the current user has permission to delete messages from
4487  * the current room (returns 1 for yes, 0 for no)
4488  */
4489 int CtdlDoIHavePermissionToDeleteMessagesFromThisRoom(void) {
4490         int ra;
4491         CtdlRoomAccess(&CC->room, &CC->user, &ra, NULL);
4492         if (ra & UA_DELETEALLOWED) return(1);
4493         return(0);
4494 }
4495
4496
4497
4498
4499 /*
4500  * Delete message from current room
4501  */
4502 void cmd_dele(char *args)
4503 {
4504         int num_deleted;
4505         int i;
4506         char msgset[SIZ];
4507         char msgtok[32];
4508         long *msgs;
4509         int num_msgs = 0;
4510
4511         extract_token(msgset, args, 0, '|', sizeof msgset);
4512         num_msgs = num_tokens(msgset, ',');
4513         if (num_msgs < 1) {
4514                 cprintf("%d Nothing to do.\n", CIT_OK);
4515                 return;
4516         }
4517
4518         if (CtdlDoIHavePermissionToDeleteMessagesFromThisRoom() == 0) {
4519                 cprintf("%d Higher access required.\n",
4520                         ERROR + HIGHER_ACCESS_REQUIRED);
4521                 return;
4522         }
4523
4524         /*
4525          * Build our message set to be moved/copied
4526          */
4527         msgs = malloc(num_msgs * sizeof(long));
4528         for (i=0; i<num_msgs; ++i) {
4529                 extract_token(msgtok, msgset, i, ',', sizeof msgtok);
4530                 msgs[i] = atol(msgtok);
4531         }
4532
4533         num_deleted = CtdlDeleteMessages(CC->room.QRname, msgs, num_msgs, "");
4534         free(msgs);
4535
4536         if (num_deleted) {
4537                 cprintf("%d %d message%s deleted.\n", CIT_OK,
4538                         num_deleted, ((num_deleted != 1) ? "s" : ""));
4539         } else {
4540                 cprintf("%d Message not found.\n", ERROR + MESSAGE_NOT_FOUND);
4541         }
4542 }
4543
4544
4545
4546
4547 /*
4548  * move or copy a message to another room
4549  */
4550 void cmd_move(char *args)
4551 {
4552         char msgset[SIZ];
4553         char msgtok[32];
4554         long *msgs;
4555         int num_msgs = 0;
4556
4557         char targ[ROOMNAMELEN];
4558         struct ctdlroom qtemp;
4559         int err;
4560         int is_copy = 0;
4561         int ra;
4562         int permit = 0;
4563         int i;
4564
4565         extract_token(msgset, args, 0, '|', sizeof msgset);
4566         num_msgs = num_tokens(msgset, ',');
4567         if (num_msgs < 1) {
4568                 cprintf("%d Nothing to do.\n", CIT_OK);
4569                 return;
4570         }
4571
4572         extract_token(targ, args, 1, '|', sizeof targ);
4573         convert_room_name_macros(targ, sizeof targ);
4574         targ[ROOMNAMELEN - 1] = 0;
4575         is_copy = extract_int(args, 2);
4576
4577         if (CtdlGetRoom(&qtemp, targ) != 0) {
4578                 cprintf("%d '%s' does not exist.\n", ERROR + ROOM_NOT_FOUND, targ);
4579                 return;
4580         }
4581
4582         if (!strcasecmp(qtemp.QRname, CC->room.QRname)) {
4583                 cprintf("%d Source and target rooms are the same.\n", ERROR + ALREADY_EXISTS);
4584                 return;
4585         }
4586
4587         CtdlGetUser(&CC->user, CC->curr_user);
4588         CtdlRoomAccess(&qtemp, &CC->user, &ra, NULL);
4589
4590         /* Check for permission to perform this operation.
4591          * Remember: "CC->room" is source, "qtemp" is target.
4592          */
4593         permit = 0;
4594
4595         /* Aides can move/copy */
4596         if (CC->user.axlevel >= AxAideU) permit = 1;
4597
4598         /* Room aides can move/copy */
4599         if (CC->user.usernum == CC->room.QRroomaide) permit = 1;
4600
4601         /* Permit move/copy from personal rooms */
4602         if ((CC->room.QRflags & QR_MAILBOX)
4603            && (qtemp.QRflags & QR_MAILBOX)) permit = 1;
4604
4605         /* Permit only copy from public to personal room */
4606         if ( (is_copy)
4607            && (!(CC->room.QRflags & QR_MAILBOX))
4608            && (qtemp.QRflags & QR_MAILBOX)) permit = 1;
4609
4610         /* Permit message removal from collaborative delete rooms */
4611         if (CC->room.QRflags2 & QR2_COLLABDEL) permit = 1;
4612
4613         /* Users allowed to post into the target room may move into it too. */
4614         if ((CC->room.QRflags & QR_MAILBOX) &&
4615             (qtemp.QRflags & UA_POSTALLOWED))  permit = 1;
4616
4617         /* User must have access to target room */
4618         if (!(ra & UA_KNOWN))  permit = 0;
4619
4620         if (!permit) {
4621                 cprintf("%d Higher access required.\n",
4622                         ERROR + HIGHER_ACCESS_REQUIRED);
4623                 return;
4624         }
4625
4626         /*
4627          * Build our message set to be moved/copied
4628          */
4629         msgs = malloc(num_msgs * sizeof(long));
4630         for (i=0; i<num_msgs; ++i) {
4631                 extract_token(msgtok, msgset, i, ',', sizeof msgtok);
4632                 msgs[i] = atol(msgtok);
4633         }
4634
4635         /*
4636          * Do the copy
4637          */
4638         err = CtdlSaveMsgPointersInRoom(targ, msgs, num_msgs, 1, NULL, 0);
4639         if (err != 0) {
4640                 cprintf("%d Cannot store message(s) in %s: error %d\n",
4641                         err, targ, err);
4642                 free(msgs);
4643                 return;
4644         }
4645
4646         /* Now delete the message from the source room,
4647          * if this is a 'move' rather than a 'copy' operation.
4648          */
4649         if (is_copy == 0) {
4650                 CtdlDeleteMessages(CC->room.QRname, msgs, num_msgs, "");
4651         }
4652         free(msgs);
4653
4654         cprintf("%d Message(s) %s.\n", CIT_OK, (is_copy ? "copied" : "moved") );
4655 }
4656
4657
4658
4659 /*
4660  * GetMetaData()  -  Get the supplementary record for a message
4661  */
4662 void GetMetaData(struct MetaData *smibuf, long msgnum)
4663 {
4664
4665         struct cdbdata *cdbsmi;
4666         long TheIndex;
4667
4668         memset(smibuf, 0, sizeof(struct MetaData));
4669         smibuf->meta_msgnum = msgnum;
4670         smibuf->meta_refcount = 1;      /* Default reference count is 1 */
4671
4672         /* Use the negative of the message number for its supp record index */
4673         TheIndex = (0L - msgnum);
4674
4675         cdbsmi = cdb_fetch(CDB_MSGMAIN, &TheIndex, sizeof(long));
4676         if (cdbsmi == NULL) {
4677                 return;         /* record not found; go with defaults */
4678         }
4679         memcpy(smibuf, cdbsmi->ptr,
4680                ((cdbsmi->len > sizeof(struct MetaData)) ?
4681                 sizeof(struct MetaData) : cdbsmi->len));
4682         cdb_free(cdbsmi);
4683         return;
4684 }
4685
4686
4687 /*
4688  * PutMetaData()  -  (re)write supplementary record for a message
4689  */
4690 void PutMetaData(struct MetaData *smibuf)
4691 {
4692         long TheIndex;
4693
4694         /* Use the negative of the message number for the metadata db index */
4695         TheIndex = (0L - smibuf->meta_msgnum);
4696
4697         cdb_store(CDB_MSGMAIN,
4698                   &TheIndex, (int)sizeof(long),
4699                   smibuf, (int)sizeof(struct MetaData));
4700
4701 }
4702
4703 /*
4704  * AdjRefCount  -  submit an adjustment to the reference count for a message.
4705  *                 (These are just queued -- we actually process them later.)
4706  */
4707 void AdjRefCount(long msgnum, int incr)
4708 {
4709         struct arcq new_arcq;
4710         int rv = 0;
4711
4712         syslog(LOG_DEBUG, "AdjRefCount() msg %ld ref count delta %+d\n",
4713                 msgnum, incr
4714         );
4715
4716         begin_critical_section(S_SUPPMSGMAIN);
4717         if (arcfp == NULL) {
4718                 arcfp = fopen(file_arcq, "ab+");
4719         }
4720         end_critical_section(S_SUPPMSGMAIN);
4721
4722         /* msgnum < 0 means that we're trying to close the file */
4723         if (msgnum < 0) {
4724                 syslog(LOG_DEBUG, "Closing the AdjRefCount queue file\n");
4725                 begin_critical_section(S_SUPPMSGMAIN);
4726                 if (arcfp != NULL) {
4727                         fclose(arcfp);
4728                         arcfp = NULL;
4729                 }
4730                 end_critical_section(S_SUPPMSGMAIN);
4731                 return;
4732         }
4733
4734         /*
4735          * If we can't open the queue, perform the operation synchronously.
4736          */
4737         if (arcfp == NULL) {
4738                 TDAP_AdjRefCount(msgnum, incr);
4739                 return;
4740         }
4741
4742         new_arcq.arcq_msgnum = msgnum;
4743         new_arcq.arcq_delta = incr;
4744         rv = fwrite(&new_arcq, sizeof(struct arcq), 1, arcfp);
4745         fflush(arcfp);
4746
4747         return;
4748 }
4749
4750
4751 /*
4752  * TDAP_ProcessAdjRefCountQueue()
4753  *
4754  * Process the queue of message count adjustments that was created by calls
4755  * to AdjRefCount() ... by reading the queue and calling TDAP_AdjRefCount()
4756  * for each one.  This should be an "off hours" operation.
4757  */
4758 int TDAP_ProcessAdjRefCountQueue(void)
4759 {
4760         char file_arcq_temp[PATH_MAX];
4761         int r;
4762         FILE *fp;
4763         struct arcq arcq_rec;
4764         int num_records_processed = 0;
4765
4766         snprintf(file_arcq_temp, sizeof file_arcq_temp, "%s.%04x", file_arcq, rand());
4767
4768         begin_critical_section(S_SUPPMSGMAIN);
4769         if (arcfp != NULL) {
4770                 fclose(arcfp);
4771                 arcfp = NULL;
4772         }
4773
4774         r = link(file_arcq, file_arcq_temp);
4775         if (r != 0) {
4776                 syslog(LOG_CRIT, "%s: %s\n", file_arcq_temp, strerror(errno));
4777                 end_critical_section(S_SUPPMSGMAIN);
4778                 return(num_records_processed);
4779         }
4780
4781         unlink(file_arcq);
4782         end_critical_section(S_SUPPMSGMAIN);
4783
4784         fp = fopen(file_arcq_temp, "rb");
4785         if (fp == NULL) {
4786                 syslog(LOG_CRIT, "%s: %s\n", file_arcq_temp, strerror(errno));
4787                 return(num_records_processed);
4788         }
4789
4790         while (fread(&arcq_rec, sizeof(struct arcq), 1, fp) == 1) {
4791                 TDAP_AdjRefCount(arcq_rec.arcq_msgnum, arcq_rec.arcq_delta);
4792                 ++num_records_processed;
4793         }
4794
4795         fclose(fp);
4796         r = unlink(file_arcq_temp);
4797         if (r != 0) {
4798                 syslog(LOG_CRIT, "%s: %s\n", file_arcq_temp, strerror(errno));
4799         }
4800
4801         return(num_records_processed);
4802 }
4803
4804
4805
4806 /*
4807  * TDAP_AdjRefCount  -  adjust the reference count for a message.
4808  *                      This one does it "for real" because it's called by
4809  *                      the autopurger function that processes the queue
4810  *                      created by AdjRefCount().   If a message's reference
4811  *                      count becomes zero, we also delete the message from
4812  *                      disk and de-index it.
4813  */
4814 void TDAP_AdjRefCount(long msgnum, int incr)
4815 {
4816
4817         struct MetaData smi;
4818         long delnum;
4819
4820         /* This is a *tight* critical section; please keep it that way, as
4821          * it may get called while nested in other critical sections.
4822          * Complicating this any further will surely cause deadlock!
4823          */
4824         begin_critical_section(S_SUPPMSGMAIN);
4825         GetMetaData(&smi, msgnum);
4826         smi.meta_refcount += incr;
4827         PutMetaData(&smi);
4828         end_critical_section(S_SUPPMSGMAIN);
4829         syslog(LOG_DEBUG, "TDAP_AdjRefCount() msg %ld ref count delta %+d, is now %d\n",
4830                 msgnum, incr, smi.meta_refcount
4831         );
4832
4833         /* If the reference count is now zero, delete the message
4834          * (and its supplementary record as well).
4835          */
4836         if (smi.meta_refcount == 0) {
4837                 syslog(LOG_DEBUG, "Deleting message <%ld>\n", msgnum);
4838
4839                 /* Call delete hooks with NULL room to show it has gone altogether */
4840                 PerformDeleteHooks(NULL, msgnum);
4841
4842                 /* Remove from message base */
4843                 delnum = msgnum;
4844                 cdb_delete(CDB_MSGMAIN, &delnum, (int)sizeof(long));
4845                 cdb_delete(CDB_BIGMSGS, &delnum, (int)sizeof(long));
4846
4847                 /* Remove metadata record */
4848                 delnum = (0L - msgnum);
4849                 cdb_delete(CDB_MSGMAIN, &delnum, (int)sizeof(long));
4850         }
4851
4852 }
4853
4854 /*
4855  * Write a generic object to this room
4856  *
4857  * Note: this could be much more efficient.  Right now we use two temporary
4858  * files, and still pull the message into memory as with all others.
4859  */
4860 void CtdlWriteObject(char *req_room,                    /* Room to stuff it in */
4861                         char *content_type,             /* MIME type of this object */
4862                         char *raw_message,              /* Data to be written */
4863                         off_t raw_length,               /* Size of raw_message */
4864                         struct ctdluser *is_mailbox,    /* Mailbox room? */
4865                         int is_binary,                  /* Is encoding necessary? */
4866                         int is_unique,                  /* Del others of this type? */
4867                         unsigned int flags              /* Internal save flags */
4868                         )
4869 {
4870
4871         struct ctdlroom qrbuf;
4872         char roomname[ROOMNAMELEN];
4873         struct CtdlMessage *msg;
4874         char *encoded_message = NULL;
4875
4876         if (is_mailbox != NULL) {
4877                 CtdlMailboxName(roomname, sizeof roomname, is_mailbox, req_room);
4878         }
4879         else {
4880                 safestrncpy(roomname, req_room, sizeof(roomname));
4881         }
4882
4883         syslog(LOG_DEBUG, "Raw length is %ld\n", (long)raw_length);
4884
4885         if (is_binary) {
4886                 encoded_message = malloc((size_t) (((raw_length * 134) / 100) + 4096 ) );
4887         }
4888         else {
4889                 encoded_message = malloc((size_t)(raw_length + 4096));
4890         }
4891
4892         sprintf(encoded_message, "Content-type: %s\n", content_type);
4893
4894         if (is_binary) {
4895                 sprintf(&encoded_message[strlen(encoded_message)],
4896                         "Content-transfer-encoding: base64\n\n"
4897                 );
4898         }
4899         else {
4900                 sprintf(&encoded_message[strlen(encoded_message)],
4901                         "Content-transfer-encoding: 7bit\n\n"
4902                 );
4903         }
4904
4905         if (is_binary) {
4906                 CtdlEncodeBase64(
4907                         &encoded_message[strlen(encoded_message)],
4908                         raw_message,
4909                         (int)raw_length,
4910                         0
4911                 );
4912         }
4913         else {
4914                 memcpy(
4915                         &encoded_message[strlen(encoded_message)],
4916                         raw_message,
4917                         (int)(raw_length+1)
4918                 );
4919         }
4920
4921         syslog(LOG_DEBUG, "Allocating\n");
4922         msg = malloc(sizeof(struct CtdlMessage));
4923         memset(msg, 0, sizeof(struct CtdlMessage));
4924         msg->cm_magic = CTDLMESSAGE_MAGIC;
4925         msg->cm_anon_type = MES_NORMAL;
4926         msg->cm_format_type = 4;
4927         msg->cm_fields['A'] = strdup(CC->user.fullname);
4928         msg->cm_fields['O'] = strdup(req_room);
4929         msg->cm_fields['N'] = strdup(config.c_nodename);
4930         msg->cm_fields['H'] = strdup(config.c_humannode);
4931         msg->cm_flags = flags;
4932
4933         msg->cm_fields['M'] = encoded_message;
4934
4935         /* Create the requested room if we have to. */
4936         if (CtdlGetRoom(&qrbuf, roomname) != 0) {
4937                 CtdlCreateRoom(roomname,
4938                         ( (is_mailbox != NULL) ? 5 : 3 ),
4939                         "", 0, 1, 0, VIEW_BBS);
4940         }
4941         /* If the caller specified this object as unique, delete all
4942          * other objects of this type that are currently in the room.
4943          */
4944         if (is_unique) {
4945                 syslog(LOG_DEBUG, "Deleted %d other msgs of this type\n",
4946                         CtdlDeleteMessages(roomname, NULL, 0, content_type)
4947                 );
4948         }
4949         /* Now write the data */
4950         CtdlSubmitMsg(msg, NULL, roomname, 0);
4951         CtdlFreeMessage(msg);
4952 }
4953
4954
4955
4956
4957
4958
4959 void CtdlGetSysConfigBackend(long msgnum, void *userdata) {
4960         config_msgnum = msgnum;
4961 }
4962
4963
4964 char *CtdlGetSysConfig(char *sysconfname) {
4965         char hold_rm[ROOMNAMELEN];
4966         long msgnum;
4967         char *conf;
4968         struct CtdlMessage *msg;
4969         char buf[SIZ];
4970
4971         strcpy(hold_rm, CC->room.QRname);
4972         if (CtdlGetRoom(&CC->room, SYSCONFIGROOM) != 0) {
4973                 CtdlGetRoom(&CC->room, hold_rm);
4974                 return NULL;
4975         }
4976
4977
4978         /* We want the last (and probably only) config in this room */
4979         begin_critical_section(S_CONFIG);
4980         config_msgnum = (-1L);
4981         CtdlForEachMessage(MSGS_LAST, 1, NULL, sysconfname, NULL,
4982                 CtdlGetSysConfigBackend, NULL);
4983         msgnum = config_msgnum;
4984         end_critical_section(S_CONFIG);
4985
4986         if (msgnum < 0L) {
4987                 conf = NULL;
4988         }
4989         else {
4990                 msg = CtdlFetchMessage(msgnum, 1);
4991                 if (msg != NULL) {
4992                         conf = strdup(msg->cm_fields['M']);
4993                         CtdlFreeMessage(msg);
4994                 }
4995                 else {
4996                         conf = NULL;
4997                 }
4998         }
4999
5000         CtdlGetRoom(&CC->room, hold_rm);
5001
5002         if (conf != NULL) do {
5003                 extract_token(buf, conf, 0, '\n', sizeof buf);
5004                 strcpy(conf, &conf[strlen(buf)+1]);
5005         } while ( (!IsEmptyStr(conf)) && (!IsEmptyStr(buf)) );
5006
5007         return(conf);
5008 }
5009
5010
5011 void CtdlPutSysConfig(char *sysconfname, char *sysconfdata) {
5012         CtdlWriteObject(SYSCONFIGROOM, sysconfname, sysconfdata, (strlen(sysconfdata)+1), NULL, 0, 1, 0);
5013 }
5014
5015
5016 /*
5017  * Determine whether a given Internet address belongs to the current user
5018  */
5019 int CtdlIsMe(char *addr, int addr_buf_len)
5020 {
5021         struct recptypes *recp;
5022         int i;
5023
5024         recp = validate_recipients(addr, NULL, 0);
5025         if (recp == NULL) return(0);
5026
5027         if (recp->num_local == 0) {
5028                 free_recipients(recp);
5029                 return(0);
5030         }
5031
5032         for (i=0; i<recp->num_local; ++i) {
5033                 extract_token(addr, recp->recp_local, i, '|', addr_buf_len);
5034                 if (!strcasecmp(addr, CC->user.fullname)) {
5035                         free_recipients(recp);
5036                         return(1);
5037                 }
5038         }
5039
5040         free_recipients(recp);
5041         return(0);
5042 }
5043
5044
5045 /*
5046  * Citadel protocol command to do the same
5047  */
5048 void cmd_isme(char *argbuf) {
5049         char addr[256];
5050
5051         if (CtdlAccessCheck(ac_logged_in)) return;
5052         extract_token(addr, argbuf, 0, '|', sizeof addr);
5053
5054         if (CtdlIsMe(addr, sizeof addr)) {
5055                 cprintf("%d %s\n", CIT_OK, addr);
5056         }
5057         else {
5058                 cprintf("%d Not you.\n", ERROR + ILLEGAL_VALUE);
5059         }
5060
5061 }
5062
5063
5064 /*****************************************************************************/
5065 /*                      MODULE INITIALIZATION STUFF                          */
5066 /*****************************************************************************/
5067
5068 CTDL_MODULE_INIT(msgbase)
5069 {
5070         if (!threading) {
5071                 CtdlRegisterProtoHook(cmd_msgs, "MSGS", "Output a list of messages in the current room");
5072                 CtdlRegisterProtoHook(cmd_msg0, "MSG0", "Output a message in plain text format");
5073                 CtdlRegisterProtoHook(cmd_msg2, "MSG2", "Output a message in RFC822 format");
5074                 CtdlRegisterProtoHook(cmd_msg3, "MSG3", "Output a message in raw format (deprecated)");
5075                 CtdlRegisterProtoHook(cmd_msg4, "MSG4", "Output a message in the client's preferred format");
5076                 CtdlRegisterProtoHook(cmd_msgp, "MSGP", "Select preferred format for MSG4 output");
5077                 CtdlRegisterProtoHook(cmd_opna, "OPNA", "Open an attachment for download");
5078                 CtdlRegisterProtoHook(cmd_dlat, "DLAT", "Download an attachment");
5079                 CtdlRegisterProtoHook(cmd_ent0, "ENT0", "Enter a message");
5080                 CtdlRegisterProtoHook(cmd_dele, "DELE", "Delete a message");
5081                 CtdlRegisterProtoHook(cmd_move, "MOVE", "Move or copy a message to another room");
5082                 CtdlRegisterProtoHook(cmd_isme, "ISME", "Determine whether an email address belongs to a user");
5083         }
5084
5085         /* return our Subversion id for the Log */
5086         return "msgbase";
5087 }