citadel/msgbase.c

   1 /*
   2  * Implements the message store.
   3  *
   4  * Copyright (c) 1987-2011 by the citadel.org team
   5  *
   6  * This program is open source software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License as published by
   8  * the Free Software Foundation; either version 3 of the License, or
   9  * (at your option) any later version.
  10  *
  11  * This program is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14  * GNU General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * along with this program; if not, write to the Free Software
  18  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  19  */
  20
  21 #include "sysdep.h"
  22 #include <stdlib.h>
  23 #include <unistd.h>
  24 #include <stdio.h>
  25 #include <fcntl.h>
  26
  27 #if TIME_WITH_SYS_TIME
  28 # include <sys/time.h>
  29 # include <time.h>
  30 #else
  31 # if HAVE_SYS_TIME_H
  32 #  include <sys/time.h>
  33 # else
  34 #  include <time.h>
  35 # endif
  36 #endif
  37
  38
  39 #include <ctype.h>
  40 #include <string.h>
  41 #include <limits.h>
  42 #include <errno.h>
  43 #include <stdarg.h>
  44 #include <sys/stat.h>
  45 #include <sys/types.h>
  46 #include <regex.h>
  47 #include <libcitadel.h>
  48 #include "citadel.h"
  49 #include "server.h"
  50 #include "serv_extensions.h"
  51 #include "database.h"
  52 #include "msgbase.h"
  53 #include "support.h"
  54 #include "sysdep_decls.h"
  55 #include "citserver.h"
  56 #include "room_ops.h"
  57 #include "user_ops.h"
  58 #include "file_ops.h"
  59 #include "config.h"
  60 #include "control.h"
  61 #include "genstamp.h"
  62 #include "internet_addressing.h"
  63 #include "euidindex.h"
  64 #include "journaling.h"
  65 #include "citadel_dirs.h"
  66 #include "clientsocket.h"
  67 #include "serv_network.h"
  68 #include "threads.h"
  69
  70 #include "ctdl_module.h"
  71
  72 long config_msgnum;
  73 struct addresses_to_be_filed *atbf = NULL;
  74
  75 /* This temp file holds the queue of operations for AdjRefCount() */
  76 static FILE *arcfp = NULL;
  77
  78 /*
  79  * This really belongs in serv_network.c, but I don't know how to export
  80  * symbols between modules.
  81  */
  82 struct FilterList *filterlist = NULL;
  83
  84
  85 /*
  86  * These are the four-character field headers we use when outputting
  87  * messages in Citadel format (as opposed to RFC822 format).
  88  */
  89 char *msgkeys[] = {
  90         NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL,
  91         NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL,
  92         NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL,
  93         NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL,
  94         NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL,
  95         NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL,
  96         NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL,
  97         NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL,
  98         NULL,
  99         "from",
 100         NULL, NULL, NULL,
 101         "exti",
 102         "rfca",
 103         NULL,
 104         "hnod",
 105         "msgn",
 106         "jrnl",
 107         NULL,
 108         "list",
 109         "text",
 110         "node",
 111         "room",
 112         "path",
 113         NULL,
 114         "rcpt",
 115         "spec",
 116         "time",
 117         "subj",
 118         NULL,
 119         "wefw",
 120         NULL,
 121         "cccc",
 122         NULL
 123 };
 124
 125 /*
 126  * This function is self explanatory.
 127  * (What can I say, I'm in a weird mood today...)
 128  */
 129 void remove_any_whitespace_to_the_left_or_right_of_at_symbol(char *name)
 130 {
 131         int i;
 132
 133         for (i = 0; i < strlen(name); ++i) {
 134                 if (name[i] == '@') {
 135                         while (isspace(name[i - 1]) && i > 0) {
 136                                 strcpy(&name[i - 1], &name[i]);
 137                                 --i;
 138                         }
 139                         while (isspace(name[i + 1])) {
 140                                 strcpy(&name[i + 1], &name[i + 2]);
 141                         }
 142                 }
 143         }
 144 }
 145
 146
 147 /*
 148  * Aliasing for network mail.
 149  * (Error messages have been commented out, because this is a server.)
 150  */
 151 int alias(char *name)
 152 {                               /* process alias and routing info for mail */
 153         FILE *fp;
 154         int a, i;
 155         char aaa[SIZ], bbb[SIZ];
 156         char *ignetcfg = NULL;
 157         char *ignetmap = NULL;
 158         int at = 0;
 159         char node[64];
 160         char testnode[64];
 161         char buf[SIZ];
 162
 163         char original_name[256];
 164         safestrncpy(original_name, name, sizeof original_name);
 165
 166         striplt(name);
 167         remove_any_whitespace_to_the_left_or_right_of_at_symbol(name);
 168         stripallbut(name, '<', '>');
 169
 170         fp = fopen(file_mail_aliases, "r");
 171         if (fp == NULL) {
 172                 fp = fopen("/dev/null", "r");
 173         }
 174         if (fp == NULL) {
 175                 return (MES_ERROR);
 176         }
 177         strcpy(aaa, "");
 178         strcpy(bbb, "");
 179         while (fgets(aaa, sizeof aaa, fp) != NULL) {
 180                 while (isspace(name[0]))
 181                         strcpy(name, &name[1]);
 182                 aaa[strlen(aaa) - 1] = 0;
 183                 strcpy(bbb, "");
 184                 for (a = 0; a < strlen(aaa); ++a) {
 185                         if (aaa[a] == ',') {
 186                                 strcpy(bbb, &aaa[a + 1]);
 187                                 aaa[a] = 0;
 188                         }
 189                 }
 190                 if (!strcasecmp(name, aaa))
 191                         strcpy(name, bbb);
 192         }
 193         fclose(fp);
 194
 195         /* Hit the Global Address Book */
 196         if (CtdlDirectoryLookup(aaa, name, sizeof aaa) == 0) {
 197                 strcpy(name, aaa);
 198         }
 199
 200         if (strcasecmp(original_name, name)) {
 201                 syslog(LOG_INFO, "%s is being forwarded to %s\n", original_name, name);
 202         }
 203
 204         /* Change "user @ xxx" to "user" if xxx is an alias for this host */
 205         for (a=0; a<strlen(name); ++a) {
 206                 if (name[a] == '@') {
 207                         if (CtdlHostAlias(&name[a+1]) == hostalias_localhost) {
 208                                 name[a] = 0;
 209                                 syslog(LOG_INFO, "Changed to <%s>\n", name);
 210                         }
 211                 }
 212         }
 213
 214         /* determine local or remote type, see citadel.h */
 215         at = haschar(name, '@');
 216         if (at == 0) return(MES_LOCAL);         /* no @'s - local address */
 217         if (at > 1) return(MES_ERROR);          /* >1 @'s - invalid address */
 218         remove_any_whitespace_to_the_left_or_right_of_at_symbol(name);
 219
 220         /* figure out the delivery mode */
 221         extract_token(node, name, 1, '@', sizeof node);
 222
 223         /* If there are one or more dots in the nodename, we assume that it
 224          * is an FQDN and will attempt SMTP delivery to the Internet.
 225          */
 226         if (haschar(node, '.') > 0) {
 227                 return(MES_INTERNET);
 228         }
 229
 230         /* Otherwise we look in the IGnet maps for a valid Citadel node.
 231          * Try directly-connected nodes first...
 232          */
 233         ignetcfg = CtdlGetSysConfig(IGNETCFG);
 234         for (i=0; i<num_tokens(ignetcfg, '\n'); ++i) {
 235                 extract_token(buf, ignetcfg, i, '\n', sizeof buf);
 236                 extract_token(testnode, buf, 0, '|', sizeof testnode);
 237                 if (!strcasecmp(node, testnode)) {
 238                         free(ignetcfg);
 239                         return(MES_IGNET);
 240                 }
 241         }
 242         free(ignetcfg);
 243
 244         /*
 245          * Then try nodes that are two or more hops away.
 246          */
 247         ignetmap = CtdlGetSysConfig(IGNETMAP);
 248         for (i=0; i<num_tokens(ignetmap, '\n'); ++i) {
 249                 extract_token(buf, ignetmap, i, '\n', sizeof buf);
 250                 extract_token(testnode, buf, 0, '|', sizeof testnode);
 251                 if (!strcasecmp(node, testnode)) {
 252                         free(ignetmap);
 253                         return(MES_IGNET);
 254                 }
 255         }
 256         free(ignetmap);
 257
 258         /* If we get to this point it's an invalid node name */
 259         return (MES_ERROR);
 260 }
 261
 262
 263 /*
 264  * Back end for the MSGS command: output message number only.
 265  */
 266 void simple_listing(long msgnum, void *userdata)
 267 {
 268         cprintf("%ld\n", msgnum);
 269 }
 270
 271
 272
 273 /*
 274  * Back end for the MSGS command: output header summary.
 275  */
 276 void headers_listing(long msgnum, void *userdata)
 277 {
 278         struct CtdlMessage *msg;
 279
 280         msg = CtdlFetchMessage(msgnum, 0);
 281         if (msg == NULL) {
 282                 cprintf("%ld|0|||||\n", msgnum);
 283                 return;
 284         }
 285
 286         cprintf("%ld|%s|%s|%s|%s|%s|\n",
 287                 msgnum,
 288                 (msg->cm_fields['T'] ? msg->cm_fields['T'] : "0"),
 289                 (msg->cm_fields['A'] ? msg->cm_fields['A'] : ""),
 290                 (msg->cm_fields['N'] ? msg->cm_fields['N'] : ""),
 291                 (msg->cm_fields['F'] ? msg->cm_fields['F'] : ""),
 292                 (msg->cm_fields['U'] ? msg->cm_fields['U'] : "")
 293         );
 294         CtdlFreeMessage(msg);
 295 }
 296
 297 /*
 298  * Back end for the MSGS command: output EUID header.
 299  */
 300 void headers_euid(long msgnum, void *userdata)
 301 {
 302         struct CtdlMessage *msg;
 303
 304         msg = CtdlFetchMessage(msgnum, 0);
 305         if (msg == NULL) {
 306                 cprintf("%ld||\n", msgnum);
 307                 return;
 308         }
 309
 310         cprintf("%ld|%s|%s\n",
 311                 msgnum,
 312                 (msg->cm_fields['E'] ? msg->cm_fields['E'] : ""),
 313                 (msg->cm_fields['T'] ? msg->cm_fields['T'] : "0"));
 314         CtdlFreeMessage(msg);
 315 }
 316
 317
 318
 319
 320
 321 /* Determine if a given message matches the fields in a message template.
 322  * Return 0 for a successful match.
 323  */
 324 int CtdlMsgCmp(struct CtdlMessage *msg, struct CtdlMessage *template) {
 325         int i;
 326
 327         /* If there aren't any fields in the template, all messages will
 328          * match.
 329          */
 330         if (template == NULL) return(0);
 331
 332         /* Null messages are bogus. */
 333         if (msg == NULL) return(1);
 334
 335         for (i='A'; i<='Z'; ++i) {
 336                 if (template->cm_fields[i] != NULL) {
 337                         if (msg->cm_fields[i] == NULL) {
 338                                 /* Considered equal if temmplate is empty string */
 339                                 if (IsEmptyStr(template->cm_fields[i])) continue;
 340                                 return 1;
 341                         }
 342                         if (strcasecmp(msg->cm_fields[i],
 343                                 template->cm_fields[i])) return 1;
 344                 }
 345         }
 346
 347         /* All compares succeeded: we have a match! */
 348         return 0;
 349 }
 350
 351
 352
 353 /*
 354  * Retrieve the "seen" message list for the current room.
 355  */
 356 void CtdlGetSeen(char *buf, int which_set) {
 357         visit vbuf;
 358
 359         /* Learn about the user and room in question */
 360         CtdlGetRelationship(&vbuf, &CC->user, &CC->room);
 361
 362         if (which_set == ctdlsetseen_seen)
 363                 safestrncpy(buf, vbuf.v_seen, SIZ);
 364         if (which_set == ctdlsetseen_answered)
 365                 safestrncpy(buf, vbuf.v_answered, SIZ);
 366 }
 367
 368
 369
 370 /*
 371  * Manipulate the "seen msgs" string (or other message set strings)
 372  */
 373 void CtdlSetSeen(long *target_msgnums, int num_target_msgnums,
 374                 int target_setting, int which_set,
 375                 struct ctdluser *which_user, struct ctdlroom *which_room) {
 376         struct cdbdata *cdbfr;
 377         int i, k;
 378         int is_seen = 0;
 379         int was_seen = 0;
 380         long lo = (-1L);
 381         long hi = (-1L);
 382         visit vbuf;
 383         long *msglist;
 384         int num_msgs = 0;
 385         StrBuf *vset;
 386         StrBuf *setstr;
 387         StrBuf *lostr;
 388         StrBuf *histr;
 389         const char *pvset;
 390         char *is_set;   /* actually an array of booleans */
 391
 392         /* Don't bother doing *anything* if we were passed a list of zero messages */
 393         if (num_target_msgnums < 1) {
 394                 return;
 395         }
 396
 397         /* If no room was specified, we go with the current room. */
 398         if (!which_room) {
 399                 which_room = &CC->room;
 400         }
 401
 402         /* If no user was specified, we go with the current user. */
 403         if (!which_user) {
 404                 which_user = &CC->user;
 405         }
 406
 407         syslog(LOG_DEBUG, "CtdlSetSeen(%d msgs starting with %ld, %s, %d) in <%s>\n",
 408                 num_target_msgnums, target_msgnums[0],
 409                 (target_setting ? "SET" : "CLEAR"),
 410                 which_set,
 411                 which_room->QRname);
 412
 413         /* Learn about the user and room in question */
 414         CtdlGetRelationship(&vbuf, which_user, which_room);
 415
 416         /* Load the message list */
 417         cdbfr = cdb_fetch(CDB_MSGLISTS, &which_room->QRnumber, sizeof(long));
 418         if (cdbfr != NULL) {
 419                 msglist = (long *) cdbfr->ptr;
 420                 cdbfr->ptr = NULL;      /* CtdlSetSeen() now owns this memory */
 421                 num_msgs = cdbfr->len / sizeof(long);
 422                 cdb_free(cdbfr);
 423         } else {
 424                 return; /* No messages at all?  No further action. */
 425         }
 426
 427         is_set = malloc(num_msgs * sizeof(char));
 428         memset(is_set, 0, (num_msgs * sizeof(char)) );
 429
 430         /* Decide which message set we're manipulating */
 431         switch(which_set) {
 432         case ctdlsetseen_seen:
 433                 vset = NewStrBufPlain(vbuf.v_seen, -1);
 434                 break;
 435         case ctdlsetseen_answered:
 436                 vset = NewStrBufPlain(vbuf.v_answered, -1);
 437                 break;
 438         default:
 439                 vset = NewStrBuf();
 440         }
 441
 442
 443 #if 0   /* This is a special diagnostic section.  Do not allow it to run during normal operation. */
 444         syslog(LOG_DEBUG, "There are %d messages in the room.\n", num_msgs);
 445         for (i=0; i<num_msgs; ++i) {
 446                 if ((i > 0) && (msglist[i] <= msglist[i-1])) abort();
 447         }
 448         syslog(LOG_DEBUG, "We are twiddling %d of them.\n", num_target_msgnums);
 449         for (k=0; k<num_target_msgnums; ++k) {
 450                 if ((k > 0) && (target_msgnums[k] <= target_msgnums[k-1])) abort();
 451         }
 452 #endif
 453
 454         syslog(LOG_DEBUG, "before update: %s\n", ChrPtr(vset));
 455
 456         /* Translate the existing sequence set into an array of booleans */
 457         setstr = NewStrBuf();
 458         lostr = NewStrBuf();
 459         histr = NewStrBuf();
 460         pvset = NULL;
 461         while (StrBufExtract_NextToken(setstr, vset, &pvset, ',') >= 0) {
 462
 463                 StrBufExtract_token(lostr, setstr, 0, ':');
 464                 if (StrBufNum_tokens(setstr, ':') >= 2) {
 465                         StrBufExtract_token(histr, setstr, 1, ':');
 466                 }
 467                 else {
 468                         FlushStrBuf(histr);
 469                         StrBufAppendBuf(histr, lostr, 0);
 470                 }
 471                 lo = StrTol(lostr);
 472                 if (!strcmp(ChrPtr(histr), "*")) {
 473                         hi = LONG_MAX;
 474                 }
 475                 else {
 476                         hi = StrTol(histr);
 477                 }
 478
 479                 for (i = 0; i < num_msgs; ++i) {
 480                         if ((msglist[i] >= lo) && (msglist[i] <= hi)) {
 481                                 is_set[i] = 1;
 482                         }
 483                 }
 484         }
 485         FreeStrBuf(&setstr);
 486         FreeStrBuf(&lostr);
 487         FreeStrBuf(&histr);
 488
 489
 490         /* Now translate the array of booleans back into a sequence set */
 491         FlushStrBuf(vset);
 492         was_seen = 0;
 493         lo = (-1);
 494         hi = (-1);
 495
 496         for (i=0; i<num_msgs; ++i) {
 497                 is_seen = is_set[i];
 498
 499                 /* Apply changes */
 500                 for (k=0; k<num_target_msgnums; ++k) {
 501                         if (msglist[i] == target_msgnums[k]) {
 502                                 is_seen = target_setting;
 503                         }
 504                 }
 505
 506                 if ((was_seen == 0) && (is_seen == 1)) {
 507                         lo = msglist[i];
 508                 }
 509                 else if ((was_seen == 1) && (is_seen == 0)) {
 510                         hi = msglist[i-1];
 511
 512                         if (StrLength(vset) > 0) {
 513                                 StrBufAppendBufPlain(vset, HKEY(","), 0);
 514                         }
 515                         if (lo == hi) {
 516                                 StrBufAppendPrintf(vset, "%ld", hi);
 517                         }
 518                         else {
 519                                 StrBufAppendPrintf(vset, "%ld:%ld", lo, hi);
 520                         }
 521                 }
 522
 523                 if ((is_seen) && (i == num_msgs - 1)) {
 524                         if (StrLength(vset) > 0) {
 525                                 StrBufAppendBufPlain(vset, HKEY(","), 0);
 526                         }
 527                         if ((i==0) || (was_seen == 0)) {
 528                                 StrBufAppendPrintf(vset, "%ld", msglist[i]);
 529                         }
 530                         else {
 531                                 StrBufAppendPrintf(vset, "%ld:%ld", lo, msglist[i]);
 532                         }
 533                 }
 534
 535                 was_seen = is_seen;
 536         }
 537
 538         /*
 539          * We will have to stuff this string back into a 4096 byte buffer, so if it's
 540          * larger than that now, truncate it by removing tokens from the beginning.
 541          * The limit of 100 iterations is there to prevent an infinite loop in case
 542          * something unexpected happens.
 543          */
 544         int number_of_truncations = 0;
 545         while ( (StrLength(vset) > SIZ) && (number_of_truncations < 100) ) {
 546                 StrBufRemove_token(vset, 0, ',');
 547                 ++number_of_truncations;
 548         }
 549
 550         /*
 551          * If we're truncating the sequence set of messages marked with the 'seen' flag,
 552          * we want the earliest messages (the truncated ones) to be marked, not unmarked.
 553          * Otherwise messages at the beginning will suddenly appear to be 'unseen'.
 554          */
 555         if ( (which_set == ctdlsetseen_seen) && (number_of_truncations > 0) ) {
 556                 StrBuf *first_tok;
 557                 first_tok = NewStrBuf();
 558                 StrBufExtract_token(first_tok, vset, 0, ',');
 559                 StrBufRemove_token(vset, 0, ',');
 560
 561                 if (StrBufNum_tokens(first_tok, ':') > 1) {
 562                         StrBufRemove_token(first_tok, 0, ':');
 563                 }
 564
 565                 StrBuf *new_set;
 566                 new_set = NewStrBuf();
 567                 StrBufAppendBufPlain(new_set, HKEY("1:"), 0);
 568                 StrBufAppendBuf(new_set, first_tok, 0);
 569                 StrBufAppendBufPlain(new_set, HKEY(":"), 0);
 570                 StrBufAppendBuf(new_set, vset, 0);
 571
 572                 FreeStrBuf(&vset);
 573                 FreeStrBuf(&first_tok);
 574                 vset = new_set;
 575         }
 576
 577         syslog(LOG_DEBUG, " after update: %s\n", ChrPtr(vset));
 578
 579         /* Decide which message set we're manipulating */
 580         switch (which_set) {
 581                 case ctdlsetseen_seen:
 582                         safestrncpy(vbuf.v_seen, ChrPtr(vset), sizeof vbuf.v_seen);
 583                         break;
 584                 case ctdlsetseen_answered:
 585                         safestrncpy(vbuf.v_answered, ChrPtr(vset), sizeof vbuf.v_answered);
 586                         break;
 587         }
 588
 589         free(is_set);
 590         free(msglist);
 591         CtdlSetRelationship(&vbuf, which_user, which_room);
 592         FreeStrBuf(&vset);
 593 }
 594
 595
 596 /*
 597  * API function to perform an operation for each qualifying message in the
 598  * current room.  (Returns the number of messages processed.)
 599  */
 600 int CtdlForEachMessage(int mode, long ref, char *search_string,
 601                         char *content_type,
 602                         struct CtdlMessage *compare,
 603                         ForEachMsgCallback CallBack,
 604                         void *userdata)
 605 {
 606
 607         int a, i, j;
 608         visit vbuf;
 609         struct cdbdata *cdbfr;
 610         long *msglist = NULL;
 611         int num_msgs = 0;
 612         int num_processed = 0;
 613         long thismsg;
 614         struct MetaData smi;
 615         struct CtdlMessage *msg = NULL;
 616         int is_seen = 0;
 617         long lastold = 0L;
 618         int printed_lastold = 0;
 619         int num_search_msgs = 0;
 620         long *search_msgs = NULL;
 621         regex_t re;
 622         int need_to_free_re = 0;
 623         regmatch_t pm;
 624
 625         if ((content_type) && (!IsEmptyStr(content_type))) {
 626                 regcomp(&re, content_type, 0);
 627                 need_to_free_re = 1;
 628         }
 629
 630         /* Learn about the user and room in question */
 631         CtdlGetUser(&CC->user, CC->curr_user);
 632         CtdlGetRelationship(&vbuf, &CC->user, &CC->room);
 633
 634         /* Load the message list */
 635         cdbfr = cdb_fetch(CDB_MSGLISTS, &CC->room.QRnumber, sizeof(long));
 636         if (cdbfr == NULL) {
 637                 if (need_to_free_re) regfree(&re);
 638                 return 0;       /* No messages at all?  No further action. */
 639         }
 640
 641         msglist = (long *) cdbfr->ptr;
 642         num_msgs = cdbfr->len / sizeof(long);
 643
 644         cdbfr->ptr = NULL;      /* clear this so that cdb_free() doesn't free it */
 645         cdb_free(cdbfr);        /* we own this memory now */
 646
 647         /*
 648          * We cache the most recent msglist in order to do security checks later
 649          */
 650         if (CC->client_socket > 0) {
 651                 if (CC->cached_msglist != NULL) {
 652                         free(CC->cached_msglist);
 653                 }
 654
 655                 CC->cached_msglist = msglist;
 656                 CC->cached_num_msgs = num_msgs;
 657         }
 658
 659         /*
 660          * Now begin the traversal.
 661          */
 662         if (num_msgs > 0) for (a = 0; a < num_msgs; ++a) {
 663
 664                 /* If the caller is looking for a specific MIME type, filter
 665                  * out all messages which are not of the type requested.
 666                  */
 667                 if ((content_type != NULL) && (!IsEmptyStr(content_type))) {
 668
 669                         /* This call to GetMetaData() sits inside this loop
 670                          * so that we only do the extra database read per msg
 671                          * if we need to.  Doing the extra read all the time
 672                          * really kills the server.  If we ever need to use
 673                          * metadata for another search criterion, we need to
 674                          * move the read somewhere else -- but still be smart
 675                          * enough to only do the read if the caller has
 676                          * specified something that will need it.
 677                          */
 678                         GetMetaData(&smi, msglist[a]);
 679
 680                         /* if (strcasecmp(smi.meta_content_type, content_type)) { old non-regex way */
 681                         if (regexec(&re, smi.meta_content_type, 1, &pm, 0) != 0) {
 682                                 msglist[a] = 0L;
 683                         }
 684                 }
 685         }
 686
 687         num_msgs = sort_msglist(msglist, num_msgs);
 688
 689         /* If a template was supplied, filter out the messages which
 690          * don't match.  (This could induce some delays!)
 691          */
 692         if (num_msgs > 0) {
 693                 if (compare != NULL) {
 694                         for (a = 0; a < num_msgs; ++a) {
 695                                 msg = CtdlFetchMessage(msglist[a], 1);
 696                                 if (msg != NULL) {
 697                                         if (CtdlMsgCmp(msg, compare)) {
 698                                                 msglist[a] = 0L;
 699                                         }
 700                                         CtdlFreeMessage(msg);
 701                                 }
 702                         }
 703                 }
 704         }
 705
 706         /* If a search string was specified, get a message list from
 707          * the full text index and remove messages which aren't on both
 708          * lists.
 709          *
 710          * How this works:
 711          * Since the lists are sorted and strictly ascending, and the
 712          * output list is guaranteed to be shorter than or equal to the
 713          * input list, we overwrite the bottom of the input list.  This
 714          * eliminates the need to memmove big chunks of the list over and
 715          * over again.
 716          */
 717         if ( (num_msgs > 0) && (mode == MSGS_SEARCH) && (search_string) ) {
 718
 719                 /* Call search module via hook mechanism.
 720                  * NULL means use any search function available.
 721                  * otherwise replace with a char * to name of search routine
 722                  */
 723                 CtdlModuleDoSearch(&num_search_msgs, &search_msgs, search_string, "fulltext");
 724
 725                 if (num_search_msgs > 0) {
 726
 727                         int orig_num_msgs;
 728
 729                         orig_num_msgs = num_msgs;
 730                         num_msgs = 0;
 731                         for (i=0; i<orig_num_msgs; ++i) {
 732                                 for (j=0; j<num_search_msgs; ++j) {
 733                                         if (msglist[i] == search_msgs[j]) {
 734                                                 msglist[num_msgs++] = msglist[i];
 735                                         }
 736                                 }
 737                         }
 738                 }
 739                 else {
 740                         num_msgs = 0;   /* No messages qualify */
 741                 }
 742                 if (search_msgs != NULL) free(search_msgs);
 743
 744                 /* Now that we've purged messages which don't contain the search
 745                  * string, treat a MSGS_SEARCH just like a MSGS_ALL from this
 746                  * point on.
 747                  */
 748                 mode = MSGS_ALL;
 749         }
 750
 751         /*
 752          * Now iterate through the message list, according to the
 753          * criteria supplied by the caller.
 754          */
 755         if (num_msgs > 0)
 756                 for (a = 0; a < num_msgs; ++a) {
 757                         thismsg = msglist[a];
 758                         if (mode == MSGS_ALL) {
 759                                 is_seen = 0;
 760                         }
 761                         else {
 762                                 is_seen = is_msg_in_sequence_set(
 763                                                         vbuf.v_seen, thismsg);
 764                                 if (is_seen) lastold = thismsg;
 765                         }
 766                         if ((thismsg > 0L)
 767                             && (
 768
 769                                        (mode == MSGS_ALL)
 770                                        || ((mode == MSGS_OLD) && (is_seen))
 771                                        || ((mode == MSGS_NEW) && (!is_seen))
 772                                        || ((mode == MSGS_LAST) && (a >= (num_msgs - ref)))
 773                                    || ((mode == MSGS_FIRST) && (a < ref))
 774                                 || ((mode == MSGS_GT) && (thismsg > ref))
 775                                 || ((mode == MSGS_LT) && (thismsg < ref))
 776                                 || ((mode == MSGS_EQ) && (thismsg == ref))
 777                             )
 778                             ) {
 779                                 if ((mode == MSGS_NEW) && (CC->user.flags & US_LASTOLD) && (lastold > 0L) && (printed_lastold == 0) && (!is_seen)) {
 780                                         if (CallBack)
 781                                                 CallBack(lastold, userdata);
 782                                         printed_lastold = 1;
 783                                         ++num_processed;
 784                                 }
 785                                 if (CallBack) CallBack(thismsg, userdata);
 786                                 ++num_processed;
 787                         }
 788                 }
 789         if (need_to_free_re) regfree(&re);
 790         if (CC->client_socket <= 0) free(msglist);
 791         return num_processed;
 792 }
 793
 794
 795
 796 /*
 797  * cmd_msgs()  -  get list of message #'s in this room
 798  *              implements the MSGS server command using CtdlForEachMessage()
 799  */
 800 void cmd_msgs(char *cmdbuf)
 801 {
 802         int mode = 0;
 803         char which[16];
 804         char buf[256];
 805         char tfield[256];
 806         char tvalue[256];
 807         int cm_ref = 0;
 808         int i;
 809         int with_template = 0;
 810         struct CtdlMessage *template = NULL;
 811         char search_string[1024];
 812         ForEachMsgCallback CallBack;
 813
 814         if (CtdlAccessCheck(ac_logged_in_or_guest)) return;
 815
 816         extract_token(which, cmdbuf, 0, '|', sizeof which);
 817         cm_ref = extract_int(cmdbuf, 1);
 818         extract_token(search_string, cmdbuf, 1, '|', sizeof search_string);
 819         with_template = extract_int(cmdbuf, 2);
 820         switch (extract_int(cmdbuf, 3))
 821         {
 822         default:
 823         case MSG_HDRS_BRIEF:
 824                 CallBack = simple_listing;
 825                 break;
 826         case MSG_HDRS_ALL:
 827                 CallBack = headers_listing;
 828                 break;
 829         case MSG_HDRS_EUID:
 830                 CallBack = headers_euid;
 831                 break;
 832         }
 833
 834         strcat(which, "   ");
 835         if (!strncasecmp(which, "OLD", 3))
 836                 mode = MSGS_OLD;
 837         else if (!strncasecmp(which, "NEW", 3))
 838                 mode = MSGS_NEW;
 839         else if (!strncasecmp(which, "FIRST", 5))
 840                 mode = MSGS_FIRST;
 841         else if (!strncasecmp(which, "LAST", 4))
 842                 mode = MSGS_LAST;
 843         else if (!strncasecmp(which, "GT", 2))
 844                 mode = MSGS_GT;
 845         else if (!strncasecmp(which, "LT", 2))
 846                 mode = MSGS_LT;
 847         else if (!strncasecmp(which, "SEARCH", 6))
 848                 mode = MSGS_SEARCH;
 849         else
 850                 mode = MSGS_ALL;
 851
 852         if ( (mode == MSGS_SEARCH) && (!config.c_enable_fulltext) ) {
 853                 cprintf("%d Full text index is not enabled on this server.\n",
 854                         ERROR + CMD_NOT_SUPPORTED);
 855                 return;
 856         }
 857
 858         if (with_template) {
 859                 unbuffer_output();
 860                 cprintf("%d Send template then receive message list\n",
 861                         START_CHAT_MODE);
 862                 template = (struct CtdlMessage *)
 863                         malloc(sizeof(struct CtdlMessage));
 864                 memset(template, 0, sizeof(struct CtdlMessage));
 865                 template->cm_magic = CTDLMESSAGE_MAGIC;
 866                 template->cm_anon_type = MES_NORMAL;
 867
 868                 while(client_getln(buf, sizeof buf) >= 0 && strcmp(buf,"000")) {
 869                         extract_token(tfield, buf, 0, '|', sizeof tfield);
 870                         extract_token(tvalue, buf, 1, '|', sizeof tvalue);
 871                         for (i='A'; i<='Z'; ++i) if (msgkeys[i]!=NULL) {
 872                                 if (!strcasecmp(tfield, msgkeys[i])) {
 873                                         template->cm_fields[i] =
 874                                                 strdup(tvalue);
 875                                 }
 876                         }
 877                 }
 878                 buffer_output();
 879         }
 880         else {
 881                 cprintf("%d  \n", LISTING_FOLLOWS);
 882         }
 883
 884         CtdlForEachMessage(mode,
 885                            ( (mode == MSGS_SEARCH) ? 0 : cm_ref ),
 886                            ( (mode == MSGS_SEARCH) ? search_string : NULL ),
 887                            NULL,
 888                            template,
 889                            CallBack,
 890                            NULL);
 891         if (template != NULL) CtdlFreeMessage(template);
 892         cprintf("000\n");
 893 }
 894
 895
 896
 897
 898 /*
 899  * help_subst()  -  support routine for help file viewer
 900  */
 901 void help_subst(char *strbuf, char *source, char *dest)
 902 {
 903         char workbuf[SIZ];
 904         int p;
 905
 906         while (p = pattern2(strbuf, source), (p >= 0)) {
 907                 strcpy(workbuf, &strbuf[p + strlen(source)]);
 908                 strcpy(&strbuf[p], dest);
 909                 strcat(strbuf, workbuf);
 910         }
 911 }
 912
 913
 914 void do_help_subst(char *buffer)
 915 {
 916         char buf2[16];
 917
 918         help_subst(buffer, "^nodename", config.c_nodename);
 919         help_subst(buffer, "^humannode", config.c_humannode);
 920         help_subst(buffer, "^fqdn", config.c_fqdn);
 921         help_subst(buffer, "^username", CC->user.fullname);
 922         snprintf(buf2, sizeof buf2, "%ld", CC->user.usernum);
 923         help_subst(buffer, "^usernum", buf2);
 924         help_subst(buffer, "^sysadm", config.c_sysadm);
 925         help_subst(buffer, "^variantname", CITADEL);
 926         snprintf(buf2, sizeof buf2, "%d", config.c_maxsessions);
 927         help_subst(buffer, "^maxsessions", buf2);
 928         help_subst(buffer, "^bbsdir", ctdl_message_dir);
 929 }
 930
 931
 932
 933 /*
 934  * memfmout()  -  Citadel text formatter and paginator.
 935  *           Although the original purpose of this routine was to format
 936  *           text to the reader's screen width, all we're really using it
 937  *           for here is to format text out to 80 columns before sending it
 938  *           to the client.  The client software may reformat it again.
 939  */
 940 void memfmout(
 941         char *mptr,             /* where are we going to get our text from? */
 942         const char *nl          /* string to terminate lines with */
 943 ) {
 944         int column = 0;
 945         unsigned char ch = 0;
 946         char outbuf[1024];
 947         int len = 0;
 948         int nllen = 0;
 949
 950         if (!mptr) return;
 951         nllen = strlen(nl);
 952         while (ch=*(mptr++), ch != 0) {
 953
 954                 if (ch == '\n') {
 955                         client_write(outbuf, len);
 956                         len = 0;
 957                         client_write(nl, nllen);
 958                         column = 0;
 959                 }
 960                 else if (ch == '\r') {
 961                         /* Ignore carriage returns.  Newlines are always LF or CRLF but never CR. */
 962                 }
 963                 else if (isspace(ch)) {
 964                         if (column > 72) {              /* Beyond 72 columns, break on the next space */
 965                                 client_write(outbuf, len);
 966                                 len = 0;
 967                                 client_write(nl, nllen);
 968                                 column = 0;
 969                         }
 970                         else {
 971                                 outbuf[len++] = ch;
 972                                 ++column;
 973                         }
 974                 }
 975                 else {
 976                         outbuf[len++] = ch;
 977                         ++column;
 978                         if (column > 1000) {            /* Beyond 1000 columns, break anywhere */
 979                                 client_write(outbuf, len);
 980                                 len = 0;
 981                                 client_write(nl, nllen);
 982                                 column = 0;
 983                         }
 984                 }
 985         }
 986         if (len) {
 987                 client_write(outbuf, len);
 988                 len = 0;
 989                 client_write(nl, nllen);
 990                 column = 0;
 991         }
 992 }
 993
 994
 995
 996 /*
 997  * Callback function for mime parser that simply lists the part
 998  */
 999 void list_this_part(char *name, char *filename, char *partnum, char *disp,
1000                     void *content, char *cbtype, char *cbcharset, size_t length, char *encoding,
1001                     char *cbid, void *cbuserdata)
1002 {
1003         struct ma_info *ma;
1004
1005         ma = (struct ma_info *)cbuserdata;
1006         if (ma->is_ma == 0) {
1007                 cprintf("part=%s|%s|%s|%s|%s|%ld|%s|%s\n",
1008                         name,
1009                         filename,
1010                         partnum,
1011                         disp,
1012                         cbtype,
1013                         (long)length,
1014                         cbid,
1015                         cbcharset);
1016         }
1017 }
1018
1019 /*
1020  * Callback function for multipart prefix
1021  */
1022 void list_this_pref(char *name, char *filename, char *partnum, char *disp,
1023                     void *content, char *cbtype, char *cbcharset, size_t length, char *encoding,
1024                     char *cbid, void *cbuserdata)
1025 {
1026         struct ma_info *ma;
1027
1028         ma = (struct ma_info *)cbuserdata;
1029         if (!strcasecmp(cbtype, "multipart/alternative")) {
1030                 ++ma->is_ma;
1031         }
1032
1033         if (ma->is_ma == 0) {
1034                 cprintf("pref=%s|%s\n", partnum, cbtype);
1035         }
1036 }
1037
1038 /*
1039  * Callback function for multipart sufffix
1040  */
1041 void list_this_suff(char *name, char *filename, char *partnum, char *disp,
1042                     void *content, char *cbtype, char *cbcharset, size_t length, char *encoding,
1043                     char *cbid, void *cbuserdata)
1044 {
1045         struct ma_info *ma;
1046
1047         ma = (struct ma_info *)cbuserdata;
1048         if (ma->is_ma == 0) {
1049                 cprintf("suff=%s|%s\n", partnum, cbtype);
1050         }
1051         if (!strcasecmp(cbtype, "multipart/alternative")) {
1052                 --ma->is_ma;
1053         }
1054 }
1055
1056
1057 /*
1058  * Callback function for mime parser that opens a section for downloading
1059  */
1060 void mime_download(char *name, char *filename, char *partnum, char *disp,
1061                    void *content, char *cbtype, char *cbcharset, size_t length,
1062                    char *encoding, char *cbid, void *cbuserdata)
1063 {
1064         int rv = 0;
1065
1066         /* Silently go away if there's already a download open. */
1067         if (CC->download_fp != NULL)
1068                 return;
1069
1070         if (
1071                 (!IsEmptyStr(partnum) && (!strcasecmp(CC->download_desired_section, partnum)))
1072         ||      (!IsEmptyStr(cbid) && (!strcasecmp(CC->download_desired_section, cbid)))
1073         ) {
1074                 CC->download_fp = tmpfile();
1075                 if (CC->download_fp == NULL)
1076                         return;
1077
1078                 rv = fwrite(content, length, 1, CC->download_fp);
1079                 fflush(CC->download_fp);
1080                 rewind(CC->download_fp);
1081
1082                 OpenCmdResult(filename, cbtype);
1083         }
1084 }
1085
1086
1087
1088 /*
1089  * Callback function for mime parser that outputs a section all at once.
1090  * We can specify the desired section by part number *or* content-id.
1091  */
1092 void mime_spew_section(char *name, char *filename, char *partnum, char *disp,
1093                    void *content, char *cbtype, char *cbcharset, size_t length,
1094                    char *encoding, char *cbid, void *cbuserdata)
1095 {
1096         int *found_it = (int *)cbuserdata;
1097
1098         if (
1099                 (!IsEmptyStr(partnum) && (!strcasecmp(CC->download_desired_section, partnum)))
1100         ||      (!IsEmptyStr(cbid) && (!strcasecmp(CC->download_desired_section, cbid)))
1101         ) {
1102                 *found_it = 1;
1103                 cprintf("%d %d|-1|%s|%s|%s\n",
1104                         BINARY_FOLLOWS,
1105                         (int)length,
1106                         filename,
1107                         cbtype,
1108                         cbcharset
1109                 );
1110                 client_write(content, length);
1111         }
1112 }
1113
1114
1115 /*
1116  * Load a message from disk into memory.
1117  * This is used by CtdlOutputMsg() and other fetch functions.
1118  *
1119  * NOTE: Caller is responsible for freeing the returned CtdlMessage struct
1120  *       using the CtdlMessageFree() function.
1121  */
1122 struct CtdlMessage *CtdlFetchMessage(long msgnum, int with_body)
1123 {
1124         struct cdbdata *dmsgtext;
1125         struct CtdlMessage *ret = NULL;
1126         char *mptr;
1127         char *upper_bound;
1128         cit_uint8_t ch;
1129         cit_uint8_t field_header;
1130
1131         syslog(LOG_DEBUG, "CtdlFetchMessage(%ld, %d)\n", msgnum, with_body);
1132         dmsgtext = cdb_fetch(CDB_MSGMAIN, &msgnum, sizeof(long));
1133         if (dmsgtext == NULL) {
1134                 return NULL;
1135         }
1136         mptr = dmsgtext->ptr;
1137         upper_bound = mptr + dmsgtext->len;
1138
1139         /* Parse the three bytes that begin EVERY message on disk.
1140          * The first is always 0xFF, the on-disk magic number.
1141          * The second is the anonymous/public type byte.
1142          * The third is the format type byte (vari, fixed, or MIME).
1143          */
1144         ch = *mptr++;
1145         if (ch != 255) {
1146                 syslog(LOG_ERR, "Message %ld appears to be corrupted.\n", msgnum);
1147                 cdb_free(dmsgtext);
1148                 return NULL;
1149         }
1150         ret = (struct CtdlMessage *) malloc(sizeof(struct CtdlMessage));
1151         memset(ret, 0, sizeof(struct CtdlMessage));
1152
1153         ret->cm_magic = CTDLMESSAGE_MAGIC;
1154         ret->cm_anon_type = *mptr++;    /* Anon type byte */
1155         ret->cm_format_type = *mptr++;  /* Format type byte */
1156
1157         /*
1158          * The rest is zero or more arbitrary fields.  Load them in.
1159          * We're done when we encounter either a zero-length field or
1160          * have just processed the 'M' (message text) field.
1161          */
1162         do {
1163                 if (mptr >= upper_bound) {
1164                         break;
1165                 }
1166                 field_header = *mptr++;
1167                 ret->cm_fields[field_header] = strdup(mptr);
1168
1169                 while (*mptr++ != 0);   /* advance to next field */
1170
1171         } while ((mptr < upper_bound) && (field_header != 'M'));
1172
1173         cdb_free(dmsgtext);
1174
1175         /* Always make sure there's something in the msg text field.  If
1176          * it's NULL, the message text is most likely stored separately,
1177          * so go ahead and fetch that.  Failing that, just set a dummy
1178          * body so other code doesn't barf.
1179          */
1180         if ( (ret->cm_fields['M'] == NULL) && (with_body) ) {
1181                 dmsgtext = cdb_fetch(CDB_BIGMSGS, &msgnum, sizeof(long));
1182                 if (dmsgtext != NULL) {
1183                         ret->cm_fields['M'] = dmsgtext->ptr;
1184                         dmsgtext->ptr = NULL;
1185                         cdb_free(dmsgtext);
1186                 }
1187         }
1188         if (ret->cm_fields['M'] == NULL) {
1189                 ret->cm_fields['M'] = strdup("\r\n\r\n (no text)\r\n");
1190         }
1191
1192         /* Perform "before read" hooks (aborting if any return nonzero) */
1193         if (PerformMessageHooks(ret, EVT_BEFOREREAD) > 0) {
1194                 CtdlFreeMessage(ret);
1195                 return NULL;
1196         }
1197
1198         return (ret);
1199 }
1200
1201
1202 /*
1203  * Returns 1 if the supplied pointer points to a valid Citadel message.
1204  * If the pointer is NULL or the magic number check fails, returns 0.
1205  */
1206 int is_valid_message(struct CtdlMessage *msg) {
1207         if (msg == NULL)
1208                 return 0;
1209         if ((msg->cm_magic) != CTDLMESSAGE_MAGIC) {
1210                 syslog(LOG_WARNING, "is_valid_message() -- self-check failed\n");
1211                 return 0;
1212         }
1213         return 1;
1214 }
1215
1216
1217 /*
1218  * 'Destructor' for struct CtdlMessage
1219  */
1220 void CtdlFreeMessage(struct CtdlMessage *msg)
1221 {
1222         int i;
1223
1224         if (is_valid_message(msg) == 0)
1225         {
1226                 if (msg != NULL) free (msg);
1227                 return;
1228         }
1229
1230         for (i = 0; i < 256; ++i)
1231                 if (msg->cm_fields[i] != NULL) {
1232                         free(msg->cm_fields[i]);
1233                 }
1234
1235         msg->cm_magic = 0;      /* just in case */
1236         free(msg);
1237 }
1238
1239
1240 /*
1241  * Pre callback function for multipart/alternative
1242  *
1243  * NOTE: this differs from the standard behavior for a reason.  Normally when
1244  *       displaying multipart/alternative you want to show the _last_ usable
1245  *       format in the message.  Here we show the _first_ one, because it's
1246  *       usually text/plain.  Since this set of functions is designed for text
1247  *       output to non-MIME-aware clients, this is the desired behavior.
1248  *
1249  */
1250 void fixed_output_pre(char *name, char *filename, char *partnum, char *disp,
1251                 void *content, char *cbtype, char *cbcharset, size_t length, char *encoding,
1252                 char *cbid, void *cbuserdata)
1253 {
1254         struct ma_info *ma;
1255
1256         ma = (struct ma_info *)cbuserdata;
1257         syslog(LOG_DEBUG, "fixed_output_pre() type=<%s>\n", cbtype);
1258         if (!strcasecmp(cbtype, "multipart/alternative")) {
1259                 ++ma->is_ma;
1260                 ma->did_print = 0;
1261         }
1262         if (!strcasecmp(cbtype, "message/rfc822")) {
1263                 ++ma->freeze;
1264         }
1265 }
1266
1267 /*
1268  * Post callback function for multipart/alternative
1269  */
1270 void fixed_output_post(char *name, char *filename, char *partnum, char *disp,
1271                 void *content, char *cbtype, char *cbcharset, size_t length,
1272                 char *encoding, char *cbid, void *cbuserdata)
1273 {
1274         struct ma_info *ma;
1275
1276         ma = (struct ma_info *)cbuserdata;
1277         syslog(LOG_DEBUG, "fixed_output_post() type=<%s>\n", cbtype);
1278         if (!strcasecmp(cbtype, "multipart/alternative")) {
1279                 --ma->is_ma;
1280                 ma->did_print = 0;
1281         }
1282         if (!strcasecmp(cbtype, "message/rfc822")) {
1283                 --ma->freeze;
1284         }
1285 }
1286
1287 /*
1288  * Inline callback function for mime parser that wants to display text
1289  */
1290 void fixed_output(char *name, char *filename, char *partnum, char *disp,
1291                 void *content, char *cbtype, char *cbcharset, size_t length,
1292                 char *encoding, char *cbid, void *cbuserdata)
1293 {
1294         char *ptr;
1295         char *wptr;
1296         size_t wlen;
1297         struct ma_info *ma;
1298
1299         ma = (struct ma_info *)cbuserdata;
1300
1301         syslog(LOG_DEBUG,
1302                 "fixed_output() part %s: %s (%s) (%ld bytes)\n",
1303                 partnum, filename, cbtype, (long)length);
1304
1305         /*
1306          * If we're in the middle of a multipart/alternative scope and
1307          * we've already printed another section, skip this one.
1308          */
1309         if ( (ma->is_ma) && (ma->did_print) ) {
1310                 syslog(LOG_DEBUG, "Skipping part %s (%s)\n", partnum, cbtype);
1311                 return;
1312         }
1313         ma->did_print = 1;
1314
1315         if ( (!strcasecmp(cbtype, "text/plain"))
1316            || (IsEmptyStr(cbtype)) ) {
1317                 wptr = content;
1318                 if (length > 0) {
1319                         client_write(wptr, length);
1320                         if (wptr[length-1] != '\n') {
1321                                 cprintf("\n");
1322                         }
1323                 }
1324                 return;
1325         }
1326
1327         if (!strcasecmp(cbtype, "text/html")) {
1328                 ptr = html_to_ascii(content, length, 80, 0);
1329                 wlen = strlen(ptr);
1330                 client_write(ptr, wlen);
1331                 if (ptr[wlen-1] != '\n') {
1332                         cprintf("\n");
1333                 }
1334                 free(ptr);
1335                 return;
1336         }
1337
1338         if (ma->use_fo_hooks) {
1339                 if (PerformFixedOutputHooks(cbtype, content, length)) {
1340                 /* above function returns nonzero if it handled the part */
1341                         return;
1342                 }
1343         }
1344
1345         if (strncasecmp(cbtype, "multipart/", 10)) {
1346                 cprintf("Part %s: %s (%s) (%ld bytes)\r\n",
1347                         partnum, filename, cbtype, (long)length);
1348                 return;
1349         }
1350 }
1351
1352 /*
1353  * The client is elegant and sophisticated and wants to be choosy about
1354  * MIME content types, so figure out which multipart/alternative part
1355  * we're going to send.
1356  *
1357  * We use a system of weights.  When we find a part that matches one of the
1358  * MIME types we've declared as preferential, we can store it in ma->chosen_part
1359  * and then set ma->chosen_pref to that MIME type's position in our preference
1360  * list.  If we then hit another match, we only replace the first match if
1361  * the preference value is lower.
1362  */
1363 void choose_preferred(char *name, char *filename, char *partnum, char *disp,
1364                 void *content, char *cbtype, char *cbcharset, size_t length,
1365                 char *encoding, char *cbid, void *cbuserdata)
1366 {
1367         char buf[1024];
1368         int i;
1369         struct ma_info *ma;
1370
1371         ma = (struct ma_info *)cbuserdata;
1372
1373         // NOTE: REMOVING THIS CONDITIONAL FIXES BUG 220
1374         //       http://bugzilla.citadel.org/show_bug.cgi?id=220
1375         // I don't know if there are any side effects!  Please TEST TEST TEST
1376         //if (ma->is_ma > 0) {
1377
1378         for (i=0; i<num_tokens(CC->preferred_formats, '|'); ++i) {
1379                 extract_token(buf, CC->preferred_formats, i, '|', sizeof buf);
1380                 if ( (!strcasecmp(buf, cbtype)) && (!ma->freeze) ) {
1381                         if (i < ma->chosen_pref) {
1382                                 syslog(LOG_DEBUG, "Setting chosen part: <%s>\n", partnum);
1383                                 safestrncpy(ma->chosen_part, partnum, sizeof ma->chosen_part);
1384                                 ma->chosen_pref = i;
1385                         }
1386                 }
1387         }
1388 }
1389
1390 /*
1391  * Now that we've chosen our preferred part, output it.
1392  */
1393 void output_preferred(char *name,
1394                       char *filename,
1395                       char *partnum,
1396                       char *disp,
1397                       void *content,
1398                       char *cbtype,
1399                       char *cbcharset,
1400                       size_t length,
1401                       char *encoding,
1402                       char *cbid,
1403                       void *cbuserdata)
1404 {
1405         int i;
1406         char buf[128];
1407         int add_newline = 0;
1408         char *text_content;
1409         struct ma_info *ma;
1410         char *decoded = NULL;
1411         size_t bytes_decoded;
1412         int rc = 0;
1413
1414         ma = (struct ma_info *)cbuserdata;
1415
1416         /* This is not the MIME part you're looking for... */
1417         if (strcasecmp(partnum, ma->chosen_part)) return;
1418
1419         /* If the content-type of this part is in our preferred formats
1420          * list, we can simply output it verbatim.
1421          */
1422         for (i=0; i<num_tokens(CC->preferred_formats, '|'); ++i) {
1423                 extract_token(buf, CC->preferred_formats, i, '|', sizeof buf);
1424                 if (!strcasecmp(buf, cbtype)) {
1425                         /* Yeah!  Go!  W00t!! */
1426                         if (ma->dont_decode == 0)
1427                                 rc = mime_decode_now (content,
1428                                                       length,
1429                                                       encoding,
1430                                                       &decoded,
1431                                                       &bytes_decoded);
1432                         if (rc < 0)
1433                                 break; /* Give us the chance, maybe theres another one. */
1434
1435                         if (rc == 0) text_content = (char *)content;
1436                         else {
1437                                 text_content = decoded;
1438                                 length = bytes_decoded;
1439                         }
1440
1441                         if (text_content[length-1] != '\n') {
1442                                 ++add_newline;
1443                         }
1444                         cprintf("Content-type: %s", cbtype);
1445                         if (!IsEmptyStr(cbcharset)) {
1446                                 cprintf("; charset=%s", cbcharset);
1447                         }
1448                         cprintf("\nContent-length: %d\n",
1449                                 (int)(length + add_newline) );
1450                         if (!IsEmptyStr(encoding)) {
1451                                 cprintf("Content-transfer-encoding: %s\n", encoding);
1452                         }
1453                         else {
1454                                 cprintf("Content-transfer-encoding: 7bit\n");
1455                         }
1456                         cprintf("X-Citadel-MSG4-Partnum: %s\n", partnum);
1457                         cprintf("\n");
1458                         client_write(text_content, length);
1459                         if (add_newline) cprintf("\n");
1460                         if (decoded != NULL) free(decoded);
1461                         return;
1462                 }
1463         }
1464
1465         /* No translations required or possible: output as text/plain */
1466         cprintf("Content-type: text/plain\n\n");
1467         rc = 0;
1468         if (ma->dont_decode == 0)
1469                 rc = mime_decode_now (content,
1470                                       length,
1471                                       encoding,
1472                                       &decoded,
1473                                       &bytes_decoded);
1474         if (rc < 0)
1475                 return; /* Give us the chance, maybe theres another one. */
1476
1477         if (rc == 0) text_content = (char *)content;
1478         else {
1479                 text_content = decoded;
1480                 length = bytes_decoded;
1481         }
1482
1483         fixed_output(name, filename, partnum, disp, text_content, cbtype, cbcharset,
1484                         length, encoding, cbid, cbuserdata);
1485         if (decoded != NULL) free(decoded);
1486 }
1487
1488
1489 struct encapmsg {
1490         char desired_section[64];
1491         char *msg;
1492         size_t msglen;
1493 };
1494
1495
1496 /*
1497  * Callback function for
1498  */
1499 void extract_encapsulated_message(char *name, char *filename, char *partnum, char *disp,
1500                    void *content, char *cbtype, char *cbcharset, size_t length,
1501                    char *encoding, char *cbid, void *cbuserdata)
1502 {
1503         struct encapmsg *encap;
1504
1505         encap = (struct encapmsg *)cbuserdata;
1506
1507         /* Only proceed if this is the desired section... */
1508         if (!strcasecmp(encap->desired_section, partnum)) {
1509                 encap->msglen = length;
1510                 encap->msg = malloc(length + 2);
1511                 memcpy(encap->msg, content, length);
1512                 return;
1513         }
1514 }
1515
1516
1517 /*
1518  * Determine whether the specified message exists in the cached_msglist
1519  * (This is a security check)
1520  */
1521 int check_cached_msglist(long msgnum) {
1522
1523         /* cases in which we skip the check */
1524         if (!CC) return om_ok;                                          /* not a session */
1525         if (CC->client_socket <= 0) return om_ok;                       /* not a client session */
1526         if (CC->cached_msglist == NULL) return om_access_denied;        /* no msglist fetched */
1527         if (CC->cached_num_msgs == 0) return om_access_denied;          /* nothing to check */
1528
1529
1530         /* Do a binary search within the cached_msglist for the requested msgnum */
1531         int min = 0;
1532         int max = (CC->cached_num_msgs - 1);
1533
1534         while (max >= min) {
1535                 int middle = min + (max-min) / 2 ;
1536                 if (msgnum == CC->cached_msglist[middle]) {
1537                         return om_ok;
1538                 }
1539                 if (msgnum > CC->cached_msglist[middle]) {
1540                         min = middle + 1;
1541                 }
1542                 else {
1543                         max = middle - 1;
1544                 }
1545         }
1546
1547         return om_access_denied;
1548 }
1549
1550
1551 /*
1552  * Determine whether the currently logged in session has permission to read
1553  * messages in the current room.
1554  */
1555 int CtdlDoIHavePermissionToReadMessagesInThisRoom(void) {
1556         if (    (!(CC->logged_in))
1557                 && (!(CC->internal_pgm))
1558                 && (!config.c_guest_logins)
1559         ) {
1560                 return(om_not_logged_in);
1561         }
1562         return(om_ok);
1563 }
1564
1565
1566 /*
1567  * Get a message off disk.  (returns om_* values found in msgbase.h)
1568  *
1569  */
1570 int CtdlOutputMsg(long msg_num,         /* message number (local) to fetch */
1571                   int mode,             /* how would you like that message? */
1572                   int headers_only,     /* eschew the message body? */
1573                   int do_proto,         /* do Citadel protocol responses? */
1574                   int crlf,             /* Use CRLF newlines instead of LF? */
1575                   char *section,        /* NULL or a message/rfc822 section */
1576                   int flags             /* various flags; see msgbase.h */
1577 ) {
1578         struct CtdlMessage *TheMessage = NULL;
1579         int retcode = om_no_such_msg;
1580         struct encapmsg encap;
1581         int r;
1582
1583         syslog(LOG_DEBUG, "CtdlOutputMsg(msgnum=%ld, mode=%d, section=%s)\n",
1584                 msg_num, mode,
1585                 (section ? section : "<>")
1586         );
1587
1588         r = CtdlDoIHavePermissionToReadMessagesInThisRoom();
1589         if (r != om_ok) {
1590                 if (do_proto) {
1591                         if (r == om_not_logged_in) {
1592                                 cprintf("%d Not logged in.\n", ERROR + NOT_LOGGED_IN);
1593                         }
1594                         else {
1595                                 cprintf("%d An unknown error has occurred.\n", ERROR);
1596                         }
1597                 }
1598                 return(r);
1599         }
1600
1601         /*
1602          * Check to make sure the message is actually IN this room
1603          */
1604         r = check_cached_msglist(msg_num);
1605         if (r == om_access_denied) {
1606                 /* Not in the cache?  We get ONE shot to check it again. */
1607                 CtdlForEachMessage(MSGS_ALL, 0L, NULL, NULL, NULL, NULL, NULL);
1608                 r = check_cached_msglist(msg_num);
1609         }
1610         if (r != om_ok) {
1611                 syslog(LOG_DEBUG, "\033[31m SECURITY CHECK FAIL \033[0m\n");
1612                 if (do_proto) {
1613                         if (r == om_access_denied) {
1614                                 cprintf("%d message %ld was not found in this room\n",
1615                                         ERROR + HIGHER_ACCESS_REQUIRED,
1616                                         msg_num
1617                                 );
1618                         }
1619                 }
1620                 return(r);
1621         }
1622
1623         /*
1624          * Fetch the message from disk.  If we're in HEADERS_FAST mode,
1625          * request that we don't even bother loading the body into memory.
1626          */
1627         if (headers_only == HEADERS_FAST) {
1628                 TheMessage = CtdlFetchMessage(msg_num, 0);
1629         }
1630         else {
1631                 TheMessage = CtdlFetchMessage(msg_num, 1);
1632         }
1633
1634         if (TheMessage == NULL) {
1635                 if (do_proto) cprintf("%d Can't locate msg %ld on disk\n",
1636                         ERROR + MESSAGE_NOT_FOUND, msg_num);
1637                 return(om_no_such_msg);
1638         }
1639
1640         /* Here is the weird form of this command, to process only an
1641          * encapsulated message/rfc822 section.
1642          */
1643         if (section) if (!IsEmptyStr(section)) if (strcmp(section, "0")) {
1644                 memset(&encap, 0, sizeof encap);
1645                 safestrncpy(encap.desired_section, section, sizeof encap.desired_section);
1646                 mime_parser(TheMessage->cm_fields['M'],
1647                         NULL,
1648                         *extract_encapsulated_message,
1649                         NULL, NULL, (void *)&encap, 0
1650                 );
1651                 CtdlFreeMessage(TheMessage);
1652                 TheMessage = NULL;
1653
1654                 if (encap.msg) {
1655                         encap.msg[encap.msglen] = 0;
1656                         TheMessage = convert_internet_message(encap.msg);
1657                         encap.msg = NULL;       /* no free() here, TheMessage owns it now */
1658
1659                         /* Now we let it fall through to the bottom of this
1660                          * function, because TheMessage now contains the
1661                          * encapsulated message instead of the top-level
1662                          * message.  Isn't that neat?
1663                          */
1664
1665                 }
1666                 else {
1667                         if (do_proto) cprintf("%d msg %ld has no part %s\n",
1668                                 ERROR + MESSAGE_NOT_FOUND, msg_num, section);
1669                         retcode = om_no_such_msg;
1670                 }
1671
1672         }
1673
1674         /* Ok, output the message now */
1675         retcode = CtdlOutputPreLoadedMsg(TheMessage, mode, headers_only, do_proto, crlf, flags);
1676         CtdlFreeMessage(TheMessage);
1677
1678         return(retcode);
1679 }
1680
1681
1682 char *qp_encode_email_addrs(char *source)
1683 {
1684         char *user, *node, *name;
1685         const char headerStr[] = "=?UTF-8?Q?";
1686         char *Encoded;
1687         char *EncodedName;
1688         char *nPtr;
1689         int need_to_encode = 0;
1690         long SourceLen;
1691         long EncodedMaxLen;
1692         long nColons = 0;
1693         long *AddrPtr;
1694         long *AddrUtf8;
1695         long nAddrPtrMax = 50;
1696         long nmax;
1697         int InQuotes = 0;
1698         int i, n;
1699
1700         if (source == NULL) return source;
1701         if (IsEmptyStr(source)) return source;
1702         cit_backtrace();
1703         syslog(LOG_DEBUG, "qp_encode_email_addrs: [%s]\n", source);
1704
1705         AddrPtr = malloc (sizeof (long) * nAddrPtrMax);
1706         AddrUtf8 = malloc (sizeof (long) * nAddrPtrMax);
1707         memset(AddrUtf8, 0, sizeof (long) * nAddrPtrMax);
1708         *AddrPtr = 0;
1709         i = 0;
1710         while (!IsEmptyStr (&source[i])) {
1711                 if (nColons >= nAddrPtrMax){
1712                         long *ptr;
1713
1714                         ptr = (long *) malloc(sizeof (long) * nAddrPtrMax * 2);
1715                         memcpy (ptr, AddrPtr, sizeof (long) * nAddrPtrMax);
1716                         free (AddrPtr), AddrPtr = ptr;
1717
1718                         ptr = (long *) malloc(sizeof (long) * nAddrPtrMax * 2);
1719                         memset(&ptr[nAddrPtrMax], 0,
1720                                sizeof (long) * nAddrPtrMax);
1721
1722                         memcpy (ptr, AddrUtf8, sizeof (long) * nAddrPtrMax);
1723                         free (AddrUtf8), AddrUtf8 = ptr;
1724                         nAddrPtrMax *= 2;
1725                 }
1726                 if (((unsigned char) source[i] < 32) ||
1727                     ((unsigned char) source[i] > 126)) {
1728                         need_to_encode = 1;
1729                         AddrUtf8[nColons] = 1;
1730                 }
1731                 if (source[i] == '"')
1732                         InQuotes = !InQuotes;
1733                 if (!InQuotes && source[i] == ',') {
1734                         AddrPtr[nColons] = i;
1735                         nColons++;
1736                 }
1737                 i++;
1738         }
1739         if (need_to_encode == 0) {
1740                 free(AddrPtr);
1741                 free(AddrUtf8);
1742                 return source;
1743         }
1744
1745         SourceLen = i;
1746         EncodedMaxLen = nColons * (sizeof(headerStr) + 3) + SourceLen * 3;
1747         Encoded = (char*) malloc (EncodedMaxLen);
1748
1749         for (i = 0; i < nColons; i++)
1750                 source[AddrPtr[i]++] = '\0';
1751         /* TODO: if libidn, this might get larger*/
1752         user = malloc(SourceLen + 1);
1753         node = malloc(SourceLen + 1);
1754         name = malloc(SourceLen + 1);
1755
1756         nPtr = Encoded;
1757         *nPtr = '\0';
1758         for (i = 0; i < nColons && nPtr != NULL; i++) {
1759                 nmax = EncodedMaxLen - (nPtr - Encoded);
1760                 if (AddrUtf8[i]) {
1761                         process_rfc822_addr(&source[AddrPtr[i]],
1762                                             user,
1763                                             node,
1764                                             name);
1765                         /* TODO: libIDN here ! */
1766                         if (IsEmptyStr(name)) {
1767                                 n = snprintf(nPtr, nmax,
1768                                              (i==0)?"%s@%s" : ",%s@%s",
1769                                              user, node);
1770                         }
1771                         else {
1772                                 EncodedName = rfc2047encode(name, strlen(name));
1773                                 n = snprintf(nPtr, nmax,
1774                                              (i==0)?"%s <%s@%s>" : ",%s <%s@%s>",
1775                                              EncodedName, user, node);
1776                                 free(EncodedName);
1777                         }
1778                 }
1779                 else {
1780                         n = snprintf(nPtr, nmax,
1781                                      (i==0)?"%s" : ",%s",
1782                                      &source[AddrPtr[i]]);
1783                 }
1784                 if (n > 0 )
1785                         nPtr += n;
1786                 else {
1787                         char *ptr, *nnPtr;
1788                         ptr = (char*) malloc(EncodedMaxLen * 2);
1789                         memcpy(ptr, Encoded, EncodedMaxLen);
1790                         nnPtr = ptr + (nPtr - Encoded), nPtr = nnPtr;
1791                         free(Encoded), Encoded = ptr;
1792                         EncodedMaxLen *= 2;
1793                         i--; /* do it once more with properly lengthened buffer */
1794                 }
1795         }
1796         for (i = 0; i < nColons; i++)
1797                 source[--AddrPtr[i]] = ',';
1798
1799         free(user);
1800         free(node);
1801         free(name);
1802         free(AddrUtf8);
1803         free(AddrPtr);
1804         return Encoded;
1805 }
1806
1807
1808 /* If the last item in a list of recipients was truncated to a partial address,
1809  * remove it completely in order to avoid choking libSieve
1810  */
1811 void sanitize_truncated_recipient(char *str)
1812 {
1813         if (!str) return;
1814         if (num_tokens(str, ',') < 2) return;
1815
1816         int len = strlen(str);
1817         if (len < 900) return;
1818         if (len > 998) str[998] = 0;
1819
1820         char *cptr = strrchr(str, ',');
1821         if (!cptr) return;
1822
1823         char *lptr = strchr(cptr, '<');
1824         char *rptr = strchr(cptr, '>');
1825
1826         if ( (lptr) && (rptr) && (rptr > lptr) ) return;
1827
1828         *cptr = 0;
1829 }
1830
1831
1832 void OutputCtdlMsgHeaders(
1833         struct CtdlMessage *TheMessage,
1834         int do_proto)           /* do Citadel protocol responses? */
1835 {
1836         char allkeys[30];
1837         int i, k, n;
1838         int suppress_f = 0;
1839         char buf[SIZ];
1840         char display_name[256];
1841
1842         /* begin header processing loop for Citadel message format */
1843         safestrncpy(display_name, "<unknown>", sizeof display_name);
1844         if (TheMessage->cm_fields['A']) {
1845                 strcpy(buf, TheMessage->cm_fields['A']);
1846                 if (TheMessage->cm_anon_type == MES_ANONONLY) {
1847                         safestrncpy(display_name, "****", sizeof display_name);
1848                 }
1849                 else if (TheMessage->cm_anon_type == MES_ANONOPT) {
1850                         safestrncpy(display_name, "anonymous", sizeof display_name);
1851                 }
1852                 else {
1853                         safestrncpy(display_name, buf, sizeof display_name);
1854                 }
1855                 if ((is_room_aide())
1856                     && ((TheMessage->cm_anon_type == MES_ANONONLY)
1857                         || (TheMessage->cm_anon_type == MES_ANONOPT))) {
1858                         size_t tmp = strlen(display_name);
1859                         snprintf(&display_name[tmp],
1860                                  sizeof display_name - tmp,
1861                                  " [%s]", buf);
1862                 }
1863         }
1864
1865         /* Don't show Internet address for users on the
1866          * local Citadel network.
1867          */
1868         suppress_f = 0;
1869         if (TheMessage->cm_fields['N'] != NULL)
1870                 if (!IsEmptyStr(TheMessage->cm_fields['N']))
1871                         if (haschar(TheMessage->cm_fields['N'], '.') == 0) {
1872                                 suppress_f = 1;
1873                         }
1874
1875         /* Now spew the header fields in the order we like them. */
1876         n = safestrncpy(allkeys, FORDER, sizeof allkeys);
1877         for (i=0; i<n; ++i) {
1878                 k = (int) allkeys[i];
1879                 if (k != 'M') {
1880                         if ( (TheMessage->cm_fields[k] != NULL)
1881                              && (msgkeys[k] != NULL) ) {
1882                                 if ((k == 'V') || (k == 'R') || (k == 'Y')) {
1883                                         sanitize_truncated_recipient(TheMessage->cm_fields[k]);
1884                                 }
1885                                 if (k == 'A') {
1886                                         if (do_proto) cprintf("%s=%s\n",
1887                                                               msgkeys[k],
1888                                                               display_name);
1889                                 }
1890                                 else if ((k == 'F') && (suppress_f)) {
1891                                         /* do nothing */
1892                                 }
1893                                 /* Masquerade display name if needed */
1894                                 else {
1895                                         if (do_proto) cprintf("%s=%s\n",
1896                                                               msgkeys[k],
1897                                                               TheMessage->cm_fields[k]
1898                                                 );
1899                                 }
1900                         }
1901                 }
1902         }
1903
1904 }
1905
1906 void OutputRFC822MsgHeaders(
1907         struct CtdlMessage *TheMessage,
1908         int flags,              /* should the bessage be exported clean */
1909         const char *nl,
1910         char *mid, long sizeof_mid,
1911         char *suser, long sizeof_suser,
1912         char *luser, long sizeof_luser,
1913         char *fuser, long sizeof_fuser,
1914         char *snode, long sizeof_snode)
1915 {
1916         char datestamp[100];
1917         int subject_found = 0;
1918         char buf[SIZ];
1919         int i, j, k;
1920         char *mptr = NULL;
1921         char *mpptr = NULL;
1922
1923         for (i = 0; i < 256; ++i) {
1924                 if (TheMessage->cm_fields[i]) {
1925                         mptr = mpptr = TheMessage->cm_fields[i];
1926
1927                         if (i == 'A') {
1928                                 safestrncpy(luser, mptr, sizeof_luser);
1929                                 safestrncpy(suser, mptr, sizeof_suser);
1930                         }
1931                         else if (i == 'Y') {
1932                                 if ((flags & QP_EADDR) != 0) {
1933                                         mptr = qp_encode_email_addrs(mptr);
1934                                 }
1935                                 sanitize_truncated_recipient(mptr);
1936                                 cprintf("CC: %s%s", mptr, nl);
1937                         }
1938                         else if (i == 'P') {
1939                                 cprintf("Return-Path: %s%s", mptr, nl);
1940                         }
1941                         else if (i == 'L') {
1942                                 cprintf("List-ID: %s%s", mptr, nl);
1943                         }
1944                         else if (i == 'V') {
1945                                 if ((flags & QP_EADDR) != 0)
1946                                         mptr = qp_encode_email_addrs(mptr);
1947                                 cprintf("Envelope-To: %s%s", mptr, nl);
1948                         }
1949                         else if (i == 'U') {
1950                                 cprintf("Subject: %s%s", mptr, nl);
1951                                 subject_found = 1;
1952                         }
1953                         else if (i == 'I')
1954                                 safestrncpy(mid, mptr, sizeof_mid); /// TODO: detect @ here and copy @nodename in if not found.
1955                         else if (i == 'F')
1956                                 safestrncpy(fuser, mptr, sizeof_fuser);
1957                         /* else if (i == 'O')
1958                            cprintf("X-Citadel-Room: %s%s",
1959                            mptr, nl); */
1960                         else if (i == 'N')
1961                                 safestrncpy(snode, mptr, sizeof_snode);
1962                         else if (i == 'R')
1963                         {
1964                                 if (haschar(mptr, '@') == 0)
1965                                 {
1966                                         sanitize_truncated_recipient(mptr);
1967                                         cprintf("To: %s@%s", mptr, config.c_fqdn);
1968                                         cprintf("%s", nl);
1969                                 }
1970                                 else
1971                                 {
1972                                         if ((flags & QP_EADDR) != 0) {
1973                                                 mptr = qp_encode_email_addrs(mptr);
1974                                         }
1975                                         sanitize_truncated_recipient(mptr);
1976                                         cprintf("To: %s", mptr);
1977                                         cprintf("%s", nl);
1978                                 }
1979                         }
1980                         else if (i == 'T') {
1981                                 datestring(datestamp, sizeof datestamp,
1982                                            atol(mptr), DATESTRING_RFC822);
1983                                 cprintf("Date: %s%s", datestamp, nl);
1984                         }
1985                         else if (i == 'W') {
1986                                 cprintf("References: ");
1987                                 k = num_tokens(mptr, '|');
1988                                 for (j=0; j<k; ++j) {
1989                                         extract_token(buf, mptr, j, '|', sizeof buf);
1990                                         cprintf("<%s>", buf);
1991                                         if (j == (k-1)) {
1992                                                 cprintf("%s", nl);
1993                                         }
1994                                         else {
1995                                                 cprintf(" ");
1996                                         }
1997                                 }
1998                         }
1999                         else if (i == 'K') {
2000                                 cprintf("Reply-To: <%s>%s", mptr, nl);
2001                         }
2002                         if (mptr != mpptr)
2003                                 free (mptr);
2004                 }
2005         }
2006         if (subject_found == 0) {
2007                 cprintf("Subject: (no subject)%s", nl);
2008         }
2009 }
2010
2011
2012 void Dump_RFC822HeadersBody(
2013         struct CtdlMessage *TheMessage,
2014         int headers_only,       /* eschew the message body? */
2015         int flags,              /* should the bessage be exported clean? */
2016
2017         const char *nl)
2018 {
2019         cit_uint8_t prev_ch;
2020         int eoh = 0;
2021         const char *StartOfText = StrBufNOTNULL;
2022         char outbuf[1024];
2023         int outlen = 0;
2024         int nllen = strlen(nl);
2025         char *mptr;
2026
2027         mptr = TheMessage->cm_fields['M'];
2028
2029
2030         prev_ch = '\0';
2031         while (*mptr != '\0') {
2032                 if (*mptr == '\r') {
2033                         /* do nothing */
2034                 }
2035                 else {
2036                         if ((!eoh) &&
2037                             (*mptr == '\n'))
2038                         {
2039                                 eoh = (*(mptr+1) == '\r') && (*(mptr+2) == '\n');
2040                                 if (!eoh)
2041                                         eoh = *(mptr+1) == '\n';
2042                                 if (eoh)
2043                                 {
2044                                         StartOfText = mptr;
2045                                         StartOfText = strchr(StartOfText, '\n');
2046                                         StartOfText = strchr(StartOfText, '\n');
2047                                 }
2048                         }
2049                         if (((headers_only == HEADERS_NONE) && (mptr >= StartOfText)) ||
2050                             ((headers_only == HEADERS_ONLY) && (mptr < StartOfText)) ||
2051                             ((headers_only != HEADERS_NONE) &&
2052                              (headers_only != HEADERS_ONLY))
2053                                 ) {
2054                                 if (*mptr == '\n') {
2055                                         memcpy(&outbuf[outlen], nl, nllen);
2056                                         outlen += nllen;
2057                                         outbuf[outlen] = '\0';
2058                                 }
2059                                 else {
2060                                         outbuf[outlen++] = *mptr;
2061                                 }
2062                         }
2063                 }
2064                 if (flags & ESC_DOT)
2065                 {
2066                         if ((prev_ch == '\n') &&
2067                             (*mptr == '.') &&
2068                             ((*(mptr+1) == '\r') || (*(mptr+1) == '\n')))
2069                         {
2070                                 outbuf[outlen++] = '.';
2071                         }
2072                         prev_ch = *mptr;
2073                 }
2074                 ++mptr;
2075                 if (outlen > 1000) {
2076                         client_write(outbuf, outlen);
2077                         outlen = 0;
2078                 }
2079         }
2080         if (outlen > 0) {
2081                 client_write(outbuf, outlen);
2082                 outlen = 0;
2083         }
2084 }
2085
2086
2087
2088 /* If the format type on disk is 1 (fixed-format), then we want
2089  * everything to be output completely literally ... regardless of
2090  * what message transfer format is in use.
2091  */
2092 void DumpFormatFixed(
2093         struct CtdlMessage *TheMessage,
2094         int mode,               /* how would you like that message? */
2095         const char *nl)
2096 {
2097         cit_uint8_t ch;
2098         char buf[SIZ];
2099         int buflen;
2100         int xlline = 0;
2101         int nllen = strlen (nl);
2102         char *mptr;
2103
2104         mptr = TheMessage->cm_fields['M'];
2105
2106         if (mode == MT_MIME) {
2107                 cprintf("Content-type: text/plain\n\n");
2108         }
2109         *buf = '\0';
2110         buflen = 0;
2111         while (ch = *mptr++, ch > 0) {
2112                 if (ch == '\n')
2113                         ch = '\r';
2114
2115                 if ((buflen > 250) && (!xlline)){
2116                         int tbuflen;
2117                         tbuflen = buflen;
2118
2119                         while ((buflen > 0) &&
2120                                (!isspace(buf[buflen])))
2121                                 buflen --;
2122                         if (buflen == 0) {
2123                                 xlline = 1;
2124                         }
2125                         else {
2126                                 mptr -= tbuflen - buflen;
2127                                 buf[buflen] = '\0';
2128                                 ch = '\r';
2129                         }
2130                 }
2131                 /* if we reach the outer bounds of our buffer,
2132                    abort without respect what whe purge. */
2133                 if (xlline &&
2134                     ((isspace(ch)) ||
2135                      (buflen > SIZ - nllen - 2)))
2136                         ch = '\r';
2137
2138                 if (ch == '\r') {
2139                         memcpy (&buf[buflen], nl, nllen);
2140                         buflen += nllen;
2141                         buf[buflen] = '\0';
2142
2143                         client_write(buf, buflen);
2144                         *buf = '\0';
2145                         buflen = 0;
2146                         xlline = 0;
2147                 } else {
2148                         buf[buflen] = ch;
2149                         buflen++;
2150                 }
2151         }
2152         buf[buflen] = '\0';
2153         if (!IsEmptyStr(buf))
2154                 cprintf("%s%s", buf, nl);
2155 }
2156
2157 /*
2158  * Get a message off disk.  (returns om_* values found in msgbase.h)
2159  */
2160 int CtdlOutputPreLoadedMsg(
2161                 struct CtdlMessage *TheMessage,
2162                 int mode,               /* how would you like that message? */
2163                 int headers_only,       /* eschew the message body? */
2164                 int do_proto,           /* do Citadel protocol responses? */
2165                 int crlf,               /* Use CRLF newlines instead of LF? */
2166                 int flags               /* should the bessage be exported clean? */
2167 ) {
2168         int i;
2169         char *mptr = NULL;
2170         const char *nl; /* newline string */
2171         struct ma_info ma;
2172
2173         /* Buffers needed for RFC822 translation.  These are all filled
2174          * using functions that are bounds-checked, and therefore we can
2175          * make them substantially smaller than SIZ.
2176          */
2177         char suser[100];
2178         char luser[100];
2179         char fuser[100];
2180         char snode[100];
2181         char mid[100];
2182
2183         syslog(LOG_DEBUG, "CtdlOutputPreLoadedMsg(TheMessage=%s, %d, %d, %d, %d\n",
2184                 ((TheMessage == NULL) ? "NULL" : "not null"),
2185                 mode, headers_only, do_proto, crlf);
2186
2187         strcpy(mid, "unknown");
2188         nl = (crlf ? "\r\n" : "\n");
2189
2190         if (!is_valid_message(TheMessage)) {
2191                 syslog(LOG_ERR,
2192                         "ERROR: invalid preloaded message for output\n");
2193                 cit_backtrace ();
2194                 return(om_no_such_msg);
2195         }
2196
2197         /* Suppress envelope recipients if required to avoid disclosing BCC addresses.
2198          * Pad it with spaces in order to avoid changing the RFC822 length of the message.
2199          */
2200         if ( (flags & SUPPRESS_ENV_TO) && (TheMessage->cm_fields['V'] != NULL) ) {
2201                 memset(TheMessage->cm_fields['V'], ' ', strlen(TheMessage->cm_fields['V']));
2202         }
2203
2204         /* Are we downloading a MIME component? */
2205         if (mode == MT_DOWNLOAD) {
2206                 if (TheMessage->cm_format_type != FMT_RFC822) {
2207                         if (do_proto)
2208                                 cprintf("%d This is not a MIME message.\n",
2209                                 ERROR + ILLEGAL_VALUE);
2210                 } else if (CC->download_fp != NULL) {
2211                         if (do_proto) cprintf(
2212                                 "%d You already have a download open.\n",
2213                                 ERROR + RESOURCE_BUSY);
2214                 } else {
2215                         /* Parse the message text component */
2216                         mptr = TheMessage->cm_fields['M'];
2217                         mime_parser(mptr, NULL, *mime_download, NULL, NULL, NULL, 0);
2218                         /* If there's no file open by this time, the requested
2219                          * section wasn't found, so print an error
2220                          */
2221                         if (CC->download_fp == NULL) {
2222                                 if (do_proto) cprintf(
2223                                         "%d Section %s not found.\n",
2224                                         ERROR + FILE_NOT_FOUND,
2225                                         CC->download_desired_section);
2226                         }
2227                 }
2228                 return((CC->download_fp != NULL) ? om_ok : om_mime_error);
2229         }
2230
2231         /* MT_SPEW_SECTION is like MT_DOWNLOAD except it outputs the whole MIME part
2232          * in a single server operation instead of opening a download file.
2233          */
2234         if (mode == MT_SPEW_SECTION) {
2235                 if (TheMessage->cm_format_type != FMT_RFC822) {
2236                         if (do_proto)
2237                                 cprintf("%d This is not a MIME message.\n",
2238                                 ERROR + ILLEGAL_VALUE);
2239                 } else {
2240                         /* Parse the message text component */
2241                         int found_it = 0;
2242
2243                         mptr = TheMessage->cm_fields['M'];
2244                         mime_parser(mptr, NULL, *mime_spew_section, NULL, NULL, (void *)&found_it, 0);
2245                         /* If section wasn't found, print an error
2246                          */
2247                         if (!found_it) {
2248                                 if (do_proto) cprintf(
2249                                         "%d Section %s not found.\n",
2250                                         ERROR + FILE_NOT_FOUND,
2251                                         CC->download_desired_section);
2252                         }
2253                 }
2254                 return((CC->download_fp != NULL) ? om_ok : om_mime_error);
2255         }
2256
2257         /* now for the user-mode message reading loops */
2258         if (do_proto) cprintf("%d msg:\n", LISTING_FOLLOWS);
2259
2260         /* Does the caller want to skip the headers? */
2261         if (headers_only == HEADERS_NONE) goto START_TEXT;
2262
2263         /* Tell the client which format type we're using. */
2264         if ( (mode == MT_CITADEL) && (do_proto) ) {
2265                 cprintf("type=%d\n", TheMessage->cm_format_type);
2266         }
2267
2268         /* nhdr=yes means that we're only displaying headers, no body */
2269         if ( (TheMessage->cm_anon_type == MES_ANONONLY)
2270            && ((mode == MT_CITADEL) || (mode == MT_MIME))
2271            && (do_proto)
2272            ) {
2273                 cprintf("nhdr=yes\n");
2274         }
2275
2276         if ((mode == MT_CITADEL) || (mode == MT_MIME))
2277                 OutputCtdlMsgHeaders(TheMessage, do_proto);
2278
2279
2280         /* begin header processing loop for RFC822 transfer format */
2281         strcpy(suser, "");
2282         strcpy(luser, "");
2283         strcpy(fuser, "");
2284         strcpy(snode, NODENAME);
2285         if (mode == MT_RFC822)
2286                 OutputRFC822MsgHeaders(
2287                         TheMessage,
2288                         flags,
2289                         nl,
2290                         mid, sizeof(mid),
2291                         suser, sizeof(suser),
2292                         luser, sizeof(luser),
2293                         fuser, sizeof(fuser),
2294                         snode, sizeof(snode)
2295                         );
2296
2297
2298         for (i=0; !IsEmptyStr(&suser[i]); ++i) {
2299                 suser[i] = tolower(suser[i]);
2300                 if (!isalnum(suser[i])) suser[i]='_';
2301         }
2302
2303         if (mode == MT_RFC822) {
2304                 if (!strcasecmp(snode, NODENAME)) {
2305                         safestrncpy(snode, FQDN, sizeof snode);
2306                 }
2307
2308                 /* Construct a fun message id */
2309                 cprintf("Message-ID: <%s", mid);/// todo: this possibly breaks threadding mails.
2310                 if (strchr(mid, '@')==NULL) {
2311                         cprintf("@%s", snode);
2312                 }
2313                 cprintf(">%s", nl);
2314
2315                 if (!is_room_aide() && (TheMessage->cm_anon_type == MES_ANONONLY)) {
2316                         cprintf("From: \"----\" <x@x.org>%s", nl);
2317                 }
2318                 else if (!is_room_aide() && (TheMessage->cm_anon_type == MES_ANONOPT)) {
2319                         cprintf("From: \"anonymous\" <x@x.org>%s", nl);
2320                 }
2321                 else if (!IsEmptyStr(fuser)) {
2322                         cprintf("From: \"%s\" <%s>%s", luser, fuser, nl);
2323                 }
2324                 else {
2325                         cprintf("From: \"%s\" <%s@%s>%s", luser, suser, snode, nl);
2326                 }
2327
2328                 /* Blank line signifying RFC822 end-of-headers */
2329                 if (TheMessage->cm_format_type != FMT_RFC822) {
2330                         cprintf("%s", nl);
2331                 }
2332         }
2333
2334         /* end header processing loop ... at this point, we're in the text */
2335 START_TEXT:
2336         if (headers_only == HEADERS_FAST) goto DONE;
2337
2338         /* Tell the client about the MIME parts in this message */
2339         if (TheMessage->cm_format_type == FMT_RFC822) {
2340                 if ( (mode == MT_CITADEL) || (mode == MT_MIME) ) {
2341                         mptr = TheMessage->cm_fields['M'];
2342                         memset(&ma, 0, sizeof(struct ma_info));
2343                         mime_parser(mptr, NULL,
2344                                 (do_proto ? *list_this_part : NULL),
2345                                 (do_proto ? *list_this_pref : NULL),
2346                                 (do_proto ? *list_this_suff : NULL),
2347                                 (void *)&ma, 1);
2348                 }
2349                 else if (mode == MT_RFC822) {   /* unparsed RFC822 dump */
2350                         Dump_RFC822HeadersBody(
2351                                 TheMessage,
2352                                 headers_only,
2353                                 flags,
2354                                 nl);
2355                         goto DONE;
2356                 }
2357         }
2358
2359         if (headers_only == HEADERS_ONLY) {
2360                 goto DONE;
2361         }
2362
2363         /* signify start of msg text */
2364         if ( (mode == MT_CITADEL) || (mode == MT_MIME) ) {
2365                 if (do_proto) cprintf("text\n");
2366         }
2367
2368         if (TheMessage->cm_format_type == FMT_FIXED)
2369                 DumpFormatFixed(
2370                         TheMessage,
2371                         mode,           /* how would you like that message? */
2372                         nl);
2373
2374         /* If the message on disk is format 0 (Citadel vari-format), we
2375          * output using the formatter at 80 columns.  This is the final output
2376          * form if the transfer format is RFC822, but if the transfer format
2377          * is Citadel proprietary, it'll still work, because the indentation
2378          * for new paragraphs is correct and the client will reformat the
2379          * message to the reader's screen width.
2380          */
2381         if (TheMessage->cm_format_type == FMT_CITADEL) {
2382                 mptr = TheMessage->cm_fields['M'];
2383
2384                 if (mode == MT_MIME) {
2385                         cprintf("Content-type: text/x-citadel-variformat\n\n");
2386                 }
2387                 memfmout(mptr, nl);
2388         }
2389
2390         /* If the message on disk is format 4 (MIME), we've gotta hand it
2391          * off to the MIME parser.  The client has already been told that
2392          * this message is format 1 (fixed format), so the callback function
2393          * we use will display those parts as-is.
2394          */
2395         if (TheMessage->cm_format_type == FMT_RFC822) {
2396                 memset(&ma, 0, sizeof(struct ma_info));
2397
2398                 if (mode == MT_MIME) {
2399                         ma.use_fo_hooks = 0;
2400                         strcpy(ma.chosen_part, "1");
2401                         ma.chosen_pref = 9999;
2402                         ma.dont_decode = CC->msg4_dont_decode;
2403                         mime_parser(mptr, NULL,
2404                                 *choose_preferred, *fixed_output_pre,
2405                                 *fixed_output_post, (void *)&ma, 1);
2406                         mime_parser(mptr, NULL,
2407                                 *output_preferred, NULL, NULL, (void *)&ma, 1);
2408                 }
2409                 else {
2410                         ma.use_fo_hooks = 1;
2411                         mime_parser(mptr, NULL,
2412                                 *fixed_output, *fixed_output_pre,
2413                                 *fixed_output_post, (void *)&ma, 0);
2414                 }
2415
2416         }
2417
2418 DONE:   /* now we're done */
2419         if (do_proto) cprintf("000\n");
2420         return(om_ok);
2421 }
2422
2423
2424 /*
2425  * display a message (mode 0 - Citadel proprietary)
2426  */
2427 void cmd_msg0(char *cmdbuf)
2428 {
2429         long msgid;
2430         int headers_only = HEADERS_ALL;
2431
2432         msgid = extract_long(cmdbuf, 0);
2433         headers_only = extract_int(cmdbuf, 1);
2434
2435         CtdlOutputMsg(msgid, MT_CITADEL, headers_only, 1, 0, NULL, 0);
2436         return;
2437 }
2438
2439
2440 /*
2441  * display a message (mode 2 - RFC822)
2442  */
2443 void cmd_msg2(char *cmdbuf)
2444 {
2445         long msgid;
2446         int headers_only = HEADERS_ALL;
2447
2448         msgid = extract_long(cmdbuf, 0);
2449         headers_only = extract_int(cmdbuf, 1);
2450
2451         CtdlOutputMsg(msgid, MT_RFC822, headers_only, 1, 1, NULL, 0);
2452 }
2453
2454
2455
2456 /*
2457  * display a message (mode 3 - IGnet raw format - internal programs only)
2458  */
2459 void cmd_msg3(char *cmdbuf)
2460 {
2461         long msgnum;
2462         struct CtdlMessage *msg = NULL;
2463         struct ser_ret smr;
2464
2465         if (CC->internal_pgm == 0) {
2466                 cprintf("%d This command is for internal programs only.\n",
2467                         ERROR + HIGHER_ACCESS_REQUIRED);
2468                 return;
2469         }
2470
2471         msgnum = extract_long(cmdbuf, 0);
2472         msg = CtdlFetchMessage(msgnum, 1);
2473         if (msg == NULL) {
2474                 cprintf("%d Message %ld not found.\n",
2475                         ERROR + MESSAGE_NOT_FOUND, msgnum);
2476                 return;
2477         }
2478
2479         serialize_message(&smr, msg);
2480         CtdlFreeMessage(msg);
2481
2482         if (smr.len == 0) {
2483                 cprintf("%d Unable to serialize message\n",
2484                         ERROR + INTERNAL_ERROR);
2485                 return;
2486         }
2487
2488         cprintf("%d %ld\n", BINARY_FOLLOWS, (long)smr.len);
2489         client_write((char *)smr.ser, (int)smr.len);
2490         free(smr.ser);
2491 }
2492
2493
2494
2495 /*
2496  * Display a message using MIME content types
2497  */
2498 void cmd_msg4(char *cmdbuf)
2499 {
2500         long msgid;
2501         char section[64];
2502
2503         msgid = extract_long(cmdbuf, 0);
2504         extract_token(section, cmdbuf, 1, '|', sizeof section);
2505         CtdlOutputMsg(msgid, MT_MIME, 0, 1, 0, (section[0] ? section : NULL) , 0);
2506 }
2507
2508
2509
2510 /*
2511  * Client tells us its preferred message format(s)
2512  */
2513 void cmd_msgp(char *cmdbuf)
2514 {
2515         if (!strcasecmp(cmdbuf, "dont_decode")) {
2516                 CC->msg4_dont_decode = 1;
2517                 cprintf("%d MSG4 will not pre-decode messages.\n", CIT_OK);
2518         }
2519         else {
2520                 safestrncpy(CC->preferred_formats, cmdbuf, sizeof(CC->preferred_formats));
2521                 cprintf("%d Preferred MIME formats have been set.\n", CIT_OK);
2522         }
2523 }
2524
2525
2526 /*
2527  * Open a component of a MIME message as a download file
2528  */
2529 void cmd_opna(char *cmdbuf)
2530 {
2531         long msgid;
2532         char desired_section[128];
2533
2534         msgid = extract_long(cmdbuf, 0);
2535         extract_token(desired_section, cmdbuf, 1, '|', sizeof desired_section);
2536         safestrncpy(CC->download_desired_section, desired_section,
2537                 sizeof CC->download_desired_section);
2538         CtdlOutputMsg(msgid, MT_DOWNLOAD, 0, 1, 1, NULL, 0);
2539 }
2540
2541
2542 /*
2543  * Open a component of a MIME message and transmit it all at once
2544  */
2545 void cmd_dlat(char *cmdbuf)
2546 {
2547         long msgid;
2548         char desired_section[128];
2549
2550         msgid = extract_long(cmdbuf, 0);
2551         extract_token(desired_section, cmdbuf, 1, '|', sizeof desired_section);
2552         safestrncpy(CC->download_desired_section, desired_section,
2553                 sizeof CC->download_desired_section);
2554         CtdlOutputMsg(msgid, MT_SPEW_SECTION, 0, 1, 1, NULL, 0);
2555 }
2556
2557
2558 /*
2559  * Save one or more message pointers into a specified room
2560  * (Returns 0 for success, nonzero for failure)
2561  * roomname may be NULL to use the current room
2562  *
2563  * Note that the 'supplied_msg' field may be set to NULL, in which case
2564  * the message will be fetched from disk, by number, if we need to perform
2565  * replication checks.  This adds an additional database read, so if the
2566  * caller already has the message in memory then it should be supplied.  (Obviously
2567  * this mode of operation only works if we're saving a single message.)
2568  */
2569 int CtdlSaveMsgPointersInRoom(char *roomname, long newmsgidlist[], int num_newmsgs,
2570                         int do_repl_check, struct CtdlMessage *supplied_msg, int suppress_refcount_adj
2571 ) {
2572         int i, j, unique;
2573         char hold_rm[ROOMNAMELEN];
2574         struct cdbdata *cdbfr;
2575         int num_msgs;
2576         long *msglist;
2577         long highest_msg = 0L;
2578
2579         long msgid = 0;
2580         struct CtdlMessage *msg = NULL;
2581
2582         long *msgs_to_be_merged = NULL;
2583         int num_msgs_to_be_merged = 0;
2584
2585         syslog(LOG_DEBUG,
2586                 "CtdlSaveMsgPointersInRoom(room=%s, num_msgs=%d, repl=%d, suppress_rca=%d)\n",
2587                 roomname, num_newmsgs, do_repl_check, suppress_refcount_adj
2588         );
2589
2590         strcpy(hold_rm, CC->room.QRname);
2591
2592         /* Sanity checks */
2593         if (newmsgidlist == NULL) return(ERROR + INTERNAL_ERROR);
2594         if (num_newmsgs < 1) return(ERROR + INTERNAL_ERROR);
2595         if (num_newmsgs > 1) supplied_msg = NULL;
2596
2597         /* Now the regular stuff */
2598         if (CtdlGetRoomLock(&CC->room,
2599            ((roomname != NULL) ? roomname : CC->room.QRname) )
2600            != 0) {
2601                 syslog(LOG_ERR, "No such room <%s>\n", roomname);
2602                 return(ERROR + ROOM_NOT_FOUND);
2603         }
2604
2605
2606         msgs_to_be_merged = malloc(sizeof(long) * num_newmsgs);
2607         num_msgs_to_be_merged = 0;
2608
2609
2610         cdbfr = cdb_fetch(CDB_MSGLISTS, &CC->room.QRnumber, sizeof(long));
2611         if (cdbfr == NULL) {
2612                 msglist = NULL;
2613                 num_msgs = 0;
2614         } else {
2615                 msglist = (long *) cdbfr->ptr;
2616                 cdbfr->ptr = NULL;      /* CtdlSaveMsgPointerInRoom() now owns this memory */
2617                 num_msgs = cdbfr->len / sizeof(long);
2618                 cdb_free(cdbfr);
2619         }
2620
2621
2622         /* Create a list of msgid's which were supplied by the caller, but do
2623          * not already exist in the target room.  It is absolutely taboo to
2624          * have more than one reference to the same message in a room.
2625          */
2626         for (i=0; i<num_newmsgs; ++i) {
2627                 unique = 1;
2628                 if (num_msgs > 0) for (j=0; j<num_msgs; ++j) {
2629                         if (msglist[j] == newmsgidlist[i]) {
2630                                 unique = 0;
2631                         }
2632                 }
2633                 if (unique) {
2634                         msgs_to_be_merged[num_msgs_to_be_merged++] = newmsgidlist[i];
2635                 }
2636         }
2637
2638         syslog(LOG_DEBUG, "%d unique messages to be merged\n", num_msgs_to_be_merged);
2639
2640         /*
2641          * Now merge the new messages
2642          */
2643         msglist = realloc(msglist, (sizeof(long) * (num_msgs + num_msgs_to_be_merged)) );
2644         if (msglist == NULL) {
2645                 syslog(LOG_ALERT, "ERROR: can't realloc message list!\n");
2646         }
2647         memcpy(&msglist[num_msgs], msgs_to_be_merged, (sizeof(long) * num_msgs_to_be_merged) );
2648         num_msgs += num_msgs_to_be_merged;
2649
2650         /* Sort the message list, so all the msgid's are in order */
2651         num_msgs = sort_msglist(msglist, num_msgs);
2652
2653         /* Determine the highest message number */
2654         highest_msg = msglist[num_msgs - 1];
2655
2656         /* Write it back to disk. */
2657         cdb_store(CDB_MSGLISTS, &CC->room.QRnumber, (int)sizeof(long),
2658                   msglist, (int)(num_msgs * sizeof(long)));
2659
2660         /* Free up the memory we used. */
2661         free(msglist);
2662
2663         /* Update the highest-message pointer and unlock the room. */
2664         CC->room.QRhighest = highest_msg;
2665         CtdlPutRoomLock(&CC->room);
2666
2667         /* Perform replication checks if necessary */
2668         if ( (DoesThisRoomNeedEuidIndexing(&CC->room)) && (do_repl_check) ) {
2669                 syslog(LOG_DEBUG, "CtdlSaveMsgPointerInRoom() doing repl checks\n");
2670
2671                 for (i=0; i<num_msgs_to_be_merged; ++i) {
2672                         msgid = msgs_to_be_merged[i];
2673
2674                         if (supplied_msg != NULL) {
2675                                 msg = supplied_msg;
2676                         }
2677                         else {
2678                                 msg = CtdlFetchMessage(msgid, 0);
2679                         }
2680
2681                         if (msg != NULL) {
2682                                 ReplicationChecks(msg);
2683
2684                                 /* If the message has an Exclusive ID, index that... */
2685                                 if (msg->cm_fields['E'] != NULL) {
2686                                         index_message_by_euid(msg->cm_fields['E'], &CC->room, msgid);
2687                                 }
2688
2689                                 /* Free up the memory we may have allocated */
2690                                 if (msg != supplied_msg) {
2691                                         CtdlFreeMessage(msg);
2692                                 }
2693                         }
2694
2695                 }
2696         }
2697
2698         else {
2699                 syslog(LOG_DEBUG, "CtdlSaveMsgPointerInRoom() skips repl checks\n");
2700         }
2701
2702         /* Submit this room for processing by hooks */
2703         PerformRoomHooks(&CC->room);
2704
2705         /* Go back to the room we were in before we wandered here... */
2706         CtdlGetRoom(&CC->room, hold_rm);
2707
2708         /* Bump the reference count for all messages which were merged */
2709         if (!suppress_refcount_adj) {
2710                 for (i=0; i<num_msgs_to_be_merged; ++i) {
2711                         AdjRefCount(msgs_to_be_merged[i], +1);
2712                 }
2713         }
2714
2715         /* Free up memory... */
2716         if (msgs_to_be_merged != NULL) {
2717                 free(msgs_to_be_merged);
2718         }
2719
2720         /* Return success. */
2721         return (0);
2722 }
2723
2724
2725 /*
2726  * This is the same as CtdlSaveMsgPointersInRoom() but it only accepts
2727  * a single message.
2728  */
2729 int CtdlSaveMsgPointerInRoom(char *roomname, long msgid,
2730                         int do_repl_check, struct CtdlMessage *supplied_msg)
2731 {
2732         return CtdlSaveMsgPointersInRoom(roomname, &msgid, 1, do_repl_check, supplied_msg, 0);
2733 }
2734
2735
2736
2737
2738 /*
2739  * Message base operation to save a new message to the message store
2740  * (returns new message number)
2741  *
2742  * This is the back end for CtdlSubmitMsg() and should not be directly
2743  * called by server-side modules.
2744  *
2745  */
2746 long send_message(struct CtdlMessage *msg) {
2747         long newmsgid;
2748         long retval;
2749         char msgidbuf[256];
2750         struct ser_ret smr;
2751         int is_bigmsg = 0;
2752         char *holdM = NULL;
2753
2754         /* Get a new message number */
2755         newmsgid = get_new_message_number();
2756         snprintf(msgidbuf, sizeof msgidbuf, "%010ld@%s", newmsgid, config.c_fqdn);
2757
2758         /* Generate an ID if we don't have one already */
2759         if (msg->cm_fields['I']==NULL) {
2760                 msg->cm_fields['I'] = strdup(msgidbuf);
2761         }
2762
2763         /* If the message is big, set its body aside for storage elsewhere */
2764         if (msg->cm_fields['M'] != NULL) {
2765                 if (strlen(msg->cm_fields['M']) > BIGMSG) {
2766                         is_bigmsg = 1;
2767                         holdM = msg->cm_fields['M'];
2768                         msg->cm_fields['M'] = NULL;
2769                 }
2770         }
2771
2772         /* Serialize our data structure for storage in the database */
2773         serialize_message(&smr, msg);
2774
2775         if (is_bigmsg) {
2776                 msg->cm_fields['M'] = holdM;
2777         }
2778
2779         if (smr.len == 0) {
2780                 cprintf("%d Unable to serialize message\n",
2781                         ERROR + INTERNAL_ERROR);
2782                 return (-1L);
2783         }
2784
2785         /* Write our little bundle of joy into the message base */
2786         if (cdb_store(CDB_MSGMAIN, &newmsgid, (int)sizeof(long),
2787                       smr.ser, smr.len) < 0) {
2788                 syslog(LOG_ERR, "Can't store message\n");
2789                 retval = 0L;
2790         } else {
2791                 if (is_bigmsg) {
2792                         cdb_store(CDB_BIGMSGS,
2793                                 &newmsgid,
2794                                 (int)sizeof(long),
2795                                 holdM,
2796                                 (strlen(holdM) + 1)
2797                         );
2798                 }
2799                 retval = newmsgid;
2800         }
2801
2802         /* Free the memory we used for the serialized message */
2803         free(smr.ser);
2804
2805         /* Return the *local* message ID to the caller
2806          * (even if we're storing an incoming network message)
2807          */
2808         return(retval);
2809 }
2810
2811
2812
2813 /*
2814  * Serialize a struct CtdlMessage into the format used on disk and network.
2815  *
2816  * This function loads up a "struct ser_ret" (defined in server.h) which
2817  * contains the length of the serialized message and a pointer to the
2818  * serialized message in memory.  THE LATTER MUST BE FREED BY THE CALLER.
2819  */
2820 void serialize_message(struct ser_ret *ret,             /* return values */
2821                         struct CtdlMessage *msg)        /* unserialized msg */
2822 {
2823         size_t wlen, fieldlen;
2824         int i;
2825         static char *forder = FORDER;
2826
2827         /*
2828          * Check for valid message format
2829          */
2830         if (is_valid_message(msg) == 0) {
2831                 syslog(LOG_ERR, "serialize_message() aborting due to invalid message\n");
2832                 ret->len = 0;
2833                 ret->ser = NULL;
2834                 return;
2835         }
2836
2837         ret->len = 3;
2838         for (i=0; i<26; ++i) if (msg->cm_fields[(int)forder[i]] != NULL)
2839                 ret->len = ret->len +
2840                         strlen(msg->cm_fields[(int)forder[i]]) + 2;
2841
2842         ret->ser = malloc(ret->len);
2843         if (ret->ser == NULL) {
2844                 syslog(LOG_ERR, "serialize_message() malloc(%ld) failed: %s\n",
2845                         (long)ret->len, strerror(errno));
2846                 ret->len = 0;
2847                 ret->ser = NULL;
2848                 return;
2849         }
2850
2851         ret->ser[0] = 0xFF;
2852         ret->ser[1] = msg->cm_anon_type;
2853         ret->ser[2] = msg->cm_format_type;
2854         wlen = 3;
2855
2856         for (i=0; i<26; ++i) if (msg->cm_fields[(int)forder[i]] != NULL) {
2857                 fieldlen = strlen(msg->cm_fields[(int)forder[i]]);
2858                 ret->ser[wlen++] = (char)forder[i];
2859                 safestrncpy((char *)&ret->ser[wlen], msg->cm_fields[(int)forder[i]], fieldlen+1);
2860                 wlen = wlen + fieldlen + 1;
2861         }
2862         if (ret->len != wlen) syslog(LOG_ERR, "ERROR: len=%ld wlen=%ld\n",
2863                 (long)ret->len, (long)wlen);
2864
2865         return;
2866 }
2867
2868
2869 /*
2870  * Serialize a struct CtdlMessage into the format used on disk and network.
2871  *
2872  * This function loads up a "struct ser_ret" (defined in server.h) which
2873  * contains the length of the serialized message and a pointer to the
2874  * serialized message in memory.  THE LATTER MUST BE FREED BY THE CALLER.
2875  */
2876 void dump_message(struct CtdlMessage *msg,      /* unserialized msg */
2877                   long Siz)                     /* how many chars ? */
2878 {
2879         size_t wlen;
2880         int i;
2881         static char *forder = FORDER;
2882         char *buf;
2883
2884         /*
2885          * Check for valid message format
2886          */
2887         if (is_valid_message(msg) == 0) {
2888                 syslog(LOG_ERR, "dump_message() aborting due to invalid message\n");
2889                 return;
2890         }
2891
2892         buf = (char*) malloc (Siz + 1);
2893
2894         wlen = 3;
2895
2896         for (i=0; i<26; ++i) if (msg->cm_fields[(int)forder[i]] != NULL) {
2897                         snprintf (buf, Siz, " msg[%c] = %s ...\n", (char) forder[i],
2898                                    msg->cm_fields[(int)forder[i]]);
2899                         client_write (buf, strlen(buf));
2900                 }
2901
2902         return;
2903 }
2904
2905
2906
2907 /*
2908  * Check to see if any messages already exist in the current room which
2909  * carry the same Exclusive ID as this one.  If any are found, delete them.
2910  */
2911 void ReplicationChecks(struct CtdlMessage *msg) {
2912         long old_msgnum = (-1L);
2913
2914         if (DoesThisRoomNeedEuidIndexing(&CC->room) == 0) return;
2915
2916         syslog(LOG_DEBUG, "Performing replication checks in <%s>\n",
2917                 CC->room.QRname);
2918
2919         /* No exclusive id?  Don't do anything. */
2920         if (msg == NULL) return;
2921         if (msg->cm_fields['E'] == NULL) return;
2922         if (IsEmptyStr(msg->cm_fields['E'])) return;
2923         /*syslog(LOG_DEBUG, "Exclusive ID: <%s> for room <%s>\n",
2924                 msg->cm_fields['E'], CC->room.QRname);*/
2925
2926         old_msgnum = CtdlLocateMessageByEuid(msg->cm_fields['E'], &CC->room);
2927         if (old_msgnum > 0L) {
2928                 syslog(LOG_DEBUG, "ReplicationChecks() replacing message %ld\n", old_msgnum);
2929                 CtdlDeleteMessages(CC->room.QRname, &old_msgnum, 1, "");
2930         }
2931 }
2932
2933
2934
2935 /*
2936  * Save a message to disk and submit it into the delivery system.
2937  */
2938 long CtdlSubmitMsg(struct CtdlMessage *msg,     /* message to save */
2939                    struct recptypes *recps,     /* recipients (if mail) */
2940                    char *force,                 /* force a particular room? */
2941                    int flags                    /* should the message be exported clean? */
2942 ) {
2943         char submit_filename[128];
2944         char generated_timestamp[32];
2945         char hold_rm[ROOMNAMELEN];
2946         char actual_rm[ROOMNAMELEN];
2947         char force_room[ROOMNAMELEN];
2948         char content_type[SIZ];                 /* We have to learn this */
2949         char recipient[SIZ];
2950         long newmsgid;
2951         const char *mptr = NULL;
2952         struct ctdluser userbuf;
2953         int a, i;
2954         struct MetaData smi;
2955         FILE *network_fp = NULL;
2956         static int seqnum = 1;
2957         struct CtdlMessage *imsg = NULL;
2958         char *instr = NULL;
2959         size_t instr_alloc = 0;
2960         struct ser_ret smr;
2961         char *hold_R, *hold_D;
2962         char *collected_addresses = NULL;
2963         struct addresses_to_be_filed *aptr = NULL;
2964         StrBuf *saved_rfc822_version = NULL;
2965         int qualified_for_journaling = 0;
2966         CitContext *CCC = MyContext();
2967         char bounce_to[1024] = "";
2968         size_t tmp = 0;
2969         int rv = 0;
2970
2971         syslog(LOG_DEBUG, "CtdlSubmitMsg() called\n");
2972         if (is_valid_message(msg) == 0) return(-1);     /* self check */
2973
2974         /* If this message has no timestamp, we take the liberty of
2975          * giving it one, right now.
2976          */
2977         if (msg->cm_fields['T'] == NULL) {
2978                 snprintf(generated_timestamp, sizeof generated_timestamp, "%ld", (long)time(NULL));
2979                 msg->cm_fields['T'] = strdup(generated_timestamp);
2980         }
2981
2982         /* If this message has no path, we generate one.
2983          */
2984         if (msg->cm_fields['P'] == NULL) {
2985                 if (msg->cm_fields['A'] != NULL) {
2986                         msg->cm_fields['P'] = strdup(msg->cm_fields['A']);
2987                         for (a=0; !IsEmptyStr(&msg->cm_fields['P'][a]); ++a) {
2988                                 if (isspace(msg->cm_fields['P'][a])) {
2989                                         msg->cm_fields['P'][a] = ' ';
2990                                 }
2991                         }
2992                 }
2993                 else {
2994                         msg->cm_fields['P'] = strdup("unknown");
2995                 }
2996         }
2997
2998         if (force == NULL) {
2999                 strcpy(force_room, "");
3000         }
3001         else {
3002                 strcpy(force_room, force);
3003         }
3004
3005         /* Learn about what's inside, because it's what's inside that counts */
3006         if (msg->cm_fields['M'] == NULL) {
3007                 syslog(LOG_ERR, "ERROR: attempt to save message with NULL body\n");
3008                 return(-2);
3009         }
3010
3011         switch (msg->cm_format_type) {
3012         case 0:
3013                 strcpy(content_type, "text/x-citadel-variformat");
3014                 break;
3015         case 1:
3016                 strcpy(content_type, "text/plain");
3017                 break;
3018         case 4:
3019                 strcpy(content_type, "text/plain");
3020                 mptr = bmstrcasestr(msg->cm_fields['M'], "Content-type:");
3021                 if (mptr != NULL) {
3022                         char *aptr;
3023                         safestrncpy(content_type, &mptr[13], sizeof content_type);
3024                         striplt(content_type);
3025                         aptr = content_type;
3026                         while (!IsEmptyStr(aptr)) {
3027                                 if ((*aptr == ';')
3028                                     || (*aptr == ' ')
3029                                     || (*aptr == 13)
3030                                     || (*aptr == 10)) {
3031                                         *aptr = 0;
3032                                 }
3033                                 else aptr++;
3034                         }
3035                 }
3036         }
3037
3038         /* Goto the correct room */
3039         syslog(LOG_DEBUG, "Selected room %s\n", (recps) ? CCC->room.QRname : SENTITEMS);
3040         strcpy(hold_rm, CCC->room.QRname);
3041         strcpy(actual_rm, CCC->room.QRname);
3042         if (recps != NULL) {
3043                 strcpy(actual_rm, SENTITEMS);
3044         }
3045
3046         /* If the user is a twit, move to the twit room for posting */
3047         if (TWITDETECT) {
3048                 if (CCC->user.axlevel == AxProbU) {
3049                         strcpy(hold_rm, actual_rm);
3050                         strcpy(actual_rm, config.c_twitroom);
3051                         syslog(LOG_DEBUG, "Diverting to twit room\n");
3052                 }
3053         }
3054
3055         /* ...or if this message is destined for Aide> then go there. */
3056         if (!IsEmptyStr(force_room)) {
3057                 strcpy(actual_rm, force_room);
3058         }
3059
3060         syslog(LOG_DEBUG, "Final selection: %s\n", actual_rm);
3061         if (strcasecmp(actual_rm, CCC->room.QRname)) {
3062                 /* CtdlGetRoom(&CCC->room, actual_rm); */
3063                 CtdlUserGoto(actual_rm, 0, 1, NULL, NULL);
3064         }
3065
3066         /*
3067          * If this message has no O (room) field, generate one.
3068          */
3069         if (msg->cm_fields['O'] == NULL) {
3070                 msg->cm_fields['O'] = strdup(CCC->room.QRname);
3071         }
3072
3073         /* Perform "before save" hooks (aborting if any return nonzero) */
3074         syslog(LOG_DEBUG, "Performing before-save hooks\n");
3075         if (PerformMessageHooks(msg, EVT_BEFORESAVE) > 0) return(-3);
3076
3077         /*
3078          * If this message has an Exclusive ID, and the room is replication
3079          * checking enabled, then do replication checks.
3080          */
3081         if (DoesThisRoomNeedEuidIndexing(&CCC->room)) {
3082                 ReplicationChecks(msg);
3083         }
3084
3085         /* Save it to disk */
3086         syslog(LOG_DEBUG, "Saving to disk\n");
3087         newmsgid = send_message(msg);
3088         if (newmsgid <= 0L) return(-5);
3089
3090         /* Write a supplemental message info record.  This doesn't have to
3091          * be a critical section because nobody else knows about this message
3092          * yet.
3093          */
3094         syslog(LOG_DEBUG, "Creating MetaData record\n");
3095         memset(&smi, 0, sizeof(struct MetaData));
3096         smi.meta_msgnum = newmsgid;
3097         smi.meta_refcount = 0;
3098         safestrncpy(smi.meta_content_type, content_type,
3099                         sizeof smi.meta_content_type);
3100
3101         /*
3102          * Measure how big this message will be when rendered as RFC822.
3103          * We do this for two reasons:
3104          * 1. We need the RFC822 length for the new metadata record, so the
3105          *    POP and IMAP services don't have to calculate message lengths
3106          *    while the user is waiting (multiplied by potentially hundreds
3107          *    or thousands of messages).
3108          * 2. If journaling is enabled, we will need an RFC822 version of the
3109          *    message to attach to the journalized copy.
3110          */
3111         if (CCC->redirect_buffer != NULL) {
3112                 syslog(LOG_ALERT, "CCC->redirect_buffer is not NULL during message submission!\n");
3113                 abort();
3114         }
3115         CCC->redirect_buffer = NewStrBufPlain(NULL, SIZ);
3116         CtdlOutputPreLoadedMsg(msg, MT_RFC822, HEADERS_ALL, 0, 1, QP_EADDR);
3117         smi.meta_rfc822_length = StrLength(CCC->redirect_buffer);
3118         saved_rfc822_version = CCC->redirect_buffer;
3119         CCC->redirect_buffer = NULL;
3120
3121         PutMetaData(&smi);
3122
3123         /* Now figure out where to store the pointers */
3124         syslog(LOG_DEBUG, "Storing pointers\n");
3125
3126         /* If this is being done by the networker delivering a private
3127          * message, we want to BYPASS saving the sender's copy (because there
3128          * is no local sender; it would otherwise go to the Trashcan).
3129          */
3130         if ((!CCC->internal_pgm) || (recps == NULL)) {
3131                 if (CtdlSaveMsgPointerInRoom(actual_rm, newmsgid, 1, msg) != 0) {
3132                         syslog(LOG_ERR, "ERROR saving message pointer!\n");
3133                         CtdlSaveMsgPointerInRoom(config.c_aideroom, newmsgid, 0, msg);
3134                 }
3135         }
3136
3137         /* For internet mail, drop a copy in the outbound queue room */
3138         if ((recps != NULL) && (recps->num_internet > 0)) {
3139                 CtdlSaveMsgPointerInRoom(SMTP_SPOOLOUT_ROOM, newmsgid, 0, msg);
3140         }
3141
3142         /* If other rooms are specified, drop them there too. */
3143         if ((recps != NULL) && (recps->num_room > 0))
3144           for (i=0; i<num_tokens(recps->recp_room, '|'); ++i) {
3145                 extract_token(recipient, recps->recp_room, i,
3146                                         '|', sizeof recipient);
3147                 syslog(LOG_DEBUG, "Delivering to room <%s>\n", recipient);
3148                 CtdlSaveMsgPointerInRoom(recipient, newmsgid, 0, msg);
3149         }
3150
3151         /* Bump this user's messages posted counter. */
3152         syslog(LOG_DEBUG, "Updating user\n");
3153         CtdlGetUserLock(&CCC->user, CCC->curr_user);
3154         CCC->user.posted = CCC->user.posted + 1;
3155         CtdlPutUserLock(&CCC->user);
3156
3157         /* Decide where bounces need to be delivered */
3158         if ((recps != NULL) && (recps->bounce_to != NULL)) {
3159                 safestrncpy(bounce_to, recps->bounce_to, sizeof bounce_to);
3160         }
3161         else if (CCC->logged_in) {
3162                 snprintf(bounce_to, sizeof bounce_to, "%s@%s", CCC->user.fullname, config.c_nodename);
3163         }
3164         else {
3165                 snprintf(bounce_to, sizeof bounce_to, "%s@%s", msg->cm_fields['A'], msg->cm_fields['N']);
3166         }
3167
3168         /* If this is private, local mail, make a copy in the
3169          * recipient's mailbox and bump the reference count.
3170          */
3171         if ((recps != NULL) && (recps->num_local > 0))
3172           for (i=0; i<num_tokens(recps->recp_local, '|'); ++i) {
3173                 extract_token(recipient, recps->recp_local, i,
3174                                         '|', sizeof recipient);
3175                 syslog(LOG_DEBUG, "Delivering private local mail to <%s>\n",
3176                         recipient);
3177                 if (CtdlGetUser(&userbuf, recipient) == 0) {
3178                         // Add a flag so the Funambol module knows its mail
3179                         msg->cm_fields['W'] = strdup(recipient);
3180                         CtdlMailboxName(actual_rm, sizeof actual_rm, &userbuf, MAILROOM);
3181                         CtdlSaveMsgPointerInRoom(actual_rm, newmsgid, 0, msg);
3182                         CtdlBumpNewMailCounter(userbuf.usernum);
3183                         if (!IsEmptyStr(config.c_funambol_host) || !IsEmptyStr(config.c_pager_program)) {
3184                         /* Generate a instruction message for the Funambol notification
3185                          * server, in the same style as the SMTP queue
3186                          */
3187                            instr_alloc = 1024;
3188                            instr = malloc(instr_alloc);
3189                            snprintf(instr, instr_alloc,
3190                         "Content-type: %s\n\nmsgid|%ld\nsubmitted|%ld\n"
3191                         "bounceto|%s\n",
3192                         SPOOLMIME, newmsgid, (long)time(NULL),
3193                         bounce_to
3194                         );
3195
3196                            imsg = malloc(sizeof(struct CtdlMessage));
3197                            memset(imsg, 0, sizeof(struct CtdlMessage));
3198                            imsg->cm_magic = CTDLMESSAGE_MAGIC;
3199                            imsg->cm_anon_type = MES_NORMAL;
3200                            imsg->cm_format_type = FMT_RFC822;
3201                            imsg->cm_fields['A'] = strdup("Citadel");
3202                            imsg->cm_fields['J'] = strdup("do not journal");
3203                            imsg->cm_fields['M'] = instr;        /* imsg owns this memory now */
3204                            imsg->cm_fields['W'] = strdup(recipient);
3205                            CtdlSubmitMsg(imsg, NULL, FNBL_QUEUE_ROOM, 0);
3206                            CtdlFreeMessage(imsg);
3207                         }
3208                 }
3209                 else {
3210                         syslog(LOG_DEBUG, "No user <%s>\n", recipient);
3211                         CtdlSaveMsgPointerInRoom(config.c_aideroom,
3212                                 newmsgid, 0, msg);
3213                 }
3214         }
3215
3216         /* Perform "after save" hooks */
3217         syslog(LOG_DEBUG, "Performing after-save hooks\n");
3218         PerformMessageHooks(msg, EVT_AFTERSAVE);
3219
3220         /* For IGnet mail, we have to save a new copy into the spooler for
3221          * each recipient, with the R and D fields set to the recipient and
3222          * destination-node.  This has two ugly side effects: all other
3223          * recipients end up being unlisted in this recipient's copy of the
3224          * message, and it has to deliver multiple messages to the same
3225          * node.  We'll revisit this again in a year or so when everyone has
3226          * a network spool receiver that can handle the new style messages.
3227          */
3228         if ((recps != NULL) && (recps->num_ignet > 0))
3229           for (i=0; i<num_tokens(recps->recp_ignet, '|'); ++i) {
3230                 extract_token(recipient, recps->recp_ignet, i,
3231                                 '|', sizeof recipient);
3232
3233                 hold_R = msg->cm_fields['R'];
3234                 hold_D = msg->cm_fields['D'];
3235                 msg->cm_fields['R'] = malloc(SIZ);
3236                 msg->cm_fields['D'] = malloc(128);
3237                 extract_token(msg->cm_fields['R'], recipient, 0, '@', SIZ);
3238                 extract_token(msg->cm_fields['D'], recipient, 1, '@', 128);
3239
3240                 serialize_message(&smr, msg);
3241                 if (smr.len > 0) {
3242                         snprintf(submit_filename, sizeof submit_filename,
3243                                          "%s/netmail.%04lx.%04x.%04x",
3244                                          ctdl_netin_dir,
3245                                          (long) getpid(), CCC->cs_pid, ++seqnum);
3246                         network_fp = fopen(submit_filename, "wb+");
3247                         if (network_fp != NULL) {
3248                                 rv = fwrite(smr.ser, smr.len, 1, network_fp);
3249                                 fclose(network_fp);
3250                         }
3251                         free(smr.ser);
3252                 }
3253
3254                 free(msg->cm_fields['R']);
3255                 free(msg->cm_fields['D']);
3256                 msg->cm_fields['R'] = hold_R;
3257                 msg->cm_fields['D'] = hold_D;
3258         }
3259
3260         /* Go back to the room we started from */
3261         syslog(LOG_DEBUG, "Returning to original room %s\n", hold_rm);
3262         if (strcasecmp(hold_rm, CCC->room.QRname))
3263                 CtdlUserGoto(hold_rm, 0, 1, NULL, NULL);
3264
3265         /* For internet mail, generate delivery instructions.
3266          * Yes, this is recursive.  Deal with it.  Infinite recursion does
3267          * not happen because the delivery instructions message does not
3268          * contain a recipient.
3269          */
3270         if ((recps != NULL) && (recps->num_internet > 0)) {
3271                 syslog(LOG_DEBUG, "Generating delivery instructions\n");
3272                 instr_alloc = 1024;
3273                 instr = malloc(instr_alloc);
3274                 snprintf(instr, instr_alloc,
3275                         "Content-type: %s\n\nmsgid|%ld\nsubmitted|%ld\n"
3276                         "bounceto|%s\n",
3277                         SPOOLMIME, newmsgid, (long)time(NULL),
3278                         bounce_to
3279                 );
3280
3281                 if (recps->envelope_from != NULL) {
3282                         tmp = strlen(instr);
3283                         snprintf(&instr[tmp], instr_alloc-tmp, "envelope_from|%s\n", recps->envelope_from);
3284                 }
3285
3286                 for (i=0; i<num_tokens(recps->recp_internet, '|'); ++i) {
3287                         tmp = strlen(instr);
3288                         extract_token(recipient, recps->recp_internet, i, '|', sizeof recipient);
3289                         if ((tmp + strlen(recipient) + 32) > instr_alloc) {
3290                                 instr_alloc = instr_alloc * 2;
3291                                 instr = realloc(instr, instr_alloc);
3292                         }
3293                         snprintf(&instr[tmp], instr_alloc - tmp, "remote|%s|0||\n", recipient);
3294                 }
3295
3296                 imsg = malloc(sizeof(struct CtdlMessage));
3297                 memset(imsg, 0, sizeof(struct CtdlMessage));
3298                 imsg->cm_magic = CTDLMESSAGE_MAGIC;
3299                 imsg->cm_anon_type = MES_NORMAL;
3300                 imsg->cm_format_type = FMT_RFC822;
3301                 imsg->cm_fields['A'] = strdup("Citadel");
3302                 imsg->cm_fields['J'] = strdup("do not journal");
3303                 imsg->cm_fields['M'] = instr;   /* imsg owns this memory now */
3304                 CtdlSubmitMsg(imsg, NULL, SMTP_SPOOLOUT_ROOM, QP_EADDR);
3305                 CtdlFreeMessage(imsg);
3306         }
3307
3308         /*
3309          * Any addresses to harvest for someone's address book?
3310          */
3311         if ( (CCC->logged_in) && (recps != NULL) ) {
3312                 collected_addresses = harvest_collected_addresses(msg);
3313         }
3314
3315         if (collected_addresses != NULL) {
3316                 aptr = (struct addresses_to_be_filed *)
3317                         malloc(sizeof(struct addresses_to_be_filed));
3318                 CtdlMailboxName(actual_rm, sizeof actual_rm,
3319                         &CCC->user, USERCONTACTSROOM);
3320                 aptr->roomname = strdup(actual_rm);
3321                 aptr->collected_addresses = collected_addresses;
3322                 begin_critical_section(S_ATBF);
3323                 aptr->next = atbf;
3324                 atbf = aptr;
3325                 end_critical_section(S_ATBF);
3326         }
3327
3328         /*
3329          * Determine whether this message qualifies for journaling.
3330          */
3331         if (msg->cm_fields['J'] != NULL) {
3332                 qualified_for_journaling = 0;
3333         }
3334         else {
3335                 if (recps == NULL) {
3336                         qualified_for_journaling = config.c_journal_pubmsgs;
3337                 }
3338                 else if (recps->num_local + recps->num_ignet + recps->num_internet > 0) {
3339                         qualified_for_journaling = config.c_journal_email;
3340                 }
3341                 else {
3342                         qualified_for_journaling = config.c_journal_pubmsgs;
3343                 }
3344         }
3345
3346         /*
3347          * Do we have to perform journaling?  If so, hand off the saved
3348          * RFC822 version will be handed off to the journaler for background
3349          * submit.  Otherwise, we have to free the memory ourselves.
3350          */
3351         if (saved_rfc822_version != NULL) {
3352                 if (qualified_for_journaling) {
3353                         JournalBackgroundSubmit(msg, saved_rfc822_version, recps);
3354                 }
3355                 else {
3356                         FreeStrBuf(&saved_rfc822_version);
3357                 }
3358         }
3359
3360         /* Done. */
3361         return(newmsgid);
3362 }
3363
3364
3365
3366 void aide_message (char *text, char *subject)
3367 {
3368         quickie_message("Citadel",NULL,NULL,AIDEROOM,text,FMT_CITADEL,subject);
3369 }
3370
3371
3372 /*
3373  * Convenience function for generating small administrative messages.
3374  */
3375 void quickie_message(const char *from, const char *fromaddr, char *to, char *room, const char *text,
3376                         int format_type, const char *subject)
3377 {
3378         struct CtdlMessage *msg;
3379         struct recptypes *recp = NULL;
3380
3381         msg = malloc(sizeof(struct CtdlMessage));
3382         memset(msg, 0, sizeof(struct CtdlMessage));
3383         msg->cm_magic = CTDLMESSAGE_MAGIC;
3384         msg->cm_anon_type = MES_NORMAL;
3385         msg->cm_format_type = format_type;
3386
3387         if (from != NULL) {
3388                 msg->cm_fields['A'] = strdup(from);
3389         }
3390         else if (fromaddr != NULL) {
3391                 msg->cm_fields['A'] = strdup(fromaddr);
3392                 if (strchr(msg->cm_fields['A'], '@')) {
3393                         *strchr(msg->cm_fields['A'], '@') = 0;
3394                 }
3395         }
3396         else {
3397                 msg->cm_fields['A'] = strdup("Citadel");
3398         }
3399
3400         if (fromaddr != NULL) msg->cm_fields['F'] = strdup(fromaddr);
3401         if (room != NULL) msg->cm_fields['O'] = strdup(room);
3402         msg->cm_fields['N'] = strdup(NODENAME);
3403         if (to != NULL) {
3404                 msg->cm_fields['R'] = strdup(to);
3405                 recp = validate_recipients(to, NULL, 0);
3406         }
3407         if (subject != NULL) {
3408                 msg->cm_fields['U'] = strdup(subject);
3409         }
3410         msg->cm_fields['M'] = strdup(text);
3411
3412         CtdlSubmitMsg(msg, recp, room, 0);
3413         CtdlFreeMessage(msg);
3414         if (recp != NULL) free_recipients(recp);
3415 }
3416
3417
3418
3419 /*
3420  * Back end function used by CtdlMakeMessage() and similar functions
3421  */
3422 StrBuf *CtdlReadMessageBodyBuf(char *terminator,        /* token signalling EOT */
3423                                long tlen,
3424                                size_t maxlen,           /* maximum message length */
3425                                char *exist,             /* if non-null, append to it;
3426                                                            exist is ALWAYS freed  */
3427                                int crlf,                /* CRLF newlines instead of LF */
3428                                int *sock                /* socket handle or 0 for this session's client socket */
3429                         )
3430 {
3431         StrBuf *Message;
3432         StrBuf *LineBuf;
3433         int flushing = 0;
3434         int finished = 0;
3435         int dotdot = 0;
3436
3437         LineBuf = NewStrBufPlain(NULL, SIZ);
3438         if (exist == NULL) {
3439                 Message = NewStrBufPlain(NULL, 4 * SIZ);
3440         }
3441         else {
3442                 Message = NewStrBufPlain(exist, -1);
3443                 free(exist);
3444         }
3445
3446         /* Do we need to change leading ".." to "." for SMTP escaping? */
3447         if ((tlen == 1) && (*terminator == '.')) {
3448                 dotdot = 1;
3449         }
3450
3451         /* read in the lines of message text one by one */
3452         do {
3453                 if (sock != NULL) {
3454                         if ((CtdlSockGetLine(sock, LineBuf, 5) < 0) ||
3455                             (*sock == -1))
3456                                 finished = 1;
3457                 }
3458                 else {
3459                         if (CtdlClientGetLine(LineBuf) < 0) finished = 1;
3460                 }
3461                 if ((StrLength(LineBuf) == tlen) &&
3462                     (!strcmp(ChrPtr(LineBuf), terminator)))
3463                         finished = 1;
3464
3465                 if ( (!flushing) && (!finished) ) {
3466                         if (crlf) {
3467                                 StrBufAppendBufPlain(LineBuf, HKEY("\r\n"), 0);
3468                         }
3469                         else {
3470                                 StrBufAppendBufPlain(LineBuf, HKEY("\n"), 0);
3471                         }
3472
3473                         /* Unescape SMTP-style input of two dots at the beginning of the line */
3474                         if ((dotdot) &&
3475                             (StrLength(LineBuf) == 2) &&
3476                             (!strcmp(ChrPtr(LineBuf), "..")))
3477                         {
3478                                 StrBufCutLeft(LineBuf, 1);
3479                         }
3480
3481                         StrBufAppendBuf(Message, LineBuf, 0);
3482                 }
3483
3484                 /* if we've hit the max msg length, flush the rest */
3485                 if (StrLength(Message) >= maxlen) flushing = 1;
3486
3487         } while (!finished);
3488         FreeStrBuf(&LineBuf);
3489         return Message;
3490 }
3491
3492
3493 /*
3494  * Back end function used by CtdlMakeMessage() and similar functions
3495  */
3496 char *CtdlReadMessageBody(char *terminator,     /* token signalling EOT */
3497                           long tlen,
3498                           size_t maxlen,                /* maximum message length */
3499                           char *exist,          /* if non-null, append to it;
3500                                                    exist is ALWAYS freed  */
3501                           int crlf,             /* CRLF newlines instead of LF */
3502                           int *sock             /* socket handle or 0 for this session's client socket */
3503         )
3504 {
3505         StrBuf *Message;
3506
3507         Message = CtdlReadMessageBodyBuf(terminator,
3508                                          tlen,
3509                                          maxlen,
3510                                          exist,
3511                                          crlf,
3512                                          sock);
3513         if (Message == NULL)
3514                 return NULL;
3515         else
3516                 return SmashStrBuf(&Message);
3517 }
3518
3519
3520 /*
3521  * Build a binary message to be saved on disk.
3522  * (NOTE: if you supply 'preformatted_text', the buffer you give it
3523  * will become part of the message.  This means you are no longer
3524  * responsible for managing that memory -- it will be freed along with
3525  * the rest of the fields when CtdlFreeMessage() is called.)
3526  */
3527
3528 struct CtdlMessage *CtdlMakeMessage(
3529         struct ctdluser *author,        /* author's user structure */
3530         char *recipient,                /* NULL if it's not mail */
3531         char *recp_cc,                  /* NULL if it's not mail */
3532         char *room,                     /* room where it's going */
3533         int type,                       /* see MES_ types in header file */
3534         int format_type,                /* variformat, plain text, MIME... */
3535         char *fake_name,                /* who we're masquerading as */
3536         char *my_email,                 /* which of my email addresses to use (empty is ok) */
3537         char *subject,                  /* Subject (optional) */
3538         char *supplied_euid,            /* ...or NULL if this is irrelevant */
3539         char *preformatted_text,        /* ...or NULL to read text from client */
3540         char *references                /* Thread references */
3541 ) {
3542         char dest_node[256];
3543         char buf[1024];
3544         struct CtdlMessage *msg;
3545         StrBuf *FakeAuthor;
3546         StrBuf *FakeEncAuthor = NULL;
3547
3548         msg = malloc(sizeof(struct CtdlMessage));
3549         memset(msg, 0, sizeof(struct CtdlMessage));
3550         msg->cm_magic = CTDLMESSAGE_MAGIC;
3551         msg->cm_anon_type = type;
3552         msg->cm_format_type = format_type;
3553
3554         /* Don't confuse the poor folks if it's not routed mail. */
3555         strcpy(dest_node, "");
3556
3557         if (recipient != NULL) striplt(recipient);
3558         if (recp_cc != NULL) striplt(recp_cc);
3559
3560         /* Path or Return-Path */
3561         if (my_email == NULL) my_email = "";
3562
3563         if (!IsEmptyStr(my_email)) {
3564                 msg->cm_fields['P'] = strdup(my_email);
3565         }
3566         else {
3567                 snprintf(buf, sizeof buf, "%s", author->fullname);
3568                 msg->cm_fields['P'] = strdup(buf);
3569         }
3570         convert_spaces_to_underscores(msg->cm_fields['P']);
3571
3572         snprintf(buf, sizeof buf, "%ld", (long)time(NULL));     /* timestamp */
3573         msg->cm_fields['T'] = strdup(buf);
3574
3575         if ((fake_name != NULL) && (fake_name[0])) {            /* author */
3576                 FakeAuthor = NewStrBufPlain (fake_name, -1);
3577         }
3578         else {
3579                 FakeAuthor = NewStrBufPlain (author->fullname, -1);
3580         }
3581         StrBufRFC2047encode(&FakeEncAuthor, FakeAuthor);
3582         msg->cm_fields['A'] = SmashStrBuf(&FakeEncAuthor);
3583         FreeStrBuf(&FakeAuthor);
3584
3585         if (CC->room.QRflags & QR_MAILBOX) {            /* room */
3586                 msg->cm_fields['O'] = strdup(&CC->room.QRname[11]);
3587         }
3588         else {
3589                 msg->cm_fields['O'] = strdup(CC->room.QRname);
3590         }
3591
3592         msg->cm_fields['N'] = strdup(NODENAME);         /* nodename */
3593         msg->cm_fields['H'] = strdup(HUMANNODE);                /* hnodename */
3594
3595         if ((recipient != NULL) && (recipient[0] != 0)) {
3596                 msg->cm_fields['R'] = strdup(recipient);
3597         }
3598         if ((recp_cc != NULL) && (recp_cc[0] != 0)) {
3599                 msg->cm_fields['Y'] = strdup(recp_cc);
3600         }
3601         if (dest_node[0] != 0) {
3602                 msg->cm_fields['D'] = strdup(dest_node);
3603         }
3604
3605         if (!IsEmptyStr(my_email)) {
3606                 msg->cm_fields['F'] = strdup(my_email);
3607         }
3608         else if ( (author == &CC->user) && (!IsEmptyStr(CC->cs_inet_email)) ) {
3609                 msg->cm_fields['F'] = strdup(CC->cs_inet_email);
3610         }
3611
3612         if (subject != NULL) {
3613                 long length;
3614                 striplt(subject);
3615                 length = strlen(subject);
3616                 if (length > 0) {
3617                         long i;
3618                         long IsAscii;
3619                         IsAscii = -1;
3620                         i = 0;
3621                         while ((subject[i] != '\0') &&
3622                                (IsAscii = isascii(subject[i]) != 0 ))
3623                                 i++;
3624                         if (IsAscii != 0)
3625                                 msg->cm_fields['U'] = strdup(subject);
3626                         else /* ok, we've got utf8 in the string. */
3627                         {
3628                                 msg->cm_fields['U'] = rfc2047encode(subject, length);
3629                         }
3630
3631                 }
3632         }
3633
3634         if (supplied_euid != NULL) {
3635                 msg->cm_fields['E'] = strdup(supplied_euid);
3636         }
3637
3638         if (references != NULL) {
3639                 if (!IsEmptyStr(references)) {
3640                         msg->cm_fields['W'] = strdup(references);
3641                 }
3642         }
3643
3644         if (preformatted_text != NULL) {
3645                 msg->cm_fields['M'] = preformatted_text;
3646         }
3647         else {
3648                 msg->cm_fields['M'] = CtdlReadMessageBody(HKEY("000"), config.c_maxmsglen, NULL, 0, 0);
3649         }
3650
3651         return(msg);
3652 }
3653
3654
3655 /*
3656  * Check to see whether we have permission to post a message in the current
3657  * room.  Returns a *CITADEL ERROR CODE* and puts a message in errmsgbuf, or
3658  * returns 0 on success.
3659  */
3660 int CtdlDoIHavePermissionToPostInThisRoom(
3661         char *errmsgbuf,
3662         size_t n,
3663         const char* RemoteIdentifier,
3664         int PostPublic,
3665         int is_reply
3666 ) {
3667         int ra;
3668
3669         if (!(CC->logged_in) &&
3670             (PostPublic == POST_LOGGED_IN)) {
3671                 snprintf(errmsgbuf, n, "Not logged in.");
3672                 return (ERROR + NOT_LOGGED_IN);
3673         }
3674         else if (PostPublic == CHECK_EXISTANCE) {
3675                 return (0); // We're Evaling whether a recipient exists
3676         }
3677         else if (!(CC->logged_in)) {
3678
3679                 if ((CC->room.QRflags & QR_READONLY)) {
3680                         snprintf(errmsgbuf, n, "Not logged in.");
3681                         return (ERROR + NOT_LOGGED_IN);
3682                 }
3683                 if (CC->room.QRflags2 & QR2_MODERATED) {
3684                         snprintf(errmsgbuf, n, "Not logged in Moderation feature not yet implemented!");
3685                         return (ERROR + NOT_LOGGED_IN);
3686                 }
3687                 if ((PostPublic!=POST_LMTP) &&(CC->room.QRflags2 & QR2_SMTP_PUBLIC) == 0) {
3688                         SpoolControl *sc;
3689                         char filename[SIZ];
3690                         int found;
3691
3692                         if (RemoteIdentifier == NULL)
3693                         {
3694                                 snprintf(errmsgbuf, n, "Need sender to permit access.");
3695                                 return (ERROR + USERNAME_REQUIRED);
3696                         }
3697
3698                         assoc_file_name(filename, sizeof filename, &CC->room, ctdl_netcfg_dir);
3699                         begin_critical_section(S_NETCONFIGS);
3700                         if (!read_spoolcontrol_file(&sc, filename))
3701                         {
3702                                 end_critical_section(S_NETCONFIGS);
3703                                 snprintf(errmsgbuf, n,
3704                                         "This mailing list only accepts posts from subscribers.");
3705                                 return (ERROR + NO_SUCH_USER);
3706                         }
3707                         end_critical_section(S_NETCONFIGS);
3708                         found = is_recipient (sc, RemoteIdentifier);
3709                         free_spoolcontrol_struct(&sc);
3710                         if (found) {
3711                                 return (0);
3712                         }
3713                         else {
3714                                 snprintf(errmsgbuf, n,
3715                                         "This mailing list only accepts posts from subscribers.");
3716                                 return (ERROR + NO_SUCH_USER);
3717                         }
3718                 }
3719                 return (0);
3720
3721         }
3722
3723         if ((CC->user.axlevel < AxProbU)
3724             && ((CC->room.QRflags & QR_MAILBOX) == 0)) {
3725                 snprintf(errmsgbuf, n, "Need to be validated to enter "
3726                                 "(except in %s> to sysop)", MAILROOM);
3727                 return (ERROR + HIGHER_ACCESS_REQUIRED);
3728         }
3729
3730         CtdlRoomAccess(&CC->room, &CC->user, &ra, NULL);
3731
3732         if ( (!(ra & UA_POSTALLOWED)) && (ra & UA_REPLYALLOWED) && (!is_reply) ) {
3733                 /*
3734                  * To be thorough, we ought to check to see if the message they are
3735                  * replying to is actually a valid one in this room, but unless this
3736                  * actually becomes a problem we'll go with high performance instead.
3737                  */
3738                 snprintf(errmsgbuf, n, "You may only reply to existing messages here.");
3739                 return (ERROR + HIGHER_ACCESS_REQUIRED);
3740         }
3741
3742         else if (!(ra & UA_POSTALLOWED)) {
3743                 snprintf(errmsgbuf, n, "Higher access is required to post in this room.");
3744                 return (ERROR + HIGHER_ACCESS_REQUIRED);
3745         }
3746
3747         strcpy(errmsgbuf, "Ok");
3748         return(0);
3749 }
3750
3751
3752 /*
3753  * Check to see if the specified user has Internet mail permission
3754  * (returns nonzero if permission is granted)
3755  */
3756 int CtdlCheckInternetMailPermission(struct ctdluser *who) {
3757
3758         /* Do not allow twits to send Internet mail */
3759         if (who->axlevel <= AxProbU) return(0);
3760
3761         /* Globally enabled? */
3762         if (config.c_restrict == 0) return(1);
3763
3764         /* User flagged ok? */
3765         if (who->flags & US_INTERNET) return(2);
3766
3767         /* Aide level access? */
3768         if (who->axlevel >= AxAideU) return(3);
3769
3770         /* No mail for you! */
3771         return(0);
3772 }
3773
3774
3775 /*
3776  * Validate recipients, count delivery types and errors, and handle aliasing
3777  * FIXME check for dupes!!!!!
3778  *
3779  * Returns 0 if all addresses are ok, ret->num_error = -1 if no addresses
3780  * were specified, or the number of addresses found invalid.
3781  *
3782  * Caller needs to free the result using free_recipients()
3783  */
3784 struct recptypes *validate_recipients(const char *supplied_recipients,
3785                                       const char *RemoteIdentifier,
3786                                       int Flags) {
3787         struct recptypes *ret;
3788         char *recipients = NULL;
3789         char this_recp[256];
3790         char this_recp_cooked[256];
3791         char append[SIZ];
3792         int num_recps = 0;
3793         int i, j;
3794         int mailtype;
3795         int invalid;
3796         struct ctdluser tempUS;
3797         struct ctdlroom tempQR;
3798         struct ctdlroom tempQR2;
3799         int err = 0;
3800         char errmsg[SIZ];
3801         int in_quotes = 0;
3802
3803         /* Initialize */
3804         ret = (struct recptypes *) malloc(sizeof(struct recptypes));
3805         if (ret == NULL) return(NULL);
3806
3807         /* Set all strings to null and numeric values to zero */
3808         memset(ret, 0, sizeof(struct recptypes));
3809
3810         if (supplied_recipients == NULL) {
3811                 recipients = strdup("");
3812         }
3813         else {
3814                 recipients = strdup(supplied_recipients);
3815         }
3816
3817         /* Allocate some memory.  Yes, this allocates 500% more memory than we will
3818          * actually need, but it's healthier for the heap than doing lots of tiny
3819          * realloc() calls instead.
3820          */
3821
3822         ret->errormsg = malloc(strlen(recipients) + 1024);
3823         ret->recp_local = malloc(strlen(recipients) + 1024);
3824         ret->recp_internet = malloc(strlen(recipients) + 1024);
3825         ret->recp_ignet = malloc(strlen(recipients) + 1024);
3826         ret->recp_room = malloc(strlen(recipients) + 1024);
3827         ret->display_recp = malloc(strlen(recipients) + 1024);
3828
3829         ret->errormsg[0] = 0;
3830         ret->recp_local[0] = 0;
3831         ret->recp_internet[0] = 0;
3832         ret->recp_ignet[0] = 0;
3833         ret->recp_room[0] = 0;
3834         ret->display_recp[0] = 0;
3835
3836         ret->recptypes_magic = RECPTYPES_MAGIC;
3837
3838         /* Change all valid separator characters to commas */
3839         for (i=0; !IsEmptyStr(&recipients[i]); ++i) {
3840                 if ((recipients[i] == ';') || (recipients[i] == '|')) {
3841                         recipients[i] = ',';
3842                 }
3843         }
3844
3845         /* Now start extracting recipients... */
3846
3847         while (!IsEmptyStr(recipients)) {
3848
3849                 for (i=0; i<=strlen(recipients); ++i) {
3850                         if (recipients[i] == '\"') in_quotes = 1 - in_quotes;
3851                         if ( ( (recipients[i] == ',') && (!in_quotes) ) || (recipients[i] == 0) ) {
3852                                 safestrncpy(this_recp, recipients, i+1);
3853                                 this_recp[i] = 0;
3854                                 if (recipients[i] == ',') {
3855                                         strcpy(recipients, &recipients[i+1]);
3856                                 }
3857                                 else {
3858                                         strcpy(recipients, "");
3859                                 }
3860                                 break;
3861                         }
3862                 }
3863
3864                 striplt(this_recp);
3865                 if (IsEmptyStr(this_recp))
3866                         break;
3867                 syslog(LOG_DEBUG, "Evaluating recipient #%d: %s\n", num_recps, this_recp);
3868                 ++num_recps;
3869                 mailtype = alias(this_recp);
3870                 mailtype = alias(this_recp);
3871                 mailtype = alias(this_recp);
3872                 j = 0;
3873                 for (j=0; !IsEmptyStr(&this_recp[j]); ++j) {
3874                         if (this_recp[j]=='_') {
3875                                 this_recp_cooked[j] = ' ';
3876                         }
3877                         else {
3878                                 this_recp_cooked[j] = this_recp[j];
3879                         }
3880                 }
3881                 this_recp_cooked[j] = '\0';
3882                 invalid = 0;
3883                 errmsg[0] = 0;
3884                 switch(mailtype) {
3885                         case MES_LOCAL:
3886                                 if (!strcasecmp(this_recp, "sysop")) {
3887                                         ++ret->num_room;
3888                                         strcpy(this_recp, config.c_aideroom);
3889                                         if (!IsEmptyStr(ret->recp_room)) {
3890                                                 strcat(ret->recp_room, "|");
3891                                         }
3892                                         strcat(ret->recp_room, this_recp);
3893                                 }
3894                                 else if ( (!strncasecmp(this_recp, "room_", 5))
3895                                       && (!CtdlGetRoom(&tempQR, &this_recp_cooked[5])) ) {
3896
3897                                         /* Save room so we can restore it later */
3898                                         tempQR2 = CC->room;
3899                                         CC->room = tempQR;
3900
3901                                         /* Check permissions to send mail to this room */
3902                                         err = CtdlDoIHavePermissionToPostInThisRoom(
3903                                                 errmsg,
3904                                                 sizeof errmsg,
3905                                                 RemoteIdentifier,
3906                                                 Flags,
3907                                                 0                       /* 0 = not a reply */
3908                                         );
3909                                         if (err)
3910                                         {
3911                                                 ++ret->num_error;
3912                                                 invalid = 1;
3913                                         }
3914                                         else {
3915                                                 ++ret->num_room;
3916                                                 if (!IsEmptyStr(ret->recp_room)) {
3917                                                         strcat(ret->recp_room, "|");
3918                                                 }
3919                                                 strcat(ret->recp_room, &this_recp_cooked[5]);
3920                                         }
3921
3922                                         /* Restore room in case something needs it */
3923                                         CC->room = tempQR2;
3924
3925                                 }
3926                                 else if (CtdlGetUser(&tempUS, this_recp) == 0) {
3927                                         ++ret->num_local;
3928                                         strcpy(this_recp, tempUS.fullname);
3929                                         if (!IsEmptyStr(ret->recp_local)) {
3930                                                 strcat(ret->recp_local, "|");
3931                                         }
3932                                         strcat(ret->recp_local, this_recp);
3933                                 }
3934                                 else if (CtdlGetUser(&tempUS, this_recp_cooked) == 0) {
3935                                         ++ret->num_local;
3936                                         strcpy(this_recp, tempUS.fullname);
3937                                         if (!IsEmptyStr(ret->recp_local)) {
3938                                                 strcat(ret->recp_local, "|");
3939                                         }
3940                                         strcat(ret->recp_local, this_recp);
3941                                 }
3942                                 else {
3943                                         ++ret->num_error;
3944                                         invalid = 1;
3945                                 }
3946                                 break;
3947                         case MES_INTERNET:
3948                                 /* Yes, you're reading this correctly: if the target
3949                                  * domain points back to the local system or an attached
3950                                  * Citadel directory, the address is invalid.  That's
3951                                  * because if the address were valid, we would have
3952                                  * already translated it to a local address by now.
3953                                  */
3954                                 if (IsDirectory(this_recp, 0)) {
3955                                         ++ret->num_error;
3956                                         invalid = 1;
3957                                 }
3958                                 else {
3959                                         ++ret->num_internet;
3960                                         if (!IsEmptyStr(ret->recp_internet)) {
3961                                                 strcat(ret->recp_internet, "|");
3962                                         }
3963                                         strcat(ret->recp_internet, this_recp);
3964                                 }
3965                                 break;
3966                         case MES_IGNET:
3967                                 ++ret->num_ignet;
3968                                 if (!IsEmptyStr(ret->recp_ignet)) {
3969                                         strcat(ret->recp_ignet, "|");
3970                                 }
3971                                 strcat(ret->recp_ignet, this_recp);
3972                                 break;
3973                         case MES_ERROR:
3974                                 ++ret->num_error;
3975                                 invalid = 1;
3976                                 break;
3977                 }
3978                 if (invalid) {
3979                         if (IsEmptyStr(errmsg)) {
3980                                 snprintf(append, sizeof append, "Invalid recipient: %s", this_recp);
3981                         }
3982                         else {
3983                                 snprintf(append, sizeof append, "%s", errmsg);
3984                         }
3985                         if ( (strlen(ret->errormsg) + strlen(append) + 3) < SIZ) {
3986                                 if (!IsEmptyStr(ret->errormsg)) {
3987                                         strcat(ret->errormsg, "; ");
3988                                 }
3989                                 strcat(ret->errormsg, append);
3990                         }
3991                 }
3992                 else {
3993                         if (IsEmptyStr(ret->display_recp)) {
3994                                 strcpy(append, this_recp);
3995                         }
3996                         else {
3997                                 snprintf(append, sizeof append, ", %s", this_recp);
3998                         }
3999                         if ( (strlen(ret->display_recp)+strlen(append)) < SIZ) {
4000                                 strcat(ret->display_recp, append);
4001                         }
4002                 }
4003         }
4004
4005         if ((ret->num_local + ret->num_internet + ret->num_ignet +
4006            ret->num_room + ret->num_error) == 0) {
4007                 ret->num_error = (-1);
4008                 strcpy(ret->errormsg, "No recipients specified.");
4009         }
4010
4011         syslog(LOG_DEBUG, "validate_recipients()\n");
4012         syslog(LOG_DEBUG, " local: %d <%s>\n", ret->num_local, ret->recp_local);
4013         syslog(LOG_DEBUG, "  room: %d <%s>\n", ret->num_room, ret->recp_room);
4014         syslog(LOG_DEBUG, "  inet: %d <%s>\n", ret->num_internet, ret->recp_internet);
4015         syslog(LOG_DEBUG, " ignet: %d <%s>\n", ret->num_ignet, ret->recp_ignet);
4016         syslog(LOG_DEBUG, " error: %d <%s>\n", ret->num_error, ret->errormsg);
4017
4018         free(recipients);
4019         return(ret);
4020 }
4021
4022
4023 /*
4024  * Destructor for struct recptypes
4025  */
4026 void free_recipients(struct recptypes *valid) {
4027
4028         if (valid == NULL) {
4029                 return;
4030         }
4031
4032         if (valid->recptypes_magic != RECPTYPES_MAGIC) {
4033                 syslog(LOG_EMERG, "Attempt to call free_recipients() on some other data type!\n");
4034                 abort();
4035         }
4036
4037         if (valid->errormsg != NULL)            free(valid->errormsg);
4038         if (valid->recp_local != NULL)          free(valid->recp_local);
4039         if (valid->recp_internet != NULL)       free(valid->recp_internet);
4040         if (valid->recp_ignet != NULL)          free(valid->recp_ignet);
4041         if (valid->recp_room != NULL)           free(valid->recp_room);
4042         if (valid->display_recp != NULL)        free(valid->display_recp);
4043         if (valid->bounce_to != NULL)           free(valid->bounce_to);
4044         if (valid->envelope_from != NULL)       free(valid->envelope_from);
4045         free(valid);
4046 }
4047
4048
4049
4050 /*
4051  * message entry  -  mode 0 (normal)
4052  */
4053 void cmd_ent0(char *entargs)
4054 {
4055         int post = 0;
4056         char recp[SIZ];
4057         char cc[SIZ];
4058         char bcc[SIZ];
4059         char supplied_euid[128];
4060         int anon_flag = 0;
4061         int format_type = 0;
4062         char newusername[256];
4063         char newuseremail[256];
4064         struct CtdlMessage *msg;
4065         int anonymous = 0;
4066         char errmsg[SIZ];
4067         int err = 0;
4068         struct recptypes *valid = NULL;
4069         struct recptypes *valid_to = NULL;
4070         struct recptypes *valid_cc = NULL;
4071         struct recptypes *valid_bcc = NULL;
4072         char subject[SIZ];
4073         int subject_required = 0;
4074         int do_confirm = 0;
4075         long msgnum;
4076         int i, j;
4077         char buf[256];
4078         int newuseremail_ok = 0;
4079         char references[SIZ];
4080         char *ptr;
4081
4082         unbuffer_output();
4083
4084         post = extract_int(entargs, 0);
4085         extract_token(recp, entargs, 1, '|', sizeof recp);
4086         anon_flag = extract_int(entargs, 2);
4087         format_type = extract_int(entargs, 3);
4088         extract_token(subject, entargs, 4, '|', sizeof subject);
4089         extract_token(newusername, entargs, 5, '|', sizeof newusername);
4090         do_confirm = extract_int(entargs, 6);
4091         extract_token(cc, entargs, 7, '|', sizeof cc);
4092         extract_token(bcc, entargs, 8, '|', sizeof bcc);
4093         switch(CC->room.QRdefaultview) {
4094                 case VIEW_NOTES:
4095                 case VIEW_WIKI:
4096                         extract_token(supplied_euid, entargs, 9, '|', sizeof supplied_euid);
4097                         break;
4098                 default:
4099                         supplied_euid[0] = 0;
4100                         break;
4101         }
4102         extract_token(newuseremail, entargs, 10, '|', sizeof newuseremail);
4103         extract_token(references, entargs, 11, '|', sizeof references);
4104         for (ptr=references; *ptr != 0; ++ptr) {
4105                 if (*ptr == '!') *ptr = '|';
4106         }
4107
4108         /* first check to make sure the request is valid. */
4109
4110         err = CtdlDoIHavePermissionToPostInThisRoom(
4111                 errmsg,
4112                 sizeof errmsg,
4113                 NULL,
4114                 POST_LOGGED_IN,
4115                 (!IsEmptyStr(references))               /* is this a reply?  or a top-level post? */
4116         );
4117         if (err)
4118         {
4119                 cprintf("%d %s\n", err, errmsg);
4120                 return;
4121         }
4122
4123         /* Check some other permission type things. */
4124
4125         if (IsEmptyStr(newusername)) {
4126                 strcpy(newusername, CC->user.fullname);
4127         }
4128         if (  (CC->user.axlevel < AxAideU)
4129            && (strcasecmp(newusername, CC->user.fullname))
4130            && (strcasecmp(newusername, CC->cs_inet_fn))
4131         ) {
4132                 cprintf("%d You don't have permission to author messages as '%s'.\n",
4133                         ERROR + HIGHER_ACCESS_REQUIRED,
4134                         newusername
4135                 );
4136                 return;
4137         }
4138
4139
4140         if (IsEmptyStr(newuseremail)) {
4141                 newuseremail_ok = 1;
4142         }
4143
4144         if (!IsEmptyStr(newuseremail)) {
4145                 if (!strcasecmp(newuseremail, CC->cs_inet_email)) {
4146                         newuseremail_ok = 1;
4147                 }
4148                 else if (!IsEmptyStr(CC->cs_inet_other_emails)) {
4149                         j = num_tokens(CC->cs_inet_other_emails, '|');
4150                         for (i=0; i<j; ++i) {
4151                                 extract_token(buf, CC->cs_inet_other_emails, i, '|', sizeof buf);
4152                                 if (!strcasecmp(newuseremail, buf)) {
4153                                         newuseremail_ok = 1;
4154                                 }
4155                         }
4156                 }
4157         }
4158
4159         if (!newuseremail_ok) {
4160                 cprintf("%d You don't have permission to author messages as '%s'.\n",
4161                         ERROR + HIGHER_ACCESS_REQUIRED,
4162                         newuseremail
4163                 );
4164                 return;
4165         }
4166
4167         CC->cs_flags |= CS_POSTING;
4168
4169         /* In mailbox rooms we have to behave a little differently --
4170          * make sure the user has specified at least one recipient.  Then
4171          * validate the recipient(s).  We do this for the Mail> room, as
4172          * well as any room which has the "Mailbox" view set - unless it
4173          * is the DRAFTS room which does not require recipients
4174          */
4175
4176         if ( (  ( (CC->room.QRflags & QR_MAILBOX) && (!strcasecmp(&CC->room.QRname[11], MAILROOM)) )
4177              || ( (CC->room.QRflags & QR_MAILBOX) && (CC->curr_view == VIEW_MAILBOX) )
4178         ) && (strcasecmp(&CC->room.QRname[11], USERDRAFTROOM)) !=0 ) {
4179                 if (CC->user.axlevel < AxProbU) {
4180                         strcpy(recp, "sysop");
4181                         strcpy(cc, "");
4182                         strcpy(bcc, "");
4183                 }
4184
4185                 valid_to = validate_recipients(recp, NULL, 0);
4186                 if (valid_to->num_error > 0) {
4187                         cprintf("%d %s\n", ERROR + NO_SUCH_USER, valid_to->errormsg);
4188                         free_recipients(valid_to);
4189                         return;
4190                 }
4191
4192                 valid_cc = validate_recipients(cc, NULL, 0);
4193                 if (valid_cc->num_error > 0) {
4194                         cprintf("%d %s\n", ERROR + NO_SUCH_USER, valid_cc->errormsg);
4195                         free_recipients(valid_to);
4196                         free_recipients(valid_cc);
4197                         return;
4198                 }
4199
4200                 valid_bcc = validate_recipients(bcc, NULL, 0);
4201                 if (valid_bcc->num_error > 0) {
4202                         cprintf("%d %s\n", ERROR + NO_SUCH_USER, valid_bcc->errormsg);
4203                         free_recipients(valid_to);
4204                         free_recipients(valid_cc);
4205                         free_recipients(valid_bcc);
4206                         return;
4207                 }
4208
4209                 /* Recipient required, but none were specified */
4210                 if ( (valid_to->num_error < 0) && (valid_cc->num_error < 0) && (valid_bcc->num_error < 0) ) {
4211                         free_recipients(valid_to);
4212                         free_recipients(valid_cc);
4213                         free_recipients(valid_bcc);
4214                         cprintf("%d At least one recipient is required.\n", ERROR + NO_SUCH_USER);
4215                         return;
4216                 }
4217
4218                 if (valid_to->num_internet + valid_cc->num_internet + valid_bcc->num_internet > 0) {
4219                         if (CtdlCheckInternetMailPermission(&CC->user)==0) {
4220                                 cprintf("%d You do not have permission "
4221                                         "to send Internet mail.\n",
4222                                         ERROR + HIGHER_ACCESS_REQUIRED);
4223                                 free_recipients(valid_to);
4224                                 free_recipients(valid_cc);
4225                                 free_recipients(valid_bcc);
4226                                 return;
4227                         }
4228                 }
4229
4230                 if ( ( (valid_to->num_internet + valid_to->num_ignet + valid_cc->num_internet + valid_cc->num_ignet + valid_bcc->num_internet + valid_bcc->num_ignet) > 0)
4231                    && (CC->user.axlevel < AxNetU) ) {
4232                         cprintf("%d Higher access required for network mail.\n",
4233                                 ERROR + HIGHER_ACCESS_REQUIRED);
4234                         free_recipients(valid_to);
4235                         free_recipients(valid_cc);
4236                         free_recipients(valid_bcc);
4237                         return;
4238                 }
4239
4240                 if ((RESTRICT_INTERNET == 1)
4241                     && (valid_to->num_internet + valid_cc->num_internet + valid_bcc->num_internet > 0)
4242                     && ((CC->user.flags & US_INTERNET) == 0)
4243                     && (!CC->internal_pgm)) {
4244                         cprintf("%d You don't have access to Internet mail.\n",
4245                                 ERROR + HIGHER_ACCESS_REQUIRED);
4246                         free_recipients(valid_to);
4247                         free_recipients(valid_cc);
4248                         free_recipients(valid_bcc);
4249                         return;
4250                 }
4251
4252         }
4253
4254         /* Is this a room which has anonymous-only or anonymous-option? */
4255         anonymous = MES_NORMAL;
4256         if (CC->room.QRflags & QR_ANONONLY) {
4257                 anonymous = MES_ANONONLY;
4258         }
4259         if (CC->room.QRflags & QR_ANONOPT) {
4260                 if (anon_flag == 1) {   /* only if the user requested it */
4261                         anonymous = MES_ANONOPT;
4262                 }
4263         }
4264
4265         if ((CC->room.QRflags & QR_MAILBOX) == 0) {
4266                 recp[0] = 0;
4267         }
4268
4269         /* Recommend to the client that the use of a message subject is
4270          * strongly recommended in this room, if either the SUBJECTREQ flag
4271          * is set, or if there is one or more Internet email recipients.
4272          */
4273         if (CC->room.QRflags2 & QR2_SUBJECTREQ) subject_required = 1;
4274         if ((valid_to)  && (valid_to->num_internet > 0))        subject_required = 1;
4275         if ((valid_cc)  && (valid_cc->num_internet > 0))        subject_required = 1;
4276         if ((valid_bcc) && (valid_bcc->num_internet > 0))       subject_required = 1;
4277
4278         /* If we're only checking the validity of the request, return
4279          * success without creating the message.
4280          */
4281         if (post == 0) {
4282                 cprintf("%d %s|%d\n", CIT_OK,
4283                         ((valid_to != NULL) ? valid_to->display_recp : ""),
4284                         subject_required);
4285                 free_recipients(valid_to);
4286                 free_recipients(valid_cc);
4287                 free_recipients(valid_bcc);
4288                 return;
4289         }
4290
4291         /* We don't need these anymore because we'll do it differently below */
4292         free_recipients(valid_to);
4293         free_recipients(valid_cc);
4294         free_recipients(valid_bcc);
4295
4296         /* Read in the message from the client. */
4297         if (do_confirm) {
4298                 cprintf("%d send message\n", START_CHAT_MODE);
4299         } else {
4300                 cprintf("%d send message\n", SEND_LISTING);
4301         }
4302
4303         msg = CtdlMakeMessage(&CC->user, recp, cc,
4304                 CC->room.QRname, anonymous, format_type,
4305                 newusername, newuseremail, subject,
4306                 ((!IsEmptyStr(supplied_euid)) ? supplied_euid : NULL),
4307                 NULL, references);
4308
4309         /* Put together one big recipients struct containing to/cc/bcc all in
4310          * one.  This is for the envelope.
4311          */
4312         char *all_recps = malloc(SIZ * 3);
4313         strcpy(all_recps, recp);
4314         if (!IsEmptyStr(cc)) {
4315                 if (!IsEmptyStr(all_recps)) {
4316                         strcat(all_recps, ",");
4317                 }
4318                 strcat(all_recps, cc);
4319         }
4320         if (!IsEmptyStr(bcc)) {
4321                 if (!IsEmptyStr(all_recps)) {
4322                         strcat(all_recps, ",");
4323                 }
4324                 strcat(all_recps, bcc);
4325         }
4326         if (!IsEmptyStr(all_recps)) {
4327                 valid = validate_recipients(all_recps, NULL, 0);
4328         }
4329         else {
4330                 valid = NULL;
4331         }
4332         free(all_recps);
4333
4334         if (msg != NULL) {
4335                 msgnum = CtdlSubmitMsg(msg, valid, "", QP_EADDR);
4336
4337                 if (do_confirm) {
4338                         cprintf("%ld\n", msgnum);
4339                         if (msgnum >= 0L) {
4340                                 cprintf("Message accepted.\n");
4341                         }
4342                         else {
4343                                 cprintf("Internal error.\n");
4344                         }
4345                         if (msg->cm_fields['E'] != NULL) {
4346                                 cprintf("%s\n", msg->cm_fields['E']);
4347                         } else {
4348                                 cprintf("\n");
4349                         }
4350                         cprintf("000\n");
4351                 }
4352
4353                 CtdlFreeMessage(msg);
4354         }
4355         if (valid != NULL) {
4356                 free_recipients(valid);
4357         }
4358         return;
4359 }
4360
4361
4362
4363 /*
4364  * API function to delete messages which match a set of criteria
4365  * (returns the actual number of messages deleted)
4366  */
4367 int CtdlDeleteMessages(char *room_name,         /* which room */
4368                         long *dmsgnums,         /* array of msg numbers to be deleted */
4369                         int num_dmsgnums,       /* number of msgs to be deleted, or 0 for "any" */
4370                         char *content_type      /* or "" for any.  regular expressions expected. */
4371 )
4372 {
4373         struct ctdlroom qrbuf;
4374         struct cdbdata *cdbfr;
4375         long *msglist = NULL;
4376         long *dellist = NULL;
4377         int num_msgs = 0;
4378         int i, j;
4379         int num_deleted = 0;
4380         int delete_this;
4381         struct MetaData smi;
4382         regex_t re;
4383         regmatch_t pm;
4384         int need_to_free_re = 0;
4385
4386         if (content_type) if (!IsEmptyStr(content_type)) {
4387                 regcomp(&re, content_type, 0);
4388                 need_to_free_re = 1;
4389         }
4390         syslog(LOG_DEBUG, "CtdlDeleteMessages(%s, %d msgs, %s)\n",
4391                 room_name, num_dmsgnums, content_type);
4392
4393         /* get room record, obtaining a lock... */
4394         if (CtdlGetRoomLock(&qrbuf, room_name) != 0) {
4395                 syslog(LOG_ERR, "CtdlDeleteMessages(): Room <%s> not found\n",
4396                         room_name);
4397                 if (need_to_free_re) regfree(&re);
4398                 return (0);     /* room not found */
4399         }
4400         cdbfr = cdb_fetch(CDB_MSGLISTS, &qrbuf.QRnumber, sizeof(long));
4401
4402         if (cdbfr != NULL) {
4403                 dellist = malloc(cdbfr->len);
4404                 msglist = (long *) cdbfr->ptr;
4405                 cdbfr->ptr = NULL;      /* CtdlDeleteMessages() now owns this memory */
4406                 num_msgs = cdbfr->len / sizeof(long);
4407                 cdb_free(cdbfr);
4408         }
4409         if (num_msgs > 0) {
4410                 for (i = 0; i < num_msgs; ++i) {
4411                         delete_this = 0x00;
4412
4413                         /* Set/clear a bit for each criterion */
4414
4415                         /* 0 messages in the list or a null list means that we are
4416                          * interested in deleting any messages which meet the other criteria.
4417                          */
4418                         if ((num_dmsgnums == 0) || (dmsgnums == NULL)) {
4419                                 delete_this |= 0x01;
4420                         }
4421                         else {
4422                                 for (j=0; j<num_dmsgnums; ++j) {
4423                                         if (msglist[i] == dmsgnums[j]) {
4424                                                 delete_this |= 0x01;
4425                                         }
4426                                 }
4427                         }
4428
4429                         if (IsEmptyStr(content_type)) {
4430                                 delete_this |= 0x02;
4431                         } else {
4432                                 GetMetaData(&smi, msglist[i]);
4433                                 if (regexec(&re, smi.meta_content_type, 1, &pm, 0) == 0) {
4434                                         delete_this |= 0x02;
4435                                 }
4436                         }
4437
4438                         /* Delete message only if all bits are set */
4439                         if (delete_this == 0x03) {
4440                                 dellist[num_deleted++] = msglist[i];
4441                                 msglist[i] = 0L;
4442                         }
4443                 }
4444
4445                 num_msgs = sort_msglist(msglist, num_msgs);
4446                 cdb_store(CDB_MSGLISTS, &qrbuf.QRnumber, (int)sizeof(long),
4447                           msglist, (int)(num_msgs * sizeof(long)));
4448
4449                 if (num_msgs > 0)
4450                         qrbuf.QRhighest = msglist[num_msgs - 1];
4451                 else
4452                         qrbuf.QRhighest = 0;
4453         }
4454         CtdlPutRoomLock(&qrbuf);
4455
4456         /* Go through the messages we pulled out of the index, and decrement
4457          * their reference counts by 1.  If this is the only room the message
4458          * was in, the reference count will reach zero and the message will
4459          * automatically be deleted from the database.  We do this in a
4460          * separate pass because there might be plug-in hooks getting called,
4461          * and we don't want that happening during an S_ROOMS critical
4462          * section.
4463          */
4464         if (num_deleted) for (i=0; i<num_deleted; ++i) {
4465                 PerformDeleteHooks(qrbuf.QRname, dellist[i]);
4466                 AdjRefCount(dellist[i], -1);
4467         }
4468
4469         /* Now free the memory we used, and go away. */
4470         if (msglist != NULL) free(msglist);
4471         if (dellist != NULL) free(dellist);
4472         syslog(LOG_DEBUG, "%d message(s) deleted.\n", num_deleted);
4473         if (need_to_free_re) regfree(&re);
4474         return (num_deleted);
4475 }
4476
4477
4478
4479 /*
4480  * Check whether the current user has permission to delete messages from
4481  * the current room (returns 1 for yes, 0 for no)
4482  */
4483 int CtdlDoIHavePermissionToDeleteMessagesFromThisRoom(void) {
4484         int ra;
4485         CtdlRoomAccess(&CC->room, &CC->user, &ra, NULL);
4486         if (ra & UA_DELETEALLOWED) return(1);
4487         return(0);
4488 }
4489
4490
4491
4492
4493 /*
4494  * Delete message from current room
4495  */
4496 void cmd_dele(char *args)
4497 {
4498         int num_deleted;
4499         int i;
4500         char msgset[SIZ];
4501         char msgtok[32];
4502         long *msgs;
4503         int num_msgs = 0;
4504
4505         extract_token(msgset, args, 0, '|', sizeof msgset);
4506         num_msgs = num_tokens(msgset, ',');
4507         if (num_msgs < 1) {
4508                 cprintf("%d Nothing to do.\n", CIT_OK);
4509                 return;
4510         }
4511
4512         if (CtdlDoIHavePermissionToDeleteMessagesFromThisRoom() == 0) {
4513                 cprintf("%d Higher access required.\n",
4514                         ERROR + HIGHER_ACCESS_REQUIRED);
4515                 return;
4516         }
4517
4518         /*
4519          * Build our message set to be moved/copied
4520          */
4521         msgs = malloc(num_msgs * sizeof(long));
4522         for (i=0; i<num_msgs; ++i) {
4523                 extract_token(msgtok, msgset, i, ',', sizeof msgtok);
4524                 msgs[i] = atol(msgtok);
4525         }
4526
4527         num_deleted = CtdlDeleteMessages(CC->room.QRname, msgs, num_msgs, "");
4528         free(msgs);
4529
4530         if (num_deleted) {
4531                 cprintf("%d %d message%s deleted.\n", CIT_OK,
4532                         num_deleted, ((num_deleted != 1) ? "s" : ""));
4533         } else {
4534                 cprintf("%d Message not found.\n", ERROR + MESSAGE_NOT_FOUND);
4535         }
4536 }
4537
4538
4539
4540
4541 /*
4542  * move or copy a message to another room
4543  */
4544 void cmd_move(char *args)
4545 {
4546         char msgset[SIZ];
4547         char msgtok[32];
4548         long *msgs;
4549         int num_msgs = 0;
4550
4551         char targ[ROOMNAMELEN];
4552         struct ctdlroom qtemp;
4553         int err;
4554         int is_copy = 0;
4555         int ra;
4556         int permit = 0;
4557         int i;
4558
4559         extract_token(msgset, args, 0, '|', sizeof msgset);
4560         num_msgs = num_tokens(msgset, ',');
4561         if (num_msgs < 1) {
4562                 cprintf("%d Nothing to do.\n", CIT_OK);
4563                 return;
4564         }
4565
4566         extract_token(targ, args, 1, '|', sizeof targ);
4567         convert_room_name_macros(targ, sizeof targ);
4568         targ[ROOMNAMELEN - 1] = 0;
4569         is_copy = extract_int(args, 2);
4570
4571         if (CtdlGetRoom(&qtemp, targ) != 0) {
4572                 cprintf("%d '%s' does not exist.\n", ERROR + ROOM_NOT_FOUND, targ);
4573                 return;
4574         }
4575
4576         if (!strcasecmp(qtemp.QRname, CC->room.QRname)) {
4577                 cprintf("%d Source and target rooms are the same.\n", ERROR + ALREADY_EXISTS);
4578                 return;
4579         }
4580
4581         CtdlGetUser(&CC->user, CC->curr_user);
4582         CtdlRoomAccess(&qtemp, &CC->user, &ra, NULL);
4583
4584         /* Check for permission to perform this operation.
4585          * Remember: "CC->room" is source, "qtemp" is target.
4586          */
4587         permit = 0;
4588
4589         /* Aides can move/copy */
4590         if (CC->user.axlevel >= AxAideU) permit = 1;
4591
4592         /* Room aides can move/copy */
4593         if (CC->user.usernum == CC->room.QRroomaide) permit = 1;
4594
4595         /* Permit move/copy from personal rooms */
4596         if ((CC->room.QRflags & QR_MAILBOX)
4597            && (qtemp.QRflags & QR_MAILBOX)) permit = 1;
4598
4599         /* Permit only copy from public to personal room */
4600         if ( (is_copy)
4601            && (!(CC->room.QRflags & QR_MAILBOX))
4602            && (qtemp.QRflags & QR_MAILBOX)) permit = 1;
4603
4604         /* Permit message removal from collaborative delete rooms */
4605         if (CC->room.QRflags2 & QR2_COLLABDEL) permit = 1;
4606
4607         /* Users allowed to post into the target room may move into it too. */
4608         if ((CC->room.QRflags & QR_MAILBOX) &&
4609             (qtemp.QRflags & UA_POSTALLOWED))  permit = 1;
4610
4611         /* User must have access to target room */
4612         if (!(ra & UA_KNOWN))  permit = 0;
4613
4614         if (!permit) {
4615                 cprintf("%d Higher access required.\n",
4616                         ERROR + HIGHER_ACCESS_REQUIRED);
4617                 return;
4618         }
4619
4620         /*
4621          * Build our message set to be moved/copied
4622          */
4623         msgs = malloc(num_msgs * sizeof(long));
4624         for (i=0; i<num_msgs; ++i) {
4625                 extract_token(msgtok, msgset, i, ',', sizeof msgtok);
4626                 msgs[i] = atol(msgtok);
4627         }
4628
4629         /*
4630          * Do the copy
4631          */
4632         err = CtdlSaveMsgPointersInRoom(targ, msgs, num_msgs, 1, NULL, 0);
4633         if (err != 0) {
4634                 cprintf("%d Cannot store message(s) in %s: error %d\n",
4635                         err, targ, err);
4636                 free(msgs);
4637                 return;
4638         }
4639
4640         /* Now delete the message from the source room,
4641          * if this is a 'move' rather than a 'copy' operation.
4642          */
4643         if (is_copy == 0) {
4644                 CtdlDeleteMessages(CC->room.QRname, msgs, num_msgs, "");
4645         }
4646         free(msgs);
4647
4648         cprintf("%d Message(s) %s.\n", CIT_OK, (is_copy ? "copied" : "moved") );
4649 }
4650
4651
4652
4653 /*
4654  * GetMetaData()  -  Get the supplementary record for a message
4655  */
4656 void GetMetaData(struct MetaData *smibuf, long msgnum)
4657 {
4658
4659         struct cdbdata *cdbsmi;
4660         long TheIndex;
4661
4662         memset(smibuf, 0, sizeof(struct MetaData));
4663         smibuf->meta_msgnum = msgnum;
4664         smibuf->meta_refcount = 1;      /* Default reference count is 1 */
4665
4666         /* Use the negative of the message number for its supp record index */
4667         TheIndex = (0L - msgnum);
4668
4669         cdbsmi = cdb_fetch(CDB_MSGMAIN, &TheIndex, sizeof(long));
4670         if (cdbsmi == NULL) {
4671                 return;         /* record not found; go with defaults */
4672         }
4673         memcpy(smibuf, cdbsmi->ptr,
4674                ((cdbsmi->len > sizeof(struct MetaData)) ?
4675                 sizeof(struct MetaData) : cdbsmi->len));
4676         cdb_free(cdbsmi);
4677         return;
4678 }
4679
4680
4681 /*
4682  * PutMetaData()  -  (re)write supplementary record for a message
4683  */
4684 void PutMetaData(struct MetaData *smibuf)
4685 {
4686         long TheIndex;
4687
4688         /* Use the negative of the message number for the metadata db index */
4689         TheIndex = (0L - smibuf->meta_msgnum);
4690
4691         cdb_store(CDB_MSGMAIN,
4692                   &TheIndex, (int)sizeof(long),
4693                   smibuf, (int)sizeof(struct MetaData));
4694
4695 }
4696
4697 /*
4698  * AdjRefCount  -  submit an adjustment to the reference count for a message.
4699  *                 (These are just queued -- we actually process them later.)
4700  */
4701 void AdjRefCount(long msgnum, int incr)
4702 {
4703         struct arcq new_arcq;
4704         int rv = 0;
4705
4706         syslog(LOG_DEBUG, "AdjRefCount() msg %ld ref count delta %+d\n",
4707                 msgnum, incr
4708         );
4709
4710         begin_critical_section(S_SUPPMSGMAIN);
4711         if (arcfp == NULL) {
4712                 arcfp = fopen(file_arcq, "ab+");
4713         }
4714         end_critical_section(S_SUPPMSGMAIN);
4715
4716         /* msgnum < 0 means that we're trying to close the file */
4717         if (msgnum < 0) {
4718                 syslog(LOG_DEBUG, "Closing the AdjRefCount queue file\n");
4719                 begin_critical_section(S_SUPPMSGMAIN);
4720                 if (arcfp != NULL) {
4721                         fclose(arcfp);
4722                         arcfp = NULL;
4723                 }
4724                 end_critical_section(S_SUPPMSGMAIN);
4725                 return;
4726         }
4727
4728         /*
4729          * If we can't open the queue, perform the operation synchronously.
4730          */
4731         if (arcfp == NULL) {
4732                 TDAP_AdjRefCount(msgnum, incr);
4733                 return;
4734         }
4735
4736         new_arcq.arcq_msgnum = msgnum;
4737         new_arcq.arcq_delta = incr;
4738         rv = fwrite(&new_arcq, sizeof(struct arcq), 1, arcfp);
4739         fflush(arcfp);
4740
4741         return;
4742 }
4743
4744
4745 /*
4746  * TDAP_ProcessAdjRefCountQueue()
4747  *
4748  * Process the queue of message count adjustments that was created by calls
4749  * to AdjRefCount() ... by reading the queue and calling TDAP_AdjRefCount()
4750  * for each one.  This should be an "off hours" operation.
4751  */
4752 int TDAP_ProcessAdjRefCountQueue(void)
4753 {
4754         char file_arcq_temp[PATH_MAX];
4755         int r;
4756         FILE *fp;
4757         struct arcq arcq_rec;
4758         int num_records_processed = 0;
4759
4760         snprintf(file_arcq_temp, sizeof file_arcq_temp, "%s.%04x", file_arcq, rand());
4761
4762         begin_critical_section(S_SUPPMSGMAIN);
4763         if (arcfp != NULL) {
4764                 fclose(arcfp);
4765                 arcfp = NULL;
4766         }
4767
4768         r = link(file_arcq, file_arcq_temp);
4769         if (r != 0) {
4770                 syslog(LOG_CRIT, "%s: %s\n", file_arcq_temp, strerror(errno));
4771                 end_critical_section(S_SUPPMSGMAIN);
4772                 return(num_records_processed);
4773         }
4774
4775         unlink(file_arcq);
4776         end_critical_section(S_SUPPMSGMAIN);
4777
4778         fp = fopen(file_arcq_temp, "rb");
4779         if (fp == NULL) {
4780                 syslog(LOG_CRIT, "%s: %s\n", file_arcq_temp, strerror(errno));
4781                 return(num_records_processed);
4782         }
4783
4784         while (fread(&arcq_rec, sizeof(struct arcq), 1, fp) == 1) {
4785                 TDAP_AdjRefCount(arcq_rec.arcq_msgnum, arcq_rec.arcq_delta);
4786                 ++num_records_processed;
4787         }
4788
4789         fclose(fp);
4790         r = unlink(file_arcq_temp);
4791         if (r != 0) {
4792                 syslog(LOG_CRIT, "%s: %s\n", file_arcq_temp, strerror(errno));
4793         }
4794
4795         return(num_records_processed);
4796 }
4797
4798
4799
4800 /*
4801  * TDAP_AdjRefCount  -  adjust the reference count for a message.
4802  *                      This one does it "for real" because it's called by
4803  *                      the autopurger function that processes the queue
4804  *                      created by AdjRefCount().   If a message's reference
4805  *                      count becomes zero, we also delete the message from
4806  *                      disk and de-index it.
4807  */
4808 void TDAP_AdjRefCount(long msgnum, int incr)
4809 {
4810
4811         struct MetaData smi;
4812         long delnum;
4813
4814         /* This is a *tight* critical section; please keep it that way, as
4815          * it may get called while nested in other critical sections.
4816          * Complicating this any further will surely cause deadlock!
4817          */
4818         begin_critical_section(S_SUPPMSGMAIN);
4819         GetMetaData(&smi, msgnum);
4820         smi.meta_refcount += incr;
4821         PutMetaData(&smi);
4822         end_critical_section(S_SUPPMSGMAIN);
4823         syslog(LOG_DEBUG, "TDAP_AdjRefCount() msg %ld ref count delta %+d, is now %d\n",
4824                 msgnum, incr, smi.meta_refcount
4825         );
4826
4827         /* If the reference count is now zero, delete the message
4828          * (and its supplementary record as well).
4829          */
4830         if (smi.meta_refcount == 0) {
4831                 syslog(LOG_DEBUG, "Deleting message <%ld>\n", msgnum);
4832
4833                 /* Call delete hooks with NULL room to show it has gone altogether */
4834                 PerformDeleteHooks(NULL, msgnum);
4835
4836                 /* Remove from message base */
4837                 delnum = msgnum;
4838                 cdb_delete(CDB_MSGMAIN, &delnum, (int)sizeof(long));
4839                 cdb_delete(CDB_BIGMSGS, &delnum, (int)sizeof(long));
4840
4841                 /* Remove metadata record */
4842                 delnum = (0L - msgnum);
4843                 cdb_delete(CDB_MSGMAIN, &delnum, (int)sizeof(long));
4844         }
4845
4846 }
4847
4848 /*
4849  * Write a generic object to this room
4850  *
4851  * Note: this could be much more efficient.  Right now we use two temporary
4852  * files, and still pull the message into memory as with all others.
4853  */
4854 void CtdlWriteObject(char *req_room,                    /* Room to stuff it in */
4855                         char *content_type,             /* MIME type of this object */
4856                         char *raw_message,              /* Data to be written */
4857                         off_t raw_length,               /* Size of raw_message */
4858                         struct ctdluser *is_mailbox,    /* Mailbox room? */
4859                         int is_binary,                  /* Is encoding necessary? */
4860                         int is_unique,                  /* Del others of this type? */
4861                         unsigned int flags              /* Internal save flags */
4862                         )
4863 {
4864
4865         struct ctdlroom qrbuf;
4866         char roomname[ROOMNAMELEN];
4867         struct CtdlMessage *msg;
4868         char *encoded_message = NULL;
4869
4870         if (is_mailbox != NULL) {
4871                 CtdlMailboxName(roomname, sizeof roomname, is_mailbox, req_room);
4872         }
4873         else {
4874                 safestrncpy(roomname, req_room, sizeof(roomname));
4875         }
4876
4877         syslog(LOG_DEBUG, "Raw length is %ld\n", (long)raw_length);
4878
4879         if (is_binary) {
4880                 encoded_message = malloc((size_t) (((raw_length * 134) / 100) + 4096 ) );
4881         }
4882         else {
4883                 encoded_message = malloc((size_t)(raw_length + 4096));
4884         }
4885
4886         sprintf(encoded_message, "Content-type: %s\n", content_type);
4887
4888         if (is_binary) {
4889                 sprintf(&encoded_message[strlen(encoded_message)],
4890                         "Content-transfer-encoding: base64\n\n"
4891                 );
4892         }
4893         else {
4894                 sprintf(&encoded_message[strlen(encoded_message)],
4895                         "Content-transfer-encoding: 7bit\n\n"
4896                 );
4897         }
4898
4899         if (is_binary) {
4900                 CtdlEncodeBase64(
4901                         &encoded_message[strlen(encoded_message)],
4902                         raw_message,
4903                         (int)raw_length,
4904                         0
4905                 );
4906         }
4907         else {
4908                 memcpy(
4909                         &encoded_message[strlen(encoded_message)],
4910                         raw_message,
4911                         (int)(raw_length+1)
4912                 );
4913         }
4914
4915         syslog(LOG_DEBUG, "Allocating\n");
4916         msg = malloc(sizeof(struct CtdlMessage));
4917         memset(msg, 0, sizeof(struct CtdlMessage));
4918         msg->cm_magic = CTDLMESSAGE_MAGIC;
4919         msg->cm_anon_type = MES_NORMAL;
4920         msg->cm_format_type = 4;
4921         msg->cm_fields['A'] = strdup(CC->user.fullname);
4922         msg->cm_fields['O'] = strdup(req_room);
4923         msg->cm_fields['N'] = strdup(config.c_nodename);
4924         msg->cm_fields['H'] = strdup(config.c_humannode);
4925         msg->cm_flags = flags;
4926
4927         msg->cm_fields['M'] = encoded_message;
4928
4929         /* Create the requested room if we have to. */
4930         if (CtdlGetRoom(&qrbuf, roomname) != 0) {
4931                 CtdlCreateRoom(roomname,
4932                         ( (is_mailbox != NULL) ? 5 : 3 ),
4933                         "", 0, 1, 0, VIEW_BBS);
4934         }
4935         /* If the caller specified this object as unique, delete all
4936          * other objects of this type that are currently in the room.
4937          */
4938         if (is_unique) {
4939                 syslog(LOG_DEBUG, "Deleted %d other msgs of this type\n",
4940                         CtdlDeleteMessages(roomname, NULL, 0, content_type)
4941                 );
4942         }
4943         /* Now write the data */
4944         CtdlSubmitMsg(msg, NULL, roomname, 0);
4945         CtdlFreeMessage(msg);
4946 }
4947
4948
4949
4950
4951
4952
4953 void CtdlGetSysConfigBackend(long msgnum, void *userdata) {
4954         config_msgnum = msgnum;
4955 }
4956
4957
4958 char *CtdlGetSysConfig(char *sysconfname) {
4959         char hold_rm[ROOMNAMELEN];
4960         long msgnum;
4961         char *conf;
4962         struct CtdlMessage *msg;
4963         char buf[SIZ];
4964
4965         strcpy(hold_rm, CC->room.QRname);
4966         if (CtdlGetRoom(&CC->room, SYSCONFIGROOM) != 0) {
4967                 CtdlGetRoom(&CC->room, hold_rm);
4968                 return NULL;
4969         }
4970
4971
4972         /* We want the last (and probably only) config in this room */
4973         begin_critical_section(S_CONFIG);
4974         config_msgnum = (-1L);
4975         CtdlForEachMessage(MSGS_LAST, 1, NULL, sysconfname, NULL,
4976                 CtdlGetSysConfigBackend, NULL);
4977         msgnum = config_msgnum;
4978         end_critical_section(S_CONFIG);
4979
4980         if (msgnum < 0L) {
4981                 conf = NULL;
4982         }
4983         else {
4984                 msg = CtdlFetchMessage(msgnum, 1);
4985                 if (msg != NULL) {
4986                         conf = strdup(msg->cm_fields['M']);
4987                         CtdlFreeMessage(msg);
4988                 }
4989                 else {
4990                         conf = NULL;
4991                 }
4992         }
4993
4994         CtdlGetRoom(&CC->room, hold_rm);
4995
4996         if (conf != NULL) do {
4997                 extract_token(buf, conf, 0, '\n', sizeof buf);
4998                 strcpy(conf, &conf[strlen(buf)+1]);
4999         } while ( (!IsEmptyStr(conf)) && (!IsEmptyStr(buf)) );
5000
5001         return(conf);
5002 }
5003
5004
5005 void CtdlPutSysConfig(char *sysconfname, char *sysconfdata) {
5006         CtdlWriteObject(SYSCONFIGROOM, sysconfname, sysconfdata, (strlen(sysconfdata)+1), NULL, 0, 1, 0);
5007 }
5008
5009
5010 /*
5011  * Determine whether a given Internet address belongs to the current user
5012  */
5013 int CtdlIsMe(char *addr, int addr_buf_len)
5014 {
5015         struct recptypes *recp;
5016         int i;
5017
5018         recp = validate_recipients(addr, NULL, 0);
5019         if (recp == NULL) return(0);
5020
5021         if (recp->num_local == 0) {
5022                 free_recipients(recp);
5023                 return(0);
5024         }
5025
5026         for (i=0; i<recp->num_local; ++i) {
5027                 extract_token(addr, recp->recp_local, i, '|', addr_buf_len);
5028                 if (!strcasecmp(addr, CC->user.fullname)) {
5029                         free_recipients(recp);
5030                         return(1);
5031                 }
5032         }
5033
5034         free_recipients(recp);
5035         return(0);
5036 }
5037
5038
5039 /*
5040  * Citadel protocol command to do the same
5041  */
5042 void cmd_isme(char *argbuf) {
5043         char addr[256];
5044
5045         if (CtdlAccessCheck(ac_logged_in)) return;
5046         extract_token(addr, argbuf, 0, '|', sizeof addr);
5047
5048         if (CtdlIsMe(addr, sizeof addr)) {
5049                 cprintf("%d %s\n", CIT_OK, addr);
5050         }
5051         else {
5052                 cprintf("%d Not you.\n", ERROR + ILLEGAL_VALUE);
5053         }
5054
5055 }
5056
5057
5058 /*****************************************************************************/
5059 /*                      MODULE INITIALIZATION STUFF                          */
5060 /*****************************************************************************/
5061
5062 CTDL_MODULE_INIT(msgbase)
5063 {
5064         if (!threading) {
5065                 CtdlRegisterProtoHook(cmd_msgs, "MSGS", "Output a list of messages in the current room");
5066                 CtdlRegisterProtoHook(cmd_msg0, "MSG0", "Output a message in plain text format");
5067                 CtdlRegisterProtoHook(cmd_msg2, "MSG2", "Output a message in RFC822 format");
5068                 CtdlRegisterProtoHook(cmd_msg3, "MSG3", "Output a message in raw format (deprecated)");
5069                 CtdlRegisterProtoHook(cmd_msg4, "MSG4", "Output a message in the client's preferred format");
5070                 CtdlRegisterProtoHook(cmd_msgp, "MSGP", "Select preferred format for MSG4 output");
5071                 CtdlRegisterProtoHook(cmd_opna, "OPNA", "Open an attachment for download");
5072                 CtdlRegisterProtoHook(cmd_dlat, "DLAT", "Download an attachment");
5073                 CtdlRegisterProtoHook(cmd_ent0, "ENT0", "Enter a message");
5074                 CtdlRegisterProtoHook(cmd_dele, "DELE", "Delete a message");
5075                 CtdlRegisterProtoHook(cmd_move, "MOVE", "Move or copy a message to another room");
5076                 CtdlRegisterProtoHook(cmd_isme, "ISME", "Determine whether an email address belongs to a user");
5077         }
5078
5079         /* return our Subversion id for the Log */
5080         return "msgbase";
5081 }