VACATION and REJECT messages now appear to come from
[citadel.git] / citadel / msgbase.c
index 8bc08b20113dc964fcff224c0d0ec659cc407469..1a1f984f1aa6368ddf770f9307bbb0bb59443e97 100644 (file)
 #include "euidindex.h"
 #include "journaling.h"
 #include "citadel_dirs.h"
+#include "serv_network.h"
+
+#ifdef HAVE_LIBSIEVE
+# include "serv_sieve.h"
+#endif /* HAVE_LIBSIEVE */
 
 long config_msgnum;
 struct addresses_to_be_filed *atbf = NULL;
@@ -139,26 +144,12 @@ int alias(char *name)
        char node[64];
        char testnode[64];
        char buf[SIZ];
-       char filename[256];
 
        striplt(name);
        remove_any_whitespace_to_the_left_or_right_of_at_symbol(name);
        stripallbut(name, '<', '>');
 
-       /* 
-        * DIRTY HACK FOLLOWS! due to configs in the network dir in the 
-        * legacy installations, we need to calculate ifdeffed here.
-        */
-               snprintf(filename, 
-                                sizeof filename,
-                                "%smail.aliases",
-#ifndef HAVE_ETG_DIR
-                                ctdl_spool_dir
-#else
-                                ctdl_etc_dir
-#endif
-                                );
-       fp = fopen(filename, "r");
+       fp = fopen(file_mail_aliases, "r");
        if (fp == NULL) {
                fp = fopen("/dev/null", "r");
        }
@@ -518,14 +509,14 @@ void CtdlSetSeen(long *target_msgnums, int num_target_msgnums,
  * API function to perform an operation for each qualifying message in the
  * current room.  (Returns the number of messages processed.)
  */
-int CtdlForEachMessage(int mode, long ref,
+int CtdlForEachMessage(int mode, long ref, char *search_string,
                        char *content_type,
                        struct CtdlMessage *compare,
                        void (*CallBack) (long, void *),
                        void *userdata)
 {
 
-       int a;
+       int a, i, j;
        struct visit vbuf;
        struct cdbdata *cdbfr;
        long *msglist = NULL;
@@ -537,6 +528,8 @@ int CtdlForEachMessage(int mode, long ref,
        int is_seen = 0;
        long lastold = 0L;
        int printed_lastold = 0;
+       int num_search_msgs = 0;
+       long *search_msgs = NULL;
 
        /* Learn about the user and room in question */
        get_mm();
@@ -601,7 +594,45 @@ int CtdlForEachMessage(int mode, long ref,
                }
        }
 
+       /* If a search string was specified, get a message list from
+        * the full text index and remove messages which aren't on both
+        * lists.
+        *
+        * How this works:
+        * Since the lists are sorted and strictly ascending, and the
+        * output list is guaranteed to be shorter than or equal to the
+        * input list, we overwrite the bottom of the input list.  This
+        * eliminates the need to memmove big chunks of the list over and
+        * over again.
+        */
+       if ( (num_msgs > 0) && (mode == MSGS_SEARCH) && (search_string) ) {
+               ft_search(&num_search_msgs, &search_msgs, search_string);
+               if (num_search_msgs > 0) {
        
+                       int orig_num_msgs;
+
+                       orig_num_msgs = num_msgs;
+                       num_msgs = 0;
+                       for (i=0; i<orig_num_msgs; ++i) {
+                               for (j=0; j<num_search_msgs; ++j) {
+                                       if (msglist[i] == search_msgs[j]) {
+                                               msglist[num_msgs++] = msglist[i];
+                                       }
+                               }
+                       }
+               }
+               else {
+                       num_msgs = 0;   /* No messages qualify */
+               }
+               if (search_msgs != NULL) free(search_msgs);
+
+               /* Now that we've purged messages which don't contain the search
+                * string, treat a MSGS_SEARCH just like a MSGS_ALL from this
+                * point on.
+                */
+               mode = MSGS_ALL;
+       }
+
        /*
         * Now iterate through the message list, according to the
         * criteria supplied by the caller.
@@ -661,13 +692,14 @@ void cmd_msgs(char *cmdbuf)
        int with_template = 0;
        struct CtdlMessage *template = NULL;
        int with_headers = 0;
+       char search_string[1024];
 
        extract_token(which, cmdbuf, 0, '|', sizeof which);
        cm_ref = extract_int(cmdbuf, 1);
+       extract_token(search_string, cmdbuf, 1, '|', sizeof search_string);
        with_template = extract_int(cmdbuf, 2);
        with_headers = extract_int(cmdbuf, 3);
 
-       mode = MSGS_ALL;
        strcat(which, "   ");
        if (!strncasecmp(which, "OLD", 3))
                mode = MSGS_OLD;
@@ -679,12 +711,22 @@ void cmd_msgs(char *cmdbuf)
                mode = MSGS_LAST;
        else if (!strncasecmp(which, "GT", 2))
                mode = MSGS_GT;
+       else if (!strncasecmp(which, "SEARCH", 6))
+               mode = MSGS_SEARCH;
+       else
+               mode = MSGS_ALL;
 
        if ((!(CC->logged_in)) && (!(CC->internal_pgm))) {
                cprintf("%d not logged in\n", ERROR + NOT_LOGGED_IN);
                return;
        }
 
+       if ( (mode == MSGS_SEARCH) && (!config.c_enable_fulltext) ) {
+               cprintf("%d Full text index is not enabled on this server.\n",
+                       ERROR + CMD_NOT_SUPPORTED);
+               return;
+       }
+
        if (with_template) {
                unbuffer_output();
                cprintf("%d Send template then receive message list\n",
@@ -709,7 +751,8 @@ void cmd_msgs(char *cmdbuf)
        }
 
        CtdlForEachMessage(mode,
-                       cm_ref,
+                       ( (mode == MSGS_SEARCH) ? 0 : cm_ref ),
+                       ( (mode == MSGS_SEARCH) ? search_string : NULL ),
                        NULL,
                        template,
                        (with_headers ? headers_listing : simple_listing),
@@ -765,7 +808,6 @@ void do_help_subst(char *buffer)
  *          to the client.  The client software may reformat it again.
  */
 void memfmout(
-       int width,              /* screen width to use */
        char *mptr,             /* where are we going to get our text from? */
        char subst,             /* nonzero if we should do substitutions */
        char *nl)               /* string to terminate lines with */
@@ -776,6 +818,7 @@ void memfmout(
        cit_uint8_t ch;
        char aaa[140];
        char buffer[SIZ];
+       static int width = 80;
 
        strcpy(aaa, "");
        old = 255;
@@ -803,15 +846,13 @@ void memfmout(
                old = real;
                real = ch;
 
-               if (((ch == 13) || (ch == 10)) && (old != 13) && (old != 10))
+               if (((ch == 13) || (ch == 10)) && (old != 13) && (old != 10)) {
                        ch = 32;
+               }
                if (((old == 13) || (old == 10)) && (isspace(real))) {
                        cprintf("%s", nl);
                        c = 1;
                }
-               if (ch > 126)
-                       continue;
-
                if (ch > 32) {
                        if (((strlen(aaa) + c) > (width - 5)) && (strlen(aaa) > (width - 5))) {
                                cprintf("%s%s", nl, aaa);
@@ -1004,7 +1045,7 @@ struct CtdlMessage *CtdlFetchMessage(long msgnum, int with_body)
                }
        }
        if (ret->cm_fields['M'] == NULL) {
-               ret->cm_fields['M'] = strdup("<no text>\n");
+               ret->cm_fields['M'] = strdup("\r\n\r\n (no text)\r\n");
        }
 
        /* Perform "before read" hooks (aborting if any return nonzero) */
@@ -1136,8 +1177,10 @@ void fixed_output(char *name, char *filename, char *partnum, char *disp,
                                cprintf("\n");
                        }
                }
+               return;
        }
-       else if (!strcasecmp(cbtype, "text/html")) {
+
+       if (!strcasecmp(cbtype, "text/html")) {
                ptr = html_to_ascii(content, length, 80, 0);
                wlen = strlen(ptr);
                client_write(ptr, wlen);
@@ -1145,13 +1188,20 @@ void fixed_output(char *name, char *filename, char *partnum, char *disp,
                        cprintf("\n");
                }
                free(ptr);
+               return;
        }
-       else if (PerformFixedOutputHooks(cbtype, content, length)) {
+
+       if (ma->use_fo_hooks) {
+               if (PerformFixedOutputHooks(cbtype, content, length)) {
                /* above function returns nonzero if it handled the part */
+                       return;
+               }
        }
-       else if (strncasecmp(cbtype, "multipart/", 10)) {
+
+       if (strncasecmp(cbtype, "multipart/", 10)) {
                cprintf("Part %s: %s (%s) (%ld bytes)\r\n",
                        partnum, filename, cbtype, (long)length);
+               return;
        }
 }
 
@@ -1159,6 +1209,12 @@ void fixed_output(char *name, char *filename, char *partnum, char *disp,
  * The client is elegant and sophisticated and wants to be choosy about
  * MIME content types, so figure out which multipart/alternative part
  * we're going to send.
+ *
+ * We use a system of weights.  When we find a part that matches one of the
+ * MIME types we've declared as preferential, we can store it in ma->chosen_part
+ * and then set ma->chosen_pref to that MIME type's position in our preference
+ * list.  If we then hit another match, we only replace the first match if
+ * the preference value is lower.
  */
 void choose_preferred(char *name, char *filename, char *partnum, char *disp,
                void *content, char *cbtype, char *cbcharset, size_t length,
@@ -1173,8 +1229,12 @@ void choose_preferred(char *name, char *filename, char *partnum, char *disp,
        if (ma->is_ma > 0) {
                for (i=0; i<num_tokens(CC->preferred_formats, '|'); ++i) {
                        extract_token(buf, CC->preferred_formats, i, '|', sizeof buf);
+                       lprintf(CTDL_DEBUG, "Is <%s> == <%s> ??\n", buf, cbtype);
                        if ( (!strcasecmp(buf, cbtype)) && (!ma->freeze) ) {
-                               safestrncpy(ma->chosen_part, partnum, sizeof ma->chosen_part);
+                               if (i < ma->chosen_pref) {
+                                       safestrncpy(ma->chosen_part, partnum, sizeof ma->chosen_part);
+                                       ma->chosen_pref = i;
+                               }
                        }
                }
        }
@@ -1534,6 +1594,12 @@ int CtdlOutputPreLoadedMsg(
                                else if (i == 'Y') {
                                        cprintf("CC: %s%s", mptr, nl);
                                }
+                               else if (i == 'P') {
+                                       cprintf("Return-Path: %s%s", mptr, nl);
+                               }
+                               else if (i == 'V') {
+                                       cprintf("Envelope-To: %s%s", mptr, nl);
+                               }
                                else if (i == 'U') {
                                        cprintf("Subject: %s%s", mptr, nl);
                                        subject_found = 1;
@@ -1696,7 +1762,7 @@ START_TEXT:
                if (mode == MT_MIME) {
                        cprintf("Content-type: text/x-citadel-variformat\n\n");
                }
-               memfmout(80, mptr, 0, nl);
+               memfmout(mptr, 0, nl);
        }
 
        /* If the message on disk is format 4 (MIME), we've gotta hand it
@@ -1708,7 +1774,9 @@ START_TEXT:
                memset(&ma, 0, sizeof(struct ma_info));
 
                if (mode == MT_MIME) {
+                       ma.use_fo_hooks = 0;
                        strcpy(ma.chosen_part, "1");
+                       ma.chosen_pref = 9999;
                        mime_parser(mptr, NULL,
                                *choose_preferred, *fixed_output_pre,
                                *fixed_output_post, (void *)&ma, 0);
@@ -1716,6 +1784,7 @@ START_TEXT:
                                *output_preferred, NULL, NULL, (void *)&ma, 0);
                }
                else {
+                       ma.use_fo_hooks = 1;
                        mime_parser(mptr, NULL,
                                *fixed_output, *fixed_output_pre,
                                *fixed_output_post, (void *)&ma, 0);
@@ -1842,33 +1911,44 @@ void cmd_opna(char *cmdbuf)
        CtdlOutputMsg(msgid, MT_DOWNLOAD, 0, 1, 1, NULL);
 }                      
 
-
 /*
- * Save a message pointer into a specified room
+ * Save one or more message pointers into a specified room
  * (Returns 0 for success, nonzero for failure)
  * roomname may be NULL to use the current room
  *
  * Note that the 'supplied_msg' field may be set to NULL, in which case
  * the message will be fetched from disk, by number, if we need to perform
  * replication checks.  This adds an additional database read, so if the
- * caller already has the message in memory then it should be supplied.
+ * caller already has the message in memory then it should be supplied.  (Obviously
+ * this mode of operation only works if we're saving a single message.)
  */
-int CtdlSaveMsgPointerInRoom(char *roomname, long msgid, int do_repl_check,
-                               struct CtdlMessage *supplied_msg) {
-       int i;
+int CtdlSaveMsgPointersInRoom(char *roomname, long newmsgidlist[], int num_newmsgs,
+                               int do_repl_check, struct CtdlMessage *supplied_msg)
+{
+       int i, j, unique;
        char hold_rm[ROOMNAMELEN];
        struct cdbdata *cdbfr;
        int num_msgs;
        long *msglist;
        long highest_msg = 0L;
+
+       long msgid = 0;
        struct CtdlMessage *msg = NULL;
 
-       /*lprintf(CTDL_DEBUG,
-               "CtdlSaveMsgPointerInRoom(room=%s, msgid=%ld, repl=%d)\n",
-               roomname, msgid, do_repl_check);*/
+       long *msgs_to_be_merged = NULL;
+       int num_msgs_to_be_merged = 0;
+
+       lprintf(CTDL_DEBUG,
+               "CtdlSaveMsgPointersInRoom(room=%s, num_msgs=%d, repl=%d)\n",
+               roomname, num_newmsgs, do_repl_check);
 
        strcpy(hold_rm, CC->room.QRname);
 
+       /* Sanity checks */
+       if (newmsgidlist == NULL) return(ERROR + INTERNAL_ERROR);
+       if (num_newmsgs < 1) return(ERROR + INTERNAL_ERROR);
+       if (num_newmsgs > 1) supplied_msg = NULL;
+
        /* Now the regular stuff */
        if (lgetroom(&CC->room,
           ((roomname != NULL) ? roomname : CC->room.QRname) )
@@ -1877,6 +1957,11 @@ int CtdlSaveMsgPointerInRoom(char *roomname, long msgid, int do_repl_check,
                return(ERROR + ROOM_NOT_FOUND);
        }
 
+
+       msgs_to_be_merged = malloc(sizeof(long) * num_newmsgs);
+       num_msgs_to_be_merged = 0;
+
+
        cdbfr = cdb_fetch(CDB_MSGLISTS, &CC->room.QRnumber, sizeof(long));
        if (cdbfr == NULL) {
                msglist = NULL;
@@ -1888,27 +1973,34 @@ int CtdlSaveMsgPointerInRoom(char *roomname, long msgid, int do_repl_check,
                cdb_free(cdbfr);
        }
 
-       /* Make sure the message doesn't already exist in this room.  It
-        * is absolutely taboo to have more than one reference to the same
-        * message in a room.
+
+       /* Create a list of msgid's which were supplied by the caller, but do
+        * not already exist in the target room.  It is absolutely taboo to
+        * have more than one reference to the same message in a room.
         */
-       if (num_msgs > 0) for (i=0; i<num_msgs; ++i) {
-               if (msglist[i] == msgid) {
-                       lputroom(&CC->room);    /* unlock the room */
-                       getroom(&CC->room, hold_rm);
-                       free(msglist);
-                       return(ERROR + ALREADY_EXISTS);
+       for (i=0; i<num_newmsgs; ++i) {
+               unique = 1;
+               if (num_msgs > 0) for (j=0; j<num_msgs; ++j) {
+                       if (msglist[j] == newmsgidlist[i]) {
+                               unique = 0;
+                       }
+               }
+               if (unique) {
+                       msgs_to_be_merged[num_msgs_to_be_merged++] = newmsgidlist[i];
                }
        }
 
-       /* Now add the new message */
-       ++num_msgs;
-       msglist = realloc(msglist, (num_msgs * sizeof(long)));
+       lprintf(9, "%d unique messages to be merged\n", num_msgs_to_be_merged);
 
+       /*
+        * Now merge the new messages
+        */
+       msglist = realloc(msglist, (sizeof(long) * (num_msgs + num_msgs_to_be_merged)) );
        if (msglist == NULL) {
                lprintf(CTDL_ALERT, "ERROR: can't realloc message list!\n");
        }
-       msglist[num_msgs - 1] = msgid;
+       memcpy(&msglist[num_msgs], msgs_to_be_merged, (sizeof(long) * num_msgs_to_be_merged) );
+       num_msgs += num_msgs_to_be_merged;
 
        /* Sort the message list, so all the msgid's are in order */
        num_msgs = sort_msglist(msglist, num_msgs);
@@ -1929,43 +2021,79 @@ int CtdlSaveMsgPointerInRoom(char *roomname, long msgid, int do_repl_check,
 
        /* Perform replication checks if necessary */
        if ( (DoesThisRoomNeedEuidIndexing(&CC->room)) && (do_repl_check) ) {
-               if (supplied_msg != NULL) {
-                       msg = supplied_msg;
-               }
-               else {
-                       msg = CtdlFetchMessage(msgid, 0);
-               }
+               lprintf(CTDL_DEBUG, "CtdlSaveMsgPointerInRoom() doing repl checks\n");
 
-               if (msg != NULL) {
-                       ReplicationChecks(msg);
-               }
+               for (i=0; i<num_msgs_to_be_merged; ++i) {
+                       msgid = msgs_to_be_merged[i];
+       
+                       if (supplied_msg != NULL) {
+                               msg = supplied_msg;
+                       }
+                       else {
+                               msg = CtdlFetchMessage(msgid, 0);
+                       }
+       
+                       if (msg != NULL) {
+                               ReplicationChecks(msg);
+               
+                               /* If the message has an Exclusive ID, index that... */
+                               if (msg->cm_fields['E'] != NULL) {
+                                       index_message_by_euid(msg->cm_fields['E'], &CC->room, msgid);
+                               }
 
+                               /* Free up the memory we may have allocated */
+                               if (msg != supplied_msg) {
+                                       CtdlFreeMessage(msg);
+                               }
+                       }
+       
+               }
        }
 
-       /* If the message has an Exclusive ID, index that... */
-       if (msg != NULL) {
-               if (msg->cm_fields['E'] != NULL) {
-                       index_message_by_euid(msg->cm_fields['E'],
-                                               &CC->room, msgid);
-               }
+       else {
+               lprintf(CTDL_DEBUG, "CtdlSaveMsgPointerInRoom() skips repl checks\n");
        }
 
-       /* Free up the memory we may have allocated */
-       if ( (msg != NULL) && (msg != supplied_msg) ) {
-               CtdlFreeMessage(msg);
+       /* Submit this room for net processing */
+       network_queue_room(&CC->room, NULL);
+
+#ifdef HAVE_LIBSIEVE
+       /* If this is someone's inbox, submit the room for sieve processing */
+       if (!strcasecmp(&CC->room.QRname[11], MAILROOM)) {
+               sieve_queue_room(&CC->room);
        }
+#endif /* HAVE_LIBSIEVE */
 
        /* Go back to the room we were in before we wandered here... */
        getroom(&CC->room, hold_rm);
 
-       /* Bump the reference count for this message. */
-       AdjRefCount(msgid, +1);
+       /* Bump the reference count for all messages which were merged */
+       for (i=0; i<num_msgs_to_be_merged; ++i) {
+               AdjRefCount(msgs_to_be_merged[i], +1);
+       }
+
+       /* Free up memory... */
+       if (msgs_to_be_merged != NULL) {
+               free(msgs_to_be_merged);
+       }
 
        /* Return success. */
        return (0);
 }
 
 
+/*
+ * This is the same as CtdlSaveMsgPointersInRoom() but it only accepts
+ * a single message.
+ */
+int CtdlSaveMsgPointerInRoom(char *roomname, long msgid,
+                       int do_repl_check, struct CtdlMessage *supplied_msg)
+{
+       return CtdlSaveMsgPointersInRoom(roomname, &msgid, 1, do_repl_check, supplied_msg);
+}
+
+
+
 
 /*
  * Message base operation to save a new message to the message store
@@ -1985,7 +2113,7 @@ long send_message(struct CtdlMessage *msg) {
 
        /* Get a new message number */
        newmsgid = get_new_message_number();
-       snprintf(msgidbuf, sizeof msgidbuf, "%ld@%s", newmsgid, config.c_fqdn);
+       snprintf(msgidbuf, sizeof msgidbuf, "%010ld@%s", newmsgid, config.c_fqdn);
 
        /* Generate an ID if we don't have one already */
        if (msg->cm_fields['I']==NULL) {
@@ -2052,21 +2180,31 @@ long send_message(struct CtdlMessage *msg) {
 void serialize_message(struct ser_ret *ret,            /* return values */
                        struct CtdlMessage *msg)        /* unserialized msg */
 {
-       size_t wlen;
+       size_t wlen, fieldlen;
        int i;
        static char *forder = FORDER;
 
-       if (is_valid_message(msg) == 0) return;         /* self check */
+       /*
+        * Check for valid message format
+        */
+       if (is_valid_message(msg) == 0) {
+               lprintf(CTDL_ERR, "serialize_message() aborting due to invalid message\n");
+               ret->len = 0;
+               ret->ser = NULL;
+               return;
+       }
 
        ret->len = 3;
        for (i=0; i<26; ++i) if (msg->cm_fields[(int)forder[i]] != NULL)
                ret->len = ret->len +
                        strlen(msg->cm_fields[(int)forder[i]]) + 2;
 
-       lprintf(CTDL_DEBUG, "serialize_message() calling malloc(%ld)\n", (long)ret->len);
        ret->ser = malloc(ret->len);
        if (ret->ser == NULL) {
+               lprintf(CTDL_ERR, "serialize_message() malloc(%ld) failed: %s\n",
+                       (long)ret->len, strerror(errno));
                ret->len = 0;
+               ret->ser = NULL;
                return;
        }
 
@@ -2076,9 +2214,10 @@ void serialize_message(struct ser_ret *ret,              /* return values */
        wlen = 3;
 
        for (i=0; i<26; ++i) if (msg->cm_fields[(int)forder[i]] != NULL) {
+               fieldlen = strlen(msg->cm_fields[(int)forder[i]]);
                ret->ser[wlen++] = (char)forder[i];
-               strcpy((char *)&ret->ser[wlen], msg->cm_fields[(int)forder[i]]);
-               wlen = wlen + strlen(msg->cm_fields[(int)forder[i]]) + 1;
+               safestrncpy((char *)&ret->ser[wlen], msg->cm_fields[(int)forder[i]], fieldlen+1);
+               wlen = wlen + fieldlen + 1;
        }
        if (ret->len != wlen) lprintf(CTDL_ERR, "ERROR: len=%ld wlen=%ld\n",
                (long)ret->len, (long)wlen);
@@ -2110,7 +2249,7 @@ void ReplicationChecks(struct CtdlMessage *msg) {
        old_msgnum = locate_message_by_euid(msg->cm_fields['E'], &CC->room);
        if (old_msgnum > 0L) {
                lprintf(CTDL_DEBUG, "ReplicationChecks() replacing message %ld\n", old_msgnum);
-               CtdlDeleteMessages(CC->room.QRname, old_msgnum, "", 0);
+               CtdlDeleteMessages(CC->room.QRname, &old_msgnum, 1, "", 0);
        }
 }
 
@@ -2508,7 +2647,7 @@ long CtdlSubmitMsg(struct CtdlMessage *msg,       /* message to save */
 /*
  * Convenience function for generating small administrative messages.
  */
-void quickie_message(char *from, char *to, char *room, char *text, 
+void quickie_message(char *from, char *fromaddr, char *to, char *room, char *text, 
                        int format_type, char *subject)
 {
        struct CtdlMessage *msg;
@@ -2519,7 +2658,21 @@ void quickie_message(char *from, char *to, char *room, char *text,
        msg->cm_magic = CTDLMESSAGE_MAGIC;
        msg->cm_anon_type = MES_NORMAL;
        msg->cm_format_type = format_type;
-       msg->cm_fields['A'] = strdup(from);
+
+       if (from != NULL) {
+               msg->cm_fields['A'] = strdup(from);
+       }
+       else if (fromaddr != NULL) {
+               msg->cm_fields['A'] = strdup(fromaddr);
+               if (strchr(msg->cm_fields['A'], '@')) {
+                       *strchr(msg->cm_fields['A'], '@') = 0;
+               }
+       }
+       else {
+               msg->cm_fields['A'] = strdup("Citadel");
+       }
+
+       if (fromaddr != NULL) msg->cm_fields['F'] = strdup(fromaddr);
        if (room != NULL) msg->cm_fields['O'] = strdup(room);
        msg->cm_fields['N'] = strdup(NODENAME);
        if (to != NULL) {
@@ -2555,6 +2708,7 @@ char *CtdlReadMessageBody(char *terminator,       /* token signalling EOT */
        char *m;
        int flushing = 0;
        int finished = 0;
+       int dotdot = 0;
 
        if (exist == NULL) {
                m = malloc(4096);
@@ -2572,6 +2726,11 @@ char *CtdlReadMessageBody(char *terminator,      /* token signalling EOT */
                }
        }
 
+       /* Do we need to change leading ".." to "." for SMTP escaping? */
+       if (!strcmp(terminator, ".")) {
+               dotdot = 1;
+       }
+
        /* flush the input if we have nowhere to store it */
        if (m == NULL) {
                flushing = 1;
@@ -2588,6 +2747,13 @@ char *CtdlReadMessageBody(char *terminator,      /* token signalling EOT */
                        strcat(buf, "\n");
                }
 
+               /* Unescape SMTP-style input of two dots at the beginning of the line */
+               if (dotdot) {
+                       if (!strncmp(buf, "..", 2)) {
+                               strcpy(buf, &buf[1]);
+                       }
+               }
+
                if ( (!flushing) && (!finished) ) {
                        /* Measure the line */
                        linelen = strlen(buf);
@@ -3008,6 +3174,7 @@ void cmd_ent0(char *entargs)
        extract_token(cc, entargs, 7, '|', sizeof cc);
        extract_token(bcc, entargs, 8, '|', sizeof bcc);
        switch(CC->room.QRdefaultview) {
+               case VIEW_NOTES:
                case VIEW_WIKI:
                        extract_token(supplied_euid, entargs, 9, '|', sizeof supplied_euid);
                        break;
@@ -3239,7 +3406,8 @@ void cmd_ent0(char *entargs)
  * (returns the actual number of messages deleted)
  */
 int CtdlDeleteMessages(char *room_name,                /* which room */
-                       long dmsgnum,           /* or "0" for any */
+                       long *dmsgnums,         /* array of msg numbers to be deleted */
+                       int num_dmsgnums,       /* number of msgs to be deleted, or 0 for "any" */
                        char *content_type,     /* or "" for any */
                        int deferred            /* let TDAP sweep it later */
 )
@@ -3250,13 +3418,13 @@ int CtdlDeleteMessages(char *room_name,         /* which room */
        long *msglist = NULL;
        long *dellist = NULL;
        int num_msgs = 0;
-       int i;
+       int i, j;
        int num_deleted = 0;
        int delete_this;
        struct MetaData smi;
 
-       lprintf(CTDL_DEBUG, "CtdlDeleteMessages(%s, %ld, %s, %d)\n",
-               room_name, dmsgnum, content_type, deferred);
+       lprintf(CTDL_DEBUG, "CtdlDeleteMessages(%s, %d msgs, %s, %d)\n",
+               room_name, num_dmsgnums, content_type, deferred);
 
        /* get room record, obtaining a lock... */
        if (lgetroom(&qrbuf, room_name) != 0) {
@@ -3279,9 +3447,20 @@ int CtdlDeleteMessages(char *room_name,          /* which room */
 
                        /* Set/clear a bit for each criterion */
 
-                       if ((dmsgnum == 0L) || (msglist[i] == dmsgnum)) {
+                       /* 0 messages in the list or a null list means that we are
+                        * interested in deleting any messages which meet the other criteria.
+                        */
+                       if ((num_dmsgnums == 0) || (dmsgnums == NULL)) {
                                delete_this |= 0x01;
                        }
+                       else {
+                               for (j=0; j<num_dmsgnums; ++j) {
+                                       if (msglist[i] == dmsgnums[j]) {
+                                               delete_this |= 0x01;
+                                       }
+                               }
+                       }
+
                        if (strlen(content_type) == 0) {
                                delete_this |= 0x02;
                        } else {
@@ -3314,11 +3493,11 @@ int CtdlDeleteMessages(char *room_name,         /* which room */
         * DELETED_MSGS_ROOM.  This will cause the reference count to remain
         * at least 1, which will save the user from having to synchronously
         * wait for various disk-intensive operations to complete.
+        *
+        * Slick -- we now use the new bulk API for moving messages.
         */
        if ( (deferred) && (num_deleted) ) {
-               for (i=0; i<num_deleted; ++i) {
-                       CtdlCopyMsgToRoom(dellist[i], DELETED_MSGS_ROOM);
-               }
+               CtdlCopyMsgsToRoom(dellist, num_deleted, DELETED_MSGS_ROOM);
        }
 
        /* Go through the messages we pulled out of the index, and decrement
@@ -3363,36 +3542,56 @@ int CtdlDoIHavePermissionToDeleteMessagesFromThisRoom(void) {
 /*
  * Delete message from current room
  */
-void cmd_dele(char *delstr)
+void cmd_dele(char *args)
 {
-       long delnum;
        int num_deleted;
+       int i;
+       char msgset[SIZ];
+       char msgtok[32];
+       long *msgs;
+       int num_msgs = 0;
+
+       extract_token(msgset, args, 0, '|', sizeof msgset);
+       num_msgs = num_tokens(msgset, ',');
+       if (num_msgs < 1) {
+               cprintf("%d Nothing to do.\n", CIT_OK);
+               return;
+       }
 
        if (CtdlDoIHavePermissionToDeleteMessagesFromThisRoom() == 0) {
                cprintf("%d Higher access required.\n",
                        ERROR + HIGHER_ACCESS_REQUIRED);
                return;
        }
-       delnum = extract_long(delstr, 0);
 
-       num_deleted = CtdlDeleteMessages(CC->room.QRname, delnum, "", 1);
+       /*
+        * Build our message set to be moved/copied
+        */
+       msgs = malloc(num_msgs * sizeof(long));
+       for (i=0; i<num_msgs; ++i) {
+               extract_token(msgtok, msgset, i, ',', sizeof msgtok);
+               msgs[i] = atol(msgtok);
+       }
+
+       num_deleted = CtdlDeleteMessages(CC->room.QRname, msgs, num_msgs, "", 1);
+       free(msgs);
 
        if (num_deleted) {
                cprintf("%d %d message%s deleted.\n", CIT_OK,
                        num_deleted, ((num_deleted != 1) ? "s" : ""));
        } else {
-               cprintf("%d Message %ld not found.\n", ERROR + MESSAGE_NOT_FOUND, delnum);
+               cprintf("%d Message not found.\n", ERROR + MESSAGE_NOT_FOUND);
        }
 }
 
 
 /*
- * Back end API function for moves and deletes
+ * Back end API function for moves and deletes (multiple messages)
  */
-int CtdlCopyMsgToRoom(long msgnum, char *dest) {
+int CtdlCopyMsgsToRoom(long *msgnums, int num_msgs, char *dest) {
        int err;
 
-       err = CtdlSaveMsgPointerInRoom(dest, msgnum, 1, NULL);
+       err = CtdlSaveMsgPointersInRoom(dest, msgnums, num_msgs, 1, NULL);
        if (err != 0) return(err);
 
        return(0);
@@ -3400,20 +3599,32 @@ int CtdlCopyMsgToRoom(long msgnum, char *dest) {
 
 
 
+
 /*
  * move or copy a message to another room
  */
 void cmd_move(char *args)
 {
-       long num;
+       char msgset[SIZ];
+       char msgtok[32];
+       long *msgs;
+       int num_msgs = 0;
+
        char targ[ROOMNAMELEN];
        struct ctdlroom qtemp;
        int err;
        int is_copy = 0;
        int ra;
        int permit = 0;
+       int i;
+
+       extract_token(msgset, args, 0, '|', sizeof msgset);
+       num_msgs = num_tokens(msgset, ',');
+       if (num_msgs < 1) {
+               cprintf("%d Nothing to do.\n", CIT_OK);
+               return;
+       }
 
-       num = extract_long(args, 0);
        extract_token(targ, args, 1, '|', sizeof targ);
        convert_room_name_macros(targ, sizeof targ);
        targ[ROOMNAMELEN - 1] = 0;
@@ -3457,10 +3668,23 @@ void cmd_move(char *args)
                return;
        }
 
-       err = CtdlCopyMsgToRoom(num, targ);
+       /*
+        * Build our message set to be moved/copied
+        */
+       msgs = malloc(num_msgs * sizeof(long));
+       for (i=0; i<num_msgs; ++i) {
+               extract_token(msgtok, msgset, i, ',', sizeof msgtok);
+               msgs[i] = atol(msgtok);
+       }
+
+       /*
+        * Do the copy
+        */
+       err = CtdlCopyMsgsToRoom(msgs, num_msgs, targ);
        if (err != 0) {
-               cprintf("%d Cannot store message in %s: error %d\n",
+               cprintf("%d Cannot store message(s) in %s: error %d\n",
                        err, targ, err);
+               free(msgs);
                return;
        }
 
@@ -3468,10 +3692,11 @@ void cmd_move(char *args)
         * if this is a 'move' rather than a 'copy' operation.
         */
        if (is_copy == 0) {
-               CtdlDeleteMessages(CC->room.QRname, num, "", 0);
+               CtdlDeleteMessages(CC->room.QRname, msgs, num_msgs, "", 0);
        }
+       free(msgs);
 
-       cprintf("%d Message %s.\n", CIT_OK, (is_copy ? "copied" : "moved") );
+       cprintf("%d Message(s) %s.\n", CIT_OK, (is_copy ? "copied" : "moved") );
 }
 
 
@@ -3678,7 +3903,7 @@ void CtdlWriteObject(char *req_room,              /* Room to stuff it in */
         */
        if (is_unique) {
                lprintf(CTDL_DEBUG, "Deleted %d other msgs of this type\n",
-                       CtdlDeleteMessages(roomname, 0L, content_type, 0)
+                       CtdlDeleteMessages(roomname, NULL, 0, content_type, 0)
                );
        }
        /* Now write the data */
@@ -3713,7 +3938,7 @@ char *CtdlGetSysConfig(char *sysconfname) {
        /* We want the last (and probably only) config in this room */
        begin_critical_section(S_CONFIG);
        config_msgnum = (-1L);
-       CtdlForEachMessage(MSGS_LAST, 1, sysconfname, NULL,
+       CtdlForEachMessage(MSGS_LAST, 1, NULL, sysconfname, NULL,
                CtdlGetSysConfigBackend, NULL);
        msgnum = config_msgnum;
        end_critical_section(S_CONFIG);