struct recptypes now uses dynamically allocated
[citadel.git] / citadel / serv_smtp.c
index 56408ca6e245398c5354293b7e83a1b0ab203883..21934d256d361c812a7321785ee1d30292295b19 100644 (file)
@@ -14,6 +14,8 @@
  * RFC 2033 - Local Mail Transfer Protocol
  * RFC 2034 - SMTP Service Extension for Returning Enhanced Error Codes
  * RFC 2197 - SMTP Service Extension for Command Pipelining
+ * RFC 2476 - Message Submission
+ * RFC 2487 - SMTP Service Extension for Secure SMTP over TLS
  * RFC 2554 - SMTP Service Extension for Authentication
  * RFC 2821 - Simple Mail Transfer Protocol
  * RFC 2822 - Internet Message Format
@@ -30,6 +32,7 @@
 #include <pwd.h>
 #include <errno.h>
 #include <sys/types.h>
+#include <syslog.h>
 
 #if TIME_WITH_SYS_TIME
 # include <sys/time.h>
 #include "domain.h"
 #include "clientsocket.h"
 #include "locate_host.h"
+#include "citadel_dirs.h"
+
+#ifdef HAVE_OPENSSL
+#include "serv_crypto.h"
+#endif
+
 
 
 #ifndef HAVE_SNPRINTF
@@ -86,22 +95,20 @@ struct citsmtp {            /* Information about the current session */
        int delivery_mode;
        int message_originated_locally;
        int is_lmtp;
+       int is_unfiltered;
+       int is_msa;
 };
 
 enum {                         /* Command states for login authentication */
        smtp_command,
        smtp_user,
-       smtp_password
+       smtp_password,
+       smtp_plain
 };
 
-enum {                         /* Delivery modes */
-       smtp_deliver_local,
-       smtp_deliver_remote
-};
-
-#define SMTP           ((struct citsmtp *)CtdlGetUserData(SYM_SMTP))
-#define SMTP_RECPS     ((char *)CtdlGetUserData(SYM_SMTP_RECPS))
-#define SMTP_ROOMS     ((char *)CtdlGetUserData(SYM_SMTP_ROOMS))
+#define SMTP           CC->SMTP
+#define SMTP_RECPS     CC->SMTP_RECPS
+#define SMTP_ROOMS     CC->SMTP_ROOMS
 
 
 int run_queue_now = 0; /* Set to 1 to ignore SMTP send retry times */
@@ -113,31 +120,105 @@ int run_queue_now = 0;   /* Set to 1 to ignore SMTP send retry times */
 /*****************************************************************************/
 
 
-
-
 /*
  * Here's where our SMTP session begins its happy day.
  */
-void smtp_greeting(void) {
+void smtp_greeting(int is_msa)
+{
+       char message_to_spammer[1024];
 
        strcpy(CC->cs_clientname, "SMTP session");
        CC->internal_pgm = 1;
        CC->cs_flags |= CS_STEALTH;
-       CtdlAllocUserData(SYM_SMTP, sizeof(struct citsmtp));
-       CtdlAllocUserData(SYM_SMTP_RECPS, SIZ);
-       CtdlAllocUserData(SYM_SMTP_ROOMS, SIZ);
-       snprintf(SMTP_RECPS, SIZ, "%s", "");
-       snprintf(SMTP_ROOMS, SIZ, "%s", "");
+       SMTP = malloc(sizeof(struct citsmtp));
+       SMTP_RECPS = malloc(SIZ);
+       SMTP_ROOMS = malloc(SIZ);
+       memset(SMTP, 0, sizeof(struct citsmtp));
+       memset(SMTP_RECPS, 0, SIZ);
+       memset(SMTP_ROOMS, 0, SIZ);
+       SMTP->is_msa = is_msa;
 
-       cprintf("220 %s ESMTP Citadel/UX server ready.\r\n", config.c_fqdn);
+       /* If this config option is set, reject connections from problem
+        * addresses immediately instead of after they execute a RCPT
+        */
+       if ( (config.c_rbl_at_greeting) && (SMTP->is_msa == 0) ) {
+               if (rbl_check(message_to_spammer)) {
+                       cprintf("550 %s\r\n", message_to_spammer);
+                       CC->kill_me = 1;
+                       /* no need to free_recipients(valid), it's not allocated yet */
+                       return;
+               }
+       }
+
+       /* Otherwise we're either clean or we check later. */
+
+       if (CC->nologin==1) {
+               cprintf("500 Too many users are already online (maximum is %d)\r\n",
+                       config.c_maxsessions
+               );
+               CC->kill_me = 1;
+               /* no need to free_recipients(valid), it's not allocated yet */
+               return;
+       }
+
+       cprintf("220 %s ESMTP Citadel server ready.\r\n", config.c_fqdn);
 }
 
+
+/*
+ * SMTPS is just like SMTP, except it goes crypto right away.
+ */
+#ifdef HAVE_OPENSSL
+void smtps_greeting(void) {
+       CtdlStartTLS(NULL, NULL, NULL);
+       smtp_greeting(0);
+}
+#endif
+
+
+/*
+ * SMTP MSA port requires authentication.
+ */
+void smtp_msa_greeting(void) {
+       smtp_greeting(1);
+}
+
+
 /*
  * LMTP is like SMTP but with some extra bonus footage added.
  */
 void lmtp_greeting(void) {
-       smtp_greeting();
+       smtp_greeting(0);
+       SMTP->is_lmtp = 1;
+}
+
+
+/* 
+ * Generic SMTP MTA greeting
+ */
+void smtp_mta_greeting(void) {
+       smtp_greeting(0);
+}
+
+
+/*
+ * We also have an unfiltered LMTP socket that bypasses spam filters.
+ */
+void lmtp_unfiltered_greeting(void) {
+       smtp_greeting(0);
        SMTP->is_lmtp = 1;
+       SMTP->is_unfiltered = 1;
+}
+
+
+/*
+ * Login greeting common to all auth methods
+ */
+void smtp_auth_greeting(void) {
+               cprintf("235 2.0.0 Hello, %s\r\n", CC->user.fullname);
+               lprintf(CTDL_NOTICE, "SMTP authenticated %s\n", CC->user.fullname);
+               CC->internal_pgm = 0;
+               CC->cs_flags &= ~CS_STEALTH;
 }
 
 
@@ -180,8 +261,30 @@ void smtp_hello(char *argbuf, int which_command) {
                }
                cprintf("250-HELP\r\n");
                cprintf("250-SIZE %ld\r\n", config.c_maxmsglen);
+
+#ifdef HAVE_OPENSSL
+
+               /* Only offer the PIPELINING command if TLS is inactive,
+                * because of flow control issues.  Also, avoid offering TLS
+                * if TLS is already active.  Finally, we only offer TLS on
+                * the SMTP-MSA port, not on the SMTP-MTA port, due to
+                * questionable reliability of TLS in certain sending MTA's.
+                */
+               if ( (!CC->redirect_ssl) && (SMTP->is_msa) ) {
+                       cprintf("250-PIPELINING\r\n");
+                       cprintf("250-STARTTLS\r\n");
+               }
+
+#else  /* HAVE_OPENSSL */
+
+               /* Non SSL enabled server, so always offer PIPELINING. */
                cprintf("250-PIPELINING\r\n");
-               cprintf("250-AUTH=LOGIN\r\n");
+
+#endif /* HAVE_OPENSSL */
+
+               cprintf("250-AUTH LOGIN PLAIN\r\n");
+               cprintf("250-AUTH=LOGIN PLAIN\r\n");
+
                cprintf("250 ENHANCEDSTATUSCODES\r\n");
        }
 }
@@ -216,7 +319,7 @@ void smtp_get_user(char *argbuf) {
        char username[SIZ];
 
        CtdlDecodeBase64(username, argbuf, SIZ);
-       lprintf(9, "Trying <%s>\n", username);
+       /* lprintf(CTDL_DEBUG, "Trying <%s>\n", username); */
        if (CtdlLoginExistingUser(username) == login_ok) {
                CtdlEncodeBase64(buf, "Password:", 9);
                cprintf("334 %s\r\n", buf);
@@ -236,12 +339,9 @@ void smtp_get_pass(char *argbuf) {
        char password[SIZ];
 
        CtdlDecodeBase64(password, argbuf, SIZ);
-       lprintf(9, "Trying <%s>\n", password);
+       /* lprintf(CTDL_DEBUG, "Trying <%s>\n", password); */
        if (CtdlTryPassword(password) == pass_ok) {
-               cprintf("235 2.0.0 Hello, %s\r\n", CC->user.fullname);
-               lprintf(9, "SMTP authenticated login successful\n");
-               CC->internal_pgm = 0;
-               CC->cs_flags &= ~CS_STEALTH;
+               smtp_auth_greeting();
        }
        else {
                cprintf("535 5.7.0 Authentication failed.\r\n");
@@ -251,25 +351,77 @@ void smtp_get_pass(char *argbuf) {
 
 
 /*
- *
+ * Back end for PLAIN auth method (either inline or multistate)
+ */
+void smtp_try_plain(char *encoded_authstring) {
+       char decoded_authstring[1024];
+       char ident[256];
+       char user[256];
+       char pass[256];
+
+       CtdlDecodeBase64(decoded_authstring,
+                       encoded_authstring,
+                       strlen(encoded_authstring) );
+       safestrncpy(ident, decoded_authstring, sizeof ident);
+       safestrncpy(user, &decoded_authstring[strlen(ident) + 1], sizeof user);
+       safestrncpy(pass, &decoded_authstring[strlen(ident) + strlen(user) + 2], sizeof pass);
+
+       SMTP->command_state = smtp_command;
+       if (CtdlLoginExistingUser(user) == login_ok) {
+               if (CtdlTryPassword(pass) == pass_ok) {
+                       smtp_auth_greeting();
+                       return;
+               }
+       }
+       cprintf("504 5.7.4 Authentication failed.\r\n");
+}
+
+
+/*
+ * Attempt to perform authenticated SMTP
  */
 void smtp_auth(char *argbuf) {
-       char buf[SIZ];
+       char username_prompt[64];
+       char method[64];
+       char encoded_authstring[1024];
 
-       if (strncasecmp(argbuf, "login", 5) ) {
-               cprintf("504 5.7.4 We only support LOGIN authentication.\r\n");
+       if (CC->logged_in) {
+               cprintf("504 5.7.4 Already logged in.\r\n");
                return;
        }
 
-       if (strlen(argbuf) >= 7) {
-               smtp_get_user(&argbuf[6]);
+       extract_token(method, argbuf, 0, ' ', sizeof method);
+
+       if (!strncasecmp(method, "login", 5) ) {
+               if (strlen(argbuf) >= 7) {
+                       smtp_get_user(&argbuf[6]);
+               }
+               else {
+                       CtdlEncodeBase64(username_prompt, "Username:", 9);
+                       cprintf("334 %s\r\n", username_prompt);
+                       SMTP->command_state = smtp_user;
+               }
+               return;
        }
 
-       else {
-               CtdlEncodeBase64(buf, "Username:", 9);
-               cprintf("334 %s\r\n", buf);
-               SMTP->command_state = smtp_user;
+       if (!strncasecmp(method, "plain", 5) ) {
+               if (num_tokens(argbuf, ' ') < 2) {
+                       cprintf("334 \r\n");
+                       SMTP->command_state = smtp_plain;
+                       return;
+               }
+
+               extract_token(encoded_authstring, argbuf, 1, ' ', sizeof encoded_authstring);
+
+               smtp_try_plain(encoded_authstring);
+               return;
+       }
+
+       if (strncasecmp(method, "login", 5) ) {
+               cprintf("504 5.7.4 Unknown authentication method.\r\n");
+               return;
        }
+
 }
 
 
@@ -356,11 +508,14 @@ void smtp_expn(char *argbuf) {
 /*
  * Implements the RSET (reset state) command.
  * Currently this just zeroes out the state buffer.  If pointers to data
- * allocated with mallok() are ever placed in the state buffer, we have to
- * be sure to phree() them first!
+ * allocated with malloc() are ever placed in the state buffer, we have to
+ * be sure to free() them first!
+ *
+ * Set do_response to nonzero to output the SMTP RSET response code.
  */
-void smtp_rset(void) {
+void smtp_rset(int do_response) {
        int is_lmtp;
+       int is_unfiltered;
 
        /*
         * Our entire SMTP state is discarded when a RSET command is issued,
@@ -368,6 +523,7 @@ void smtp_rset(void) {
         * we save it for later.
         */
        is_lmtp = SMTP->is_lmtp;
+       is_unfiltered = SMTP->is_unfiltered;
 
        memset(SMTP, 0, sizeof(struct citsmtp));
 
@@ -386,8 +542,11 @@ void smtp_rset(void) {
         * Reinstate this little piece of information we saved (see above).
         */
        SMTP->is_lmtp = is_lmtp;
+       SMTP->is_unfiltered = is_unfiltered;
 
-       cprintf("250 2.0.0 Zap!\r\n");
+       if (do_response) {
+               cprintf("250 2.0.0 Zap!\r\n");
+       }
 }
 
 /*
@@ -424,7 +583,9 @@ void smtp_mail(char *argbuf) {
 
        strcpy(SMTP->from, &argbuf[5]);
        striplt(SMTP->from);
-       stripallbut(SMTP->from, '<', '>');
+       if (haschar(SMTP->from, '<') > 0) {
+               stripallbut(SMTP->from, '<', '>');
+       }
 
        /* We used to reject empty sender names, until it was brought to our
         * attention that RFC1123 5.2.9 requires that this be allowed.  So now
@@ -440,7 +601,7 @@ void smtp_mail(char *argbuf) {
         * to be the user's Internet e-mail address as Citadel knows it.
         */
        if (CC->logged_in) {
-               strcpy(SMTP->from, CC->cs_inet_email);
+               safestrncpy(SMTP->from, CC->cs_inet_email, sizeof SMTP->from);
                cprintf("250 2.1.0 Sender ok <%s>\r\n", SMTP->from);
                SMTP->message_originated_locally = 1;
                return;
@@ -451,12 +612,12 @@ void smtp_mail(char *argbuf) {
        }
 
        /* Otherwise, make sure outsiders aren't trying to forge mail from
-        * this system.
+        * this system (unless, of course, c_allow_spoofing is enabled)
         */
-       else {
+       else if (config.c_allow_spoofing == 0) {
                process_rfc822_addr(SMTP->from, user, node, name);
                if (CtdlHostAlias(node) != hostalias_nomatch) {
-                       cprintf("550 5.1.8 "
+                       cprintf("550 5.7.1 "
                                "You must log in to send mail from %s\r\n",
                                node);
                        strcpy(SMTP->from, "");
@@ -487,6 +648,13 @@ void smtp_rcpt(char *argbuf) {
                return;
        }
 
+       if ( (SMTP->is_msa) && (!CC->logged_in) ) {
+               cprintf("550 5.1.8 "
+                       "You must log in to send mail on this port.\r\n");
+               strcpy(SMTP->from, "");
+               return;
+       }
+
        strcpy(recp, &argbuf[3]);
        striplt(recp);
        stripallbut(recp, '<', '>');
@@ -497,27 +665,39 @@ void smtp_rcpt(char *argbuf) {
        }
 
        /* RBL check */
-       if ( (!CC->logged_in)
-          && (!SMTP->is_lmtp) ) {
-               if (rbl_check(message_to_spammer)) {
-                       cprintf("550 %s\r\n", message_to_spammer);
-                       /* no need to phree(valid), it's not allocated yet */
-                       return;
+       if ( (!CC->logged_in)   /* Don't RBL authenticated users */
+          && (!SMTP->is_lmtp) ) {      /* Don't RBL LMTP clients */
+               if (config.c_rbl_at_greeting == 0) {    /* Don't RBL again if we already did it */
+                       if (rbl_check(message_to_spammer)) {
+                               cprintf("550 %s\r\n", message_to_spammer);
+                               /* no need to free_recipients(valid), it's not allocated yet */
+                               return;
+                       }
                }
        }
 
        valid = validate_recipients(recp);
-       if (valid->num_error > 0) {
+       if (valid->num_error != 0) {
                cprintf("599 5.1.1 Error: %s\r\n", valid->errormsg);
-               phree(valid);
+               free_recipients(valid);
                return;
        }
 
+       if (valid->num_internet > 0) {
+               if (CC->logged_in) {
+                        if (CtdlCheckInternetMailPermission(&CC->user)==0) {
+                               cprintf("551 5.7.1 <%s> - you do not have permission to send Internet mail\r\n", recp);
+                                free_recipients(valid);
+                                return;
+                        }
+                }
+       }
+
        if (valid->num_internet > 0) {
                if ( (SMTP->message_originated_locally == 0)
                   && (SMTP->is_lmtp == 0) ) {
                        cprintf("551 5.7.1 <%s> - relaying denied\r\n", recp);
-                       phree(valid);
+                       free_recipients(valid);
                        return;
                }
        }
@@ -528,6 +708,8 @@ void smtp_rcpt(char *argbuf) {
        }
        strcat(SMTP->recipients, recp);
        SMTP->number_of_recipients += 1;
+       if (valid != NULL) 
+               free_recipients(valid);
 }
 
 
@@ -538,8 +720,8 @@ void smtp_rcpt(char *argbuf) {
  */
 void smtp_data(void) {
        char *body;
-       struct CtdlMessage *msg;
-       long msgnum;
+       struct CtdlMessage *msg = NULL;
+       long msgnum = (-1L);
        char nowstamp[SIZ];
        struct recptypes *valid;
        int scan_errors;
@@ -559,7 +741,7 @@ void smtp_data(void) {
        cprintf("354 Transmit message now - terminate with '.' by itself\r\n");
        
        datestring(nowstamp, sizeof nowstamp, time(NULL), DATESTRING_RFC822);
-       body = mallok(4096);
+       body = malloc(4096);
 
        if (body != NULL) snprintf(body, 4096,
                "Received: from %s (%s [%s])\n"
@@ -577,7 +759,7 @@ void smtp_data(void) {
                return;
        }
 
-       lprintf(9, "Converting message...\n");
+       lprintf(CTDL_DEBUG, "Converting message...\n");
        msg = convert_internet_message(body);
 
        /* If the user is locally authenticated, FORCE the From: header to
@@ -591,17 +773,29 @@ void smtp_data(void) {
         * is read with a Citadel client.
         */
        if ( (CC->logged_in) && (config.c_rfc822_strict_from == 0) ) {
-               if (msg->cm_fields['A'] != NULL) phree(msg->cm_fields['A']);
-               if (msg->cm_fields['N'] != NULL) phree(msg->cm_fields['N']);
-               if (msg->cm_fields['H'] != NULL) phree(msg->cm_fields['H']);
-               if (msg->cm_fields['F'] != NULL) phree(msg->cm_fields['F']);
-               if (msg->cm_fields['O'] != NULL) phree(msg->cm_fields['O']);
-               msg->cm_fields['A'] = strdoop(CC->user.fullname);
-               msg->cm_fields['N'] = strdoop(config.c_nodename);
-               msg->cm_fields['H'] = strdoop(config.c_humannode);
-               msg->cm_fields['F'] = strdoop(CC->cs_inet_email);
-               msg->cm_fields['O'] = strdoop(MAILROOM);
+               if (msg->cm_fields['A'] != NULL) free(msg->cm_fields['A']);
+               if (msg->cm_fields['N'] != NULL) free(msg->cm_fields['N']);
+               if (msg->cm_fields['H'] != NULL) free(msg->cm_fields['H']);
+               if (msg->cm_fields['F'] != NULL) free(msg->cm_fields['F']);
+               if (msg->cm_fields['O'] != NULL) free(msg->cm_fields['O']);
+               msg->cm_fields['A'] = strdup(CC->user.fullname);
+               msg->cm_fields['N'] = strdup(config.c_nodename);
+               msg->cm_fields['H'] = strdup(config.c_humannode);
+               msg->cm_fields['F'] = strdup(CC->cs_inet_email);
+               msg->cm_fields['O'] = strdup(MAILROOM);
+       }
+
+       /* Set the "envelope from" address */
+       if (msg->cm_fields['P'] != NULL) {
+               free(msg->cm_fields['P']);
+       }
+       msg->cm_fields['P'] = strdup(SMTP->from);
+
+       /* Set the "envelope to" address */
+       if (msg->cm_fields['V'] != NULL) {
+               free(msg->cm_fields['V']);
        }
+       msg->cm_fields['V'] = strdup(SMTP->recipients);
 
        /* Submit the message into the Citadel system. */
        valid = validate_recipients(SMTP->recipients);
@@ -610,12 +804,17 @@ void smtp_data(void) {
         * submission (such as virus checkers or spam filters), call them now
         * and give them an opportunity to reject the message.
         */
-       scan_errors = PerformMessageHooks(msg, EVT_SMTPSCAN);
+       if (SMTP->is_unfiltered) {
+               scan_errors = 0;
+       }
+       else {
+               scan_errors = PerformMessageHooks(msg, EVT_SMTPSCAN);
+       }
 
        if (scan_errors > 0) {  /* We don't want this message! */
 
                if (msg->cm_fields['0'] == NULL) {
-                       msg->cm_fields['0'] = strdoop(
+                       msg->cm_fields['0'] = strdup(
                                "5.7.1 Message rejected by filter");
                }
 
@@ -647,12 +846,49 @@ void smtp_data(void) {
                cprintf("%s", result);
        }
 
+       /* Write something to the syslog (which may or may not be where the
+        * rest of the Citadel logs are going; some sysadmins want LOG_MAIL).
+        */
+       if (enable_syslog) {
+               syslog((LOG_MAIL | LOG_INFO),
+                       "%ld: from=<%s>, nrcpts=%d, relay=%s [%s], stat=%s",
+                       msgnum,
+                       SMTP->from,
+                       SMTP->number_of_recipients,
+                       CC->cs_host,
+                       CC->cs_addr,
+                       result
+               );
+       }
+
+       /* Clean up */
        CtdlFreeMessage(msg);
-       phree(valid);
+       free_recipients(valid);
        smtp_data_clear();      /* clear out the buffers now */
 }
 
 
+/*
+ * implements the STARTTLS command (Citadel API version)
+ */
+#ifdef HAVE_OPENSSL
+void smtp_starttls(void)
+{
+       char ok_response[SIZ];
+       char nosup_response[SIZ];
+       char error_response[SIZ];
+
+       sprintf(ok_response,
+               "200 2.0.0 Begin TLS negotiation now\r\n");
+       sprintf(nosup_response,
+               "554 5.7.3 TLS not supported here\r\n");
+       sprintf(error_response,
+               "554 5.7.3 Internal error\r\n");
+       CtdlStartTLS(ok_response, nosup_response, error_response);
+       smtp_rset(0);
+}
+#endif
+
 
 
 /* 
@@ -663,16 +899,14 @@ void smtp_command_loop(void) {
 
        time(&CC->lastcmd);
        memset(cmdbuf, 0, sizeof cmdbuf); /* Clear it, just in case */
-       if (client_gets(cmdbuf) < 1) {
-               lprintf(3, "SMTP socket is broken.  Ending session.\n");
+       if (client_getln(cmdbuf, sizeof cmdbuf) < 1) {
+               lprintf(CTDL_CRIT, "Client disconnected: ending session.\n");
                CC->kill_me = 1;
                return;
        }
-       lprintf(5, "SMTP: %s\n", cmdbuf);
+       lprintf(CTDL_INFO, "SMTP: %s\n", cmdbuf);
        while (strlen(cmdbuf) < 5) strcat(cmdbuf, " ");
 
-       lprintf(9, "CC->logged_in = %d\n", CC->logged_in);
-
        if (SMTP->command_state == smtp_user) {
                smtp_get_user(cmdbuf);
        }
@@ -681,6 +915,10 @@ void smtp_command_loop(void) {
                smtp_get_pass(cmdbuf);
        }
 
+       else if (SMTP->command_state == smtp_plain) {
+               smtp_try_plain(cmdbuf);
+       }
+
        else if (!strncasecmp(cmdbuf, "AUTH", 4)) {
                smtp_auth(&cmdbuf[5]);
        }
@@ -728,9 +966,13 @@ void smtp_command_loop(void) {
        }
 
        else if (!strncasecmp(cmdbuf, "RSET", 4)) {
-               smtp_rset();
+               smtp_rset(1);
        }
-
+#ifdef HAVE_OPENSSL
+       else if (!strcasecmp(cmdbuf, "STARTTLS")) {
+               smtp_starttls();
+       }
+#endif
        else if (!strncasecmp(cmdbuf, "VRFY", 4)) {
                smtp_vrfy(&cmdbuf[5]);
        }
@@ -739,6 +981,7 @@ void smtp_command_loop(void) {
                cprintf("502 5.0.0 I'm afraid I can't do that.\r\n");
        }
 
+
 }
 
 
@@ -764,43 +1007,44 @@ void smtp_try(const char *key, const char *addr, int *status,
        int num_mxhosts;
        int mx;
        int i;
-       char user[SIZ], node[SIZ], name[SIZ];
+       char user[1024], node[1024], name[1024];
        char buf[1024];
        char mailfrom[1024];
+       char mx_user[256];
+       char mx_pass[256];
+       char mx_host[256];
+       char mx_port[256];
        int lp, rp;
-       FILE *msg_fp = NULL;
+       char *msgtext;
+       char *ptr;
        size_t msg_size;
-       size_t blocksize = 0;
        int scan_done;
 
        /* Parse out the host portion of the recipient address */
        process_rfc822_addr(addr, user, node, name);
 
-       lprintf(9, "Attempting SMTP delivery to <%s> @ <%s> (%s)\n",
+       lprintf(CTDL_DEBUG, "Attempting SMTP delivery to <%s> @ <%s> (%s)\n",
                user, node, name);
 
-       /* Load the message out of the database into a temp file */
-       msg_fp = tmpfile();
-       if (msg_fp == NULL) {
-               *status = 4;
-               snprintf(dsn, n, "Error creating temporary file");
-               return;
-       }
-       else {
-               CtdlRedirectOutput(msg_fp, -1);
-               CtdlOutputMsg(msgnum, MT_RFC822, HEADERS_ALL, 0, 1);
-               CtdlRedirectOutput(NULL, -1);
-               fseek(msg_fp, 0L, SEEK_END);
-               msg_size = ftell(msg_fp);
-       }
-
+       /* Load the message out of the database */
+       CC->redirect_buffer = malloc(SIZ);
+       CC->redirect_len = 0;
+       CC->redirect_alloc = SIZ;
+       CtdlOutputMsg(msgnum, MT_RFC822, HEADERS_ALL, 0, 1, NULL);
+       msgtext = CC->redirect_buffer;
+       msg_size = CC->redirect_len;
+       CC->redirect_buffer = NULL;
+       CC->redirect_len = 0;
+       CC->redirect_alloc = 0;
 
        /* Extract something to send later in the 'MAIL From:' command */
        strcpy(mailfrom, "");
-       rewind(msg_fp);
        scan_done = 0;
+       ptr = msgtext;
        do {
-               if (fgets(buf, sizeof buf, msg_fp)==NULL) scan_done = 1;
+               if (ptr = memreadline(ptr, buf, sizeof buf), *ptr == 0) {
+                       scan_done = 1;
+               }
                if (!strncasecmp(buf, "From:", 5)) {
                        safestrncpy(mailfrom, &buf[5], sizeof mailfrom);
                        striplt(mailfrom);
@@ -838,10 +1082,11 @@ void smtp_try(const char *key, const char *addr, int *status,
                }
        } while (scan_done == 0);
        if (strlen(mailfrom)==0) strcpy(mailfrom, "someone@somewhere.org");
+       stripallbut(mailfrom, '<', '>');
 
        /* Figure out what mail exchanger host we have to connect to */
        num_mxhosts = getmx(mxhosts, node);
-       lprintf(9, "Number of MX hosts for <%s> is %d\n", node, num_mxhosts);
+       lprintf(CTDL_DEBUG, "Number of MX hosts for <%s> is %d\n", node, num_mxhosts);
        if (num_mxhosts < 1) {
                *status = 5;
                snprintf(dsn, SIZ, "No MX hosts found for <%s>", node);
@@ -850,12 +1095,43 @@ void smtp_try(const char *key, const char *addr, int *status,
 
        sock = (-1);
        for (mx=0; (mx<num_mxhosts && sock < 0); ++mx) {
-               extract(buf, mxhosts, mx);
-               lprintf(9, "Trying <%s>\n", buf);
-               sock = sock_connect(buf, "25", "tcp");
+               char *endpart;
+               extract_token(buf, mxhosts, mx, '|', sizeof buf);
+               strcpy(mx_user, "");
+               strcpy(mx_pass, "");
+               if (num_tokens(buf, '@') > 1) {
+                       strcpy (mx_user, buf);
+                       endpart = strrchr(mx_user, '@');
+                       *endpart = '\0';
+                       strcpy (mx_host, endpart + 1);
+                       endpart = strrchr(mx_user, ':');
+                       if (endpart != NULL) {
+                               strcpy(mx_pass, endpart+1);
+                               *endpart = '\0';
+                       }
+               }
+               else
+                       strcpy (mx_host, buf);
+               endpart = strrchr(mx_host, ':');
+               if (endpart != 0){
+                       *endpart = '\0';
+                       strcpy(mx_port, endpart + 1);
+               }               
+               else {
+                       strcpy(mx_port, "25");
+               }
+               lprintf(CTDL_DEBUG, "Trying %s : %s ...\n", mx_host, mx_port);
+               sock = sock_connect(mx_host, mx_port, "tcp");
                snprintf(dsn, SIZ, "Could not connect: %s", strerror(errno));
-               if (sock >= 0) lprintf(9, "Connected!\n");
-               if (sock < 0) snprintf(dsn, SIZ, "%s", strerror(errno));
+               if (sock >= 0) lprintf(CTDL_DEBUG, "Connected!\n");
+               if (sock < 0) {
+                       if (errno > 0) {
+                               snprintf(dsn, SIZ, "%s", strerror(errno));
+                       }
+                       else {
+                               snprintf(dsn, SIZ, "Unable to connect to %s : %s\n", mx_host, mx_port);
+                       }
+               }
        }
 
        if (sock < 0) {
@@ -869,7 +1145,7 @@ void smtp_try(const char *key, const char *addr, int *status,
                strcpy(dsn, "Connection broken during SMTP conversation");
                goto bail;
        }
-       lprintf(9, "<%s\n", buf);
+       lprintf(CTDL_DEBUG, "<%s\n", buf);
        if (buf[0] != '2') {
                if (buf[0] == '4') {
                        *status = 4;
@@ -885,16 +1161,26 @@ void smtp_try(const char *key, const char *addr, int *status,
 
        /* At this point we know we are talking to a real SMTP server */
 
-       /* Do a HELO command */
-       snprintf(buf, sizeof buf, "HELO %s\r\n", config.c_fqdn);
-       lprintf(9, ">%s", buf);
+       /* Do a EHLO command.  If it fails, try the HELO command. */
+       snprintf(buf, sizeof buf, "EHLO %s\r\n", config.c_fqdn);
+       lprintf(CTDL_DEBUG, ">%s", buf);
        sock_write(sock, buf, strlen(buf));
        if (ml_sock_gets(sock, buf) < 0) {
                *status = 4;
                strcpy(dsn, "Connection broken during SMTP HELO");
                goto bail;
        }
-       lprintf(9, "<%s\n", buf);
+       lprintf(CTDL_DEBUG, "<%s\n", buf);
+       if (buf[0] != '2') {
+               snprintf(buf, sizeof buf, "HELO %s\r\n", config.c_fqdn);
+               lprintf(CTDL_DEBUG, ">%s", buf);
+               sock_write(sock, buf, strlen(buf));
+               if (ml_sock_gets(sock, buf) < 0) {
+                       *status = 4;
+                       strcpy(dsn, "Connection broken during SMTP HELO");
+                       goto bail;
+               }
+       }
        if (buf[0] != '2') {
                if (buf[0] == '4') {
                        *status = 4;
@@ -908,17 +1194,43 @@ void smtp_try(const char *key, const char *addr, int *status,
                }
        }
 
+       /* Do an AUTH command if necessary */
+       if (strlen(mx_user) > 0) {
+               sprintf(buf, "%s%c%s%c%s", mx_user, '\0', mx_user, '\0', mx_pass);
+               CtdlEncodeBase64(mailfrom, buf, strlen(mx_user) + strlen(mx_user) + strlen(mx_pass) + 2);
+               snprintf(buf, sizeof buf, "AUTH PLAIN %s\r\n", mailfrom);
+               lprintf(CTDL_DEBUG, ">%s", buf);
+               sock_write(sock, buf, strlen(buf));
+               if (ml_sock_gets(sock, buf) < 0) {
+                       *status = 4;
+                       strcpy(dsn, "Connection broken during SMTP AUTH");
+                       goto bail;
+               }
+               lprintf(CTDL_DEBUG, "<%s\n", buf);
+               if (buf[0] != '2') {
+                       if (buf[0] == '4') {
+                               *status = 4;
+                               safestrncpy(dsn, &buf[4], 1023);
+                               goto bail;
+                       }
+                       else {
+                               *status = 5;
+                               safestrncpy(dsn, &buf[4], 1023);
+                               goto bail;
+                       }
+               }
+       }
 
-       /* HELO succeeded, now try the MAIL From: command */
+       /* previous command succeeded, now try the MAIL From: command */
        snprintf(buf, sizeof buf, "MAIL From: <%s>\r\n", mailfrom);
-       lprintf(9, ">%s", buf);
+       lprintf(CTDL_DEBUG, ">%s", buf);
        sock_write(sock, buf, strlen(buf));
        if (ml_sock_gets(sock, buf) < 0) {
                *status = 4;
                strcpy(dsn, "Connection broken during SMTP MAIL");
                goto bail;
        }
-       lprintf(9, "<%s\n", buf);
+       lprintf(CTDL_DEBUG, "<%s\n", buf);
        if (buf[0] != '2') {
                if (buf[0] == '4') {
                        *status = 4;
@@ -932,17 +1244,16 @@ void smtp_try(const char *key, const char *addr, int *status,
                }
        }
 
-
        /* MAIL succeeded, now try the RCPT To: command */
-       snprintf(buf, sizeof buf, "RCPT To: <%s>\r\n", addr);
-       lprintf(9, ">%s", buf);
+       snprintf(buf, sizeof buf, "RCPT To: <%s@%s>\r\n", user, node);
+       lprintf(CTDL_DEBUG, ">%s", buf);
        sock_write(sock, buf, strlen(buf));
        if (ml_sock_gets(sock, buf) < 0) {
                *status = 4;
                strcpy(dsn, "Connection broken during SMTP RCPT");
                goto bail;
        }
-       lprintf(9, "<%s\n", buf);
+       lprintf(CTDL_DEBUG, "<%s\n", buf);
        if (buf[0] != '2') {
                if (buf[0] == '4') {
                        *status = 4;
@@ -956,16 +1267,15 @@ void smtp_try(const char *key, const char *addr, int *status,
                }
        }
 
-
        /* RCPT succeeded, now try the DATA command */
-       lprintf(9, ">DATA\n");
+       lprintf(CTDL_DEBUG, ">DATA\n");
        sock_write(sock, "DATA\r\n", 6);
        if (ml_sock_gets(sock, buf) < 0) {
                *status = 4;
                strcpy(dsn, "Connection broken during SMTP DATA");
                goto bail;
        }
-       lprintf(9, "<%s\n", buf);
+       lprintf(CTDL_DEBUG, "<%s\n", buf);
        if (buf[0] != '3') {
                if (buf[0] == '4') {
                        *status = 3;
@@ -980,18 +1290,11 @@ void smtp_try(const char *key, const char *addr, int *status,
        }
 
        /* If we reach this point, the server is expecting data */
-       rewind(msg_fp);
-       while (msg_size > 0) {
-               blocksize = sizeof(buf);
-               if (blocksize > msg_size) blocksize = msg_size;
-               fread(buf, blocksize, 1, msg_fp);
-               sock_write(sock, buf, blocksize);
-               msg_size -= blocksize;
-       }
-       if (buf[blocksize-1] != 10) {
-               lprintf(5, "Possible problem: message did not correctly "
-                       "terminate. (expecting 0x10, got 0x%02x)\n",
-                               buf[blocksize-1]);
+       sock_write(sock, msgtext, msg_size);
+       if (msgtext[msg_size-1] != 10) {
+               lprintf(CTDL_WARNING, "Possible problem: message did not "
+                       "correctly terminate. (expecting 0x10, got 0x%02x)\n",
+                               buf[msg_size-1]);
        }
 
        sock_write(sock, ".\r\n", 3);
@@ -1000,7 +1303,7 @@ void smtp_try(const char *key, const char *addr, int *status,
                strcpy(dsn, "Connection broken during SMTP message transmit");
                goto bail;
        }
-       lprintf(9, "%s\n", buf);
+       lprintf(CTDL_DEBUG, "%s\n", buf);
        if (buf[0] != '2') {
                if (buf[0] == '4') {
                        *status = 4;
@@ -1018,13 +1321,29 @@ void smtp_try(const char *key, const char *addr, int *status,
        safestrncpy(dsn, &buf[4], 1023);
        *status = 2;
 
-       lprintf(9, ">QUIT\n");
+       lprintf(CTDL_DEBUG, ">QUIT\n");
        sock_write(sock, "QUIT\r\n", 6);
        ml_sock_gets(sock, buf);
-       lprintf(9, "<%s\n", buf);
+       lprintf(CTDL_DEBUG, "<%s\n", buf);
+       lprintf(CTDL_INFO, "SMTP delivery to <%s> @ <%s> (%s) succeeded\n",
+               user, node, name);
 
-bail:  if (msg_fp != NULL) fclose(msg_fp);
+bail:  free(msgtext);
        sock_close(sock);
+
+       /* Write something to the syslog (which may or may not be where the
+        * rest of the Citadel logs are going; some sysadmins want LOG_MAIL).
+        */
+       if (enable_syslog) {
+               syslog((LOG_MAIL | LOG_INFO),
+                       "%ld: to=<%s>, relay=%s, stat=%s",
+                       msgnum,
+                       addr,
+                       mx_host,
+                       dsn
+               );
+       }
+
        return;
 }
 
@@ -1044,6 +1363,7 @@ void smtp_do_bounce(char *instr) {
        char addr[1024];
        char dsn[1024];
        char bounceto[1024];
+       char boundary[64];
        int num_bounces = 0;
        int bounce_this = 0;
        long bounce_msgid = (-1);
@@ -1052,18 +1372,21 @@ void smtp_do_bounce(char *instr) {
        int give_up = 0;
        struct recptypes *valid;
        int successful_bounce = 0;
+       static int seq = 0;
+       char *omsgtext;
+       size_t omsgsize;
+       long omsgid = (-1);
 
-       lprintf(9, "smtp_do_bounce() called\n");
+       lprintf(CTDL_DEBUG, "smtp_do_bounce() called\n");
        strcpy(bounceto, "");
-
+       sprintf(boundary, "=_Citadel_Multipart_%s_%04x%04x", config.c_fqdn, getpid(), ++seq);
        lines = num_tokens(instr, '\n');
 
-
        /* See if it's time to give up on delivery of this message */
        for (i=0; i<lines; ++i) {
-               extract_token(buf, instr, i, '\n');
-               extract(key, buf, 0);
-               extract(addr, buf, 1);
+               extract_token(buf, instr, i, '\n', sizeof buf);
+               extract_token(key, buf, 0, '|', sizeof key);
+               extract_token(addr, buf, 1, '|', sizeof addr);
                if (!strcasecmp(key, "submitted")) {
                        submitted = atol(addr);
                }
@@ -1073,26 +1396,39 @@ void smtp_do_bounce(char *instr) {
                give_up = 1;
        }
 
+       /* Start building our bounce message */
 
-
-       bmsg = (struct CtdlMessage *) mallok(sizeof(struct CtdlMessage));
+       bmsg = (struct CtdlMessage *) malloc(sizeof(struct CtdlMessage));
        if (bmsg == NULL) return;
        memset(bmsg, 0, sizeof(struct CtdlMessage));
 
         bmsg->cm_magic = CTDLMESSAGE_MAGIC;
         bmsg->cm_anon_type = MES_NORMAL;
-        bmsg->cm_format_type = 1;
-        bmsg->cm_fields['A'] = strdoop("Citadel");
-        bmsg->cm_fields['O'] = strdoop(MAILROOM);
-        bmsg->cm_fields['N'] = strdoop(config.c_nodename);
-
-       if (give_up) bmsg->cm_fields['M'] = strdoop(
+        bmsg->cm_format_type = FMT_RFC822;
+        bmsg->cm_fields['A'] = strdup("Citadel");
+        bmsg->cm_fields['O'] = strdup(MAILROOM);
+        bmsg->cm_fields['N'] = strdup(config.c_nodename);
+        bmsg->cm_fields['U'] = strdup("Delivery Status Notification (Failure)");
+       bmsg->cm_fields['M'] = malloc(1024);
+
+        strcpy(bmsg->cm_fields['M'], "Content-type: multipart/mixed; boundary=\"");
+        strcat(bmsg->cm_fields['M'], boundary);
+        strcat(bmsg->cm_fields['M'], "\"\r\n");
+        strcat(bmsg->cm_fields['M'], "MIME-Version: 1.0\r\n");
+        strcat(bmsg->cm_fields['M'], "X-Mailer: " CITADEL "\r\n");
+        strcat(bmsg->cm_fields['M'], "\r\nThis is a multipart message in MIME format.\r\n\r\n");
+        strcat(bmsg->cm_fields['M'], "--");
+        strcat(bmsg->cm_fields['M'], boundary);
+        strcat(bmsg->cm_fields['M'], "\r\n");
+        strcat(bmsg->cm_fields['M'], "Content-type: text/plain\r\n\r\n");
+
+       if (give_up) strcat(bmsg->cm_fields['M'],
 "A message you sent could not be delivered to some or all of its recipients\n"
 "due to prolonged unavailability of its destination(s).\n"
 "Giving up on the following addresses:\n\n"
 );
 
-        else bmsg->cm_fields['M'] = strdoop(
+        else strcat(bmsg->cm_fields['M'],
 "A message you sent could not be delivered to some or all of its recipients.\n"
 "The following addresses were undeliverable:\n\n"
 );
@@ -1101,20 +1437,24 @@ void smtp_do_bounce(char *instr) {
         * Now go through the instructions checking for stuff.
         */
        for (i=0; i<lines; ++i) {
-               extract_token(buf, instr, i, '\n');
-               extract(key, buf, 0);
-               extract(addr, buf, 1);
+               extract_token(buf, instr, i, '\n', sizeof buf);
+               extract_token(key, buf, 0, '|', sizeof key);
+               extract_token(addr, buf, 1, '|', sizeof addr);
                status = extract_int(buf, 2);
-               extract(dsn, buf, 3);
+               extract_token(dsn, buf, 3, '|', sizeof dsn);
                bounce_this = 0;
 
-               lprintf(9, "key=<%s> addr=<%s> status=%d dsn=<%s>\n",
+               lprintf(CTDL_DEBUG, "key=<%s> addr=<%s> status=%d dsn=<%s>\n",
                        key, addr, status, dsn);
 
                if (!strcasecmp(key, "bounceto")) {
                        strcpy(bounceto, addr);
                }
 
+               if (!strcasecmp(key, "msgid")) {
+                       omsgid = atol(addr);
+               }
+
                if (
                   (!strcasecmp(key, "local"))
                   || (!strcasecmp(key, "remote"))
@@ -1129,11 +1469,11 @@ void smtp_do_bounce(char *instr) {
                        ++num_bounces;
 
                        if (bmsg->cm_fields['M'] == NULL) {
-                               lprintf(2, "ERROR ... M field is null "
+                               lprintf(CTDL_ERR, "ERROR ... M field is null "
                                        "(%s:%d)\n", __FILE__, __LINE__);
                        }
 
-                       bmsg->cm_fields['M'] = reallok(bmsg->cm_fields['M'],
+                       bmsg->cm_fields['M'] = realloc(bmsg->cm_fields['M'],
                                strlen(bmsg->cm_fields['M']) + 1024 );
                        strcat(bmsg->cm_fields['M'], addr);
                        strcat(bmsg->cm_fields['M'], ": ");
@@ -1146,14 +1486,44 @@ void smtp_do_bounce(char *instr) {
                }
        }
 
+       /* Attach the original message */
+       if (omsgid >= 0) {
+               strcat(bmsg->cm_fields['M'], "--");
+               strcat(bmsg->cm_fields['M'], boundary);
+               strcat(bmsg->cm_fields['M'], "\r\n");
+               strcat(bmsg->cm_fields['M'], "Content-type: message/rfc822\r\n");
+               strcat(bmsg->cm_fields['M'], "Content-Transfer-Encoding: 7bit\r\n");
+               strcat(bmsg->cm_fields['M'], "Content-Disposition: inline\r\n");
+               strcat(bmsg->cm_fields['M'], "\r\n");
+       
+               CC->redirect_buffer = malloc(SIZ);
+               CC->redirect_len = 0;
+               CC->redirect_alloc = SIZ;
+               CtdlOutputMsg(omsgid, MT_RFC822, HEADERS_ALL, 0, 1, NULL);
+               omsgtext = CC->redirect_buffer;
+               omsgsize = CC->redirect_len;
+               CC->redirect_buffer = NULL;
+               CC->redirect_len = 0;
+               CC->redirect_alloc = 0;
+               bmsg->cm_fields['M'] = realloc(bmsg->cm_fields['M'],
+                               (strlen(bmsg->cm_fields['M']) + omsgsize + 1024) );
+               strcat(bmsg->cm_fields['M'], omsgtext);
+               free(omsgtext);
+       }
+
+       /* Close the multipart MIME scope */
+        strcat(bmsg->cm_fields['M'], "--");
+        strcat(bmsg->cm_fields['M'], boundary);
+        strcat(bmsg->cm_fields['M'], "--\r\n");
+
        /* Deliver the bounce if there's anything worth mentioning */
-       lprintf(9, "num_bounces = %d\n", num_bounces);
+       lprintf(CTDL_DEBUG, "num_bounces = %d\n", num_bounces);
        if (num_bounces > 0) {
 
                /* First try the user who sent the message */
-               lprintf(9, "bounce to user? <%s>\n", bounceto);
+               lprintf(CTDL_DEBUG, "bounce to user? <%s>\n", bounceto);
                if (strlen(bounceto) == 0) {
-                       lprintf(7, "No bounce address specified\n");
+                       lprintf(CTDL_ERR, "No bounce address specified\n");
                        bounce_msgid = (-1L);
                }
 
@@ -1173,12 +1543,12 @@ void smtp_do_bounce(char *instr) {
 
                /* Free up the memory we used */
                if (valid != NULL) {
-                       phree(valid);
+                       free_recipients(valid);
                }
        }
 
        CtdlFreeMessage(bmsg);
-       lprintf(9, "Done processing bounces\n");
+       lprintf(CTDL_DEBUG, "Done processing bounces\n");
 }
 
 
@@ -1201,11 +1571,11 @@ int smtp_purge_completed_deliveries(char *instr) {
 
        lines = num_tokens(instr, '\n');
        for (i=0; i<lines; ++i) {
-               extract_token(buf, instr, i, '\n');
-               extract(key, buf, 0);
-               extract(addr, buf, 1);
+               extract_token(buf, instr, i, '\n', sizeof buf);
+               extract_token(key, buf, 0, '|', sizeof key);
+               extract_token(addr, buf, 1, '|', sizeof addr);
                status = extract_int(buf, 2);
-               extract(dsn, buf, 3);
+               extract_token(dsn, buf, 3, '|', sizeof dsn);
 
                completed = 0;
 
@@ -1236,7 +1606,7 @@ int smtp_purge_completed_deliveries(char *instr) {
  * Called by smtp_do_queue() to handle an individual message.
  */
 void smtp_do_procmsg(long msgnum, void *userdata) {
-       struct CtdlMessage *msg;
+       struct CtdlMessage *msg = NULL;
        char *instr = NULL;
        char *results = NULL;
        int i;
@@ -1252,21 +1622,21 @@ void smtp_do_procmsg(long msgnum, void *userdata) {
        time_t last_attempted = 0L;
        time_t retry = SMTP_RETRY_INTERVAL;
 
-       lprintf(9, "smtp_do_procmsg(%ld)\n", msgnum);
+       lprintf(CTDL_DEBUG, "smtp_do_procmsg(%ld)\n", msgnum);
 
-       msg = CtdlFetchMessage(msgnum);
+       msg = CtdlFetchMessage(msgnum, 1);
        if (msg == NULL) {
-               lprintf(3, "SMTP: tried %ld but no such message!\n", msgnum);
+               lprintf(CTDL_ERR, "SMTP: tried %ld but no such message!\n", msgnum);
                return;
        }
 
-       instr = strdoop(msg->cm_fields['M']);
+       instr = strdup(msg->cm_fields['M']);
        CtdlFreeMessage(msg);
 
        /* Strip out the headers amd any other non-instruction line */
        lines = num_tokens(instr, '\n');
        for (i=0; i<lines; ++i) {
-               extract_token(buf, instr, i, '\n');
+               extract_token(buf, instr, i, '\n', sizeof buf);
                if (num_tokens(buf, '|') < 2) {
                        remove_token(instr, i, '\n');
                        --lines;
@@ -1277,8 +1647,8 @@ void smtp_do_procmsg(long msgnum, void *userdata) {
        /* Learn the message ID and find out about recent delivery attempts */
        lines = num_tokens(instr, '\n');
        for (i=0; i<lines; ++i) {
-               extract_token(buf, instr, i, '\n');
-               extract(key, buf, 0);
+               extract_token(buf, instr, i, '\n', sizeof buf);
+               extract_token(key, buf, 0, '|', sizeof key);
                if (!strcasecmp(key, "msgid")) {
                        text_msgid = extract_long(buf, 1);
                }
@@ -1301,8 +1671,8 @@ void smtp_do_procmsg(long msgnum, void *userdata) {
         * Postpone delivery if we've already tried recently.
         */
        if (((time(NULL) - last_attempted) < retry) && (run_queue_now == 0)) {
-               lprintf(7, "Retry time not yet reached.\n");
-               phree(instr);
+               lprintf(CTDL_DEBUG, "Retry time not yet reached.\n");
+               free(instr);
                return;
        }
 
@@ -1311,8 +1681,8 @@ void smtp_do_procmsg(long msgnum, void *userdata) {
         * Bail out if there's no actual message associated with this
         */
        if (text_msgid < 0L) {
-               lprintf(3, "SMTP: no 'msgid' directive found!\n");
-               phree(instr);
+               lprintf(CTDL_ERR, "SMTP: no 'msgid' directive found!\n");
+               free(instr);
                return;
        }
 
@@ -1322,11 +1692,11 @@ void smtp_do_procmsg(long msgnum, void *userdata) {
         */
        lines = num_tokens(instr, '\n');
        for (i=0; i<lines; ++i) {
-               extract_token(buf, instr, i, '\n');
-               extract(key, buf, 0);
-               extract(addr, buf, 1);
+               extract_token(buf, instr, i, '\n', sizeof buf);
+               extract_token(key, buf, 0, '|', sizeof key);
+               extract_token(addr, buf, 1, '|', sizeof addr);
                status = extract_int(buf, 2);
-               extract(dsn, buf, 3);
+               extract_token(dsn, buf, 3, '|', sizeof dsn);
                if ( (!strcasecmp(key, "remote"))
                   && ((status==0)||(status==3)||(status==4)) ) {
 
@@ -1341,15 +1711,15 @@ void smtp_do_procmsg(long msgnum, void *userdata) {
 
                        --i;
                        --lines;
-                       lprintf(9, "SMTP: Trying <%s>\n", addr);
+                       lprintf(CTDL_DEBUG, "SMTP: Trying <%s>\n", addr);
                        smtp_try(key, addr, &status, dsn, sizeof dsn, text_msgid);
                        if (status != 2) {
                                if (results == NULL) {
-                                       results = mallok(1024);
+                                       results = malloc(1024);
                                        memset(results, 0, 1024);
                                }
                                else {
-                                       results = reallok(results,
+                                       results = realloc(results,
                                                strlen(results) + 1024);
                                }
                                snprintf(&results[strlen(results)], 1024,
@@ -1360,9 +1730,9 @@ void smtp_do_procmsg(long msgnum, void *userdata) {
        }
 
        if (results != NULL) {
-               instr = reallok(instr, strlen(instr) + strlen(results) + 2);
+               instr = realloc(instr, strlen(instr) + strlen(results) + 2);
                strcat(instr, results);
-               phree(results);
+               free(results);
        }
 
 
@@ -1379,18 +1749,19 @@ void smtp_do_procmsg(long msgnum, void *userdata) {
         * message and the message message.
         */
        if (incomplete_deliveries_remaining <= 0) {
-               CtdlDeleteMessages(SMTP_SPOOLOUT_ROOM, msgnum, "");
-               CtdlDeleteMessages(SMTP_SPOOLOUT_ROOM, text_msgid, "");
+               long delmsgs[2];
+               delmsgs[0] = msgnum;
+               delmsgs[1] = text_msgid;
+               CtdlDeleteMessages(SMTP_SPOOLOUT_ROOM, delmsgs, 2, "");
        }
 
-
        /*
         * Uncompleted delivery instructions remain, so delete the old
         * instructions and replace with the updated ones.
         */
        if (incomplete_deliveries_remaining > 0) {
-               CtdlDeleteMessages(SMTP_SPOOLOUT_ROOM, msgnum, "");
-               msg = mallok(sizeof(struct CtdlMessage));
+               CtdlDeleteMessages(SMTP_SPOOLOUT_ROOM, &msgnum, 1, "");
+               msg = malloc(sizeof(struct CtdlMessage));
                memset(msg, 0, sizeof(struct CtdlMessage));
                msg->cm_magic = CTDLMESSAGE_MAGIC;
                msg->cm_anon_type = MES_NORMAL;
@@ -1402,11 +1773,11 @@ void smtp_do_procmsg(long msgnum, void *userdata) {
                        "attempted|%ld\n"
                        "retry|%ld\n",
                        SPOOLMIME, instr, (long)time(NULL), (long)retry );
-               phree(instr);
                CtdlSubmitMsg(msg, NULL, SMTP_SPOOLOUT_ROOM);
                CtdlFreeMessage(msg);
        }
 
+       free(instr);
 }
 
 
@@ -1431,16 +1802,16 @@ void smtp_do_queue(void) {
        /* 
         * Go ahead and run the queue
         */
-       lprintf(7, "SMTP: processing outbound queue\n");
+       lprintf(CTDL_INFO, "SMTP: processing outbound queue\n");
 
        if (getroom(&CC->room, SMTP_SPOOLOUT_ROOM) != 0) {
-               lprintf(3, "Cannot find room <%s>\n", SMTP_SPOOLOUT_ROOM);
+               lprintf(CTDL_ERR, "Cannot find room <%s>\n", SMTP_SPOOLOUT_ROOM);
                return;
        }
-       CtdlForEachMessage(MSGS_ALL, 0L,
+       CtdlForEachMessage(MSGS_ALL, 0L, NULL,
                SPOOLMIME, NULL, smtp_do_procmsg, NULL);
 
-       lprintf(7, "SMTP: queue run completed\n");
+       lprintf(CTDL_INFO, "SMTP: queue run completed\n");
        run_queue_now = 0;
        doing_queue = 0;
 }
@@ -1452,23 +1823,23 @@ void smtp_do_queue(void) {
 /*****************************************************************************/
 
 void cmd_smtp(char *argbuf) {
-       char cmd[SIZ];
-       char node[SIZ];
-       char buf[SIZ];
+       char cmd[64];
+       char node[256];
+       char buf[1024];
        int i;
        int num_mxhosts;
 
        if (CtdlAccessCheck(ac_aide)) return;
 
-       extract(cmd, argbuf, 0);
+       extract_token(cmd, argbuf, 0, '|', sizeof cmd);
 
        if (!strcasecmp(cmd, "mx")) {
-               extract(node, argbuf, 1);
+               extract_token(node, argbuf, 1, '|', sizeof node);
                num_mxhosts = getmx(buf, node);
                cprintf("%d %d MX hosts listed for %s\n",
                        LISTING_FOLLOWS, num_mxhosts, node);
                for (i=0; i<num_mxhosts; ++i) {
-                       extract(node, buf, i);
+                       extract_token(node, buf, i, '|', sizeof node);
                        cprintf("%s\n", node);
                }
                cprintf("000\n");
@@ -1498,7 +1869,7 @@ void smtp_init_spoolout(void) {
         * Create the room.  This will silently fail if the room already
         * exists, and that's perfectly ok, because we want it to exist.
         */
-       create_room(SMTP_SPOOLOUT_ROOM, 3, "", 0, 1, 0);
+       create_room(SMTP_SPOOLOUT_ROOM, 3, "", 0, 1, 0, VIEW_MAILBOX);
 
        /*
         * Make sure it's set to be a "system room" so it doesn't show up
@@ -1516,22 +1887,63 @@ void smtp_init_spoolout(void) {
 /*****************************************************************************/
 /*                      MODULE INITIALIZATION STUFF                          */
 /*****************************************************************************/
+/*
+ * This cleanup function blows away the temporary memory used by
+ * the SMTP server.
+ */
+void smtp_cleanup_function(void) {
+
+       /* Don't do this stuff if this is not an SMTP session! */
+       if (CC->h_command_function != smtp_command_loop) return;
+
+       lprintf(CTDL_DEBUG, "Performing SMTP cleanup hook\n");
+       free(SMTP);
+       free(SMTP_ROOMS);
+       free(SMTP_RECPS);
+}
+
+
+
 
 
 char *serv_smtp_init(void)
 {
-       CtdlRegisterServiceHook(config.c_smtp_port,     /* On the net... */
+
+       CtdlRegisterServiceHook(config.c_smtp_port,     /* SMTP MTA */
+                               NULL,
+                               smtp_mta_greeting,
+                               smtp_command_loop,
+                               NULL);
+
+#ifdef HAVE_OPENSSL
+       CtdlRegisterServiceHook(config.c_smtps_port,
                                NULL,
-                               smtp_greeting,
-                               smtp_command_loop);
+                               smtps_greeting,
+                               smtp_command_loop,
+                               NULL);
+#endif
 
-       CtdlRegisterServiceHook(0,                      /* ...and locally */
-                               "lmtp.socket",
-                               lmtp_greeting,
-                               smtp_command_loop);
+       CtdlRegisterServiceHook(config.c_msa_port,      /* SMTP MSA */
+                               NULL,
+                               smtp_msa_greeting,
+                               smtp_command_loop,
+                               NULL);
+
+       CtdlRegisterServiceHook(0,                      /* local LMTP */
+                                                       file_lmtp_socket,
+                                                       lmtp_greeting,
+                                                       smtp_command_loop,
+                                                       NULL);
+
+       CtdlRegisterServiceHook(0,                      /* local LMTP */
+                                                       file_lmtp_unfiltered_socket,
+                                                       lmtp_unfiltered_greeting,
+                                                       smtp_command_loop,
+                                                       NULL);
 
        smtp_init_spoolout();
        CtdlRegisterSessionHook(smtp_do_queue, EVT_TIMER);
+       CtdlRegisterSessionHook(smtp_cleanup_function, EVT_STOP);
        CtdlRegisterProtoHook(cmd_smtp, "SMTP", "SMTP utility commands");
        return "$Id$";
 }