]> code.citadel.org Git - citadel.git/blobdiff - citadel/serv_smtp.c
* Replaced all "Citadel/UX" references with "Citadel"
[citadel.git] / citadel / serv_smtp.c
index f6bcfa08b4e6a67713fd815f478c338f2d3d05f2..6f23e086a978214a10844200d82553186cfe5066 100644 (file)
@@ -1,8 +1,24 @@
 /*
  * $Id$
  *
- * An implementation of RFC821 (Simple Mail Transfer Protocol) for the
- * Citadel system.
+ * This module is an SMTP and ESMTP implementation for the Citadel system.
+ * It is compliant with all of the following:
+ *
+ * RFC  821 - Simple Mail Transfer Protocol
+ * RFC  876 - Survey of SMTP Implementations
+ * RFC 1047 - Duplicate messages and SMTP
+ * RFC 1854 - command pipelining
+ * RFC 1869 - Extended Simple Mail Transfer Protocol
+ * RFC 1870 - SMTP Service Extension for Message Size Declaration
+ * RFC 1893 - Enhanced Mail System Status Codes
+ * RFC 2033 - Local Mail Transfer Protocol
+ * RFC 2034 - SMTP Service Extension for Returning Enhanced Error Codes
+ * RFC 2197 - SMTP Service Extension for Command Pipelining
+ * RFC 2487 - SMTP Service Extension for Secure SMTP over TLS
+ * RFC 2554 - SMTP Service Extension for Authentication
+ * RFC 2821 - Simple Mail Transfer Protocol
+ * RFC 2822 - Internet Message Format
+ * RFC 2920 - SMTP Service Extension for Command Pipelining
  *
  */
 
@@ -31,6 +47,9 @@
 #include <ctype.h>
 #include <string.h>
 #include <limits.h>
+#include <sys/socket.h>
+#include <netinet/in.h>
+#include <arpa/inet.h>
 #include "citadel.h"
 #include "server.h"
 #include "sysdep_decls.h"
@@ -38,7 +57,7 @@
 #include "support.h"
 #include "config.h"
 #include "control.h"
-#include "dynloader.h"
+#include "serv_extensions.h"
 #include "room_ops.h"
 #include "user_ops.h"
 #include "policy.h"
 #include "genstamp.h"
 #include "domain.h"
 #include "clientsocket.h"
+#include "locate_host.h"
+
+#ifdef HAVE_OPENSSL
+#include "serv_crypto.h"
+#endif
+
 
 
 #ifndef HAVE_SNPRINTF
 struct citsmtp {               /* Information about the current session */
        int command_state;
        char helo_node[SIZ];
-       struct usersupp vrfy_buffer;
+       struct ctdluser vrfy_buffer;
        int vrfy_count;
        char vrfy_match[SIZ];
        char from[SIZ];
+       char recipients[SIZ];
        int number_of_recipients;
        int delivery_mode;
        int message_originated_locally;
+       int is_lmtp;
 };
 
 enum {                         /* Command states for login authentication */
@@ -79,10 +106,9 @@ enum {                              /* Delivery modes */
 };
 
 #define SMTP           ((struct citsmtp *)CtdlGetUserData(SYM_SMTP))
-#define SMTP_RECP      ((char *)CtdlGetUserData(SYM_SMTP_RECP))
+#define SMTP_RECPS     ((char *)CtdlGetUserData(SYM_SMTP_RECPS))
+#define SMTP_ROOMS     ((char *)CtdlGetUserData(SYM_SMTP_ROOMS))
 
-long SYM_SMTP;
-long SYM_SMTP_RECP;
 
 int run_queue_now = 0; /* Set to 1 to ignore SMTP send retry times */
 
@@ -104,33 +130,94 @@ void smtp_greeting(void) {
        CC->internal_pgm = 1;
        CC->cs_flags |= CS_STEALTH;
        CtdlAllocUserData(SYM_SMTP, sizeof(struct citsmtp));
-       CtdlAllocUserData(SYM_SMTP_RECP, SIZ);
-       sprintf(SMTP_RECP, "%s", "");
+       CtdlAllocUserData(SYM_SMTP_RECPS, SIZ);
+       CtdlAllocUserData(SYM_SMTP_ROOMS, SIZ);
+       snprintf(SMTP_RECPS, SIZ, "%s", "");
+       snprintf(SMTP_ROOMS, SIZ, "%s", "");
+
+       cprintf("220 %s ESMTP Citadel server ready.\r\n", config.c_fqdn);
+}
 
-       cprintf("220 %s ESMTP Citadel/UX server ready.\r\n", config.c_fqdn);
+/*
+ * LMTP is like SMTP but with some extra bonus footage added.
+ */
+void lmtp_greeting(void) {
+       smtp_greeting();
+       SMTP->is_lmtp = 1;
+}
+
+
+/*
+ * Login greeting common to all auth methods
+ */
+void smtp_auth_greeting(void) {
+               cprintf("235 2.0.0 Hello, %s\r\n", CC->user.fullname);
+               lprintf(CTDL_NOTICE, "SMTP authenticated %s\n", CC->user.fullname);
+               CC->internal_pgm = 0;
+               CC->cs_flags &= ~CS_STEALTH;
 }
 
 
 /*
  * Implement HELO and EHLO commands.
+ *
+ * which_command:  0=HELO, 1=EHLO, 2=LHLO
  */
-void smtp_hello(char *argbuf, int is_esmtp) {
+void smtp_hello(char *argbuf, int which_command) {
 
        safestrncpy(SMTP->helo_node, argbuf, sizeof SMTP->helo_node);
 
-       if (!is_esmtp) {
-               cprintf("250 Greetings and joyous salutations.\r\n");
+       if ( (which_command != 2) && (SMTP->is_lmtp) ) {
+               cprintf("500 Only LHLO is allowed when running LMTP\r\n");
+               return;
+       }
+
+       if ( (which_command == 2) && (SMTP->is_lmtp == 0) ) {
+               cprintf("500 LHLO is only allowed when running LMTP\r\n");
+               return;
+       }
+
+       if (which_command == 0) {
+               cprintf("250 Hello %s (%s [%s])\r\n",
+                       SMTP->helo_node,
+                       CC->cs_host,
+                       CC->cs_addr
+               );
        }
        else {
-               cprintf("250-Extended greetings and joyous salutations.\r\n");
+               if (which_command == 1) {
+                       cprintf("250-Hello %s (%s [%s])\r\n",
+                               SMTP->helo_node,
+                               CC->cs_host,
+                               CC->cs_addr
+                       );
+               }
+               else {
+                       cprintf("250-Greetings and joyous salutations.\r\n");
+               }
                cprintf("250-HELP\r\n");
                cprintf("250-SIZE %ld\r\n", config.c_maxmsglen);
-               cprintf("250-PIPELINING\r\n");
-               cprintf("250 AUTH=LOGIN\r\n");
+
+               /* Only offer the PIPELINING command if TLS is inactive, because
+                * of flow control issues.  Also, avoid offering TLS if TLS is
+                * already active.
+                */
+               if (!CC->redirect_ssl) {
+                       cprintf("250-PIPELINING\r\n");
+#ifdef HAVE_OPENSSL
+                       cprintf("250-STARTTLS\r\n");
+#endif
+               }
+
+               cprintf("250-AUTH LOGIN PLAIN\r\n");
+               cprintf("250-AUTH=LOGIN PLAIN\r\n");
+
+               cprintf("250 ENHANCEDSTATUSCODES\r\n");
        }
 }
 
 
+
 /*
  * Implement HELP command.
  */
@@ -158,15 +245,15 @@ void smtp_get_user(char *argbuf) {
        char buf[SIZ];
        char username[SIZ];
 
-       decode_base64(username, argbuf);
-       lprintf(9, "Trying <%s>\n", username);
+       CtdlDecodeBase64(username, argbuf, SIZ);
+       lprintf(CTDL_DEBUG, "Trying <%s>\n", username);
        if (CtdlLoginExistingUser(username) == login_ok) {
-               encode_base64(buf, "Password:");
+               CtdlEncodeBase64(buf, "Password:", 9);
                cprintf("334 %s\r\n", buf);
                SMTP->command_state = smtp_password;
        }
        else {
-               cprintf("500 No such user.\r\n");
+               cprintf("500 5.7.0 No such user.\r\n");
                SMTP->command_state = smtp_command;
        }
 }
@@ -178,16 +265,13 @@ void smtp_get_user(char *argbuf) {
 void smtp_get_pass(char *argbuf) {
        char password[SIZ];
 
-       decode_base64(password, argbuf);
-       lprintf(9, "Trying <%s>\n", password);
+       CtdlDecodeBase64(password, argbuf, SIZ);
+       lprintf(CTDL_DEBUG, "Trying <%s>\n", password);
        if (CtdlTryPassword(password) == pass_ok) {
-               cprintf("235 Authentication successful.\r\n");
-               lprintf(9, "SMTP authenticated login successful\n");
-               CC->internal_pgm = 0;
-               CC->cs_flags &= ~CS_STEALTH;
+               smtp_auth_greeting();
        }
        else {
-               cprintf("500 Authentication failed.\r\n");
+               cprintf("535 5.7.0 Authentication failed.\r\n");
        }
        SMTP->command_state = smtp_command;
 }
@@ -198,32 +282,66 @@ void smtp_get_pass(char *argbuf) {
  */
 void smtp_auth(char *argbuf) {
        char buf[SIZ];
+       char method[SIZ];
+       char encoded_authstring[SIZ];
+       char decoded_authstring[SIZ];
+       char ident[SIZ];
+       char user[SIZ];
+       char pass[SIZ];
 
-       if (strncasecmp(argbuf, "login", 5) ) {
-               cprintf("550 We only support LOGIN authentication.\r\n");
+       if (CC->logged_in) {
+               cprintf("504 5.7.4 Already logged in.\r\n");
                return;
        }
 
-       if (strlen(argbuf) >= 7) {
-               smtp_get_user(&argbuf[6]);
+       extract_token(method, argbuf, 0, ' ');
+
+       if (!strncasecmp(method, "login", 5) ) {
+               if (strlen(argbuf) >= 7) {
+                       smtp_get_user(&argbuf[6]);
+               }
+               else {
+                       CtdlEncodeBase64(buf, "Username:", 9);
+                       cprintf("334 %s\r\n", buf);
+                       SMTP->command_state = smtp_user;
+               }
+               return;
        }
 
-       else {
-               encode_base64(buf, "Username:");
-               cprintf("334 %s\r\n", buf);
-               SMTP->command_state = smtp_user;
+       if (!strncasecmp(method, "plain", 5) ) {
+               extract_token(encoded_authstring, argbuf, 1, ' ');
+               CtdlDecodeBase64(decoded_authstring,
+                               encoded_authstring,
+                               strlen(encoded_authstring) );
+               strcpy(ident, decoded_authstring);
+               strcpy(user, &decoded_authstring[strlen(ident) + 1] );
+               strcpy(pass, &decoded_authstring[strlen(ident) + strlen(user) + 2] );
+
+               if (CtdlLoginExistingUser(user) == login_ok) {
+                       if (CtdlTryPassword(pass) == pass_ok) {
+                               smtp_auth_greeting();
+                               return;
+                       }
+               }
+               cprintf("504 5.7.4 Authentication failed.\r\n");
+       }
+
+       if (strncasecmp(method, "login", 5) ) {
+               cprintf("504 5.7.4 Unknown authentication method.\r\n");
+               return;
        }
+
 }
 
 
 /*
  * Back end for smtp_vrfy() command
  */
-void smtp_vrfy_backend(struct usersupp *us, void *data) {
+void smtp_vrfy_backend(struct ctdluser *us, void *data) {
 
        if (!fuzzy_match(us, SMTP->vrfy_match)) {
                ++SMTP->vrfy_count;
-               memcpy(&SMTP->vrfy_buffer, us, sizeof(struct usersupp));
+               memcpy(&SMTP->vrfy_buffer, us, sizeof(struct ctdluser));
        }
 }
 
@@ -238,7 +356,7 @@ void smtp_vrfy(char *argbuf) {
        ForEachUser(smtp_vrfy_backend, NULL);
 
        if (SMTP->vrfy_count < 1) {
-               cprintf("550 String does not match anything.\r\n");
+               cprintf("550 5.1.1 String does not match anything.\r\n");
        }
        else if (SMTP->vrfy_count == 1) {
                cprintf("250 %s <cit%ld@%s>\r\n",
@@ -247,7 +365,7 @@ void smtp_vrfy(char *argbuf) {
                        config.c_fqdn);
        }
        else if (SMTP->vrfy_count > 1) {
-               cprintf("553 Request ambiguous: %d users matched.\r\n",
+               cprintf("553 5.1.4 Request ambiguous: %d users matched.\r\n",
                        SMTP->vrfy_count);
        }
 
@@ -258,7 +376,7 @@ void smtp_vrfy(char *argbuf) {
 /*
  * Back end for smtp_expn() command
  */
-void smtp_expn_backend(struct usersupp *us, void *data) {
+void smtp_expn_backend(struct ctdluser *us, void *data) {
 
        if (!fuzzy_match(us, SMTP->vrfy_match)) {
 
@@ -270,7 +388,7 @@ void smtp_expn_backend(struct usersupp *us, void *data) {
                }
 
                ++SMTP->vrfy_count;
-               memcpy(&SMTP->vrfy_buffer, us, sizeof(struct usersupp));
+               memcpy(&SMTP->vrfy_buffer, us, sizeof(struct ctdluser));
        }
 }
 
@@ -285,7 +403,7 @@ void smtp_expn(char *argbuf) {
        ForEachUser(smtp_expn_backend, NULL);
 
        if (SMTP->vrfy_count < 1) {
-               cprintf("550 String does not match anything.\r\n");
+               cprintf("550 5.1.1 String does not match anything.\r\n");
        }
        else if (SMTP->vrfy_count >= 1) {
                cprintf("250 %s <cit%ld@%s>\r\n",
@@ -299,14 +417,42 @@ void smtp_expn(char *argbuf) {
 /*
  * Implements the RSET (reset state) command.
  * Currently this just zeroes out the state buffer.  If pointers to data
- * allocated with mallok() are ever placed in the state buffer, we have to
- * be sure to phree() them first!
+ * allocated with malloc() are ever placed in the state buffer, we have to
+ * be sure to free() them first!
+ *
+ * Set do_response to nonzero to output the SMTP RSET response code.
  */
-void smtp_rset(void) {
+void smtp_rset(int do_response) {
+       int is_lmtp;
+
+       /*
+        * Our entire SMTP state is discarded when a RSET command is issued,
+        * but we need to preserve this one little piece of information, so
+        * we save it for later.
+        */
+       is_lmtp = SMTP->is_lmtp;
+
        memset(SMTP, 0, sizeof(struct citsmtp));
-       if (SMTP_RECP != NULL) strcpy(SMTP_RECP, "");
-       if (CC->logged_in) logout(CC);
-       cprintf("250 Zap!\r\n");
+
+       /*
+        * It is somewhat ambiguous whether we want to log out when a RSET
+        * command is issued.  Here's the code to do it.  It is commented out
+        * because some clients (such as Pine) issue RSET commands before
+        * each message, but still expect to be logged in.
+        *
+        * if (CC->logged_in) {
+        *      logout(CC);
+        * }
+        */
+
+       /*
+        * Reinstate this little piece of information we saved (see above).
+        */
+       SMTP->is_lmtp = is_lmtp;
+
+       if (do_response) {
+               cprintf("250 2.0.0 Zap!\r\n");
+       }
 }
 
 /*
@@ -315,10 +461,10 @@ void smtp_rset(void) {
  */
 void smtp_data_clear(void) {
        strcpy(SMTP->from, "");
+       strcpy(SMTP->recipients, "");
        SMTP->number_of_recipients = 0;
        SMTP->delivery_mode = 0;
        SMTP->message_originated_locally = 0;
-       if (SMTP_RECP != NULL) strcpy(SMTP_RECP, "");
 }
 
 
@@ -329,61 +475,61 @@ void smtp_data_clear(void) {
 void smtp_mail(char *argbuf) {
        char user[SIZ];
        char node[SIZ];
-       int cvt;
+       char name[SIZ];
 
        if (strlen(SMTP->from) != 0) {
-               cprintf("503 Only one sender permitted\r\n");
+               cprintf("503 5.1.0 Only one sender permitted\r\n");
                return;
        }
 
        if (strncasecmp(argbuf, "From:", 5)) {
-               cprintf("501 Syntax error\r\n");
+               cprintf("501 5.1.7 Syntax error\r\n");
                return;
        }
 
        strcpy(SMTP->from, &argbuf[5]);
        striplt(SMTP->from);
+       stripallbut(SMTP->from, '<', '>');
 
+       /* We used to reject empty sender names, until it was brought to our
+        * attention that RFC1123 5.2.9 requires that this be allowed.  So now
+        * we allow it, but replace the empty string with a fake
+        * address so we don't have to contend with the empty string causing
+        * other code to fail when it's expecting something there.
+        */
        if (strlen(SMTP->from) == 0) {
-               cprintf("501 Empty sender name is not permitted\r\n");
-               return;
+               strcpy(SMTP->from, "someone@somewhere.org");
        }
 
-
-       /* If this SMTP connection is from a logged-in user, make sure that
-        * the user only sends email from his/her own address.
+       /* If this SMTP connection is from a logged-in user, force the 'from'
+        * to be the user's Internet e-mail address as Citadel knows it.
         */
        if (CC->logged_in) {
-               cvt = convert_internet_address(user, node, SMTP->from);
-               lprintf(9, "cvt=%d, citaddr=<%s@%s>\n", cvt, user, node);
-               if ( (cvt != 0) || (strcasecmp(user, CC->usersupp.fullname))) {
-                       cprintf("550 <%s> is not your address.\r\n", SMTP->from);
-                       strcpy(SMTP->from, "");
-                       return;
-               }
-               else {
-                       SMTP->message_originated_locally = 1;
-               }
+               strcpy(SMTP->from, CC->cs_inet_email);
+               cprintf("250 2.1.0 Sender ok <%s>\r\n", SMTP->from);
+               SMTP->message_originated_locally = 1;
+               return;
+       }
+
+       else if (SMTP->is_lmtp) {
+               /* Bypass forgery checking for LMTP */
        }
 
        /* Otherwise, make sure outsiders aren't trying to forge mail from
         * this system.
         */
        else {
-               TRACE;
-               cvt = convert_internet_address(user, node, SMTP->from);
-               TRACE;
-               lprintf(9, "cvt=%d, citaddr=<%s@%s>\n", cvt, user, node);
-               if (CtdlHostAlias(node) == hostalias_localhost) {
-                       TRACE;
-                       cprintf("550 You must log in to send mail from %s\r\n",
+               process_rfc822_addr(SMTP->from, user, node, name);
+               if (CtdlHostAlias(node) != hostalias_nomatch) {
+                       cprintf("550 5.1.8 "
+                               "You must log in to send mail from %s\r\n",
                                node);
                        strcpy(SMTP->from, "");
                        return;
                }
        }
 
-       cprintf("250 Sender ok\r\n");
+       cprintf("250 2.0.0 Sender ok\r\n");
 }
 
 
@@ -392,312 +538,217 @@ void smtp_mail(char *argbuf) {
  * Implements the "RCPT To:" command
  */
 void smtp_rcpt(char *argbuf) {
-       int cvt;
-       char user[SIZ];
-       char node[SIZ];
        char recp[SIZ];
+       char message_to_spammer[SIZ];
+       struct recptypes *valid = NULL;
 
        if (strlen(SMTP->from) == 0) {
-               cprintf("503 Need MAIL before RCPT\r\n");
+               cprintf("503 5.5.1 Need MAIL before RCPT\r\n");
                return;
        }
 
        if (strncasecmp(argbuf, "To:", 3)) {
-               cprintf("501 Syntax error\r\n");
+               cprintf("501 5.1.7 Syntax error\r\n");
                return;
        }
 
        strcpy(recp, &argbuf[3]);
        striplt(recp);
-       TRACE;
-       alias(recp);
-       TRACE;
-
-       cvt = convert_internet_address(user, node, recp);
-       snprintf(recp, sizeof recp, "%s@%s", user, node);
-       lprintf(9, "cvt=%d, citaddr=<%s@%s>\n", cvt, user, node);
-
-       switch(cvt) {
-               case rfc822_address_locally_validated:
-                       cprintf("250 %s is a valid recipient.\r\n", user);
-                       ++SMTP->number_of_recipients;
-                       CtdlReallocUserData(SYM_SMTP_RECP,
-                               strlen(SMTP_RECP) + 1024 );
-                       strcat(SMTP_RECP, "local|");
-                       strcat(SMTP_RECP, user);
-                       strcat(SMTP_RECP, "|0\n");
-                       return;
+       stripallbut(recp, '<', '>');
 
-               case rfc822_room_delivery:
-                       cprintf("250 Delivering to room '%s'\r\n", user);
-                       ++SMTP->number_of_recipients;
-                       CtdlReallocUserData(SYM_SMTP_RECP,
-                               strlen(SMTP_RECP) + 1024 );
-                       strcat(SMTP_RECP, "room|");
-                       strcat(SMTP_RECP, user);
-                       strcat(SMTP_RECP, "|0|\n");
-                       return;
-
-               case rfc822_no_such_user:
-                       cprintf("550 %s: no such user\r\n", recp);
-                       return;
-
-               case rfc822_address_on_citadel_network:
-                       cprintf("250 %s is on the local network\r\n", recp);
-                       ++SMTP->number_of_recipients;
-                       CtdlReallocUserData(SYM_SMTP_RECP,
-                               strlen(SMTP_RECP) + 1024 );
-                       strcat(SMTP_RECP, "ignet|");
-                       strcat(SMTP_RECP, user);
-                       strcat(SMTP_RECP, "|");
-                       strcat(SMTP_RECP, node);
-                       strcat(SMTP_RECP, "|0|\n");
-                       return;
-
-               case rfc822_address_nonlocal:
-                       if (SMTP->message_originated_locally == 0) {
-                               cprintf("551 Third-party relaying denied.\r\n");
-                       }
-                       else {
-                               cprintf("250 Remote recipient %s ok\r\n", recp);
-                               ++SMTP->number_of_recipients;
-                               CtdlReallocUserData(SYM_SMTP_RECP,
-                                       strlen(SMTP_RECP) + 1024 );
-                               strcat(SMTP_RECP, "remote|");
-                               strcat(SMTP_RECP, recp);
-                               strcat(SMTP_RECP, "|0|\n");
-                               return;
-                       }
-                       return;
+       if ( (strlen(recp) + strlen(SMTP->recipients) + 1 ) >= SIZ) {
+               cprintf("452 4.5.3 Too many recipients\r\n");
+               return;
        }
 
-       cprintf("599 Unknown error\r\n");
-}
-
-
-
-/*
- * Send a message out through the local network
- * (This is kind of ugly.  IGnet should be done using clean server-to-server
- * code instead of the old style spool.)
- */
-void smtp_deliver_ignet(struct CtdlMessage *msg, char *user, char *dest) {
-       struct ser_ret smr;
-       char *hold_R, *hold_D, *hold_O;
-       FILE *fp;
-       char filename[SIZ];
-       static int seq = 0;
-
-       lprintf(9, "smtp_deliver_ignet(msg, %s, %s)\n", user, dest);
-
-       hold_R = msg->cm_fields['R'];
-       hold_D = msg->cm_fields['D'];
-       hold_O = msg->cm_fields['O'];
-       msg->cm_fields['R'] = user;
-       msg->cm_fields['D'] = dest;
-       msg->cm_fields['O'] = MAILROOM;
-
-       serialize_message(&smr, msg);
-
-       msg->cm_fields['R'] = hold_R;
-       msg->cm_fields['D'] = hold_D;
-       msg->cm_fields['O'] = hold_O;
-
-       if (smr.len != 0) {
-               snprintf(filename, sizeof filename,
-                       "./network/spoolin/%s.%04x.%04x",
-                       dest, getpid(), ++seq);
-               lprintf(9, "spool file name is <%s>\n", filename);
-               fp = fopen(filename, "wb");
-               if (fp != NULL) {
-                       fwrite(smr.ser, smr.len, 1, fp);
-                       fclose(fp);
+       /* RBL check */
+       if ( (!CC->logged_in)
+          && (!SMTP->is_lmtp) ) {
+               if (rbl_check(message_to_spammer)) {
+                       cprintf("550 %s\r\n", message_to_spammer);
+                       /* no need to free(valid), it's not allocated yet */
+                       return;
                }
-               phree(smr.ser);
        }
 
-}
-
-
-
-/*
- * Back end for smtp_data()  ... this does the actual delivery of the message
- * Returns 0 on success, nonzero on failure
- */
-int smtp_message_delivery(struct CtdlMessage *msg) {
-       char user[1024];
-       char node[1024];
-       char name[1024];
-       char buf[1024];
-       char dtype[1024];
-       char room[1024];
-       int successful_saves = 0;       /* number of successful local saves */
-       int failed_saves = 0;           /* number of failed deliveries */
-       int remote_spools = 0;          /* number of copies to send out */
-       long msgid = (-1L);
-       int i;
-       struct usersupp userbuf;
-       char *instr;                    /* Remote delivery instructions */
-       struct CtdlMessage *imsg;
-
-       lprintf(9, "smtp_message_delivery() called\n");
-
-       /* Fill in 'from' fields with envelope information if missing */
-       process_rfc822_addr(SMTP->from, user, node, name);
-       if (msg->cm_fields['A']==NULL) msg->cm_fields['A'] = strdoop(user);
-       if (msg->cm_fields['N']==NULL) msg->cm_fields['N'] = strdoop(node);
-       if (msg->cm_fields['H']==NULL) msg->cm_fields['H'] = strdoop(name);
-       if (msg->cm_fields['O']==NULL) msg->cm_fields['O'] = strdoop(MAILROOM);
-
-       /* Save the message in the queue */
-       msgid = CtdlSaveMsg(msg,
-               "",
-               SMTP_SPOOLOUT_ROOM,
-               MES_LOCAL);
-       ++successful_saves;
-
-       instr = mallok(1024);
-       snprintf(instr, 1024,
-                       "Content-type: %s\n\nmsgid|%ld\nsubmitted|%ld\n"
-                       "bounceto|%s\n",
-               SPOOLMIME, msgid, (long)time(NULL),
-               SMTP->from );
-
-       for (i=0; i<SMTP->number_of_recipients; ++i) {
-               extract_token(buf, SMTP_RECP, i, '\n');
-               extract(dtype, buf, 0);
-
-               /* Stuff local mailboxes */
-               if (!strcasecmp(dtype, "local")) {
-                       extract(user, buf, 1);
-                       if (getuser(&userbuf, user) == 0) {
-                               MailboxName(room, &userbuf, MAILROOM);
-                               CtdlSaveMsgPointerInRoom(room, msgid, 0);
-                               ++successful_saves;
-                       }
-                       else {
-                               ++failed_saves;
-                       }
-               }
-
-               /* Delivery to local non-mailbox rooms */
-               if (!strcasecmp(dtype, "room")) {
-                       extract(room, buf, 1);
-                       CtdlSaveMsgPointerInRoom(room, msgid, 0);
-                       ++successful_saves;
-               }
-
-               /* Delivery over the local Citadel network (IGnet) */
-               if (!strcasecmp(dtype, "ignet")) {
-                       extract(user, buf, 1);
-                       extract(node, buf, 2);
-                       smtp_deliver_ignet(msg, user, node);
-               }
-
-               /* Remote delivery */
-               if (!strcasecmp(dtype, "remote")) {
-                       extract(user, buf, 1);
-                       instr = reallok(instr, strlen(instr) + 1024);
-                       snprintf(&instr[strlen(instr)],
-                               strlen(instr) + 1024,
-                               "remote|%s|0\n",
-                               user);
-                       ++remote_spools;
-               }
-
+       valid = validate_recipients(recp);
+       if (valid->num_error > 0) {
+               cprintf("599 5.1.1 Error: %s\r\n", valid->errormsg);
+               free(valid);
+               return;
        }
 
-       /* If there are remote spools to be done, save the instructions */
-       if (remote_spools > 0) {
-               imsg = mallok(sizeof(struct CtdlMessage));
-               memset(imsg, 0, sizeof(struct CtdlMessage));
-               imsg->cm_magic = CTDLMESSAGE_MAGIC;
-               imsg->cm_anon_type = MES_NORMAL;
-               imsg->cm_format_type = FMT_RFC822;
-               imsg->cm_fields['M'] = instr;
-               CtdlSaveMsg(imsg, "", SMTP_SPOOLOUT_ROOM, MES_LOCAL);
-               CtdlFreeMessage(imsg);
+       if (valid->num_internet > 0) {
+               if (CC->logged_in) {
+                        if (CtdlCheckInternetMailPermission(&CC->user)==0) {
+                               cprintf("551 5.7.1 <%s> - you do not have permission to send Internet mail\r\n", recp);
+                                free(valid);
+                                return;
+                        }
+                }
        }
 
-       /* If there are no remote spools, delete the message */ 
-       else {
-               phree(instr);   /* only needed here, because CtdlSaveMsg()
-                                * would free this buffer otherwise */
-               CtdlDeleteMessages(SMTP_SPOOLOUT_ROOM, msgid, ""); 
+       if (valid->num_internet > 0) {
+               if ( (SMTP->message_originated_locally == 0)
+                  && (SMTP->is_lmtp == 0) ) {
+                       cprintf("551 5.7.1 <%s> - relaying denied\r\n", recp);
+                       free(valid);
+                       return;
+               }
        }
 
-       return(failed_saves);
+       cprintf("250 2.1.5 RCPT ok <%s>\r\n", recp);
+       if (strlen(SMTP->recipients) > 0) {
+               strcat(SMTP->recipients, ",");
+       }
+       strcat(SMTP->recipients, recp);
+       SMTP->number_of_recipients += 1;
 }
 
 
 
+
 /*
  * Implements the DATA command
  */
 void smtp_data(void) {
        char *body;
        struct CtdlMessage *msg;
-       int retval;
+       long msgnum;
        char nowstamp[SIZ];
+       struct recptypes *valid;
+       int scan_errors;
+       int i;
+       char result[SIZ];
 
        if (strlen(SMTP->from) == 0) {
-               cprintf("503 Need MAIL command first.\r\n");
+               cprintf("503 5.5.1 Need MAIL command first.\r\n");
                return;
        }
 
        if (SMTP->number_of_recipients < 1) {
-               cprintf("503 Need RCPT command first.\r\n");
+               cprintf("503 5.5.1 Need RCPT command first.\r\n");
                return;
        }
 
-       cprintf("354 Transmit message now; terminate with '.' by itself\r\n");
+       cprintf("354 Transmit message now - terminate with '.' by itself\r\n");
        
-       datestring(nowstamp, time(NULL), DATESTRING_RFC822);
-       body = mallok(4096);
+       datestring(nowstamp, sizeof nowstamp, time(NULL), DATESTRING_RFC822);
+       body = malloc(4096);
 
        if (body != NULL) snprintf(body, 4096,
-               "Received: from %s\n"
-               "       by %s;\n"
-               "       %s\n",
+               "Received: from %s (%s [%s])\n"
+               "       by %s; %s\n",
                        SMTP->helo_node,
+                       CC->cs_host,
+                       CC->cs_addr,
                        config.c_fqdn,
                        nowstamp);
        
-       body = CtdlReadMessageBody(".", config.c_maxmsglen, body);
+       body = CtdlReadMessageBody(".", config.c_maxmsglen, body, 1);
        if (body == NULL) {
-               cprintf("550 Unable to save message text: internal error.\r\n");
+               cprintf("550 5.6.5 "
+                       "Unable to save message: internal error.\r\n");
                return;
        }
 
-       lprintf(9, "Converting message...\n");
+       lprintf(CTDL_DEBUG, "Converting message...\n");
        msg = convert_internet_message(body);
 
        /* If the user is locally authenticated, FORCE the From: header to
-        * show up as the real sender
+        * show up as the real sender.  Yes, this violates the RFC standard,
+        * but IT MAKES SENSE.  If you prefer strict RFC adherence over
+        * common sense, you can disable this in the configuration.
+        *
+        * We also set the "message room name" ('O' field) to MAILROOM
+        * (which is Mail> on most systems) to prevent it from getting set
+        * to something ugly like "0000058008.Sent Items>" when the message
+        * is read with a Citadel client.
         */
-       if (CC->logged_in) {
-               if (msg->cm_fields['A'] != NULL) phree(msg->cm_fields['A']);
-               if (msg->cm_fields['N'] != NULL) phree(msg->cm_fields['N']);
-               if (msg->cm_fields['H'] != NULL) phree(msg->cm_fields['H']);
-               msg->cm_fields['A'] = strdoop(CC->usersupp.fullname);
-               msg->cm_fields['N'] = strdoop(config.c_nodename);
-               msg->cm_fields['H'] = strdoop(config.c_humannode);
-       }
+       if ( (CC->logged_in) && (config.c_rfc822_strict_from == 0) ) {
+               if (msg->cm_fields['A'] != NULL) free(msg->cm_fields['A']);
+               if (msg->cm_fields['N'] != NULL) free(msg->cm_fields['N']);
+               if (msg->cm_fields['H'] != NULL) free(msg->cm_fields['H']);
+               if (msg->cm_fields['F'] != NULL) free(msg->cm_fields['F']);
+               if (msg->cm_fields['O'] != NULL) free(msg->cm_fields['O']);
+               msg->cm_fields['A'] = strdup(CC->user.fullname);
+               msg->cm_fields['N'] = strdup(config.c_nodename);
+               msg->cm_fields['H'] = strdup(config.c_humannode);
+               msg->cm_fields['F'] = strdup(CC->cs_inet_email);
+               msg->cm_fields['O'] = strdup(MAILROOM);
+       }
+
+       /* Submit the message into the Citadel system. */
+       valid = validate_recipients(SMTP->recipients);
+
+       /* If there are modules that want to scan this message before final
+        * submission (such as virus checkers or spam filters), call them now
+        * and give them an opportunity to reject the message.
+        */
+       scan_errors = PerformMessageHooks(msg, EVT_SMTPSCAN);
 
-       retval = smtp_message_delivery(msg);
-       CtdlFreeMessage(msg);
+       if (scan_errors > 0) {  /* We don't want this message! */
+
+               if (msg->cm_fields['0'] == NULL) {
+                       msg->cm_fields['0'] = strdup(
+                               "5.7.1 Message rejected by filter");
+               }
 
-       if (!retval) {
-               cprintf("250 ok terrific\r\n");
+               sprintf(result, "550 %s\r\n", msg->cm_fields['0']);
+       }
+       
+       else {                  /* Ok, we'll accept this message. */
+               msgnum = CtdlSubmitMsg(msg, valid, "");
+               if (msgnum > 0L) {
+                       sprintf(result, "250 2.0.0 Message accepted.\r\n");
+               }
+               else {
+                       sprintf(result, "550 5.5.0 Internal delivery error\r\n");
+               }
+       }
+
+       /* For SMTP and ESTMP, just print the result message.  For LMTP, we
+        * have to print one result message for each recipient.  Since there
+        * is nothing in Citadel which would cause different recipients to
+        * have different results, we can get away with just spitting out the
+        * same message once for each recipient.
+        */
+       if (SMTP->is_lmtp) {
+               for (i=0; i<SMTP->number_of_recipients; ++i) {
+                       cprintf("%s", result);
+               }
        }
        else {
-               cprintf("550 Internal delivery errors: %d\r\n", retval);
+               cprintf("%s", result);
        }
 
+       CtdlFreeMessage(msg);
+       free(valid);
        smtp_data_clear();      /* clear out the buffers now */
 }
 
 
+/*
+ * implements the STARTTLS command (Citadel API version)
+ */
+#ifdef HAVE_OPENSSL
+void smtp_starttls(void)
+{
+       char ok_response[SIZ];
+       char nosup_response[SIZ];
+       char error_response[SIZ];
+
+       sprintf(ok_response,
+               "200 2.0.0 Begin TLS negotiation now\r\n");
+       sprintf(nosup_response,
+               "554 5.7.3 TLS not supported here\r\n");
+       sprintf(error_response,
+               "554 5.7.3 Internal error\r\n");
+       CtdlStartTLS(ok_response, nosup_response, error_response);
+       smtp_rset(0);
+}
+#endif
+
 
 
 /* 
@@ -709,11 +760,11 @@ void smtp_command_loop(void) {
        time(&CC->lastcmd);
        memset(cmdbuf, 0, sizeof cmdbuf); /* Clear it, just in case */
        if (client_gets(cmdbuf) < 1) {
-               lprintf(3, "SMTP socket is broken.  Ending session.\n");
+               lprintf(CTDL_CRIT, "SMTP socket is broken.  Ending session.\n");
                CC->kill_me = 1;
                return;
        }
-       lprintf(5, "citserver[%3d]: %s\n", CC->cs_pid, cmdbuf);
+       lprintf(CTDL_INFO, "SMTP: %s\n", cmdbuf);
        while (strlen(cmdbuf) < 5) strcat(cmdbuf, " ");
 
        if (SMTP->command_state == smtp_user) {
@@ -732,10 +783,6 @@ void smtp_command_loop(void) {
                smtp_data();
        }
 
-       else if (!strncasecmp(cmdbuf, "EHLO", 4)) {
-               smtp_hello(&cmdbuf[5], 1);
-       }
-
        else if (!strncasecmp(cmdbuf, "EXPN", 4)) {
                smtp_expn(&cmdbuf[5]);
        }
@@ -744,6 +791,14 @@ void smtp_command_loop(void) {
                smtp_hello(&cmdbuf[5], 0);
        }
 
+       else if (!strncasecmp(cmdbuf, "EHLO", 4)) {
+               smtp_hello(&cmdbuf[5], 1);
+       }
+
+       else if (!strncasecmp(cmdbuf, "LHLO", 4)) {
+               smtp_hello(&cmdbuf[5], 2);
+       }
+
        else if (!strncasecmp(cmdbuf, "HELP", 4)) {
                smtp_help();
        }
@@ -767,17 +822,22 @@ void smtp_command_loop(void) {
        }
 
        else if (!strncasecmp(cmdbuf, "RSET", 4)) {
-               smtp_rset();
+               smtp_rset(1);
        }
-
+#ifdef HAVE_OPENSSL
+       else if (!strcasecmp(cmdbuf, "STARTTLS")) {
+               smtp_starttls();
+       }
+#endif
        else if (!strncasecmp(cmdbuf, "VRFY", 4)) {
                smtp_vrfy(&cmdbuf[5]);
        }
 
        else {
-               cprintf("502 I'm afraid I can't do that.\r\n");
+               cprintf("502 5.0.0 I'm afraid I can't do that.\r\n");
        }
 
+
 }
 
 
@@ -795,7 +855,8 @@ void smtp_command_loop(void) {
  * Called by smtp_do_procmsg() to attempt delivery to one SMTP host
  *
  */
-void smtp_try(char *key, char *addr, int *status, char *dsn, long msgnum)
+void smtp_try(const char *key, const char *addr, int *status,
+             char *dsn, size_t n, long msgnum)
 {
        int sock = (-1);
        char mxhosts[1024];
@@ -814,19 +875,19 @@ void smtp_try(char *key, char *addr, int *status, char *dsn, long msgnum)
        /* Parse out the host portion of the recipient address */
        process_rfc822_addr(addr, user, node, name);
 
-       lprintf(9, "Attempting SMTP delivery to <%s> @ <%s> (%s)\n",
+       lprintf(CTDL_DEBUG, "Attempting SMTP delivery to <%s> @ <%s> (%s)\n",
                user, node, name);
 
        /* Load the message out of the database into a temp file */
        msg_fp = tmpfile();
        if (msg_fp == NULL) {
                *status = 4;
-               sprintf(dsn, "Error creating temporary file");
+               snprintf(dsn, n, "Error creating temporary file");
                return;
        }
        else {
                CtdlRedirectOutput(msg_fp, -1);
-               CtdlOutputMsg(msgnum, MT_RFC822, 0, 0, 1);
+               CtdlOutputMsg(msgnum, MT_RFC822, HEADERS_ALL, 0, 1);
                CtdlRedirectOutput(NULL, -1);
                fseek(msg_fp, 0L, SEEK_END);
                msg_size = ftell(msg_fp);
@@ -867,7 +928,7 @@ void smtp_try(char *key, char *addr, int *status, char *dsn, long msgnum)
                                if (mailfrom[i] == '<') lp = i;
                                if (mailfrom[i] == '>') rp = i;
                        }
-                       if ((lp>=0)&&(rp>lp)) {
+                       if ( (lp>=0) && (rp>lp) ) {
                                mailfrom[rp] = 0;
                                strcpy(mailfrom, &mailfrom[lp]);
                        }
@@ -877,24 +938,23 @@ void smtp_try(char *key, char *addr, int *status, char *dsn, long msgnum)
        } while (scan_done == 0);
        if (strlen(mailfrom)==0) strcpy(mailfrom, "someone@somewhere.org");
 
-
        /* Figure out what mail exchanger host we have to connect to */
        num_mxhosts = getmx(mxhosts, node);
-       lprintf(9, "Number of MX hosts for <%s> is %d\n", node, num_mxhosts);
+       lprintf(CTDL_DEBUG, "Number of MX hosts for <%s> is %d\n", node, num_mxhosts);
        if (num_mxhosts < 1) {
                *status = 5;
                snprintf(dsn, SIZ, "No MX hosts found for <%s>", node);
                return;
        }
 
-       for (mx=0; mx<num_mxhosts; ++mx) {
+       sock = (-1);
+       for (mx=0; (mx<num_mxhosts && sock < 0); ++mx) {
                extract(buf, mxhosts, mx);
-               lprintf(9, "Trying <%s>\n", buf);
+               lprintf(CTDL_DEBUG, "Trying <%s>\n", buf);
                sock = sock_connect(buf, "25", "tcp");
                snprintf(dsn, SIZ, "Could not connect: %s", strerror(errno));
-               if (sock >= 0) lprintf(9, "Connected!\n");
+               if (sock >= 0) lprintf(CTDL_DEBUG, "Connected!\n");
                if (sock < 0) snprintf(dsn, SIZ, "%s", strerror(errno));
-               if (sock >= 0) break;
        }
 
        if (sock < 0) {
@@ -908,7 +968,7 @@ void smtp_try(char *key, char *addr, int *status, char *dsn, long msgnum)
                strcpy(dsn, "Connection broken during SMTP conversation");
                goto bail;
        }
-       lprintf(9, "<%s\n", buf);
+       lprintf(CTDL_DEBUG, "<%s\n", buf);
        if (buf[0] != '2') {
                if (buf[0] == '4') {
                        *status = 4;
@@ -926,14 +986,14 @@ void smtp_try(char *key, char *addr, int *status, char *dsn, long msgnum)
 
        /* Do a HELO command */
        snprintf(buf, sizeof buf, "HELO %s\r\n", config.c_fqdn);
-       lprintf(9, ">%s", buf);
+       lprintf(CTDL_DEBUG, ">%s", buf);
        sock_write(sock, buf, strlen(buf));
        if (ml_sock_gets(sock, buf) < 0) {
                *status = 4;
                strcpy(dsn, "Connection broken during SMTP HELO");
                goto bail;
        }
-       lprintf(9, "<%s\n", buf);
+       lprintf(CTDL_DEBUG, "<%s\n", buf);
        if (buf[0] != '2') {
                if (buf[0] == '4') {
                        *status = 4;
@@ -950,14 +1010,14 @@ void smtp_try(char *key, char *addr, int *status, char *dsn, long msgnum)
 
        /* HELO succeeded, now try the MAIL From: command */
        snprintf(buf, sizeof buf, "MAIL From: <%s>\r\n", mailfrom);
-       lprintf(9, ">%s", buf);
+       lprintf(CTDL_DEBUG, ">%s", buf);
        sock_write(sock, buf, strlen(buf));
        if (ml_sock_gets(sock, buf) < 0) {
                *status = 4;
                strcpy(dsn, "Connection broken during SMTP MAIL");
                goto bail;
        }
-       lprintf(9, "<%s\n", buf);
+       lprintf(CTDL_DEBUG, "<%s\n", buf);
        if (buf[0] != '2') {
                if (buf[0] == '4') {
                        *status = 4;
@@ -974,14 +1034,14 @@ void smtp_try(char *key, char *addr, int *status, char *dsn, long msgnum)
 
        /* MAIL succeeded, now try the RCPT To: command */
        snprintf(buf, sizeof buf, "RCPT To: <%s>\r\n", addr);
-       lprintf(9, ">%s", buf);
+       lprintf(CTDL_DEBUG, ">%s", buf);
        sock_write(sock, buf, strlen(buf));
        if (ml_sock_gets(sock, buf) < 0) {
                *status = 4;
                strcpy(dsn, "Connection broken during SMTP RCPT");
                goto bail;
        }
-       lprintf(9, "<%s\n", buf);
+       lprintf(CTDL_DEBUG, "<%s\n", buf);
        if (buf[0] != '2') {
                if (buf[0] == '4') {
                        *status = 4;
@@ -997,14 +1057,14 @@ void smtp_try(char *key, char *addr, int *status, char *dsn, long msgnum)
 
 
        /* RCPT succeeded, now try the DATA command */
-       lprintf(9, ">DATA\n");
+       lprintf(CTDL_DEBUG, ">DATA\n");
        sock_write(sock, "DATA\r\n", 6);
        if (ml_sock_gets(sock, buf) < 0) {
                *status = 4;
                strcpy(dsn, "Connection broken during SMTP DATA");
                goto bail;
        }
-       lprintf(9, "<%s\n", buf);
+       lprintf(CTDL_DEBUG, "<%s\n", buf);
        if (buf[0] != '3') {
                if (buf[0] == '4') {
                        *status = 3;
@@ -1028,8 +1088,8 @@ void smtp_try(char *key, char *addr, int *status, char *dsn, long msgnum)
                msg_size -= blocksize;
        }
        if (buf[blocksize-1] != 10) {
-               lprintf(5, "Possible problem: message did not correctly "
-                       "terminate. (expecting 0x10, got 0x%02x)\n",
+               lprintf(CTDL_WARNING, "Possible problem: message did not "
+                       "correctly terminate. (expecting 0x10, got 0x%02x)\n",
                                buf[blocksize-1]);
        }
 
@@ -1039,7 +1099,7 @@ void smtp_try(char *key, char *addr, int *status, char *dsn, long msgnum)
                strcpy(dsn, "Connection broken during SMTP message transmit");
                goto bail;
        }
-       lprintf(9, "%s\n", buf);
+       lprintf(CTDL_DEBUG, "%s\n", buf);
        if (buf[0] != '2') {
                if (buf[0] == '4') {
                        *status = 4;
@@ -1057,10 +1117,12 @@ void smtp_try(char *key, char *addr, int *status, char *dsn, long msgnum)
        safestrncpy(dsn, &buf[4], 1023);
        *status = 2;
 
-       lprintf(9, ">QUIT\n");
+       lprintf(CTDL_DEBUG, ">QUIT\n");
        sock_write(sock, "QUIT\r\n", 6);
        ml_sock_gets(sock, buf);
-       lprintf(9, "<%s\n", buf);
+       lprintf(CTDL_DEBUG, "<%s\n", buf);
+       lprintf(CTDL_INFO, "SMTP delivery to <%s> @ <%s> (%s) succeeded\n",
+               user, node, name);
 
 bail:  if (msg_fp != NULL) fclose(msg_fp);
        sock_close(sock);
@@ -1089,9 +1151,10 @@ void smtp_do_bounce(char *instr) {
        time_t submitted = 0L;
        struct CtdlMessage *bmsg = NULL;
        int give_up = 0;
-       int mes_type = 0;
+       struct recptypes *valid;
+       int successful_bounce = 0;
 
-       lprintf(9, "smtp_do_bounce() called\n");
+       lprintf(CTDL_DEBUG, "smtp_do_bounce() called\n");
        strcpy(bounceto, "");
 
        lines = num_tokens(instr, '\n');
@@ -1113,24 +1176,24 @@ void smtp_do_bounce(char *instr) {
 
 
 
-       bmsg = (struct CtdlMessage *) mallok(sizeof(struct CtdlMessage));
+       bmsg = (struct CtdlMessage *) malloc(sizeof(struct CtdlMessage));
        if (bmsg == NULL) return;
        memset(bmsg, 0, sizeof(struct CtdlMessage));
 
         bmsg->cm_magic = CTDLMESSAGE_MAGIC;
         bmsg->cm_anon_type = MES_NORMAL;
         bmsg->cm_format_type = 1;
-        bmsg->cm_fields['A'] = strdoop("Citadel");
-        bmsg->cm_fields['O'] = strdoop(MAILROOM);
-        bmsg->cm_fields['N'] = strdoop(config.c_nodename);
+        bmsg->cm_fields['A'] = strdup("Citadel");
+        bmsg->cm_fields['O'] = strdup(MAILROOM);
+        bmsg->cm_fields['N'] = strdup(config.c_nodename);
 
-       if (give_up) bmsg->cm_fields['M'] = strdoop(
+       if (give_up) bmsg->cm_fields['M'] = strdup(
 "A message you sent could not be delivered to some or all of its recipients\n"
 "due to prolonged unavailability of its destination(s).\n"
 "Giving up on the following addresses:\n\n"
 );
 
-        else bmsg->cm_fields['M'] = strdoop(
+        else bmsg->cm_fields['M'] = strdup(
 "A message you sent could not be delivered to some or all of its recipients.\n"
 "The following addresses were undeliverable:\n\n"
 );
@@ -1138,7 +1201,6 @@ void smtp_do_bounce(char *instr) {
        /*
         * Now go through the instructions checking for stuff.
         */
-
        for (i=0; i<lines; ++i) {
                extract_token(buf, instr, i, '\n');
                extract(key, buf, 0);
@@ -1147,7 +1209,7 @@ void smtp_do_bounce(char *instr) {
                extract(dsn, buf, 3);
                bounce_this = 0;
 
-               lprintf(9, "key=<%s> addr=<%s> status=%d dsn=<%s>\n",
+               lprintf(CTDL_DEBUG, "key=<%s> addr=<%s> status=%d dsn=<%s>\n",
                        key, addr, status, dsn);
 
                if (!strcasecmp(key, "bounceto")) {
@@ -1168,11 +1230,11 @@ void smtp_do_bounce(char *instr) {
                        ++num_bounces;
 
                        if (bmsg->cm_fields['M'] == NULL) {
-                               lprintf(2, "ERROR ... M field is null "
+                               lprintf(CTDL_ERR, "ERROR ... M field is null "
                                        "(%s:%d)\n", __FILE__, __LINE__);
                        }
 
-                       bmsg->cm_fields['M'] = reallok(bmsg->cm_fields['M'],
+                       bmsg->cm_fields['M'] = realloc(bmsg->cm_fields['M'],
                                strlen(bmsg->cm_fields['M']) + 1024 );
                        strcat(bmsg->cm_fields['M'], addr);
                        strcat(bmsg->cm_fields['M'], ": ");
@@ -1186,36 +1248,38 @@ void smtp_do_bounce(char *instr) {
        }
 
        /* Deliver the bounce if there's anything worth mentioning */
-       lprintf(9, "num_bounces = %d\n", num_bounces);
+       lprintf(CTDL_DEBUG, "num_bounces = %d\n", num_bounces);
        if (num_bounces > 0) {
 
                /* First try the user who sent the message */
-               lprintf(9, "bounce to user? <%s>\n", bounceto);
-               TRACE;
+               lprintf(CTDL_DEBUG, "bounce to user? <%s>\n", bounceto);
                if (strlen(bounceto) == 0) {
-                       lprintf(7, "No bounce address specified\n");
+                       lprintf(CTDL_ERR, "No bounce address specified\n");
                        bounce_msgid = (-1L);
                }
-               else if (mes_type = alias(bounceto), mes_type == MES_ERROR) {
-                       lprintf(7, "Invalid bounce address <%s>\n", bounceto);
-                       bounce_msgid = (-1L);
+
+               /* Can we deliver the bounce to the original sender? */
+               valid = validate_recipients(bounceto);
+               if (valid != NULL) {
+                       if (valid->num_error == 0) {
+                               CtdlSubmitMsg(bmsg, valid, "");
+                               successful_bounce = 1;
+                       }
                }
-               else {
-                       bounce_msgid = CtdlSaveMsg(bmsg,
-                               bounceto,
-                               "", mes_type);
+
+               /* If not, post it in the Aide> room */
+               if (successful_bounce == 0) {
+                       CtdlSubmitMsg(bmsg, NULL, config.c_aideroom);
                }
-               TRACE;
 
-               /* Otherwise, go to the Aide> room */
-               lprintf(9, "bounce to room?\n");
-               if (bounce_msgid < 0L) bounce_msgid = CtdlSaveMsg(bmsg,
-                       "", AIDEROOM,
-                       MES_LOCAL);
+               /* Free up the memory we used */
+               if (valid != NULL) {
+                       free(valid);
+               }
        }
 
        CtdlFreeMessage(bmsg);
-       lprintf(9, "Done processing bounces\n");
+       lprintf(CTDL_DEBUG, "Done processing bounces\n");
 }
 
 
@@ -1289,13 +1353,15 @@ void smtp_do_procmsg(long msgnum, void *userdata) {
        time_t last_attempted = 0L;
        time_t retry = SMTP_RETRY_INTERVAL;
 
-       msg = CtdlFetchMessage(msgnum);
+       lprintf(CTDL_DEBUG, "smtp_do_procmsg(%ld)\n", msgnum);
+
+       msg = CtdlFetchMessage(msgnum, 1);
        if (msg == NULL) {
-               lprintf(3, "SMTP: tried %ld but no such message!\n", msgnum);
+               lprintf(CTDL_ERR, "SMTP: tried %ld but no such message!\n", msgnum);
                return;
        }
 
-       instr = strdoop(msg->cm_fields['M']);
+       instr = strdup(msg->cm_fields['M']);
        CtdlFreeMessage(msg);
 
        /* Strip out the headers amd any other non-instruction line */
@@ -1303,7 +1369,6 @@ void smtp_do_procmsg(long msgnum, void *userdata) {
        for (i=0; i<lines; ++i) {
                extract_token(buf, instr, i, '\n');
                if (num_tokens(buf, '|') < 2) {
-                       lprintf(9, "removing <%s>\n", buf);
                        remove_token(instr, i, '\n');
                        --lines;
                        --i;
@@ -1337,8 +1402,8 @@ void smtp_do_procmsg(long msgnum, void *userdata) {
         * Postpone delivery if we've already tried recently.
         */
        if (((time(NULL) - last_attempted) < retry) && (run_queue_now == 0)) {
-               lprintf(7, "Retry time not yet reached.\n");
-               phree(instr);
+               lprintf(CTDL_DEBUG, "Retry time not yet reached.\n");
+               free(instr);
                return;
        }
 
@@ -1347,13 +1412,13 @@ void smtp_do_procmsg(long msgnum, void *userdata) {
         * Bail out if there's no actual message associated with this
         */
        if (text_msgid < 0L) {
-               lprintf(3, "SMTP: no 'msgid' directive found!\n");
-               phree(instr);
+               lprintf(CTDL_ERR, "SMTP: no 'msgid' directive found!\n");
+               free(instr);
                return;
        }
 
        /* Plow through the instructions looking for 'remote' directives and
-        * a status of 0 (no delivery yet attempted) or 3 (transient errors
+        * a status of 0 (no delivery yet attempted) or 3/4 (transient errors
         * were experienced and it's time to try again)
         */
        lines = num_tokens(instr, '\n');
@@ -1364,22 +1429,31 @@ void smtp_do_procmsg(long msgnum, void *userdata) {
                status = extract_int(buf, 2);
                extract(dsn, buf, 3);
                if ( (!strcasecmp(key, "remote"))
-                  && ((status==0)||(status==3)) ) {
+                  && ((status==0)||(status==3)||(status==4)) ) {
+
+                       /* Remove this "remote" instruction from the set,
+                        * but replace the set's final newline if
+                        * remove_token() stripped it.  It has to be there.
+                        */
                        remove_token(instr, i, '\n');
+                       if (instr[strlen(instr)-1] != '\n') {
+                               strcat(instr, "\n");
+                       }
+
                        --i;
                        --lines;
-                       lprintf(9, "SMTP: Trying <%s>\n", addr);
-                       smtp_try(key, addr, &status, dsn, text_msgid);
+                       lprintf(CTDL_DEBUG, "SMTP: Trying <%s>\n", addr);
+                       smtp_try(key, addr, &status, dsn, sizeof dsn, text_msgid);
                        if (status != 2) {
                                if (results == NULL) {
-                                       results = mallok(1024);
+                                       results = malloc(1024);
                                        memset(results, 0, 1024);
                                }
                                else {
-                                       results = reallok(results,
+                                       results = realloc(results,
                                                strlen(results) + 1024);
                                }
-                               sprintf(&results[strlen(results)],
+                               snprintf(&results[strlen(results)], 1024,
                                        "%s|%s|%d|%s\n",
                                        key, addr, status, dsn);
                        }
@@ -1387,9 +1461,9 @@ void smtp_do_procmsg(long msgnum, void *userdata) {
        }
 
        if (results != NULL) {
-               instr = reallok(instr, strlen(instr) + strlen(results) + 2);
+               instr = realloc(instr, strlen(instr) + strlen(results) + 2);
                strcat(instr, results);
-               phree(results);
+               free(results);
        }
 
 
@@ -1417,7 +1491,7 @@ void smtp_do_procmsg(long msgnum, void *userdata) {
         */
        if (incomplete_deliveries_remaining > 0) {
                CtdlDeleteMessages(SMTP_SPOOLOUT_ROOM, msgnum, "");
-               msg = mallok(sizeof(struct CtdlMessage));
+               msg = malloc(sizeof(struct CtdlMessage));
                memset(msg, 0, sizeof(struct CtdlMessage));
                msg->cm_magic = CTDLMESSAGE_MAGIC;
                msg->cm_anon_type = MES_NORMAL;
@@ -1429,8 +1503,8 @@ void smtp_do_procmsg(long msgnum, void *userdata) {
                        "attempted|%ld\n"
                        "retry|%ld\n",
                        SPOOLMIME, instr, (long)time(NULL), (long)retry );
-               phree(instr);
-               CtdlSaveMsg(msg, "", SMTP_SPOOLOUT_ROOM, MES_LOCAL);
+               free(instr);
+               CtdlSubmitMsg(msg, NULL, SMTP_SPOOLOUT_ROOM);
                CtdlFreeMessage(msg);
        }
 
@@ -1458,16 +1532,16 @@ void smtp_do_queue(void) {
        /* 
         * Go ahead and run the queue
         */
-       lprintf(7, "SMTP: processing outbound queue\n");
+       lprintf(CTDL_INFO, "SMTP: processing outbound queue\n");
 
-       if (getroom(&CC->quickroom, SMTP_SPOOLOUT_ROOM) != 0) {
-               lprintf(3, "Cannot find room <%s>\n", SMTP_SPOOLOUT_ROOM);
+       if (getroom(&CC->room, SMTP_SPOOLOUT_ROOM) != 0) {
+               lprintf(CTDL_ERR, "Cannot find room <%s>\n", SMTP_SPOOLOUT_ROOM);
                return;
        }
-       CtdlForEachMessage(MSGS_ALL, 0L, (-127),
+       CtdlForEachMessage(MSGS_ALL, 0L,
                SPOOLMIME, NULL, smtp_do_procmsg, NULL);
 
-       lprintf(7, "SMTP: queue run completed\n");
+       lprintf(CTDL_INFO, "SMTP: queue run completed\n");
        run_queue_now = 0;
        doing_queue = 0;
 }
@@ -1504,17 +1578,40 @@ void cmd_smtp(char *argbuf) {
 
        else if (!strcasecmp(cmd, "runqueue")) {
                run_queue_now = 1;
-               cprintf("%d All outbound SMTP will be retried now.\n", OK);
+               cprintf("%d All outbound SMTP will be retried now.\n", CIT_OK);
                return;
        }
 
        else {
-               cprintf("%d Invalid command.\n", ERROR+ILLEGAL_VALUE);
+               cprintf("%d Invalid command.\n", ERROR + ILLEGAL_VALUE);
        }
 
 }
 
 
+/*
+ * Initialize the SMTP outbound queue
+ */
+void smtp_init_spoolout(void) {
+       struct ctdlroom qrbuf;
+
+       /*
+        * Create the room.  This will silently fail if the room already
+        * exists, and that's perfectly ok, because we want it to exist.
+        */
+       create_room(SMTP_SPOOLOUT_ROOM, 3, "", 0, 1, 0);
+
+       /*
+        * Make sure it's set to be a "system room" so it doesn't show up
+        * in the <K>nown rooms list for Aides.
+        */
+       if (lgetroom(&qrbuf, SMTP_SPOOLOUT_ROOM) == 0) {
+               qrbuf.QRflags2 |= QR2_SYSTEM;
+               lputroom(&qrbuf);
+       }
+}
+
+
 
 
 /*****************************************************************************/
@@ -1522,22 +1619,21 @@ void cmd_smtp(char *argbuf) {
 /*****************************************************************************/
 
 
-char *Dynamic_Module_Init(void)
+char *serv_smtp_init(void)
 {
-       SYM_SMTP = CtdlGetDynamicSymbol();
-       SYM_SMTP_RECP = CtdlGetDynamicSymbol();
-
        CtdlRegisterServiceHook(config.c_smtp_port,     /* On the net... */
                                NULL,
                                smtp_greeting,
-                               smtp_command_loop);
+                               smtp_command_loop,
+                               NULL);
 
        CtdlRegisterServiceHook(0,                      /* ...and locally */
-                               "smtp.socket",
-                               smtp_greeting,
-                               smtp_command_loop);
+                               "lmtp.socket",
+                               lmtp_greeting,
+                               smtp_command_loop,
+                               NULL);
 
-       create_room(SMTP_SPOOLOUT_ROOM, 3, "", 0, 1);
+       smtp_init_spoolout();
        CtdlRegisterSessionHook(smtp_do_queue, EVT_TIMER);
        CtdlRegisterProtoHook(cmd_smtp, "SMTP", "SMTP utility commands");
        return "$Id$";