* Reference count adjustments are now deferred by queuing
[citadel.git] / citadel / serv_pop3.c
index 52578a3f65bc57ef55d6030ca5460815fed47627..17255d1d16b65ee4e7c7362f90b7784de79d76df 100644 (file)
@@ -1,9 +1,19 @@
-/* $Id$ 
- *
- * An implementation of Post Office Protocol version 3 (RFC 1939).
+/*
+ * $Id$ 
  *
- * Copyright (C) 1998-2000 by Art Cancro and others.
+ * POP3 service for the Citadel system
+ * Copyright (C) 1998-2001 by Art Cancro and others.
  * This code is released under the terms of the GNU General Public License.
+ *
+ * Current status of standards conformance:
+ *
+ * -> All required POP3 commands described in RFC1939 are implemented.
+ * -> All optional POP3 commands described in RFC1939 are also implemented.
+ * -> The deprecated "LAST" command is included in this implementation, because
+ *    there exist mail clients which insist on using it (such as Bynari
+ *    TradeMail, and certain versions of Eudora).
+ * -> Capability detection via the method described in RFC2449 is implemented.
+ * 
  */
 
 #include "sysdep.h"
 #include <pwd.h>
 #include <errno.h>
 #include <sys/types.h>
-#include <sys/time.h>
+
+#if TIME_WITH_SYS_TIME
+# include <sys/time.h>
+# include <time.h>
+#else
+# if HAVE_SYS_TIME_H
+#  include <sys/time.h>
+# else
+#  include <time.h>
+# endif
+#endif
+
 #include <sys/wait.h>
 #include <string.h>
 #include <limits.h>
+#include <ctype.h>
 #include "citadel.h"
 #include "server.h"
-#include <time.h>
 #include "sysdep_decls.h"
 #include "citserver.h"
 #include "support.h"
 #include "config.h"
-#include "dynloader.h"
+#include "serv_extensions.h"
 #include "room_ops.h"
 #include "user_ops.h"
 #include "policy.h"
 #include "tools.h"
 #include "internet_addressing.h"
 #include "serv_pop3.h"
+#include "md5.h"
 
+#ifdef HAVE_OPENSSL
+#include "serv_crypto.h"
+#endif
 
-long SYM_POP3;
 
 
 /*
@@ -45,19 +69,14 @@ long SYM_POP3;
  * the POP3 server.
  */
 void pop3_cleanup_function(void) {
-       int i;
 
        /* Don't do this stuff if this is not a POP3 session! */
        if (CC->h_command_function != pop3_command_loop) return;
 
-       lprintf(9, "Performing POP3 cleanup hook\n");
-
-       if (POP3->num_msgs > 0) for (i=0; i<POP3->num_msgs; ++i) {
-               fclose(POP3->msgs[i].temp);
-       }
-       if (POP3->msgs != NULL) phree(POP3->msgs);
+       lprintf(CTDL_DEBUG, "Performing POP3 cleanup hook\n");
+       if (POP3->msgs != NULL) free(POP3->msgs);
 
-       lprintf(9, "Finished POP3 cleanup hook\n");
+       free(POP3);
 }
 
 
@@ -66,23 +85,33 @@ void pop3_cleanup_function(void) {
  * Here's where our POP3 session begins its happy day.
  */
 void pop3_greeting(void) {
-
        strcpy(CC->cs_clientname, "POP3 session");
        CC->internal_pgm = 1;
-       CtdlAllocUserData(SYM_POP3, sizeof(struct citpop3));
-       POP3->msgs = NULL;
-       POP3->num_msgs = 0;
+       POP3 = malloc(sizeof(struct citpop3));
+       memset(POP3, 0, sizeof(struct citpop3));
+
+       cprintf("+OK Citadel POP3 server %s\r\n",
+               CC->cs_nonce);
+}
+
 
-       cprintf("+OK Welcome to the Citadel/UX POP3 server at %s\r\n",
-               config.c_fqdn);
+/*
+ * POP3S is just like POP3, except it goes crypto right away.
+ */
+#ifdef HAVE_OPENSSL
+void pop3s_greeting(void) {
+       CtdlStartTLS(NULL, NULL, NULL);
+       pop3_greeting();
 }
+#endif
+
 
 
 /*
  * Specify user name (implements POP3 "USER" command)
  */
 void pop3_user(char *argbuf) {
-       char username[256];
+       char username[SIZ];
 
        if (CC->logged_in) {
                cprintf("-ERR You are already logged in.\r\n");
@@ -92,7 +121,7 @@ void pop3_user(char *argbuf) {
        strcpy(username, argbuf);
        striplt(username);
 
-       lprintf(9, "Trying <%s>\n", username);
+       /* lprintf(CTDL_DEBUG, "Trying <%s>\n", username); */
        if (CtdlLoginExistingUser(username) == login_ok) {
                cprintf("+OK Password required for %s\r\n", username);
        }
@@ -106,20 +135,35 @@ void pop3_user(char *argbuf) {
 /*
  * Back end for pop3_grab_mailbox()
  */
-void pop3_add_message(long msgnum) {
-       FILE *fp;
-       lprintf(9, "in pop3_add_message()\n");
+void pop3_add_message(long msgnum, void *userdata) {
+       struct MetaData smi;
 
        ++POP3->num_msgs;
-       if (POP3->num_msgs < 2) POP3->msgs = mallok(sizeof(struct pop3msg));
-       else POP3->msgs = reallok(POP3->msgs, 
+       if (POP3->num_msgs < 2) POP3->msgs = malloc(sizeof(struct pop3msg));
+       else POP3->msgs = realloc(POP3->msgs, 
                (POP3->num_msgs * sizeof(struct pop3msg)) ) ;
        POP3->msgs[POP3->num_msgs-1].msgnum = msgnum;
        POP3->msgs[POP3->num_msgs-1].deleted = 0;
-       fp = tmpfile();
-       POP3->msgs[POP3->num_msgs-1].temp = fp;
-       CtdlOutputMsg(msgnum, MT_RFC822, 0, 0, fp, 0);
-       POP3->msgs[POP3->num_msgs-1].rfc822_length = ftell(fp);
+
+       /* We need to know the length of this message when it is printed in
+        * RFC822 format.  Perhaps we have cached this length in the message's
+        * metadata record.  If so, great; if not, measure it and then cache
+        * it for next time.
+        */
+       GetMetaData(&smi, msgnum);
+       if (smi.meta_rfc822_length <= 0L) {
+               CC->redirect_buffer = malloc(SIZ);
+               CC->redirect_len = 0;
+               CC->redirect_alloc = SIZ;
+               CtdlOutputMsg(msgnum, MT_RFC822, HEADERS_ALL, 0, 1, NULL);
+               smi.meta_rfc822_length = CC->redirect_len;
+               free(CC->redirect_buffer);
+               CC->redirect_buffer = NULL;
+               CC->redirect_len = 0;
+               CC->redirect_alloc = 0;
+               PutMetaData(&smi);
+       }
+       POP3->msgs[POP3->num_msgs-1].rfc822_length = smi.meta_rfc822_length;
 }
 
 
@@ -130,35 +174,114 @@ void pop3_add_message(long msgnum) {
  * of messages in the inbox, or -1 for error)
  */
 int pop3_grab_mailbox(void) {
-       if (getroom(&CC->quickroom, MAILROOM) != 0) return(-1);
-       CtdlForEachMessage(MSGS_ALL, 0L, NULL, NULL, pop3_add_message);
+        struct visit vbuf;
+       int i;
+
+       if (getroom(&CC->room, MAILROOM) != 0) return(-1);
+
+       /* Load up the messages */
+       CtdlForEachMessage(MSGS_ALL, 0L, NULL, NULL, NULL,
+               pop3_add_message, NULL);
+
+       /* Figure out which are old and which are new */
+        CtdlGetRelationship(&vbuf, &CC->user, &CC->room);
+       POP3->lastseen = (-1);
+       if (POP3->num_msgs) for (i=0; i<POP3->num_msgs; ++i) {
+               if (is_msg_in_sequence_set(vbuf.v_seen,
+                  (POP3->msgs[POP3->num_msgs-1].msgnum) )) {
+                       POP3->lastseen = i;
+               }
+       }
+
        return(POP3->num_msgs);
 }
 
+void pop3_login(void)
+{
+       int msgs;
+       
+       msgs = pop3_grab_mailbox();
+       if (msgs >= 0) {
+               cprintf("+OK %s is logged in (%d messages)\r\n",
+                       CC->user.fullname, msgs);
+               lprintf(CTDL_NOTICE, "POP3 authenticated %s\n", CC->user.fullname);
+       }
+       else {
+               cprintf("-ERR Can't open your mailbox\r\n");
+       }
+       
+}
+
+void pop3_apop(char *argbuf)
+{
+   char username[SIZ];
+   char userdigest[MD5_HEXSTRING_SIZE];
+   char realdigest[MD5_HEXSTRING_SIZE];
+   char *sptr;
+   
+   if (CC->logged_in)
+   {
+       cprintf("-ERR You are already logged in; not in the AUTHORIZATION phase.\r\n");
+       return;
+   }
+   
+   if ((sptr = strchr(argbuf, ' ')) == NULL)
+   {
+       cprintf("-ERR Invalid APOP line.\r\n");
+       return;
+   }
+   
+   *sptr++ = '\0';
+   
+   while ((*sptr) && isspace(*sptr))
+      sptr++;
+   
+   strncpy(username, argbuf, sizeof(username)-1);
+   username[sizeof(username)-1] = '\0';
+   
+   memset(userdigest, MD5_HEXSTRING_SIZE, 0);
+   strncpy(userdigest, sptr, MD5_HEXSTRING_SIZE-1);
+   
+   if (CtdlLoginExistingUser(username) != login_ok)
+   {
+       cprintf("-ERR No such user.\r\n");
+       return;
+   }
+   
+   if (getuser(&CC->user, CC->curr_user))
+   {
+       cprintf("-ERR No such user.\r\n");
+       return;
+   }
+   
+   make_apop_string(CC->user.password, CC->cs_nonce, realdigest, sizeof realdigest);
+   if (!strncasecmp(realdigest, userdigest, MD5_HEXSTRING_SIZE-1))
+   {
+       do_login();
+       pop3_login();
+   }
+   else
+   {
+       cprintf("-ERR That is NOT the password.\r\n");
+   }
+}
+
+
 /*
  * Authorize with password (implements POP3 "PASS" command)
  */
 void pop3_pass(char *argbuf) {
-       char password[256];
-       int msgs;
+       char password[SIZ];
 
        strcpy(password, argbuf);
        striplt(password);
 
-       lprintf(9, "Trying <%s>\n", password);
+       /* lprintf(CTDL_DEBUG, "Trying <%s>\n", password); */
        if (CtdlTryPassword(password) == pass_ok) {
-               msgs = pop3_grab_mailbox();
-               if (msgs >= 0) {
-                       cprintf("+OK %s is logged in (%d messages)\r\n",
-                               CC->usersupp.fullname, msgs);
-                       lprintf(9, "POP3 password login successful\n");
-               }
-               else {
-                       cprintf("-ERR Can't open your mailbox\r\n");
-               }
+               pop3_login();
        }
        else {
-               cprintf("-ERR That is NOT the password!  Go away!\r\n");
+               cprintf("-ERR That is NOT the password.\r\n");
        }
 }
 
@@ -185,9 +308,9 @@ void pop3_list(char *argbuf) {
                        return;
                }
                else {
-                       cprintf("+OK %d %d\n",
+                       cprintf("+OK %d %ld\r\n",
                                which_one,
-                               POP3->msgs[which_one-1].rfc822_length
+                               (long)POP3->msgs[which_one-1].rfc822_length
                                );
                        return;
                }
@@ -198,9 +321,9 @@ void pop3_list(char *argbuf) {
                cprintf("+OK Here's your mail:\r\n");
                if (POP3->num_msgs > 0) for (i=0; i<POP3->num_msgs; ++i) {
                        if (! POP3->msgs[i].deleted) {
-                               cprintf("%d %d\r\n",
+                               cprintf("%d %ld\r\n",
                                        i+1,
-                                       POP3->msgs[i].rfc822_length);
+                                       (long)POP3->msgs[i].rfc822_length);
                        }
                }
                cprintf(".\r\n");
@@ -223,7 +346,7 @@ void pop3_stat(char *argbuf) {
                }
        }
 
-       cprintf("+OK %d %d\n", total_msgs, total_octets);
+       cprintf("+OK %d %ld\r\n", total_msgs, (long)total_octets);
 }
 
 
@@ -233,8 +356,6 @@ void pop3_stat(char *argbuf) {
  */
 void pop3_retr(char *argbuf) {
        int which_one;
-       int ch;
-       size_t bytes_remaining;
 
        which_one = atoi(argbuf);
        if ( (which_one < 1) || (which_one > POP3->num_msgs) ) {
@@ -247,13 +368,8 @@ void pop3_retr(char *argbuf) {
                return;
        }
 
-       cprintf("+OK Whoop, there it is:\r\n");
-       bytes_remaining = POP3->msgs[which_one -1].rfc822_length;
-       rewind(POP3->msgs[which_one - 1].temp);
-       while (bytes_remaining-- > 0) {
-               ch = getc(POP3->msgs[which_one - 1].temp);
-               cprintf("%c", ch);
-       }
+       cprintf("+OK Message %d:\r\n", which_one);
+       CtdlOutputMsg(POP3->msgs[which_one - 1].msgnum, MT_RFC822, HEADERS_ALL, 0, 1, NULL);
        cprintf(".\r\n");
 }
 
@@ -266,8 +382,10 @@ void pop3_top(char *argbuf) {
        int lines_requested = 0;
        int lines_dumped = 0;
        char buf[1024];
+       char *msgtext;
        char *ptr;
        int in_body = 0;
+       int done = 0;
 
        sscanf(argbuf, "%d %d", &which_one, &lines_requested);
        if ( (which_one < 1) || (which_one > POP3->num_msgs) ) {
@@ -280,15 +398,40 @@ void pop3_top(char *argbuf) {
                return;
        }
 
-       cprintf("+OK Whoop, there it is:\r\n");
-       rewind(POP3->msgs[which_one - 1].temp);
-       while (ptr = fgets(buf, sizeof buf, POP3->msgs[which_one - 1].temp),
-             ( (ptr!=NULL) && (lines_dumped < lines_requested) ) ) {
-               client_write(buf, strlen(buf));
-               if (in_body) ++lines_dumped;
+       CC->redirect_buffer = malloc(SIZ);
+       CC->redirect_len = 0;
+       CC->redirect_alloc = SIZ;
+       CtdlOutputMsg(POP3->msgs[which_one - 1].msgnum,
+                       MT_RFC822, HEADERS_ALL, 0, 1, NULL);
+       msgtext = CC->redirect_buffer;
+       CC->redirect_buffer = NULL;
+       CC->redirect_len = 0;
+       CC->redirect_alloc = 0;
+
+       cprintf("+OK Message %d:\r\n", which_one);
+
+       ptr = msgtext;
+
+       while (ptr = memreadline(ptr, buf, (sizeof buf - 2)),
+             ( (*ptr != 0) && (done == 0))) {
+               strcat(buf, "\r\n");
+               if (in_body == 1) {
+                       if (lines_dumped >= lines_requested) {
+                               done = 1;
+                       }
+               }
+               if ((in_body == 0) || (done == 0)) {
+                       client_write(buf, strlen(buf));
+               }
+               if (in_body) {
+                       ++lines_dumped;
+               }
                if ((buf[0]==13)||(buf[0]==10)) in_body = 1;
        }
+
        if (buf[strlen(buf)-1] != 10) cprintf("\n");
+       free(msgtext);
+
        cprintf(".\r\n");
 }
 
@@ -312,22 +455,46 @@ void pop3_dele(char *argbuf) {
 
        /* Flag the message as deleted.  Will expunge during QUIT command. */
        POP3->msgs[which_one - 1].deleted = 1;
-       cprintf("+OK Message %d disappears in a cloud of orange smoke.\r\n",
+       cprintf("+OK Message %d deleted.\r\n",
                which_one);
 }
 
 
-/* Perform "UPDATE state" stuff (remove messages marked for deletion)
+/* Perform "UPDATE state" stuff
  */
 void pop3_update(void) {
        int i;
+        struct visit vbuf;
 
-       if (POP3->num_msgs > 0) for (i=0; i<POP3->num_msgs; ++i) {
-               if (POP3->msgs[i].deleted) {
-                       CtdlDeleteMessages(MAILROOM,
-                               POP3->msgs[i].msgnum, NULL);
+       long *deletemsgs = NULL;
+       int num_deletemsgs = 0;
+
+       /* Remove messages marked for deletion */
+       if (POP3->num_msgs > 0) {
+               deletemsgs = malloc(POP3->num_msgs * sizeof(long));
+               for (i=0; i<POP3->num_msgs; ++i) {
+                       if (POP3->msgs[i].deleted) {
+                               deletemsgs[num_deletemsgs++] = POP3->msgs[i].msgnum;
+                       }
+               }
+               if (num_deletemsgs > 0) {
+                       CtdlDeleteMessages(MAILROOM, deletemsgs, num_deletemsgs, "");
                }
+               free(deletemsgs);
        }
+
+       /* Set last read pointer */
+       if (POP3->num_msgs > 0) {
+               lgetuser(&CC->user, CC->curr_user);
+
+               CtdlGetRelationship(&vbuf, &CC->user, &CC->room);
+               snprintf(vbuf.v_seen, sizeof vbuf.v_seen, "*:%ld",
+                       POP3->msgs[POP3->num_msgs-1].msgnum);
+               CtdlSetRelationship(&vbuf, &CC->user, &CC->room);
+
+               lputuser(&CC->user);
+       }
+
 }
 
 
@@ -342,11 +509,36 @@ void pop3_rset(char *argbuf) {
                        POP3->msgs[i].deleted = 0;
                }
        }
-       cprintf("+OK all that has come to pass, has now gone away.\r\n");
+       cprintf("+OK Reset completed.\r\n");
 }
 
 
 
+/* 
+ * LAST (Determine which message is the last unread message)
+ */
+void pop3_last(char *argbuf) {
+       cprintf("+OK %d\r\n", POP3->lastseen + 1);
+}
+
+
+/*
+ * CAPA is a command which tells the client which POP3 extensions
+ * are supported.
+ */
+void pop3_capa(void) {
+       cprintf("+OK Capability list follows\r\n"
+               "TOP\r\n"
+               "USER\r\n"
+               "UIDL\r\n"
+               "IMPLEMENTATION %s\r\n"
+               ".\r\n"
+               ,
+               CITADEL
+       );
+}
+
+
 
 /*
  * UIDL (Universal IDentifier Listing) is easy.  Our 'unique' message
@@ -370,7 +562,7 @@ void pop3_uidl(char *argbuf) {
                        return;
                }
                else {
-                       cprintf("+OK %d %ld\n",
+                       cprintf("+OK %d %ld\r\n",
                                which_one,
                                POP3->msgs[which_one-1].msgnum
                                );
@@ -393,26 +585,59 @@ void pop3_uidl(char *argbuf) {
 }
 
 
+/*
+ * implements the STLS command (Citadel API version)
+ */
+#ifdef HAVE_OPENSSL
+void pop3_stls(void)
+{
+       char ok_response[SIZ];
+       char nosup_response[SIZ];
+       char error_response[SIZ];
+
+       sprintf(ok_response,
+               "+OK Begin TLS negotiation now\r\n");
+       sprintf(nosup_response,
+               "-ERR TLS not supported here\r\n");
+       sprintf(error_response,
+               "-ERR Internal error\r\n");
+       CtdlStartTLS(ok_response, nosup_response, error_response);
+}
+#endif
+
+
+
+
+
 
 
 /* 
  * Main command loop for POP3 sessions.
  */
 void pop3_command_loop(void) {
-       char cmdbuf[256];
+       char cmdbuf[SIZ];
 
        time(&CC->lastcmd);
        memset(cmdbuf, 0, sizeof cmdbuf); /* Clear it, just in case */
-       if (client_gets(cmdbuf) < 1) {
-               lprintf(3, "POP3 socket is broken.  Ending session.\r\n");
+       if (client_getln(cmdbuf, sizeof cmdbuf) < 1) {
+               lprintf(CTDL_ERR, "Client disconnected: ending session.\r\n");
                CC->kill_me = 1;
                return;
        }
-       lprintf(5, "citserver[%3d]: %s\r\n", CC->cs_pid, cmdbuf);
+       if (!strncasecmp(cmdbuf, "PASS", 4)) {
+               lprintf(CTDL_INFO, "POP3: PASS...\r\n");
+       }
+       else {
+               lprintf(CTDL_INFO, "POP3: %s\r\n", cmdbuf);
+       }
        while (strlen(cmdbuf) < 5) strcat(cmdbuf, " ");
 
        if (!strncasecmp(cmdbuf, "NOOP", 4)) {
-               cprintf("+OK This command successfully did nothing.\r\n");
+               cprintf("+OK No operation.\r\n");
+       }
+
+       else if (!strncasecmp(cmdbuf, "CAPA", 4)) {
+               pop3_capa();
        }
 
        else if (!strncasecmp(cmdbuf, "QUIT", 4)) {
@@ -430,6 +655,17 @@ void pop3_command_loop(void) {
                pop3_pass(&cmdbuf[5]);
        }
 
+       else if (!strncasecmp(cmdbuf, "APOP", 4))
+       {
+               pop3_apop(&cmdbuf[5]);
+       }
+
+#ifdef HAVE_OPENSSL
+       else if (!strncasecmp(cmdbuf, "STLS", 4)) {
+               pop3_stls();
+       }
+#endif
+
        else if (!CC->logged_in) {
                cprintf("-ERR Not logged in.\r\n");
        }
@@ -462,20 +698,32 @@ void pop3_command_loop(void) {
                pop3_top(&cmdbuf[4]);
        }
 
+       else if (!strncasecmp(cmdbuf, "LAST", 4)) {
+               pop3_last(&cmdbuf[4]);
+       }
+
        else {
-               cprintf("500 I'm afraid I can't do that, Dave.\r\n");
+               cprintf("-ERR I'm afraid I can't do that.\r\n");
        }
 
 }
 
 
 
-char *Dynamic_Module_Init(void)
+char *serv_pop3_init(void)
 {
-       SYM_POP3 = CtdlGetDynamicSymbol();
-       CtdlRegisterServiceHook(POP3_PORT,
+       CtdlRegisterServiceHook(config.c_pop3_port,
+                               NULL,
                                pop3_greeting,
-                               pop3_command_loop);
+                               pop3_command_loop,
+                               NULL);
+#ifdef HAVE_OPENSSL
+       CtdlRegisterServiceHook(config.c_pop3s_port,
+                               NULL,
+                               pop3s_greeting,
+                               pop3_command_loop,
+                               NULL);
+#endif
        CtdlRegisterSessionHook(pop3_cleanup_function, EVT_STOP);
        return "$Id$";
 }