* Assorted tweaks to activate the translations...
[citadel.git] / webcit / webserver.c
index ca74302ca44bc452e65ed54df10f7699c39d30bd..91a1dfa5ce0754483f44a6bc501203e96ab753c0 100644 (file)
@@ -1,41 +1,13 @@
 /*
- * webserver.c
+ * $Id$
  *
  * This contains a simple multithreaded TCP server manager.  It sits around
  * waiting on the specified port for incoming HTTP connections.  When a
  * connection is established, it calls context_loop() from context_loop.c.
  *
- * $Id$
  */
 
-#include <ctype.h>
-#include <stdlib.h>
-#ifdef HAVE_UNISTD_H
-#include <unistd.h>
-#endif
-#include <stdio.h>
-#ifdef HAVE_FCNTL_H
-#include <fcntl.h>
-#endif
-#include <signal.h>
-#include <sys/types.h>
-#include <sys/wait.h>
-#include <sys/socket.h>
-#ifdef HAVE_SYS_TIME_H
-#include <sys/time.h>
-#endif
-#ifdef HAVE_LIMITS_H
-#include <limits.h>
-#endif
-#include <netinet/in.h>
-#include <arpa/inet.h>
-#include <netdb.h>
-#include <string.h>
-#include <pwd.h>
-#include <errno.h>
-#include <stdarg.h>
-#include <pthread.h>
-#include <signal.h>
+
 #include "webcit.h"
 #include "webserver.h"
 
@@ -46,6 +18,7 @@ int vsnprintf(char *buf, size_t max, const char *fmt, va_list argp);
 int verbosity = 9;             /* Logging level */
 int msock;                     /* master listening socket */
 int is_https = 0;              /* Nonzero if I am an HTTPS service */
+int follow_xff = 0;            /* Follow X-Forwarded-For: header */
 extern void *context_loop(int);
 extern void *housekeeping_loop(void);
 extern pthread_mutex_t SessionListMutex;
@@ -57,6 +30,8 @@ char *server_cookie = NULL;
 
 char *ctdlhost = DEFAULT_HOST;
 char *ctdlport = DEFAULT_PORT;
+int setup_wizard = 0;
+char wizard_filename[PATH_MAX];
 
 /*
  * This is a generic function to set up a master socket for listening on
@@ -71,8 +46,7 @@ int ig_tcp_server(char *ip_addr, int port_number, int queue_len)
        sin.sin_family = AF_INET;
        if (ip_addr == NULL) {
                sin.sin_addr.s_addr = INADDR_ANY;
-       }
-       else {
+       } else {
                sin.sin_addr.s_addr = inet_addr(ip_addr);
        }
 
@@ -88,8 +62,7 @@ int ig_tcp_server(char *ip_addr, int port_number, int queue_len)
 
        s = socket(PF_INET, SOCK_STREAM, (getprotobyname("tcp")->p_proto));
        if (s < 0) {
-               lprintf(1, "Can't create a socket: %s\n",
-                      strerror(errno));
+               lprintf(1, "Can't create a socket: %s\n", strerror(errno));
                exit(errno);
        }
        /* Set some socket options that make sense. */
@@ -125,7 +98,7 @@ int client_read_to(int sock, char *buf, int bytes, int timeout)
 
 #ifdef HAVE_OPENSSL
        if (is_https) {
-               return(client_read_ssl(buf, bytes, timeout));
+               return (client_read_ssl(buf, bytes, timeout));
        }
 #endif
 
@@ -136,8 +109,7 @@ int client_read_to(int sock, char *buf, int bytes, int timeout)
                tv.tv_sec = timeout;
                tv.tv_usec = 0;
 
-               retval = select((sock) + 1,
-                               &rfds, NULL, NULL, &tv);
+               retval = select((sock) + 1, &rfds, NULL, NULL, &tv);
                if (FD_ISSET(sock, &rfds) == 0) {
                        return (0);
                }
@@ -146,26 +118,163 @@ int client_read_to(int sock, char *buf, int bytes, int timeout)
 
                if (rlen < 1) {
                        lprintf(2, "client_read() failed: %s\n",
-                              strerror(errno));
-                       return(-1);
+                               strerror(errno));
+                       return (-1);
                }
                len = len + rlen;
        }
+
+#ifdef HTTP_TRACING
+       write(2, "\033[32m", 5);
+       write(2, buf, bytes);
+       write(2, "\033[30m", 5);
+#endif
        return (1);
 }
 
 
-ssize_t client_write(const void *buf, size_t count) {
+ssize_t client_write(const void *buf, size_t count)
+{
+
+       if (WC->burst != NULL) {
+               WC->burst =
+                   realloc(WC->burst, (WC->burst_len + count + 2));
+               memcpy(&WC->burst[WC->burst_len], buf, count);
+               WC->burst_len += count;
+               return (count);
+       }
 #ifdef HAVE_OPENSSL
        if (is_https) {
-               client_write_ssl((char *)buf, count);
-               return(count);
+               client_write_ssl((char *) buf, count);
+               return (count);
+       }
+#endif
+#ifdef HTTP_TRACING
+       write(2, "\033[34m", 5);
+       write(2, buf, count);
+       write(2, "\033[30m", 5);
+#endif
+       return (write(WC->http_sock, buf, count));
+}
+
+
+void begin_burst(void)
+{
+       if (WC->burst != NULL) {
+               free(WC->burst);
+               WC->burst = NULL;
+       }
+       WC->burst_len = 0;
+       WC->burst = malloc(SIZ);
+}
+
+
+/*
+ * compress_gzip() uses the same calling syntax as compress2(), but it
+ * creates a stream compatible with HTTP "Content-encoding: gzip"
+ */
+#ifdef HAVE_ZLIB
+#define DEF_MEM_LEVEL 8
+#define OS_CODE 0x03   /* unix */
+int ZEXPORT compress_gzip(Bytef * dest, uLongf * destLen,
+                         const Bytef * source, uLong sourceLen, int level)
+{
+       const int gz_magic[2] = { 0x1f, 0x8b }; /* gzip magic header */
+
+       /* write gzip header */
+       sprintf((char *) dest, "%c%c%c%c%c%c%c%c%c%c",
+               gz_magic[0], gz_magic[1], Z_DEFLATED,
+               0 /*flags */ , 0, 0, 0, 0 /*time */ , 0 /*xflags */ ,
+               OS_CODE);
+
+       /* normal deflate */
+       z_stream stream;
+       int err;
+       stream.next_in = (Bytef *) source;
+       stream.avail_in = (uInt) sourceLen;
+       stream.next_out = dest + 10L;   // after header
+       stream.avail_out = (uInt) * destLen;
+       if ((uLong) stream.avail_out != *destLen)
+               return Z_BUF_ERROR;
+
+       stream.zalloc = (alloc_func) 0;
+       stream.zfree = (free_func) 0;
+       stream.opaque = (voidpf) 0;
+
+       err = deflateInit2(&stream, level, Z_DEFLATED, -MAX_WBITS,
+                          DEF_MEM_LEVEL, Z_DEFAULT_STRATEGY);
+       if (err != Z_OK)
+               return err;
+
+       err = deflate(&stream, Z_FINISH);
+       if (err != Z_STREAM_END) {
+               deflateEnd(&stream);
+               return err == Z_OK ? Z_BUF_ERROR : err;
+       }
+       *destLen = stream.total_out + 10L;
+
+       /* write CRC and Length */
+       uLong crc = crc32(0L, source, sourceLen);
+       int n;
+       for (n = 0; n < 4; ++n, ++*destLen) {
+               dest[*destLen] = (int) (crc & 0xff);
+               crc >>= 8;
        }
+       uLong len = stream.total_in;
+       for (n = 0; n < 4; ++n, ++*destLen) {
+               dest[*destLen] = (int) (len & 0xff);
+               len >>= 8;
+       }
+       err = deflateEnd(&stream);
+       return err;
+}
 #endif
-       return(write(WC->http_sock, buf, count));
+
+void end_burst(void)
+{
+       size_t the_len;
+       char *the_data;
+
+       if (WC->burst == NULL)
+               return;
+
+       the_len = WC->burst_len;
+       the_data = WC->burst;
+
+       WC->burst_len = 0;
+       WC->burst = NULL;
+
+#ifdef HAVE_ZLIB
+       /* Handle gzip compression */
+       if (WC->gzip_ok) {
+               char *compressed_data = NULL;
+               uLongf compressed_len;
+
+               compressed_len = (uLongf) ((the_len * 101) / 100) + 100;
+               compressed_data = malloc(compressed_len);
+
+               if (compress_gzip((Bytef *) compressed_data,
+                                 &compressed_len,
+                                 (Bytef *) the_data,
+                                 (uLongf) the_len, Z_BEST_SPEED) == Z_OK) {
+                       wprintf("Content-encoding: gzip\r\n");
+                       free(the_data);
+                       the_data = compressed_data;
+                       the_len = compressed_len;
+               } else {
+                       free(compressed_data);
+               }
+       }
+#endif                         /* HAVE_ZLIB */
+
+       wprintf("Content-length: %d\r\n\r\n", the_len);
+       client_write(the_data, the_len);
+       free(the_data);
+       return;
 }
 
 
+
 /*
  * Read data from the client socket with default timeout.
  * (This is implemented in terms of client_read_to() and could be
@@ -178,11 +287,11 @@ int client_read(int sock, char *buf, int bytes)
 
 
 /*
- * client_gets()   ...   Get a LF-terminated line of text from the client.
+ * client_getln()   ...   Get a LF-terminated line of text from the client.
  * (This is implemented in terms of client_read() and could be
  * justifiably moved out of sysdep.c)
  */
-int client_gets(int sock, char *buf)
+int client_getln(int sock, char *buf, int bufsiz)
 {
        int i, retval;
 
@@ -190,13 +299,13 @@ int client_gets(int sock, char *buf)
         */
        for (i = 0;; i++) {
                retval = client_read(sock, &buf[i], 1);
-               if (retval != 1 || buf[i] == '\n' || i == 255)
+               if (retval != 1 || buf[i] == '\n' || i == (bufsiz-1))
                        break;
        }
 
        /* If we got a long line, discard characters until the newline.
         */
-       if (i == 255)
+       if (i == (bufsiz-1))
                while (buf[i] != '\n' && retval == 1)
                        retval = client_read(sock, &buf[i], 1);
 
@@ -228,9 +337,11 @@ void start_daemon(int do_close_stdio)
                exit(0);
 }
 
-void spawn_another_worker_thread() {
+void spawn_another_worker_thread()
+{
        pthread_t SessThread;   /* Thread descriptor */
        pthread_attr_t attr;    /* Thread attributes */
+       int ret;
 
        lprintf(3, "Creating a new thread\n");
 
@@ -238,12 +349,21 @@ void spawn_another_worker_thread() {
        pthread_attr_init(&attr);
        pthread_attr_setdetachstate(&attr, PTHREAD_CREATE_DETACHED);
 
+       /* Our per-thread stacks need to be bigger than the default size, otherwise
+        * the MIME parser crashes on FreeBSD, and the IMAP service crashes on
+        * 64-bit Linux.
+        */
+       if ((ret = pthread_attr_setstacksize(&attr, 1024 * 1024))) {
+               lprintf(1, "pthread_attr_setstacksize: %s\n",
+                       strerror(ret));
+               pthread_attr_destroy(&attr);
+       }
+
        /* now create the thread */
        if (pthread_create(&SessThread, &attr,
-                       (void *(*)(void *)) worker_entry, NULL)
-                  != 0) {
-               lprintf(1, "Can't create thread: %s\n",
-                       strerror(errno));
+                          (void *(*)(void *)) worker_entry, NULL)
+           != 0) {
+               lprintf(1, "Can't create thread: %s\n", strerror(errno));
        }
 
        /* free up the attributes */
@@ -261,22 +381,28 @@ int main(int argc, char **argv)
        int port = PORT_NUM;    /* Port to listen on */
        char tracefile[PATH_MAX];
        char ip_addr[256];
+       char *webcitdir = WEBCITDIR;
+       char *locale = NULL;
+       char *mo = NULL;
 
        /* Parse command line */
 #ifdef HAVE_OPENSSL
-       while ((a = getopt(argc, argv, "hi:p:t:cs")) != EOF)
+       while ((a = getopt(argc, argv, "h:i:p:t:x:cfs")) != EOF)
 #else
-       while ((a = getopt(argc, argv, "hi:p:t:c")) != EOF)
+       while ((a = getopt(argc, argv, "h:i:p:t:x:cf")) != EOF)
 #endif
                switch (a) {
+               case 'h':
+                       webcitdir = strdup(optarg);
+                       break;
                case 'i':
-                       strcpy(ip_addr, optarg);
+                       safestrncpy(ip_addr, optarg, sizeof ip_addr);
                        break;
                case 'p':
                        port = atoi(optarg);
                        break;
                case 't':
-                       strcpy(tracefile, optarg);
+                       safestrncpy(tracefile, optarg, sizeof tracefile);
                        freopen(tracefile, "w", stdout);
                        freopen(tracefile, "w", stderr);
                        freopen(tracefile, "r", stdin);
@@ -284,13 +410,18 @@ int main(int argc, char **argv)
                case 'x':
                        verbosity = atoi(optarg);
                        break;
+               case 'f':
+                       follow_xff = 1;
+                       break;
                case 'c':
-                       server_cookie = malloc(SIZ);
+                       server_cookie = malloc(256);
                        if (server_cookie != NULL) {
-                               strcpy(server_cookie, "Set-cookie: wcserver=");
-                               if (gethostname(
-                                  &server_cookie[strlen(server_cookie)],
-                                  200) != 0) {
+                               safestrncpy(server_cookie,
+                                      "Set-cookie: wcserver=",
+                                       256);
+                               if (gethostname
+                                   (&server_cookie[strlen(server_cookie)],
+                                    200) != 0) {
                                        lprintf(2, "gethostname: %s\n",
                                                strerror(errno));
                                        free(server_cookie);
@@ -303,7 +434,7 @@ int main(int argc, char **argv)
                default:
                        fprintf(stderr, "usage: webserver "
                                "[-i ip_addr] [-p http_port] "
-                               "[-t tracefile] [-c] "
+                               "[-t tracefile] [-c] [-f] "
 #ifdef HAVE_OPENSSL
                                "[-s] "
 #endif
@@ -317,22 +448,40 @@ int main(int argc, char **argv)
                        ctdlport = argv[optind];
        }
        /* Tell 'em who's in da house */
-       lprintf(1, SERVER "\n"
-"Copyright (C) 1996-2005 by the Citadel/UX development team.\n"
-"This software is distributed under the terms of the GNU General Public\n"
-"License.  If you paid for this software, someone is ripping you off.\n\n");
-
-       if (chdir(WEBCITDIR) != 0)
+       lprintf(1, SERVER "\n");
+       lprintf(1, "Copyright (C) 1996-2005 by the Citadel development team.\n"
+               "This software is distributed under the terms of the "
+               "GNU General Public License.\n\n"
+       );
+
+       lprintf(9, "Changing directory to %s\n", webcitdir);
+       if (chdir(webcitdir) != 0) {
                perror("chdir");
+       }
 
-        /*
-         * Set up a place to put thread-specific data.
-         * We only need a single pointer per thread - it points to the
-         * wcsession struct to which the thread is currently bound.
-         */
-        if (pthread_key_create(&MyConKey, NULL) != 0) {
-                lprintf(1, "Can't create TSD key: %s\n", strerror(errno));
-        }
+       /* initialize the International Bright Young Thing */
+#ifdef ENABLE_NLS
+       locale = setlocale(LC_ALL, "");
+
+       mo = malloc(strlen(webcitdir) + 20);
+       sprintf(mo, "%s/locale", webcitdir);
+       lprintf(9, "Message catalog directory: %s\n",
+               bindtextdomain("webcit", mo)
+       );
+       free(mo);
+       lprintf(9, "Text domain: %s\n",
+               textdomain("webcit")
+       );
+#endif
+
+       /*
+        * Set up a place to put thread-specific data.
+        * We only need a single pointer per thread - it points to the
+        * wcsession struct to which the thread is currently bound.
+        */
+       if (pthread_key_create(&MyConKey, NULL) != 0) {
+               lprintf(1, "Can't create TSD key: %s\n", strerror(errno));
+       }
 
        /*
         * Set up a place to put thread-specific SSL data.
@@ -341,9 +490,9 @@ int main(int argc, char **argv)
         * transactions.
         */
 #ifdef HAVE_OPENSSL
-        if (pthread_key_create(&ThreadSSL, NULL) != 0) {
-                lprintf(1, "Can't create TSD key: %s\n", strerror(errno));
-        }
+       if (pthread_key_create(&ThreadSSL, NULL) != 0) {
+               lprintf(1, "Can't create TSD key: %s\n", strerror(errno));
+       }
 #endif
 
        /*
@@ -377,7 +526,7 @@ int main(int argc, char **argv)
 #endif
 
        /* Start a few initial worker threads */
-       for (i=0; i<(MIN_WORKER_THREADS); ++i) {
+       for (i = 0; i < (MIN_WORKER_THREADS); ++i) {
                spawn_another_worker_thread();
        }
 
@@ -390,7 +539,8 @@ int main(int argc, char **argv)
 /*
  * Entry point for worker threads
  */
-void worker_entry(void) {
+void worker_entry(void)
+{
        int ssock;
        int i = 0;
        int time_to_die = 0;
@@ -401,12 +551,13 @@ void worker_entry(void) {
                fail_this_transaction = 0;
                ssock = accept(msock, NULL, 0);
                if (ssock < 0) {
-                       lprintf(2, "accept() failed: %s\n", strerror(errno));
+                       lprintf(2, "accept() failed: %s\n",
+                               strerror(errno));
                } else {
                        /* Set the SO_REUSEADDR socket option */
                        i = 1;
                        setsockopt(ssock, SOL_SOCKET, SO_REUSEADDR,
-                               &i, sizeof(i));
+                                  &i, sizeof(i));
 
                        /* If we are an HTTPS server, go crypto now. */
 #ifdef HAVE_OPENSSL