Remove $Id$ tags from most of webcit
[citadel.git] / webcit / context_loop.c
index a3b47acad173a49913fd3590af4bce3a2d97bb69..c3e4e4fc9b3eb93dd15e763b3e2add0e28a2eaf3 100644 (file)
@@ -1,11 +1,24 @@
 /*
- * $Id$
- *
  * This is the other half of the webserver.  It handles the task of hooking
  * up HTTP requests with the sessions they belong to, using HTTP cookies to
  * keep track of things.  If the HTTP request doesn't belong to any currently
  * active session, a new session is started.
  *
+ * Copyright (c) 1996-2010 by the citadel.org team
+ *
+ * This program is free software; you can redistribute it and/or modify
+ * it under the terms of the GNU General Public License as published by
+ * the Free Software Foundation; either version 3 of the License, or
+ * (at your option) any later version.
+ *
+ * This program is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+ * GNU General Public License for more details.
+ *
+ * You should have received a copy of the GNU General Public License
+ * along with this program; if not, write to the Free Software
+ * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  */
 
 #include "webcit.h"
 /* Only one thread may manipulate SessionList at a time... */
 pthread_mutex_t SessionListMutex;
 
-wcsession *SessionList = NULL; /**< our sessions ????*/
+wcsession *SessionList = NULL; /* Linked list of all webcit sessions */
 
-pthread_key_t MyConKey;         /**< TSD key for MySession() */
+pthread_key_t MyConKey;         /* TSD key for MySession() */
 HashList *HttpReqTypes = NULL;
 HashList *HttpHeaderHandler = NULL;
 extern HashList *HandlerHash;
 
+/* the following two values start at 1 because the initial parent thread counts as one. */
+int num_threads_existing = 1;          /* Number of worker threads which exist. */
+int num_threads_executing = 1;         /* Number of worker threads currently executing. */
+
 void DestroyHttpHeaderHandler(void *V)
 {
        OneHttpHeader *pHdr;
@@ -43,25 +60,20 @@ void do_housekeeping(void)
 {
        wcsession *sptr, *ss;
        wcsession *sessions_to_kill = NULL;
-       int num_sessions = 0;
-       static int num_threads = MIN_WORKER_THREADS;
 
-       /**
+       /*
         * Lock the session list, moving any candidates for euthanasia into
         * a separate list.
         */
        pthread_mutex_lock(&SessionListMutex);
-       num_sessions = 0;
        for (sptr = SessionList; sptr != NULL; sptr = sptr->next) {
-               ++num_sessions;
 
-               /** Kill idle sessions */
-               if ((time(NULL) - (sptr->lastreq)) >
-                  (time_t) WEBCIT_TIMEOUT) {
+               /* Kill idle sessions */
+               if ((time(NULL) - (sptr->lastreq)) > (time_t) WEBCIT_TIMEOUT) {
                        sptr->killthis = 1;
                }
 
-               /** Remove sessions flagged for kill */
+               /* Remove sessions flagged for kill */
                if (sptr->killthis) {
 
                        /** remove session from linked list */
@@ -80,7 +92,7 @@ void do_housekeeping(void)
        }
        pthread_mutex_unlock(&SessionListMutex);
 
-       /**
+       /*
         * Now free up and destroy the culled sessions.
         */
        while (sessions_to_kill != NULL) {
@@ -91,20 +103,28 @@ void do_housekeeping(void)
 
                session_destroy_modules(&sessions_to_kill);
                sessions_to_kill = sptr;
-               --num_sessions;
        }
+}
 
-       /**
-        * If there are more sessions than threads, then we should spawn
-        * more threads ... up to a predefined maximum.
-        */
-       while ( (num_sessions > num_threads)
-             && (num_threads <= MAX_WORKER_THREADS) ) {
+/*
+ * Check the size of our thread pool.  If all threads are executing, spawn another.
+ */
+void check_thread_pool_size(void)
+{
+       if (time_to_die) return;                /* don't expand the thread pool during shutdown */
+
+       begin_critical_section(S_SPAWNER);      /* only one of these should run at a time */
+       while (
+               (num_threads_executing >= num_threads_existing)
+               && (num_threads_existing < MAX_WORKER_THREADS)
+       ) {
+               lprintf(3, "%d of %d threads are executing.  Adding another worker thread.\n",
+                       num_threads_executing,
+                       num_threads_existing
+               );
                spawn_another_worker_thread();
-               ++num_threads;
-               lprintf(3, "There are %d sessions and %d threads active.\n",
-                       num_sessions, num_threads);
        }
+       end_critical_section(S_SPAWNER);
 }
 
 
@@ -138,49 +158,58 @@ int GenerateSessionID(void)
 
 wcsession *FindSession(wcsession **wclist, ParsedHttpHdrs *Hdr, pthread_mutex_t *ListMutex)
 {
-       wcsession  *sptr, *TheSession = NULL;   
+       wcsession *sptr = NULL;
+       wcsession *TheSession = NULL;   
        
+       if (Hdr->HR.got_auth == AUTH_BASIC) {
+               GetAuthBasic(Hdr);
+       }
+
        pthread_mutex_lock(ListMutex);
-       for (sptr = *wclist; 
-            ((sptr != NULL) && (TheSession == NULL)); 
-            sptr = sptr->next) {
+       for (sptr = *wclist; ((sptr != NULL) && (TheSession == NULL)); sptr = sptr->next) {
                
-               /** If HTTP-AUTH, look for a session with matching credentials */
+               /* If HTTP-AUTH, look for a session with matching credentials */
                switch (Hdr->HR.got_auth)
                {
                case AUTH_BASIC:
                        if ( (Hdr->HR.SessionKey != sptr->SessionKey))
                                continue;
-                       GetAuthBasic(Hdr);
                        if ((!strcasecmp(ChrPtr(Hdr->c_username), ChrPtr(sptr->wc_username))) &&
-                           (!strcasecmp(ChrPtr(Hdr->c_password), ChrPtr(sptr->wc_password))) ) 
+                           (!strcasecmp(ChrPtr(Hdr->c_password), ChrPtr(sptr->wc_password))) ) {
                                TheSession = sptr;
+                       }
+                       if (TheSession == NULL)
+                               lprintf(1, "found sessionkey [%ld], but credentials for [%s|%s] didn't match\n",
+                                       Hdr->HR.SessionKey,ChrPtr(Hdr->c_username), ChrPtr(sptr->wc_username));
                        break;
                case AUTH_COOKIE:
-                       /** If cookie-session, look for a session with matching session ID */
+                       /* If cookie-session, look for a session with matching session ID */
                        if ( (Hdr->HR.desired_session != 0) && 
-                            (sptr->wc_session == Hdr->HR.desired_session)) 
+                            (sptr->wc_session == Hdr->HR.desired_session)) {
                                TheSession = sptr;
+                       }
                        break;                       
                case NO_AUTH:
                        break;
                }
        }
        pthread_mutex_unlock(ListMutex);
+       if (TheSession == NULL)
+               lprintf(1, "didn't find sessionkey [%ld] for user [%s]\n",
+                       Hdr->HR.SessionKey,ChrPtr(Hdr->c_username));
        return TheSession;
 }
 
-wcsession *CreateSession(int Lockable, wcsession **wclist, ParsedHttpHdrs *Hdr, pthread_mutex_t *ListMutex)
+wcsession *CreateSession(int Lockable, int Static, wcsession **wclist, ParsedHttpHdrs *Hdr, pthread_mutex_t *ListMutex)
 {
        wcsession *TheSession;
-       lprintf(3, "Creating a new session\n");
-       TheSession = (wcsession *)
-               malloc(sizeof(wcsession));
+       if (!Static)
+               lprintf(3, "Creating a new session\n");
+       TheSession = (wcsession *) malloc(sizeof(wcsession));
        memset(TheSession, 0, sizeof(wcsession));
        TheSession->Hdr = Hdr;
        TheSession->SessionKey = Hdr->HR.SessionKey;
        TheSession->serv_sock = (-1);
-       TheSession->chat_sock = (-1);
        TheSession->is_mobile = -1;
 
        pthread_setspecific(MyConKey, (void *)TheSession);
@@ -197,7 +226,7 @@ wcsession *CreateSession(int Lockable, wcsession **wclist, ParsedHttpHdrs *Hdr,
        else {
                TheSession->wc_session = Hdr->HR.desired_session;
        }
-
+       Hdr->HR.Static = Static;
        session_new_modules(TheSession);
 
        if (Lockable) {
@@ -218,8 +247,8 @@ wcsession *CreateSession(int Lockable, wcsession **wclist, ParsedHttpHdrs *Hdr,
 }
 
 
-/**
- * \brief Detects a 'mobile' user agent 
+/*
+ * Detects a 'mobile' user agent 
  */
 int is_mobile_ua(char *user_agent) {
       if (strstr(user_agent,"iPhone OS") != NULL) {
@@ -242,7 +271,7 @@ void do_404(void)
 {
        hprintf("HTTP/1.1 404 Not found\r\n");
        hprintf("Content-Type: text/plain\r\n");
-       wprintf("Not found\r\n");
+       wc_printf("Not found\r\n");
        end_burst();
 }
 
@@ -310,7 +339,7 @@ int ReadHttpSubject(ParsedHttpHdrs *Hdr, StrBuf *Line, StrBuf *Buf)
                break;
        } while (1);
        /* remove the handlername from the URL */
-       if (Pos != NULL) {
+       if ((Pos != NULL) && (Pos != StrBufNOTNULL)){
                StrBufCutLeft(Hdr->HR.ReqLine, 
                              Pos - ChrPtr(Hdr->HR.ReqLine));
        }
@@ -367,7 +396,7 @@ int ReadHTTPRequest (ParsedHttpHdrs *Hdr)
        LastLine = NULL;
        do {
                nLine ++;
-               Line = NewStrBuf();
+               Line = NewStrBufPlain(NULL, SIZ / 4);
 
                if (ClientGetLine(Hdr, Line) < 0) return 1;
 
@@ -405,9 +434,10 @@ int ReadHTTPRequest (ParsedHttpHdrs *Hdr)
                StrBufExtract_token(HeaderName, Line, 0, ':');
 
                pchs = ChrPtr(Line);
+               pche = pchs + StrLength(Line);
                pch = pchs + StrLength(HeaderName) + 1;
                pche = pchs + StrLength(Line);
-               while (isspace(*pch) && (pch < pche))
+               while ((pch < pche) && isspace(*pch))
                        pch ++;
                StrBufCutLeft(Line, pch - pchs);
 
@@ -437,8 +467,13 @@ void OverrideRequest(ParsedHttpHdrs *Hdr, const char *Line, long len)
 {
        StrBuf *Buf = NewStrBuf();
 
-       FlushStrBuf(Hdr->HR.ReqLine);
-       StrBufPlain(Hdr->HR.ReqLine, Line, len);
+       if (Hdr->HR.ReqLine != NULL) {
+               FlushStrBuf(Hdr->HR.ReqLine);
+               StrBufPlain(Hdr->HR.ReqLine, Line, len);
+       }
+       else {
+               Hdr->HR.ReqLine = NewStrBufPlain(Line, len);
+       }
        ReadHttpSubject(Hdr, Hdr->HR.ReqLine, Buf);
 
        FreeStrBuf(&Buf);
@@ -471,6 +506,7 @@ void context_loop(ParsedHttpHdrs *Hdr)
         */
        isbogus = ReadHTTPRequest(Hdr);
 
+       Hdr->HR.dav_depth = 32767; /* TODO: find a general way to have non-0 defaults */
        if (!isbogus)
                isbogus = AnalyseHeaders(Hdr);
 
@@ -480,7 +516,7 @@ void context_loop(ParsedHttpHdrs *Hdr)
        {
                wcsession *Bogus;
 
-               Bogus = CreateSession(0, NULL, Hdr, NULL);
+               Bogus = CreateSession(0, 1, NULL, Hdr, NULL);
 
                do_404();
 
@@ -495,11 +531,10 @@ void context_loop(ParsedHttpHdrs *Hdr)
                return;
        }
 
-       if ((Hdr->HR.Handler != NULL) && 
-           ((Hdr->HR.Handler->Flags & ISSTATIC) != 0))
+       if ((Hdr->HR.Handler != NULL) && ((Hdr->HR.Handler->Flags & ISSTATIC) != 0))
        {
                wcsession *Static;
-               Static = CreateSession(0, NULL, Hdr, NULL);
+               Static = CreateSession(0, 1, NULL, Hdr, NULL);
                
                Hdr->HR.Handler->F();
 
@@ -521,30 +556,33 @@ void context_loop(ParsedHttpHdrs *Hdr)
                return;
        }
 
-       if (Hdr->HR.got_auth == AUTH_BASIC) 
+       if (Hdr->HR.got_auth == AUTH_BASIC) {
                CheckAuthBasic(Hdr);
+       }
 
-
-/*     dbg_PrintHash(HTTPHeaders, nix, NULL);  */
-
-       /**
+       /*
         * See if there's an existing session open with the desired ID or user/pass
         */
-       TheSession = NULL;
-
-       if (TheSession == NULL) {
-               TheSession = FindSession(&SessionList, Hdr, &SessionListMutex);
-       }
+       TheSession = FindSession(&SessionList, Hdr, &SessionListMutex);
 
-       /**
+       /*
         * Create a new session if we have to
         */
        if (TheSession == NULL) {
-               TheSession = CreateSession(1, &SessionList, Hdr, &SessionListMutex);
+               TheSession = CreateSession(1, 0, &SessionList, Hdr, &SessionListMutex);
+
+               if ((StrLength(Hdr->c_username) == 0) && (!Hdr->HR.DontNeedAuth)) {
 
-               if ((StrLength(Hdr->c_username) == 0) &&
-                   (!Hdr->HR.DontNeedAuth))
-                       OverrideRequest(Hdr, HKEY("GET /static/nocookies.html?force_close_session=yes HTTP/1.0"));
+                       if ((Hdr->HR.Handler != NULL) && 
+                           (XHTTP_COMMANDS & Hdr->HR.Handler->Flags) == XHTTP_COMMANDS) {
+                               OverrideRequest(Hdr, HKEY("GET /401 HTTP/1.0"));
+                               Hdr->HR.prohibit_caching = 1;                           
+                       }
+                       else {
+                               OverrideRequest(Hdr, HKEY("GET /static/nocookies.html?force_close_session=yes HTTP/1.0"));
+                               Hdr->HR.prohibit_caching = 1;
+                       }
+               }
                
                if (StrLength(Hdr->c_language) > 0) {
                        lprintf(9, "Session cookie requests language '%s'\n", ChrPtr(Hdr->c_language));
@@ -604,11 +642,6 @@ void tmplput_current_user(StrBuf *Target, WCTemplputParams *TP)
        StrBufAppendTemplate(Target, TP, WC->wc_fullname, 0);
 }
 
-void tmplput_current_room(StrBuf *Target, WCTemplputParams *TP)
-{
-       StrBufAppendTemplate(Target, TP, WC->wc_roomname, 0); 
-}
-
 void Header_HandleContentLength(StrBuf *Line, ParsedHttpHdrs *hdr)
 {
        hdr->HR.ContentLength = StrToi(Line);
@@ -756,27 +789,27 @@ InitModule_CONTEXT
        RegisterHeaderHandler(HKEY("CONTENT-LENGTH"), Header_HandleContentLength);
        RegisterHeaderHandler(HKEY("CONTENT-TYPE"), Header_HandleContentType);
        RegisterHeaderHandler(HKEY("USER-AGENT"), Header_HandleUserAgent);
-       RegisterHeaderHandler(HKEY("X-FORWARDED-HOST"), Header_HandleXFFHost);
+       RegisterHeaderHandler(HKEY("X-FORWARDED-HOST"), Header_HandleXFFHost); /* Apache way... */
+       RegisterHeaderHandler(HKEY("X-REAL-IP"), Header_HandleXFFHost);        /* NGinX way... */
        RegisterHeaderHandler(HKEY("HOST"), Header_HandleHost);
        RegisterHeaderHandler(HKEY("X-FORWARDED-FOR"), Header_HandleXFF);
        RegisterHeaderHandler(HKEY("ACCEPT-ENCODING"), Header_HandleAcceptEncoding);
        RegisterHeaderHandler(HKEY("IF-MODIFIED-SINCE"), Header_HandleIfModSince);
 
-       RegisterNamespace("CURRENT_USER", 0, 1, tmplput_current_user, CTX_NONE);
-       RegisterNamespace("CURRENT_ROOM", 0, 1, tmplput_current_room, CTX_NONE);
-       RegisterNamespace("NONCE", 0, 0, tmplput_nonce, 0);
+       RegisterNamespace("CURRENT_USER", 0, 1, tmplput_current_user, NULL, CTX_NONE);
+       RegisterNamespace("NONCE", 0, 0, tmplput_nonce, NULL, 0);
 
-       WebcitAddUrlHandler(HKEY("404"), do_404, ANONYMOUS|COOKIEUNNEEDED);
+       WebcitAddUrlHandler(HKEY("404"), "", 0, do_404, ANONYMOUS|COOKIEUNNEEDED);
 /*
  * Look for commonly-found probes of malware such as worms, viruses, trojans, and Microsoft Office.
  * Short-circuit these requests so we don't have to send them through the full processing loop.
  */
-       WebcitAddUrlHandler(HKEY("scripts"), do_404, ANONYMOUS|BOGUS); /* /root.exe     /* Worms and trojans and viruses, oh my! */
-       WebcitAddUrlHandler(HKEY("c"), do_404, ANONYMOUS|BOGUS);        /* /winnt */
-       WebcitAddUrlHandler(HKEY("MSADC"), do_404, ANONYMOUS|BOGUS);
-       WebcitAddUrlHandler(HKEY("_vti"), do_404, ANONYMOUS|BOGUS);             /* Broken Microsoft DAV implementation */
-       WebcitAddUrlHandler(HKEY("MSOffice"), do_404, ANONYMOUS|BOGUS);         /* Stoopid MSOffice thinks everyone is IIS */
-       WebcitAddUrlHandler(HKEY("nonexistenshit"), do_404, ANONYMOUS|BOGUS);   /* Exploit found in the wild January 2009 */
+       WebcitAddUrlHandler(HKEY("scripts"), "", 0, do_404, ANONYMOUS|BOGUS);           /* /root.exe - Worms and trojans and viruses, oh my! */
+       WebcitAddUrlHandler(HKEY("c"), "", 0, do_404, ANONYMOUS|BOGUS);         /* /winnt */
+       WebcitAddUrlHandler(HKEY("MSADC"), "", 0, do_404, ANONYMOUS|BOGUS);
+       WebcitAddUrlHandler(HKEY("_vti"), "", 0, do_404, ANONYMOUS|BOGUS);              /* Broken Microsoft DAV implementation */
+       WebcitAddUrlHandler(HKEY("MSOffice"), "", 0, do_404, ANONYMOUS|BOGUS);          /* Stoopid MSOffice thinks everyone is IIS */
+       WebcitAddUrlHandler(HKEY("nonexistenshit"), "", 0, do_404, ANONYMOUS|BOGUS);    /* Exploit found in the wild January 2009 */
 }
        
 
@@ -784,8 +817,8 @@ void
 HttpNewModule_CONTEXT
 (ParsedHttpHdrs *httpreq)
 {
-       httpreq->PlainArgs = NewStrBuf();
-       httpreq->this_page = NewStrBuf();
+       httpreq->PlainArgs = NewStrBufPlain(NULL, SIZ);
+       httpreq->this_page = NewStrBufPlain(NULL, SIZ);
 }
 
 void