* All OS-level includes are now included from webcit.h instead of from
[citadel.git] / webcit / context_loop.c
1 /*
2  * $Id$
3  *
4  * This is the other half of the webserver.  It handles the task of hooking
5  * up HTTP requests with the sessions they belong to, using HTTP cookies to
6  * keep track of things.  If the HTTP request doesn't belong to any currently
7  * active session, a new session is started.
8  *
9  */
10
11 #include "webcit.h"
12 #include "webserver.h"
13
14 /* Only one thread may manipulate SessionList at a time... */
15 pthread_mutex_t SessionListMutex;
16
17 struct wcsession *SessionList = NULL;
18
19 pthread_key_t MyConKey;                         /* TSD key for MySession() */
20
21
22 void free_attachments(struct wcsession *sess) {
23         struct wc_attachment *att;
24
25         while (sess->first_attachment != NULL) {
26                 att = sess->first_attachment;
27                 sess->first_attachment = sess->first_attachment->next;
28                 free(att->data);
29                 free(att);
30         }
31 }
32
33
34 void do_housekeeping(void)
35 {
36         struct wcsession *sptr, *ss;
37         struct wcsession *sessions_to_kill = NULL;
38         int num_sessions = 0;
39         static int num_threads = MIN_WORKER_THREADS;
40
41         /*
42          * Lock the session list, moving any candidates for euthanasia into
43          * a separate list.
44          */
45         pthread_mutex_lock(&SessionListMutex);
46         num_sessions = 0;
47         for (sptr = SessionList; sptr != NULL; sptr = sptr->next) {
48                 ++num_sessions;
49
50                 /* Kill idle sessions */
51                 if ((time(NULL) - (sptr->lastreq)) >
52                    (time_t) WEBCIT_TIMEOUT) {
53                         sptr->killthis = 1;
54                 }
55
56                 /* Remove sessions flagged for kill */
57                 if (sptr->killthis) {
58
59                         /* remove session from linked list */
60                         if (sptr == SessionList) {
61                                 SessionList = SessionList->next;
62                         }
63                         else for (ss=SessionList;ss!=NULL;ss=ss->next) {
64                                 if (ss->next == sptr) {
65                                         ss->next = ss->next->next;
66                                 }
67                         }
68
69                         sptr->next = sessions_to_kill;
70                         sessions_to_kill = sptr;
71                 }
72         }
73         pthread_mutex_unlock(&SessionListMutex);
74
75         /*
76          * Now free up and destroy the culled sessions.
77          */
78         while (sessions_to_kill != NULL) {
79                 lprintf(3, "Destroying session %d\n", sessions_to_kill->wc_session);
80                 pthread_mutex_lock(&sessions_to_kill->SessionMutex);
81                 close(sessions_to_kill->serv_sock);
82                 close(sessions_to_kill->chat_sock);
83                 if (sessions_to_kill->preferences != NULL) {
84                         free(sessions_to_kill->preferences);
85                 }
86                 free_attachments(sessions_to_kill);
87                 pthread_mutex_unlock(&sessions_to_kill->SessionMutex);
88                 sptr = sessions_to_kill->next;
89                 free(sessions_to_kill);
90                 sessions_to_kill = sptr;
91                 --num_sessions;
92         }
93
94         /*
95          * If there are more sessions than threads, then we should spawn
96          * more threads ... up to a predefined maximum.
97          */
98         while ( (num_sessions > num_threads)
99               && (num_threads <= MAX_WORKER_THREADS) ) {
100                 spawn_another_worker_thread();
101                 ++num_threads;
102                 lprintf(3, "There are %d sessions and %d threads active.\n",
103                         num_sessions, num_threads);
104         }
105 }
106
107
108 /* 
109  * Wake up occasionally and clean house
110  */
111 void housekeeping_loop(void)
112 {
113         while (1) {
114                 sleeeeeeeeeep(HOUSEKEEPING);
115                 do_housekeeping();
116         }
117 }
118
119
120 /*
121  * Generate a unique WebCit session ID (which is not the same thing as the
122  * Citadel session ID).
123  *
124  * FIXME ... ensure that session number is truly unique
125  *
126  */
127 int GenerateSessionID(void)
128 {
129         static int seq = (-1);
130
131         if (seq < 0) {
132                 seq = (int) time(NULL);
133         }
134                 
135         return ++seq;
136 }
137
138
139 /*
140  * Collapse multiple cookies on one line
141  */
142 int req_gets(int sock, char *buf, char *hold)
143 {
144         int a;
145
146         if (strlen(hold) == 0) {
147                 strcpy(buf, "");
148                 a = client_gets(sock, buf);
149                 if (a<1) return(-1);
150         } else {
151                 safestrncpy(buf, hold, SIZ);
152         }
153         strcpy(hold, "");
154
155         if (!strncasecmp(buf, "Cookie: ", 8)) {
156                 for (a = 0; a < strlen(buf); ++a)
157                         if (buf[a] == ';') {
158                                 sprintf(hold, "Cookie: %s", &buf[a + 1]);
159                                 buf[a] = 0;
160                                 while (isspace(hold[8]))
161                                         strcpy(&hold[8], &hold[9]);
162                                 return(0);
163                         }
164         }
165
166         return(0);
167 }
168
169 /*
170  * lingering_close() a`la Apache. see
171  * http://www.apache.org/docs/misc/fin_wait_2.html for rationale
172  */
173
174 int lingering_close(int fd)
175 {
176         char buf[SIZ];
177         int i;
178         fd_set set;
179         struct timeval tv, start;
180
181         gettimeofday(&start, NULL);
182         shutdown(fd, 1);
183         do {
184                 do {
185                         gettimeofday(&tv, NULL);
186                         tv.tv_sec = SLEEPING - (tv.tv_sec - start.tv_sec);
187                         tv.tv_usec = start.tv_usec - tv.tv_usec;
188                         if (tv.tv_usec < 0) {
189                                 tv.tv_sec--;
190                                 tv.tv_usec += 1000000;
191                         }
192                         FD_ZERO(&set);
193                         FD_SET(fd, &set);
194                         i = select(fd + 1, &set, NULL, NULL, &tv);
195                 } while (i == -1 && errno == EINTR);
196
197                 if (i <= 0)
198                         break;
199
200                 i = read(fd, buf, sizeof buf);
201         } while (i != 0 && (i != -1 || errno == EINTR));
202
203         return close(fd);
204 }
205
206
207
208 /*
209  * Check for bogus requests coming from (for example) brain-dead
210  * Windoze boxes that are infected with the latest worm-of-the-week.
211  * If we detect one of these, bail out without bothering our Citadel
212  * server.
213  */
214 int is_bogus(char *http_cmd) {
215
216         if (!strncasecmp(http_cmd, "GET /scripts/root.exe", 21)) return(1);
217         if (!strncasecmp(http_cmd, "GET /c/winnt", 12)) return(2);
218         if (!strncasecmp(http_cmd, "GET /MSADC/", 11)) return(3);
219
220         return(0);      /* probably ok */
221 }
222
223
224
225 /*
226  * This loop gets called once for every HTTP connection made to WebCit.  At
227  * this entry point we have an HTTP socket with a browser allegedly on the
228  * other end, but we have not yet bound to a WebCit session.
229  *
230  * The job of this function is to locate the correct session and bind to it,
231  * or create a session if necessary and bind to it, then run the WebCit
232  * transaction loop.  Afterwards, we unbind from the session.  When this
233  * function returns, the worker thread is then free to handle another
234  * transaction.
235  */
236 void context_loop(int sock)
237 {
238         struct httprequest *req = NULL;
239         struct httprequest *last = NULL;
240         struct httprequest *hptr;
241         char buf[SIZ], hold[SIZ];
242         int desired_session = 0;
243         int got_cookie = 0;
244         int gzip_ok = 0;
245         struct wcsession *TheSession, *sptr;
246         char httpauth_string[SIZ];
247         char httpauth_user[SIZ];
248         char httpauth_pass[SIZ];
249
250         strcpy(httpauth_string, "");
251         strcpy(httpauth_user, DEFAULT_HTTPAUTH_USER);
252         strcpy(httpauth_pass, DEFAULT_HTTPAUTH_PASS);
253
254         /*
255          * Find out what it is that the web browser is asking for
256          */
257         memset(hold, 0, sizeof(hold));
258         do {
259                 if (req_gets(sock, buf, hold) < 0) return;
260
261                 /*
262                  * Can we compress?
263                  */
264                 if (!strncasecmp(buf, "Accept-encoding:", 16)) {
265                         if (strstr(&buf[16], "gzip")) {
266                                 gzip_ok = 1;
267                         }
268                 }
269
270                 /*
271                  * Browser-based sessions use cookies for session authentication
272                  */
273                 if (!strncasecmp(buf, "Cookie: webcit=", 15)) {
274                         cookie_to_stuff(&buf[15], &desired_session,
275                                 NULL, 0, NULL, 0, NULL, 0);
276                         got_cookie = 1;
277                 }
278
279                 /*
280                  * GroupDAV-based sessions use HTTP authentication
281                  */
282                 if (!strncasecmp(buf, "Authorization: Basic ", 21)) {
283                         CtdlDecodeBase64(httpauth_string, &buf[21], strlen(&buf[21]));
284                         extract_token(httpauth_user, httpauth_string, 0, ':', sizeof httpauth_user);
285                         extract_token(httpauth_pass, httpauth_string, 1, ':', sizeof httpauth_pass);
286                 }
287
288                 /*
289                  * Read in the request
290                  */
291                 hptr = (struct httprequest *)
292                         malloc(sizeof(struct httprequest));
293                 if (req == NULL)
294                         req = hptr;
295                 else
296                         last->next = hptr;
297                 hptr->next = NULL;
298                 last = hptr;
299
300                 safestrncpy(hptr->line, buf, sizeof hptr->line);
301
302         } while (strlen(buf) > 0);
303
304         safestrncpy(buf, req->line, sizeof buf);
305         lprintf(5, "HTTP: %s\n", buf);
306
307         /* Check for bogus requests */
308         if (is_bogus(buf)) goto bail;
309
310         /*
311          * If requesting a non-root page, there should already be a cookie
312          * set.  If there isn't, the client browser has cookies turned off
313          * (or doesn't support them) and we have to barf & bail.
314          */
315         remove_token(buf, 0, ' ');
316         if (buf[1]==' ') buf[1]=0;
317
318         /*
319          * While we're at it, gracefully handle requests for the
320          * robots.txt and favicon.ico files.
321          */
322         if (!strncasecmp(buf, "/robots.txt", 11)) {
323                 strcpy(req->line, "GET /static/robots.txt"
324                                 "?force_close_session=yes HTTP/1.0");
325         }
326         else if (!strncasecmp(buf, "/favicon.ico", 12)) {
327                 strcpy(req->line, "GET /static/favicon.ico");
328         }
329
330         /* These are the URL's which may be executed without a
331          * session cookie already set.  If it's not one of these,
332          * force the session to close because cookies are
333          * probably disabled on the client browser.
334          */
335         else if ( (strcmp(buf, "/"))
336                 && (strncasecmp(buf, "/listsub", 8))
337                 && (strncasecmp(buf, "/freebusy", 9))
338                 && (strncasecmp(buf, "/do_logout", 10))
339                 && (strncasecmp(buf, "/groupdav", 9))
340                 && (got_cookie == 0)) {
341                 strcpy(req->line, "GET /static/nocookies.html"
342                                 "?force_close_session=yes HTTP/1.0");
343         }
344
345         /*
346          * See if there's an existing session open with the desired ID or user/pass
347          */
348         TheSession = NULL;
349
350         if (TheSession == NULL) {
351                 pthread_mutex_lock(&SessionListMutex);
352                 for (sptr = SessionList; sptr != NULL; sptr = sptr->next) {
353
354                         /* If HTTP-AUTH, look for a session with matching credentials */
355                         if ( (strlen(httpauth_user) > 0)
356                            &&(!strcasecmp(sptr->httpauth_user, httpauth_user))
357                            &&(!strcasecmp(sptr->httpauth_pass, httpauth_pass)) ) {
358                                 TheSession = sptr;
359                         }
360
361                         /* If cookie-session, look for a session with matching session ID */
362                         if ( (desired_session != 0) && (sptr->wc_session == desired_session)) {
363                                 TheSession = sptr;
364                         }
365
366                 }
367                 pthread_mutex_unlock(&SessionListMutex);
368         }
369
370         /*
371          * Create a new session if we have to
372          */
373         if (TheSession == NULL) {
374                 lprintf(3, "Creating a new session\n");
375                 TheSession = (struct wcsession *)
376                         malloc(sizeof(struct wcsession));
377                 memset(TheSession, 0, sizeof(struct wcsession));
378                 TheSession->serv_sock = (-1);
379                 TheSession->chat_sock = (-1);
380                 TheSession->wc_session = GenerateSessionID();
381                 strcpy(TheSession->httpauth_user, httpauth_user);
382                 strcpy(TheSession->httpauth_pass, httpauth_pass);
383                 pthread_mutex_init(&TheSession->SessionMutex, NULL);
384
385                 pthread_mutex_lock(&SessionListMutex);
386                 TheSession->next = SessionList;
387                 SessionList = TheSession;
388                 pthread_mutex_unlock(&SessionListMutex);
389         }
390
391         /*
392          * A future improvement might be to check the session integrity
393          * at this point before continuing.
394          */
395
396         /*
397          * Bind to the session and perform the transaction
398          */
399         pthread_mutex_lock(&TheSession->SessionMutex);          /* bind */
400         pthread_setspecific(MyConKey, (void *)TheSession);
401         TheSession->http_sock = sock;
402         TheSession->lastreq = time(NULL);                       /* log */
403         TheSession->gzip_ok = gzip_ok;
404         session_loop(req);                              /* do transaction */
405         pthread_mutex_unlock(&TheSession->SessionMutex);        /* unbind */
406
407         /* Free the request buffer */
408 bail:   while (req != NULL) {
409                 hptr = req->next;
410                 free(req);
411                 req = hptr;
412         }
413
414         /* Free up any session-local substitution variables which
415          * were set during this transaction
416          */
417         clear_local_substs();
418 }