* Changed the thread pool management algorithm. Detecting idle time between
[citadel.git] / webcit / context_loop.c
1 /*
2  * context_loop.c
3  *
4  * This is the other half of the webserver.  It handles the task of hooking
5  * up HTTP requests with the sessions they belong to, using HTTP cookies to
6  * keep track of things.  If the HTTP request doesn't belong to any currently
7  * active session, a new session is started.
8  *
9  * $Id$
10  */
11
12 #include <ctype.h>
13 #include <stdlib.h>
14 #ifdef HAVE_UNISTD_H
15 #include <unistd.h>
16 #endif
17 #include <stdio.h>
18 #ifdef HAVE_FCNTL_H
19 #include <fcntl.h>
20 #endif
21 #include <signal.h>
22 #include <sys/types.h>
23 #include <sys/wait.h>
24 #include <sys/socket.h>
25 #ifdef HAVE_SYS_TIME_H
26 #include <sys/time.h>
27 #endif
28 #ifdef HAVE_LIMITS_H
29 #include <limits.h>
30 #endif
31 #include <netinet/in.h>
32 #include <netdb.h>
33 #include <string.h>
34 #include <errno.h>
35 #include <stdarg.h>
36 #include <pthread.h>
37 #include <signal.h>
38 #include "webcit.h"
39 #include "webserver.h"
40
41 /* Only one thread may manipulate SessionList at a time... */
42 pthread_mutex_t SessionListMutex;
43
44 struct wcsession *SessionList = NULL;
45
46 pthread_key_t MyConKey;                         /* TSD key for MySession() */
47
48
49 void free_attachments(struct wcsession *sess) {
50         struct wc_attachment *att;
51
52         while (sess->first_attachment != NULL) {
53                 att = sess->first_attachment;
54                 sess->first_attachment = sess->first_attachment->next;
55                 free(att->data);
56                 free(att);
57         }
58 }
59
60
61 void do_housekeeping(void)
62 {
63         struct wcsession *sptr, *ss, *session_to_kill;
64         int num_sessions = 0;
65         static int num_threads = MIN_WORKER_THREADS;
66
67         do {
68                 session_to_kill = NULL;
69                 pthread_mutex_lock(&SessionListMutex);
70                 num_sessions = 0;
71                 for (sptr = SessionList; sptr != NULL; sptr = sptr->next) {
72                         ++num_sessions;
73
74                         /* Kill idle sessions */
75                         if ((time(NULL) - (sptr->lastreq)) >
76                            (time_t) WEBCIT_TIMEOUT) {
77                                 sptr->killthis = 1;
78                         }
79
80                         /* Remove sessions flagged for kill */
81                         if (sptr->killthis) {
82
83                                 lprintf(3, "Destroying session %d\n",
84                                         sptr->wc_session);
85
86                                 /* remove session from linked list */
87                                 if (sptr == SessionList) {
88                                         SessionList = SessionList->next;
89                                 }
90                                 else for (ss=SessionList;ss!=NULL;ss=ss->next) {
91                                         if (ss->next == sptr) {
92                                                 ss->next = ss->next->next;
93                                         }
94                                 }
95
96                                 session_to_kill = sptr;
97                                 goto BREAKOUT;
98                         }
99                 }
100 BREAKOUT:       pthread_mutex_unlock(&SessionListMutex);
101
102                 if (session_to_kill != NULL) {
103                         pthread_mutex_lock(&session_to_kill->SessionMutex);
104                         close(session_to_kill->serv_sock);
105                         if (session_to_kill->preferences != NULL) {
106                                 free(session_to_kill->preferences);
107                         }
108                         free_attachments(session_to_kill);
109                         pthread_mutex_unlock(&session_to_kill->SessionMutex);
110                         free(session_to_kill);
111                 }
112
113         } while (session_to_kill != NULL);
114
115         /*
116          * See if we need more worker threads
117          */
118         while ( (num_sessions > num_threads)
119               && (num_threads <= MAX_WORKER_THREADS) ) {
120                 spawn_another_worker_thread();
121                 ++num_threads;
122                 lprintf(3, "There are %d sessions and %d threads active.\n",
123                         num_sessions, num_threads);
124         }
125 }
126
127
128 /* 
129  * Wake up occasionally and clean house
130  */
131 void housekeeping_loop(void)
132 {
133         while (1) {
134                 sleeeeeeeeeep(HOUSEKEEPING);
135                 do_housekeeping();
136         }
137 }
138
139
140 /*
141  * Generate a unique WebCit session ID (which is not the same thing as the
142  * Citadel session ID).
143  *
144  * FIXME ... ensure that session number is truly unique
145  *
146  */
147 int GenerateSessionID(void)
148 {
149         static int seq = (-1);
150
151         if (seq < 0) {
152                 seq = (int) time(NULL);
153         }
154                 
155         return ++seq;
156 }
157
158
159 /*
160  * Collapse multiple cookies on one line
161  */
162 int req_gets(int sock, char *buf, char *hold)
163 {
164         int a;
165
166         if (strlen(hold) == 0) {
167                 strcpy(buf, "");
168                 a = client_gets(sock, buf);
169                 if (a<1) return(-1);
170         } else {
171                 strcpy(buf, hold);
172         }
173         strcpy(hold, "");
174
175         if (!strncasecmp(buf, "Cookie: ", 8)) {
176                 for (a = 0; a < strlen(buf); ++a)
177                         if (buf[a] == ';') {
178                                 sprintf(hold, "Cookie: %s", &buf[a + 1]);
179                                 buf[a] = 0;
180                                 while (isspace(hold[8]))
181                                         strcpy(&hold[8], &hold[9]);
182                                 return(0);
183                         }
184         }
185
186         return(0);
187 }
188
189 /*
190  * lingering_close() a`la Apache. see
191  * http://www.apache.org/docs/misc/fin_wait_2.html for rationale
192  */
193
194 int lingering_close(int fd)
195 {
196         char buf[SIZ];
197         int i;
198         fd_set set;
199         struct timeval tv, start;
200
201         gettimeofday(&start, NULL);
202         shutdown(fd, 1);
203         do {
204                 do {
205                         gettimeofday(&tv, NULL);
206                         tv.tv_sec = SLEEPING - (tv.tv_sec - start.tv_sec);
207                         tv.tv_usec = start.tv_usec - tv.tv_usec;
208                         if (tv.tv_usec < 0) {
209                                 tv.tv_sec--;
210                                 tv.tv_usec += 1000000;
211                         }
212                         FD_ZERO(&set);
213                         FD_SET(fd, &set);
214                         i = select(fd + 1, &set, NULL, NULL, &tv);
215                 } while (i == -1 && errno == EINTR);
216
217                 if (i <= 0)
218                         break;
219
220                 i = read(fd, buf, sizeof buf);
221         } while (i != 0 && (i != -1 || errno == EINTR));
222
223         return close(fd);
224 }
225
226
227
228 /*
229  * Check for bogus requests coming from (for example) brain-dead
230  * Windoze boxes that are infected with the latest worm-of-the-week.
231  * If we detect one of these, bail out without bothering our Citadel
232  * server.
233  */
234 int is_bogus(char *http_cmd) {
235
236         if (!strncasecmp(http_cmd, "GET /scripts/root.exe", 21)) return(1);
237         if (!strncasecmp(http_cmd, "GET /c/winnt", 12)) return(2);
238         if (!strncasecmp(http_cmd, "GET /MSADC/", 11)) return(3);
239
240         return(0);      /* probably ok */
241 }
242
243
244
245 /*
246  * This loop gets called once for every HTTP connection made to WebCit.  At
247  * this entry point we have an HTTP socket with a browser allegedly on the
248  * other end, but we have not yet bound to a WebCit session.
249  *
250  * The job of this function is to locate the correct session and bind to it,
251  * or create a session if necessary and bind to it, then run the WebCit
252  * transaction loop.  Afterwards, we unbind from the session.  When this
253  * function returns, the worker thread is then free to handle another
254  * transaction.
255  */
256 void context_loop(int sock)
257 {
258         struct httprequest *req = NULL;
259         struct httprequest *last = NULL;
260         struct httprequest *hptr;
261         char buf[SIZ], hold[SIZ];
262         int desired_session = 0;
263         int got_cookie = 0;
264         struct wcsession *TheSession, *sptr;
265
266         /*
267          * Find out what it is that the web browser is asking for
268          */
269         memset(hold, 0, sizeof(hold));
270         do {
271                 if (req_gets(sock, buf, hold) < 0) return;
272
273                 if (!strncasecmp(buf, "Cookie: webcit=", 15)) {
274                         cookie_to_stuff(&buf[15], &desired_session,
275                                 NULL, NULL, NULL);
276                         got_cookie = 1;
277                 }
278
279                 hptr = (struct httprequest *)
280                         malloc(sizeof(struct httprequest));
281                 if (req == NULL)
282                         req = hptr;
283                 else
284                         last->next = hptr;
285                 hptr->next = NULL;
286                 last = hptr;
287
288                 strcpy(hptr->line, buf);
289
290         } while (strlen(buf) > 0);
291
292         strcpy(buf, req->line);
293         lprintf(5, "HTTP: %s\n", buf);
294
295         /* Check for bogus requests */
296         if (is_bogus(buf)) goto bail;
297
298         /*
299          * If requesting a non-root page, there should already be a cookie
300          * set.  If there isn't, the client browser has cookies turned off
301          * (or doesn't support them) and we have to barf & bail.
302          */
303         if (!strncasecmp(buf, "GET ", 4)) strcpy(buf, &buf[4]);
304         else if (!strncasecmp(buf, "HEAD ", 5)) strcpy(buf, &buf[5]);
305         else if (!strncasecmp(buf, "POST ", 5)) strcpy(buf, &buf[5]);
306         if (buf[1]==' ') buf[1]=0;
307
308         /*
309          * While we're at it, gracefully handle requests for the
310          * robots.txt file...
311          */
312         if (!strncasecmp(buf, "/robots.txt", 11)) {
313                 strcpy(req->line, "GET /static/robots.txt"
314                                 "?force_close_session=yes HTTP/1.0");
315         }
316
317         /* Do the non-root-cookie check now. */
318         else if ( (strcmp(buf, "/"))
319                 && (strncasecmp(buf, "/listsub", 8))
320                 && (strncasecmp(buf, "/freebusy", 9))
321                 && (got_cookie == 0)) {
322                 strcpy(req->line, "GET /static/nocookies.html"
323                                 "?force_close_session=yes HTTP/1.0");
324         }
325
326
327         /*
328          * See if there's an existing session open with the desired ID
329          */
330         TheSession = NULL;
331         if (desired_session != 0) {
332                 pthread_mutex_lock(&SessionListMutex);
333                 for (sptr = SessionList; sptr != NULL; sptr = sptr->next) {
334                         if (sptr->wc_session == desired_session) {
335                                 TheSession = sptr;
336                         }
337                 }
338                 pthread_mutex_unlock(&SessionListMutex);
339         }
340
341         /*
342          * Create a new session if we have to
343          */
344         if (TheSession == NULL) {
345                 lprintf(3, "Creating a new session\n");
346                 TheSession = (struct wcsession *)
347                         malloc(sizeof(struct wcsession));
348                 memset(TheSession, 0, sizeof(struct wcsession));
349                 TheSession->wc_session = GenerateSessionID();
350                 pthread_mutex_init(&TheSession->SessionMutex, NULL);
351
352                 pthread_mutex_lock(&SessionListMutex);
353                 TheSession->next = SessionList;
354                 SessionList = TheSession;
355                 pthread_mutex_unlock(&SessionListMutex);
356         }
357
358         /*
359          * A future improvement might be to check the session integrity
360          * at this point before continuing.
361          */
362
363         /*
364          * Bind to the session and perform the transaction
365          */
366         pthread_mutex_lock(&TheSession->SessionMutex);          /* bind */
367         pthread_setspecific(MyConKey, (void *)TheSession);
368         TheSession->http_sock = sock;
369         TheSession->lastreq = time(NULL);                       /* log */
370         session_loop(req);              /* perform the requested transaction */
371         pthread_mutex_unlock(&TheSession->SessionMutex);        /* unbind */
372
373         /* Free the request buffer */
374 bail:   while (req != NULL) {
375                 hptr = req->next;
376                 free(req);
377                 req = hptr;
378         }
379 }