response headers now use an array instead of a linked list
[citadel.git] / webcit-ng / http.c
1 //
2 // This module handles HTTP transactions.
3 //
4 // Copyright (c) 1996-2021 by the citadel.org team
5 //
6 // This program is open source software.  It runs great on the
7 // Linux operating system (and probably elsewhere).  You can use,
8 // copy, and run it under the terms of the GNU General Public
9 // License version 3.
10 //
11 // This program is distributed in the hope that it will be useful,
12 // but WITHOUT ANY WARRANTY; without even the implied warranty of
13 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14 // GNU General Public License for more details.
15
16 #include "webcit.h"
17
18 // Write data to the HTTP client.  Encrypt if necessary.
19 int client_write(struct client_handle *ch, char *buf, int nbytes) {
20         if (is_https) {
21                 return client_write_ssl(ch, buf, nbytes);
22         }
23         else {
24                 return write(ch->sock, buf, nbytes);
25         }
26 }
27
28
29 // Read data from the HTTP client.  Decrypt if necessary.
30 // Returns number of bytes read, or -1 to indicate an error.
31 int client_read(struct client_handle *ch, char *buf, int nbytes) {
32         if (is_https) {
33                 return client_read_ssl(ch, buf, nbytes);
34         }
35         else {
36                 int bytes_received = 0;
37                 int bytes_this_block = 0;
38                 while (bytes_received < nbytes) {
39                         bytes_this_block = read(ch->sock, &buf[bytes_received], nbytes - bytes_received);
40                         if (bytes_this_block < 1) {
41                                 return (-1);
42                         }
43                         bytes_received += bytes_this_block;
44                 }
45                 return (nbytes);
46         }
47 }
48
49
50 // Read a newline-terminated line of text from the client.
51 // Implemented in terms of client_read() and is therefore transparent...
52 // Returns the string length or -1 for error.
53 int client_readline(struct client_handle *ch, char *buf, int maxbytes) {
54         int len = 0;
55         int c = 0;
56
57         if (buf == NULL) {
58                 return (-1);
59         }
60
61         while (len < maxbytes) {
62                 c = client_read(ch, &buf[len], 1);
63                 if (c <= 0) {
64                         syslog(LOG_DEBUG, "Socket error or zero-length read");
65                         return (-1);
66                 }
67                 if (buf[len] == '\n') {
68                         if ((len > 0) && (buf[len - 1] == '\r')) {
69                                 --len;
70                         }
71                         buf[len] = 0;
72                         return (len);
73                 }
74                 ++len;
75         }
76         return (len);
77 }
78
79
80 // printf() type function to send data to the web client.
81 void client_printf(struct client_handle *ch, const char *format, ...) {
82         va_list arg_ptr;
83         StrBuf *Buf = NewStrBuf();
84
85         va_start(arg_ptr, format);
86         StrBufVAppendPrintf(Buf, format, arg_ptr);
87         va_end(arg_ptr);
88
89         client_write(ch, (char *) ChrPtr(Buf), StrLength(Buf));
90         FreeStrBuf(&Buf);
91 }
92
93
94 // Push one new header into the response of an HTTP request.
95 // When completed, the HTTP transaction now owns the memory allocated for key and val.
96 void add_response_header(struct http_transaction *h, char *key, char *val) {
97         struct keyval new_response_header;
98         new_response_header.key = key;
99         new_response_header.val = val;
100         array_append(h->response_headers, &new_response_header);
101 }
102
103
104 // Entry point for this layer.  Socket is connected.  If running as an HTTPS
105 // server, SSL has already been negotiated.  Now perform one transaction.
106 void perform_one_http_transaction(struct client_handle *ch) {
107         char buf[1024];
108         int len;
109         int lines_read = 0;
110         struct http_transaction h;
111         char *c, *d;
112         struct sockaddr_in sin;
113         int i;                                  // general purpose iterator variable
114
115         memset(&h, 0, sizeof h);
116         h.request_headers = array_new(sizeof(struct keyval));
117         h.response_headers = array_new(sizeof(struct keyval));
118
119         while (len = client_readline(ch, buf, sizeof buf), (len > 0)) {
120                 ++lines_read;
121
122                 if (lines_read == 1) {          // First line is method and URL.
123                         c = strchr(buf, ' ');   // IGnore the HTTP-version.
124                         if (c == NULL) {
125                                 h.method = strdup("NULL");
126                                 h.url = strdup("/");
127                         }
128                         else {
129                                 *c = 0;
130                                 h.method = strdup(buf);
131                                 ++c;
132                                 d = c;
133                                 c = strchr(d, ' ');
134                                 if (c != NULL) {
135                                         *c = 0;
136                                 }
137                                 ++c;
138                                 h.url = strdup(d);
139                         }
140                 }
141                 else {                  // Subsequent lines are headers.
142                         c = strchr(buf, ':');   // Header line folding is obsolete so we don't support it.
143                         if (c != NULL) {
144
145                                 struct keyval new_request_header;
146                                 *c = 0;
147                                 new_request_header.key = strdup(buf);
148                                 ++c;
149                                 new_request_header.val = strdup(c);
150                                 striplt(new_request_header.key);
151                                 striplt(new_request_header.val);
152                                 array_append(h.request_headers, &new_request_header);
153 #ifdef DEBUG_HTTP
154                                 syslog(LOG_DEBUG, "\033[1m\033[35m{ %s: %s\033[0m", new_request_header.key, new_request_header.val);
155 #endif
156                         }
157                 }
158
159         }
160
161         // build up the site prefix, such as https://foo.bar.com:4343
162         h.site_prefix = malloc(256);
163         strcpy(h.site_prefix, (is_https ? "https://" : "http://"));
164         char *hostheader = header_val(&h, "Host");
165         if (hostheader) {
166                 strcat(h.site_prefix, hostheader);
167         }
168         else {
169                 strcat(h.site_prefix, "127.0.0.1");
170         }
171         socklen_t llen = sizeof(sin);
172         if (getsockname(ch->sock, (struct sockaddr *) &sin, &llen) >= 0) {
173                 sprintf(&h.site_prefix[strlen(h.site_prefix)], ":%d", ntohs(sin.sin_port));
174         }
175
176         // Now try to read in the request body (if one is present)
177         if (len < 0) {
178                 syslog(LOG_DEBUG, "Client disconnected");
179         }
180         else {
181                 syslog(LOG_DEBUG, "\033[33m\033[1m< %s %s\033[0m", h.method, h.url);
182
183                 // If there is a request body, read it now.
184                 char *ccl = header_val(&h, "Content-Length");
185                 if (ccl) {
186                         h.request_body_length = atol(ccl);
187                 }
188                 if (h.request_body_length > 0) {
189                         syslog(LOG_DEBUG, "Reading request body (%ld bytes)", h.request_body_length);
190                         h.request_body = malloc(h.request_body_length);
191                         client_read(ch, h.request_body, h.request_body_length);
192
193                         //write(2, HKEY("\033[31m"));
194                         //write(2, h.request_body, h.request_body_length);
195                         //write(2, HKEY("\033[0m\n"));
196
197                 }
198                 // Now pass control up to the next layer to perform the request.
199                 perform_request(&h);
200
201                 // Output the results back to the client.
202                 //write(2, HKEY("\033[32m"));
203                 //write(2, h.response_body, h.response_body_length);
204                 //write(2, HKEY("\033[0m\n"));
205
206                 syslog(LOG_DEBUG, "> %03d %s", h.response_code, h.response_string);
207                 client_printf(ch, "HTTP/1.1 %03d %s\r\n", h.response_code, h.response_string);
208                 client_printf(ch, "Connection: close\r\n");
209                 client_printf(ch, "Content-Length: %ld\r\n", h.response_body_length);
210                 char *datestring = http_datestring(time(NULL));
211                 if (datestring) {
212                         client_printf(ch, "Date: %s\r\n", datestring);
213                         free(datestring);
214                 }
215
216                 client_printf(ch, "Content-encoding: identity\r\n");    // change if we gzip/deflate
217                 int number_of_response_headers = array_len(h.response_headers);
218                 for (i=0; i<number_of_response_headers; ++i) {
219                         struct keyval *kv = array_get_element_at(h.response_headers, i);
220 #ifdef DEBUG_HTTP
221                         syslog(LOG_DEBUG, "\033[1m\033[35m} %s: %s\033[0m", kv->key, kv->val);
222 #endif
223                         client_printf(ch, "%s: %s\r\n", kv->key, kv->val);
224                 }
225                 client_printf(ch, "\r\n");
226                 if ((h.response_body_length > 0) && (h.response_body != NULL)) {
227                         client_write(ch, h.response_body, h.response_body_length);
228                 }
229         }
230
231         // free the transaction memory
232         while (array_len(h.request_headers) > 0) {
233                 struct keyval *kv = array_get_element_at(h.request_headers, 0);
234                 if (kv->key) free(kv->key);
235                 if (kv->val) free(kv->val);
236                 array_delete_element_at(h.request_headers, 0);
237         }
238         array_free(h.request_headers);
239         while (array_len(h.response_headers) > 0) {
240                 struct keyval *kv = array_get_element_at(h.response_headers, 0);
241                 if (kv->key) free(kv->key);
242                 if (kv->val) free(kv->val);
243                 array_delete_element_at(h.response_headers, 0);
244         }
245         array_free(h.response_headers);
246         if (h.method) {
247                 free(h.method);
248         }
249         if (h.url) {
250                 free(h.url);
251         }
252         if (h.request_body) {
253                 free(h.request_body);
254         }
255         if (h.response_string) {
256                 free(h.response_string);
257         }
258         if (h.site_prefix) {
259                 free(h.site_prefix);
260         }
261 }
262
263
264 // Utility function to fetch a specific header from a completely read-in request.
265 // Returns the value of the requested header, or NULL if the specified header was not sent.
266 // The caller does NOT own the memory of the returned pointer, but can count on the pointer
267 // to still be valid through the end of the transaction.
268 char *header_val(struct http_transaction *h, char *requested_header) {
269         struct keyval *kv;
270         int i;
271         for (i=0; i<array_len(h->request_headers); ++i) {
272                 kv = array_get_element_at(h->request_headers, i);
273                 if (!strcasecmp(kv->key, requested_header)) {
274                         return (kv->val);
275                 }
276         }
277         return (NULL);
278 }