Try new strategy for CalDAV report filter parsing.
[citadel.git] / webcit-ng / server / caldav_reports.c
index de35081a8de8df3310db77ab3a6f68aa3a0d16ff..05d3b9ef65e9b37c5b92a26f280e9d2b9f063fbf 100644 (file)
@@ -1,13 +1,11 @@
-// This file contains functions which handle all of the CalDAV "REPORT" queries
-// specified in RFC4791 section 7.
-//
+// This file contains functions which handle all of the CalDAV "REPORT" queries specified in RFC4791 section 7.
 // Copyright (c) 2023-2024 by the citadel.org team
-//
-// This program is open source software.  Use, duplication, or
-// disclosure is subject to the GNU General Public License v3.
+// This program is open source software.  Use, duplication, or disclosure is subject to the GNU General Public License v3.
 
 #include "webcit.h"
 
+#define CAL "urn:ietf:params:xml:ns:caldav:"           // Shorthand for the XML namespace of CalDAV
+#define CALLEN sizeof(CAL)-1                           // And the length of that string
 
 // A CalDAV REPORT can only be one type.  This is stored in the report_type member.
 enum cr_type {
@@ -20,53 +18,103 @@ enum cr_type {
 // Data type for CalDAV Report Parameters.
 // As we slog our way through the XML we learn what the client is asking for
 // and build up the contents of this data type.
-struct cr_parms {
+struct cr_params {
        int tag_nesting_level;          // not needed, just kept for pretty-printing
        enum cr_type report_type;       // which RFC4791 section 7 REPORT are we generating
        StrBuf *Chardata;               // XML chardata in between tags is built up here
        StrBuf *Hrefs;                  // list of items requested by a `calendar-multiget` REPORT
+       Array *filters;                 // If the query contains a FILTER stanza, the filter criteria are populated here
+       int filter_nest;                // tag nesting level where a FILTER stanza begins
 };
 
 
 // XML parser callback
 void caldav_xml_start(void *data, const char *el, const char **attr) {
-       struct cr_parms *crp = (struct cr_parms *) data;
-       int i;
-
-       // syslog(LOG_DEBUG, "CALDAV ELEMENT START: <%s> %d", el, crp->tag_nesting_level);
+       struct cr_params *crp = (struct cr_params *) data;
 
+#ifdef DEBUG_XML_PARSE
+       // logging
+       int i;
+       char indent[256];
+       indent[0] = 0;
+       for (i=0; i<crp->tag_nesting_level; ++i) {
+               strcat(indent, "  ");
+       }
+       syslog(LOG_DEBUG, "%s<%s>", indent, el);
+#endif
+       ++crp->tag_nesting_level;
+#ifdef DEBUG_XML_PARSE
+       indent[0] = 0;
+       for (i=0; i<crp->tag_nesting_level; ++i) {
+               strcat(indent, "  ");
+       }
        for (i = 0; attr[i] != NULL; i += 2) {
-               syslog(LOG_DEBUG, "                    Attribute '%s' = '%s'", attr[i], attr[i + 1]);
+               syslog(LOG_DEBUG, "%sAttribute '%s' = '%s'", indent, attr[i], attr[i + 1]);
        }
+       // end logging
+#endif
 
        // RFC4791 7.8 "calendar-query" REPORT - Client will send a lot of search criteria.
-       if (!strcasecmp(el, "urn:ietf:params:xml:ns:caldav:calendar-query")) {
+       if (!strcasecmp(el, CAL"calendar-query")) {
                crp->report_type = cr_calendar_query;
        }
 
        // RFC4791 7.9 "calendar-multiget" REPORT - Client will supply a list of specific hrefs.
-       else if (!strcasecmp(el, "urn:ietf:params:xml:ns:caldav:calendar-multiget")) {
+       else if (!strcasecmp(el, CAL"calendar-multiget")) {
                crp->report_type = cr_calendar_multiget;
        }
 
        // RFC4791 7.10 "free-busy-query" REPORT
-       else if (!strcasecmp(el, "urn:ietf:params:xml:ns:caldav:free-busy-query")) {
+       else if (!strcasecmp(el, CAL"free-busy-query")) {
                crp->report_type = cr_freebusy_query;
        }
 
-       ++crp->tag_nesting_level;
+       // RFC4791 9.7 create a filter array if this query contains a "filter" stanza
+       else if (!strcasecmp(el, CAL"filter")) {
+               crp->filters = array_new(SIZ);
+               crp->filter_nest = crp->tag_nesting_level;
+       }
+
+       // Handle the filters defined in RFC4791 9.7.1 through 9.7.5
+       else if (       (       (!strcasecmp(el, CAL"comp-filter"))
+                               || (!strcasecmp(el, CAL"prop-filter"))
+                               || (!strcasecmp(el, CAL"param-filter"))
+                               || (!strcasecmp(el, CAL"is-not-defined"))
+                               || (!strcasecmp(el, CAL"text-match"))
+                       )
+                       && (crp->filters)                       // Make sure we actually allocated an array
+       ) {
+
+               char newfilter[SIZ];
+               int a = 0;
+               int len = snprintf(newfilter, SIZ, "%d|", crp->tag_nesting_level - crp->filter_nest - 1);
+               len += snprintf(&newfilter[len], SIZ-len, "%s", &el[CALLEN]);           // filter name without the namespace
+               while (attr[a]) {
+                       len += snprintf(&newfilter[len], SIZ-len, "|%s", attr[a++]);    // now save the attributes
+               }
+               array_append(crp->filters, newfilter);
+       }
+
 }
 
 
 // XML parser callback
 void caldav_xml_end(void *data, const char *el) {
-       struct cr_parms *crp = (struct cr_parms *) data;
+       struct cr_params *crp = (struct cr_params *) data;
+
        --crp->tag_nesting_level;
 
-       if (crp->Chardata != NULL) {
-               // syslog(LOG_DEBUG, "CALDAV CHARDATA     : %s", ChrPtr(crp->Chardata));
+#ifdef DEBUG_XML_PARSE
+       // logging
+       int i;
+       char indent[256];
+       indent[0] = 0;
+       for (i=0; i<crp->tag_nesting_level; ++i) {
+               strcat(indent, "  ");
        }
-       // syslog(LOG_DEBUG, "CALDAV ELEMENT END  : <%s> %d", el, crp->tag_nesting_level);
+       syslog(LOG_DEBUG, "%s</%s>", indent, el);
+       // end logging
+#endif
 
        if ((!strcasecmp(el, "DAV::href")) || (!strcasecmp(el, "DAV:href"))) {
                if (crp->Hrefs == NULL) {       // append crp->Chardata to crp->Hrefs
@@ -86,15 +134,38 @@ void caldav_xml_end(void *data, const char *el) {
 
 
 // XML parser callback
-void caldav_xml_chardata(void *data, const XML_Char * s, int len) {
-       struct cr_parms *crp = (struct cr_parms *) data;
+void caldav_xml_chardata(void *data, const XML_Char *s, int len) {
+       struct cr_params *crp = (struct cr_params *) data;
+
+       char *app = malloc(len+1);
+       if (!app) {
+               return;
+       }
+       memcpy(app, s, len);
+       app[len] = 0;
 
        if (crp->Chardata == NULL) {
                crp->Chardata = NewStrBuf();
        }
 
-       StrBufAppendBufPlain(crp->Chardata, s, len, 0);
+       StrBufAppendBufPlain(crp->Chardata, app, len, 0);
+
+#ifdef DEBUG_XML_PARSE
+       // logging
+       string_trim(app);               // remove leading/trailing whitespace.  ok to mangle it because we've already appended.
+       if (!IsEmptyStr(app)) {
+               int i;
+               char indent[256];
+               indent[0] = 0;
+               for (i=0; i<crp->tag_nesting_level; ++i) {
+                       strcat(indent, "  ");
+               }
+               syslog(LOG_DEBUG, "%s%s", indent, app, len);
+       }
+       // end logging
+#endif
 
+       free(app);
        return;
 }
 
@@ -127,6 +198,42 @@ StrBuf *fetch_ical(struct ctdlsession *c, long msgnum) {
 }
 
 
+// Called by multiple REPORT types to actually perform the output in "multiget" format.
+// We need to already know the source message number and the href, but also already have the output data.
+void cal_multiget_out(long msgnum, StrBuf *ThisHref, StrBuf *Caldata, StrBuf *ReportOut) {
+
+       StrBufAppendPrintf(ReportOut, "<D:response>");
+       StrBufAppendPrintf(ReportOut, "<D:href>");
+       StrBufXMLEscAppend(ReportOut, ThisHref, NULL, 0, 0);
+       StrBufAppendPrintf(ReportOut, "</D:href>");
+       StrBufAppendPrintf(ReportOut, "<D:propstat>");
+
+       if (Caldata != NULL) {
+               // syslog(LOG_DEBUG, "caldav_report_one_item(%s) 200 OK", ChrPtr(ThisHref));
+               StrBufAppendPrintf(ReportOut, "<D:status>");
+               StrBufAppendPrintf(ReportOut, "HTTP/1.1 200 OK");
+               StrBufAppendPrintf(ReportOut, "</D:status>");
+               StrBufAppendPrintf(ReportOut, "<D:prop>");
+               StrBufAppendPrintf(ReportOut, "<D:getetag>");
+               StrBufAppendPrintf(ReportOut, "%ld", msgnum);
+               StrBufAppendPrintf(ReportOut, "</D:getetag>");
+               StrBufAppendPrintf(ReportOut, "<C:calendar-data>");
+               StrBufXMLEscAppend(ReportOut, Caldata, NULL, 0, 0);
+               StrBufAppendPrintf(ReportOut, "</C:calendar-data>");
+               StrBufAppendPrintf(ReportOut, "</D:prop>");
+       }
+       else {
+               // syslog(LOG_DEBUG, "caldav_report_one_item(%s) 404 not found", ChrPtr(ThisHref));
+               StrBufAppendPrintf(ReportOut, "<D:status>");
+               StrBufAppendPrintf(ReportOut, "HTTP/1.1 404 not found");
+               StrBufAppendPrintf(ReportOut, "</D:status>");
+       }
+
+       StrBufAppendPrintf(ReportOut, "</D:propstat>");
+       StrBufAppendPrintf(ReportOut, "</D:response>");
+}
+
+
 // Called by caldav_report() to output a single item.
 // Our policy is to throw away the list of properties the client asked for, and just send everything.
 void caldav_report_one_item(struct http_transaction *h, struct ctdlsession *c, StrBuf *ReportOut, StrBuf *ThisHref) {
@@ -148,43 +255,73 @@ void caldav_report_one_item(struct http_transaction *h, struct ctdlsession *c, S
        }
        unescape_input(unescaped_euid);
 
-       StrBufAppendPrintf(ReportOut, "<D:response>");
-       StrBufAppendPrintf(ReportOut, "<D:href>");
-       StrBufXMLEscAppend(ReportOut, ThisHref, NULL, 0, 0);
-       StrBufAppendPrintf(ReportOut, "</D:href>");
-       StrBufAppendPrintf(ReportOut, "<D:propstat>");
-
        msgnum = locate_message_by_uid(c, unescaped_euid);
        free(unescaped_euid);
        if (msgnum > 0) {
                Caldata = fetch_ical(c, msgnum);
        }
+       else {
+               Caldata = NULL;
+       }
+
+       cal_multiget_out(msgnum, ThisHref, Caldata, ReportOut);
 
        if (Caldata != NULL) {
-               // syslog(LOG_DEBUG, "caldav_report_one_item(%s) 200 OK", ChrPtr(ThisHref));
-               StrBufAppendPrintf(ReportOut, "<D:status>");
-               StrBufAppendPrintf(ReportOut, "HTTP/1.1 200 OK");
-               StrBufAppendPrintf(ReportOut, "</D:status>");
-               StrBufAppendPrintf(ReportOut, "<D:prop>");
-               StrBufAppendPrintf(ReportOut, "<D:getetag>");
-               StrBufAppendPrintf(ReportOut, "%ld", msgnum);
-               StrBufAppendPrintf(ReportOut, "</D:getetag>");
-               StrBufAppendPrintf(ReportOut, "<C:calendar-data>");
-               StrBufXMLEscAppend(ReportOut, Caldata, NULL, 0, 0);
-               StrBufAppendPrintf(ReportOut, "</C:calendar-data>");
-               StrBufAppendPrintf(ReportOut, "</D:prop>");
                FreeStrBuf(&Caldata);
-               Caldata = NULL;
        }
-       else {
-               // syslog(LOG_DEBUG, "caldav_report_one_item(%s) 404 not found", ChrPtr(ThisHref));
-               StrBufAppendPrintf(ReportOut, "<D:status>");
-               StrBufAppendPrintf(ReportOut, "HTTP/1.1 404 not found");
-               StrBufAppendPrintf(ReportOut, "</D:status>");
+}
+
+
+// Recursive function to apply CalDAV FILTERS to a calendar item.
+// Returns zero if the calendar item was disqualified by a filter, nonzero if the calendar item still qualifies.
+int caldav_apply_filters(void *cal, Array *filters) {
+
+       int f = 0;                                      // filter number iterator
+       int qual = 1;                                   // 0 for disqualify, 1 for qualify
+
+       while ( (f<array_len(filters)) && (qual) ) {
+               syslog(LOG_DEBUG, "caldav_apply_filters(%d) %s", f, array_get_element_at(filters, f) );
+
+               // Tokenize the filter (a future performance hack would be to pre-tokenize instead of storing delimited strings)
+               char this_filter[SIZ];
+               safestrncpy(this_filter, array_get_element_at(filters, f), sizeof(this_filter));
+               char *t[10] = { NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL } ;
+               char *ft = this_filter;
+               int num_tokens = 0;
+               while ( (t[num_tokens]=strtok_r(ft, "|", &ft)) && (num_tokens<10) ) {
+                       ++num_tokens;
+               }
+               int level = atoi(t[0]);
+
+               // Handle the individual filters defined in RFC4791 9.7.1 through 9.7.5
+
+               if (!strcasecmp(t[1], "comp-filter")) {                         // RFC4791 9.7.1 - filter by component
+                       syslog(LOG_DEBUG, "component filter at level %d FIXME not implemented yet", level);
+                       if (icalcomponent_isa_component(cal)) {
+                               // yes this is a component
+                       }
+               }
+
+               else if (!strcasecmp(t[1], "prop-filter")) {                    // RFC4791 9.7.2 - filter by property
+                       syslog(LOG_DEBUG, "property filter FIXME not implemented yet");
+               }
+
+               else if (!strcasecmp(t[1], "param-filter")) {                   // RFC4791 9.7.3 - filter by parameter
+                       syslog(LOG_DEBUG, "parameter filter FIXME not implemented yet");
+               }
+
+               else if (!strcasecmp(t[1], "is-not-defined")) {                 // RFC4791 9.7.4
+                       syslog(LOG_DEBUG, "is-not-defined filter FIXME not implemented yet");
+               }
+
+               else if (!strcasecmp(t[1], "text-match")) {                     // RFC4791 9.7.5
+                       syslog(LOG_DEBUG, "text match filter FIXME not implemented yet");
+               }
+
+               ++f;
        }
 
-       StrBufAppendPrintf(ReportOut, "</D:propstat>");
-       StrBufAppendPrintf(ReportOut, "</D:response>");
+       return(qual);
 }
 
 
@@ -192,10 +329,10 @@ void caldav_report_one_item(struct http_transaction *h, struct ctdlsession *c, S
 // is requested on a calendar room.  We fire up an XML Parser to decode the request and
 // hopefully produce the correct output.
 void caldav_report(struct http_transaction *h, struct ctdlsession *c) {
-       struct cr_parms crp;
+       struct cr_params crp;
        char buf[1024];
 
-       memset(&crp, 0, sizeof(struct cr_parms));
+       memset(&crp, 0, sizeof(struct cr_params));
 
        XML_Parser xp = XML_ParserCreateNS("UTF-8", ':');
        if (xp == NULL) {
@@ -211,7 +348,7 @@ void caldav_report(struct http_transaction *h, struct ctdlsession *c) {
        XML_Parse(xp, h->request_body, h->request_body_length, 1);
        XML_ParserFree(xp);
 
-       if (crp.Chardata != NULL) {     // Discard any trailing chardata ... normally nothing here
+       if (crp.Chardata != NULL) {             // Discard any trailing chardata ... normally nothing here
                FreeStrBuf(&crp.Chardata);
                crp.Chardata = NULL;
        }
@@ -240,8 +377,27 @@ void caldav_report(struct http_transaction *h, struct ctdlsession *c) {
                        for (i = 0; i < array_len(msglist); ++i) {
                                long m;
                                memcpy(&m, array_get_element_at(msglist, i), sizeof(long));
-                               TRACE;
-                               syslog(LOG_DEBUG, "evaluating message %ld", m);
+
+                               // load and parse one calendar item
+                               StrBuf *one_item = fetch_ical(c, m);
+                               icalcomponent *cal = icalcomponent_new_from_string(ChrPtr(one_item));
+
+                               // Does this calendar item qualify for output?
+                               int qualify = 1;
+
+                               // If there was a filter stanza, run this calendar item through the filters.
+                               qualify = caldav_apply_filters(cal, crp.filters);
+                               syslog(LOG_DEBUG, "Message %ld does%s qualify", m, (qualify ? "" : " NOT"));
+
+                               // Did this calendar item match the query?  If so, output it.
+                               if (qualify) {
+                                       // FIXME need to populate the Href instead of NULL
+                                       cal_multiget_out(m, NULL, one_item, ReportOut);
+                               }
+
+                               icalcomponent_free(cal);
+                               FreeStrBuf(&one_item);
+
                        }
                        array_free(msglist);
                }
@@ -270,6 +426,10 @@ void caldav_report(struct http_transaction *h, struct ctdlsession *c) {
                FreeStrBuf(&crp.Hrefs);
                crp.Hrefs = NULL;
        }
+       if (crp.filters) {
+               array_free(crp.filters);
+               crp.filters = NULL;
+       }
 
        StrBufAppendPrintf(ReportOut, "</D:multistatus>\n");            // End the REPORT.
 
@@ -279,63 +439,3 @@ void caldav_report(struct http_transaction *h, struct ctdlsession *c) {
        h->response_body_length = StrLength(ReportOut);
        h->response_body = SmashStrBuf(&ReportOut);
 }
-
-
-
-
-
-// Client is requesting a message list (make this code work for calendar-query REPORT)
-void XXXXXXXXXXXXXX(struct http_transaction *h, struct ctdlsession *c, char *range) {
-       char buf[SIZ];
-
-       // Determine the date/time range requested by the client
-       time_t lo = atol(range);
-       char *colon = strchr(range, ':');
-       time_t hi = colon ? atol(++colon) : LONG_MAX;
-
-       // Rule out impossible ranges
-       if (hi < lo) {
-               do_404(h);
-               return;
-       }
-
-       // Begin by requesting all messages in the room
-       int i = 0;
-       Array *msglist = get_msglist(c, "ALL");
-       if (msglist == NULL) {
-               do_404(h);
-               return;
-       }
-
-       // We're going to make a lot of MSG4 calls, and the preferred MIME type we want is "text/calendar".
-       // The iCalendar standard is mature now, and we are no longer interested in text/x-vcal or application/ics.
-       ctdl_printf(c, "MSGP text/calendar");
-       ctdl_readline(c, buf, sizeof buf);
-
-       // Iterate through our message list.
-       for (i = 0; i < array_len(msglist); ++i) {
-               long m;
-               memcpy(&m, array_get_element_at(msglist, i), sizeof(long));
-               syslog(LOG_DEBUG, "FIXME %ld", m);
-
-               // now we have to:
-               // 1. fetch the message from citadel server
-               // 2. parse the ical
-               // 3. figure out range
-               // we should steal code from webcit-classic for this
-
-               StrBuf *one_item;
-               one_item = fetch_ical(c, m);
-               syslog(LOG_DEBUG, "calendar item:\n---\n\033[33m%s\n---\033[0m", ChrPtr(one_item));
-               FreeStrBuf(&one_item);
-
-       }
-       array_free(msglist);
-
-       // FIXME we still fail because we aren't finished yet
-       add_response_header(h, strdup("Content-type"), strdup("application/json"));
-       h->response_code = 200;
-       h->response_string = strdup("OK");
-       h->response_body = "{ \"one\":111 , \"two\":222 , \"three\":333 }";
-       h->response_body_length = strlen(h->response_body);
-}