Filters defined in RFC4791 9.7.1-9.7.5: DRY ingest
[citadel.git] / webcit-ng / server / caldav_reports.c
index 9bcca613fd9873c9f4a69e28f35d41dbb0138d61..f4eb6c06ad14b9bb61580727c4b188a40d21b509 100644 (file)
@@ -1,11 +1,6 @@
-//
-// This file contains functions which handle all of the CalDAV "REPORT" queries
-// specified in RFC4791 section 7.
-//
-// Copyright (c) 2022 by the citadel.org team
-//
-// This program is open source software.  Use, duplication, or
-// disclosure are subject to the GNU General Public License v3.
+// This file contains functions which handle all of the CalDAV "REPORT" queries specified in RFC4791 section 7.
+// Copyright (c) 2023-2024 by the citadel.org team
+// This program is open source software.  Use, duplication, or disclosure is subject to the GNU General Public License v3.
 
 #include "webcit.h"
 
@@ -21,50 +16,98 @@ enum cr_type {
 // Data type for CalDAV Report Parameters.
 // As we slog our way through the XML we learn what the client is asking for
 // and build up the contents of this data type.
-struct cr_parms {
+struct cr_params {
        int tag_nesting_level;          // not needed, just kept for pretty-printing
        enum cr_type report_type;       // which RFC4791 section 7 REPORT are we generating
        StrBuf *Chardata;               // XML chardata in between tags is built up here
-       StrBuf *Hrefs;                  // list of items requested by a calendar-multiget report
+       StrBuf *Hrefs;                  // list of items requested by a `calendar-multiget` REPORT
+       Array *filters;                 // If the query contains a FILTER stanza, the filter criteria are populated here
 };
 
 
 // XML parser callback
 void caldav_xml_start(void *data, const char *el, const char **attr) {
-       struct cr_parms *crp = (struct cr_parms *) data;
-       int i;
-
-       // syslog(LOG_DEBUG, "CALDAV ELEMENT START: <%s> %d", el, crp->tag_nesting_level);
+       struct cr_params *crp = (struct cr_params *) data;
 
+#ifdef DEBUG_XML_PARSE
+       // logging
+       int i;
+       char indent[256];
+       indent[0] = 0;
+       for (i=0; i<crp->tag_nesting_level; ++i) {
+               strcat(indent, "  ");
+       }
+       syslog(LOG_DEBUG, "%s<%s>", indent, el);
+       ++crp->tag_nesting_level;
+       indent[0] = 0;
+       for (i=0; i<crp->tag_nesting_level; ++i) {
+               strcat(indent, "  ");
+       }
        for (i = 0; attr[i] != NULL; i += 2) {
-               syslog(LOG_DEBUG, "                    Attribute '%s' = '%s'", attr[i], attr[i + 1]);
+               syslog(LOG_DEBUG, "%sAttribute '%s' = '%s'", indent, attr[i], attr[i + 1]);
        }
+       // end logging
+#endif
 
-       if (!strcasecmp(el, "urn:ietf:params:xml:ns:caldav:calendar-multiget")) {
-               crp->report_type = cr_calendar_multiget;
+       // RFC4791 7.8 "calendar-query" REPORT - Client will send a lot of search criteria.
+       if (!strcasecmp(el, "urn:ietf:params:xml:ns:caldav:calendar-query")) {
+               crp->report_type = cr_calendar_query;
        }
 
-       else if (!strcasecmp(el, "urn:ietf:params:xml:ns:caldav:calendar-query")) {
-               crp->report_type = cr_calendar_query;
+       // RFC4791 7.9 "calendar-multiget" REPORT - Client will supply a list of specific hrefs.
+       else if (!strcasecmp(el, "urn:ietf:params:xml:ns:caldav:calendar-multiget")) {
+               crp->report_type = cr_calendar_multiget;
        }
 
+       // RFC4791 7.10 "free-busy-query" REPORT
        else if (!strcasecmp(el, "urn:ietf:params:xml:ns:caldav:free-busy-query")) {
                crp->report_type = cr_freebusy_query;
        }
 
-       ++crp->tag_nesting_level;
+       // RFC4791 9.7 create a filter array if this query contains a "CALDAV:filter" stanza
+       else if (!strcasecmp(el, "urn:ietf:params:xml:ns:caldav:filter")) {
+               crp->filters = array_new(SIZ);
+       }
+
+       // Handle the filters defined in RFC4791 9.7.1 through 9.7.5
+       else if (       (       (!strcasecmp(el, "urn:ietf:params:xml:ns:caldav:comp-filter"))
+                               || (!strcasecmp(el, "urn:ietf:params:xml:ns:caldav:prop-filter"))
+                               || (!strcasecmp(el, "urn:ietf:params:xml:ns:caldav:param-filter"))
+                               || (!strcasecmp(el, "urn:ietf:params:xml:ns:caldav:is-not-defined"))
+                               || (!strcasecmp(el, "urn:ietf:params:xml:ns:caldav:text-match"))
+                       )
+                       && (crp->filters)                       // Make sure we actually allocated an array
+       ) {
+               char newfilter[SIZ];
+               int a = 0;
+               int len = snprintf(newfilter, SIZ, &el[23]);    // strip off "urn:ietf:params:xml:ns:caldav:" for our purposes
+               while (attr[a]) {
+                       len += snprintf(&newfilter[len], SIZ-len, "|%s", attr[a++]);    // now save the attributes
+               }
+               array_append(crp->filters, newfilter);
+               syslog(LOG_DEBUG, "%s", newfilter);
+       }
+
 }
 
 
 // XML parser callback
 void caldav_xml_end(void *data, const char *el) {
-       struct cr_parms *crp = (struct cr_parms *) data;
+       struct cr_params *crp = (struct cr_params *) data;
+
        --crp->tag_nesting_level;
 
-       if (crp->Chardata != NULL) {
-               // syslog(LOG_DEBUG, "CALDAV CHARDATA     : %s", ChrPtr(crp->Chardata));
+#ifdef DEBUG_XML_PARSE
+       // logging
+       int i;
+       char indent[256];
+       indent[0] = 0;
+       for (i=0; i<crp->tag_nesting_level; ++i) {
+               strcat(indent, "  ");
        }
-       // syslog(LOG_DEBUG, "CALDAV ELEMENT END  : <%s> %d", el, crp->tag_nesting_level);
+       syslog(LOG_DEBUG, "%s</%s>", indent, el);
+       // end logging
+#endif
 
        if ((!strcasecmp(el, "DAV::href")) || (!strcasecmp(el, "DAV:href"))) {
                if (crp->Hrefs == NULL) {       // append crp->Chardata to crp->Hrefs
@@ -84,25 +127,48 @@ void caldav_xml_end(void *data, const char *el) {
 
 
 // XML parser callback
-void caldav_xml_chardata(void *data, const XML_Char * s, int len) {
-       struct cr_parms *crp = (struct cr_parms *) data;
+void caldav_xml_chardata(void *data, const XML_Char *s, int len) {
+       struct cr_params *crp = (struct cr_params *) data;
+
+       char *app = malloc(len+1);
+       if (!app) {
+               return;
+       }
+       memcpy(app, s, len);
+       app[len] = 0;
 
        if (crp->Chardata == NULL) {
                crp->Chardata = NewStrBuf();
        }
 
-       StrBufAppendBufPlain(crp->Chardata, s, len, 0);
+       StrBufAppendBufPlain(crp->Chardata, app, len, 0);
+
+#ifdef DEBUG_XML_PARSE
+       // logging
+       string_trim(app);               // remove leading/trailing whitespace.  ok to mangle it because we've already appended.
+       if (!IsEmptyStr(app)) {
+               int i;
+               char indent[256];
+               indent[0] = 0;
+               for (i=0; i<crp->tag_nesting_level; ++i) {
+                       strcat(indent, "  ");
+               }
+               syslog(LOG_DEBUG, "%s%s", indent, app, len);
+       }
+       // end logging
+#endif
 
+       free(app);
        return;
 }
 
 
-// Called by caldav_response() to fetch a message (by number) in the current room,
+// Called by caldav_report_one_item() to fetch a message (by number) in the current room,
 // and return only the icalendar data as a StrBuf.  Returns NULL if not found.
 //
 // NOTE: this function expects that "MSGP text/calendar" was issued at the beginning
 // of a REPORT operation to set our preferred MIME type to calendar data.
-StrBuf *fetch_ical(struct ctdlsession * c, long msgnum) {
+StrBuf *fetch_ical(struct ctdlsession *c, long msgnum) {
        char buf[1024];
        StrBuf *Buf = NULL;
 
@@ -113,7 +179,7 @@ StrBuf *fetch_ical(struct ctdlsession * c, long msgnum) {
        }
 
        while (ctdl_readline(c, buf, sizeof(buf)), strcmp(buf, "000")) {
-               if (Buf != NULL) {      // already in body
+               if (Buf != NULL) {              // already in body
                        StrBufAppendPrintf(Buf, "%s\n", buf);
                }
                else if (IsEmptyStr(buf)) {     // beginning of body
@@ -122,31 +188,48 @@ StrBuf *fetch_ical(struct ctdlsession * c, long msgnum) {
        }
 
        return Buf;
+}
+
+
+// Called by multiple REPORT types to actually perform the output in "multiget" format.
+// We need to already know the source message number and the href, but also already have the output data.
+void cal_multiget_out(long msgnum, StrBuf *ThisHref, StrBuf *Caldata, StrBuf *ReportOut) {
+
+       StrBufAppendPrintf(ReportOut, "<D:response>");
+       StrBufAppendPrintf(ReportOut, "<D:href>");
+       StrBufXMLEscAppend(ReportOut, ThisHref, NULL, 0, 0);
+       StrBufAppendPrintf(ReportOut, "</D:href>");
+       StrBufAppendPrintf(ReportOut, "<D:propstat>");
+
+       if (Caldata != NULL) {
+               // syslog(LOG_DEBUG, "caldav_report_one_item(%s) 200 OK", ChrPtr(ThisHref));
+               StrBufAppendPrintf(ReportOut, "<D:status>");
+               StrBufAppendPrintf(ReportOut, "HTTP/1.1 200 OK");
+               StrBufAppendPrintf(ReportOut, "</D:status>");
+               StrBufAppendPrintf(ReportOut, "<D:prop>");
+               StrBufAppendPrintf(ReportOut, "<D:getetag>");
+               StrBufAppendPrintf(ReportOut, "%ld", msgnum);
+               StrBufAppendPrintf(ReportOut, "</D:getetag>");
+               StrBufAppendPrintf(ReportOut, "<C:calendar-data>");
+               StrBufXMLEscAppend(ReportOut, Caldata, NULL, 0, 0);
+               StrBufAppendPrintf(ReportOut, "</C:calendar-data>");
+               StrBufAppendPrintf(ReportOut, "</D:prop>");
+       }
+       else {
+               // syslog(LOG_DEBUG, "caldav_report_one_item(%s) 404 not found", ChrPtr(ThisHref));
+               StrBufAppendPrintf(ReportOut, "<D:status>");
+               StrBufAppendPrintf(ReportOut, "HTTP/1.1 404 not found");
+               StrBufAppendPrintf(ReportOut, "</D:status>");
+       }
 
-// webcit[13039]: msgn=53CE87AF-00392161@uncensored.citadel.org
-// webcit[13039]: path=IGnatius T Foobar
-// webcit[13039]: time=1208008800
-// webcit[13039]: from=IGnatius T Foobar
-// webcit[13039]: room=0000000001.Calendar
-// webcit[13039]: node=uncnsrd
-// webcit[13039]: hnod=Uncensored
-// webcit[13039]: exti=040000008200E00074C5B7101A82E0080000000080C728F83E84C801000000000000000010000000E857E0DC57F53947ADF0BB91EE3A502F
-// webcit[13039]: subj==?UTF-8?B?V2VzbGV5J3MgYmlydGhkYXkgcGFydHk=
-// webcit[13039]: ?=
-// webcit[13039]: part=||1||text/calendar|1127||
-// webcit[13039]: text
-// webcit[13039]: Content-type: text/calendar
-// webcit[13039]: Content-length: 1127
-// webcit[13039]: Content-transfer-encoding: 7bit
-// webcit[13039]: X-Citadel-MSG4-Partnum: 1
-// webcit[13039]:
-// webcit[13039]: BEGIN:VCALENDAR
+       StrBufAppendPrintf(ReportOut, "</D:propstat>");
+       StrBufAppendPrintf(ReportOut, "</D:response>");
 }
 
 
 // Called by caldav_report() to output a single item.
 // Our policy is to throw away the list of properties the client asked for, and just send everything.
-void caldav_response(struct http_transaction *h, struct ctdlsession *c, StrBuf * ReportOut, StrBuf * ThisHref) {
+void caldav_report_one_item(struct http_transaction *h, struct ctdlsession *c, StrBuf *ReportOut, StrBuf *ThisHref) {
        long msgnum;
        StrBuf *Caldata = NULL;
        char *euid;
@@ -165,43 +248,48 @@ void caldav_response(struct http_transaction *h, struct ctdlsession *c, StrBuf *
        }
        unescape_input(unescaped_euid);
 
-       StrBufAppendPrintf(ReportOut, "<D:response>");
-       StrBufAppendPrintf(ReportOut, "<D:href>");
-       StrBufXMLEscAppend(ReportOut, ThisHref, NULL, 0, 0);
-       StrBufAppendPrintf(ReportOut, "</D:href>");
-       StrBufAppendPrintf(ReportOut, "<D:propstat>");
-
        msgnum = locate_message_by_uid(c, unescaped_euid);
        free(unescaped_euid);
        if (msgnum > 0) {
                Caldata = fetch_ical(c, msgnum);
        }
+       else {
+               Caldata = NULL;
+       }
+
+       cal_multiget_out(msgnum, ThisHref, Caldata, ReportOut);
 
        if (Caldata != NULL) {
-               // syslog(LOG_DEBUG, "caldav_response(%s) 200 OK", ChrPtr(ThisHref));
-               StrBufAppendPrintf(ReportOut, "<D:status>");
-               StrBufAppendPrintf(ReportOut, "HTTP/1.1 200 OK");
-               StrBufAppendPrintf(ReportOut, "</D:status>");
-               StrBufAppendPrintf(ReportOut, "<D:prop>");
-               StrBufAppendPrintf(ReportOut, "<D:getetag>");
-               StrBufAppendPrintf(ReportOut, "%ld", msgnum);
-               StrBufAppendPrintf(ReportOut, "</D:getetag>");
-               StrBufAppendPrintf(ReportOut, "<C:calendar-data>");
-               StrBufXMLEscAppend(ReportOut, Caldata, NULL, 0, 0);
-               StrBufAppendPrintf(ReportOut, "</C:calendar-data>");
-               StrBufAppendPrintf(ReportOut, "</D:prop>");
                FreeStrBuf(&Caldata);
-               Caldata = NULL;
        }
-       else {
-               // syslog(LOG_DEBUG, "caldav_response(%s) 404 not found", ChrPtr(ThisHref));
-               StrBufAppendPrintf(ReportOut, "<D:status>");
-               StrBufAppendPrintf(ReportOut, "HTTP/1.1 404 not found");
-               StrBufAppendPrintf(ReportOut, "</D:status>");
+}
+
+
+// Called by caldav_apply_filters() to apply ONE filter.
+// Returns 0 if the calendar item does not match the filter.
+// Returns 1 if the calendar item DOES match the filter.
+int caldav_apply_one_filter(void *cal, char *filter) {
+       syslog(LOG_DEBUG, "applying filter: %s", filter);
+       return(1);
+}
+
+
+// Recursive function to apply CalDAV FILTERS to a calendar item.
+// Returns zero if the calendar item was disqualified by a filter, nonzero if the calendar item still qualifies.
+int caldav_apply_filters(void *cal, Array *filters, int index) {
+
+       // Apply *this* filter.
+       if (caldav_apply_one_filter(cal, array_get_element_at(filters, index)) == 0) {
+               return(0);
        }
 
-       StrBufAppendPrintf(ReportOut, "</D:propstat>");
-       StrBufAppendPrintf(ReportOut, "</D:response>");
+       // If we get to this point, the current filter has passed, and we move on to the next one.
+       if (index < array_len(filters)-1) {
+               return(caldav_apply_filters(cal, filters, index+1));
+       }
+
+       // If we got this far, every filter passed, and the calendar item qualifies for output.
+       return(1);
 }
 
 
@@ -209,10 +297,10 @@ void caldav_response(struct http_transaction *h, struct ctdlsession *c, StrBuf *
 // is requested on a calendar room.  We fire up an XML Parser to decode the request and
 // hopefully produce the correct output.
 void caldav_report(struct http_transaction *h, struct ctdlsession *c) {
-       struct cr_parms crp;
+       struct cr_params crp;
        char buf[1024];
 
-       memset(&crp, 0, sizeof(struct cr_parms));
+       memset(&crp, 0, sizeof(struct cr_params));
 
        XML_Parser xp = XML_ParserCreateNS("UTF-8", ':');
        if (xp == NULL) {
@@ -228,7 +316,7 @@ void caldav_report(struct http_transaction *h, struct ctdlsession *c) {
        XML_Parse(xp, h->request_body, h->request_body_length, 1);
        XML_ParserFree(xp);
 
-       if (crp.Chardata != NULL) {     // Discard any trailing chardata ... normally nothing here
+       if (crp.Chardata != NULL) {             // Discard any trailing chardata ... normally nothing here
                FreeStrBuf(&crp.Chardata);
                crp.Chardata = NULL;
        }
@@ -249,18 +337,69 @@ void caldav_report(struct http_transaction *h, struct ctdlsession *c) {
                ">"
        );
 
-       if (crp.Hrefs != NULL) {        // Output all qualifying calendar items!
+       // RFC4791 7.8 "calendar-query" REPORT - Client will send a lot of search criteria.
+       if (crp.report_type == cr_calendar_query) {
+               int i = 0;
+               Array *msglist = get_msglist(c, "ALL");
+               if (msglist != NULL) {
+                       for (i = 0; i < array_len(msglist); ++i) {
+                               long m;
+                               memcpy(&m, array_get_element_at(msglist, i), sizeof(long));
+
+                               // load and parse one calendar item
+                               StrBuf *one_item = fetch_ical(c, m);
+                               icalcomponent *cal = icalcomponent_new_from_string(ChrPtr(one_item));
+
+                               // Does this calendar item qualify for output?
+                               int qualify = 1;
+
+                               // If there was a filter stanza, run this calendar item through the filters.
+                               qualify = caldav_apply_filters(cal, crp.filters, 0);
+                               syslog(LOG_DEBUG, "Message %ld does%s qualify", m, (qualify ? "" : " NOT"));
+
+                               // Did this calendar item match the query?  If so, output it.
+                               if (qualify) {
+                                       // FIXME need to populate the Href instead of NULL
+                                       cal_multiget_out(m, NULL, one_item, ReportOut);
+                               }
+
+                               icalcomponent_free(cal);
+                               FreeStrBuf(&one_item);
+
+                       }
+                       array_free(msglist);
+               }
+       }
+
+       // RFC4791 7.9 "calendar-multiget" REPORT - go get the specific Hrefs the client asked for.
+       // Can we move this back into citserver too?
+       else if ( (crp.report_type == cr_calendar_multiget) && (crp.Hrefs != NULL) ) {
+
                StrBuf *ThisHref = NewStrBuf();
                const char *pvset = NULL;
                while (StrBufExtract_NextToken(ThisHref, crp.Hrefs, &pvset, '|') >= 0) {
-                       caldav_response(h, c, ReportOut, ThisHref);
+                       StrBufTrim(ThisHref);                           // remove leading/trailing whitespace from the href
+                       caldav_report_one_item(h, c, ReportOut, ThisHref);
                }
                FreeStrBuf(&ThisHref);
+       }
+
+       // RFC4791 7.10 "free-busy-query" REPORT
+       else if (crp.report_type == cr_freebusy_query) {
+               // FIXME build this REPORT.  At the moment we send an empty multistatus.
+       }
+
+       // Free any query parameters that might have been allocated during the xml parse
+       if (crp.Hrefs != NULL) {
                FreeStrBuf(&crp.Hrefs);
                crp.Hrefs = NULL;
        }
+       if (crp.filters) {
+               array_free(crp.filters);
+               crp.filters = NULL;
+       }
 
-       StrBufAppendPrintf(ReportOut, "</D:multistatus>\n");    // End the REPORT.
+       StrBufAppendPrintf(ReportOut, "</D:multistatus>\n");            // End the REPORT.
 
        add_response_header(h, strdup("Content-type"), strdup("text/xml"));
        h->response_code = 207;