Completed the overhaul of setup.
[citadel.git] / citadel / modules / migrate / serv_migrate.c
index 0e85bbc42f3f20b6c490ffbedd58971c18d45813..ddf52aeea170e40116d9ba22c7859289dda8aede 100644 (file)
@@ -1,25 +1,15 @@
 /*
- * $Id$
- *
- * Copyright (c) 2000-2009 by the citadel.org development team
- *
  * This module dumps and/or loads the Citadel database in XML format.
  *
- * This program is free software; you can redistribute it and/or modify
- * it under the terms of the GNU General Public License as published by
- * the Free Software Foundation; either version 3, or (at your option)
- * any later version.
+ * Copyright (c) 1987-2012 by the citadel.org team
+ *
+ * This program is open source software; you can redistribute it and/or modify
+ * it under the terms of the GNU General Public License version 3.
  *
  * This program is distributed in the hope that it will be useful,
  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  * GNU General Public License for more details.
- *
- * You should have received a copy of the GNU General Public License
- * along with this program; if not, write to the Free Software
- * Foundation, Inc., 51 Franklin Street, Fifth Floor,
- * Boston, MA 02110-1301, USA.
- * 
  */
 
 #include "sysdep.h"
 #include "user_ops.h"
 #include "control.h"
 #include "euidindex.h"
-
-
 #include "ctdl_module.h"
 
-
-
 #define END_OF_MESSAGE "---eom---dbd---"
 
 char migr_tempfilename1[PATH_MAX];
@@ -72,14 +58,10 @@ char migr_tempfilename2[PATH_MAX];
 FILE *migr_global_message_list;
 
 
-
-
 /*
  * Code which implements the export appears in this section
  */
 
-
-
 /*
  * Output a string to the client with these characters escaped:  & < >
  */
@@ -88,8 +70,11 @@ void xml_strout(char *str) {
        char *c = str;
 
        while (*c != 0) {
-               if (*c == '&') {
-                       client_write("&amp;", 5);
+               if (*c == '\"') {
+                       client_write("&quot;", 6);
+               }
+               else if (*c == '\'') {
+                       client_write("&apos;", 6);
                }
                else if (*c == '<') {
                        client_write("&lt;", 4);
@@ -97,6 +82,9 @@ void xml_strout(char *str) {
                else if (*c == '>') {
                        client_write("&gt;", 4);
                }
+               else if (*c == '&') {
+                       client_write("&amp;", 5);
+               }
                else {
                        client_write(c, 1);
                }
@@ -144,7 +132,11 @@ void migr_export_rooms_backend(struct ctdlroom *buf, void *data) {
        cprintf("<QRhighest>%ld</QRhighest>\n", buf->QRhighest);
        cprintf("<QRgen>%ld</QRgen>\n", (long)buf->QRgen);
        cprintf("<QRflags>%u</QRflags>\n", buf->QRflags);
-       client_write("<QRdirname>", 11);        xml_strout(buf->QRdirname);     client_write("</QRdirname>\n", 13);
+       if (buf->QRflags & QR_DIRECTORY) {
+               client_write("<QRdirname>", 11);
+               xml_strout(buf->QRdirname);
+               client_write("</QRdirname>\n", 13);
+       }
        cprintf("<QRinfo>%ld</QRinfo>\n", buf->QRinfo);
        cprintf("<QRfloor>%d</QRfloor>\n", buf->QRfloor);
        cprintf("<QRmtime>%ld</QRmtime>\n", (long)buf->QRmtime);
@@ -184,10 +176,10 @@ void migr_export_rooms(void) {
         * this will be handled by exporting the reference count, not by
         * exporting the message multiple times.)
         */
-       snprintf(cmd, sizeof cmd, "sort <%s >%s", migr_tempfilename1, migr_tempfilename2);
-       if (system(cmd) != 0) CtdlLogPrintf(CTDL_ALERT, "Error %d\n", errno);
+       snprintf(cmd, sizeof cmd, "sort -n <%s >%s", migr_tempfilename1, migr_tempfilename2);
+       if (system(cmd) != 0) syslog(LOG_ALERT, "Error %d\n", errno);
        snprintf(cmd, sizeof cmd, "uniq <%s >%s", migr_tempfilename2, migr_tempfilename1);
-       if (system(cmd) != 0) CtdlLogPrintf(CTDL_ALERT, "Error %d\n", errno);
+       if (system(cmd) != 0) syslog(LOG_ALERT, "Error %d\n", errno);
 }
 
 
@@ -210,21 +202,38 @@ void migr_export_floors(void) {
 }
 
 
+/*
+ * Return nonzero if the supplied string contains only characters which are valid in a sequence set.
+ */
+int is_sequence_set(char *s) {
+       if (!s) return(0);
+
+       char *c = s;
+       char ch;
+       while (ch = *c++, ch) {
+               if (!strchr("0123456789*,:", ch)) {
+                       return(0);
+               }
+       }
+       return(1);
+}
+
+
 
 /* 
  *  Traverse the visits file...
  */
 void migr_export_visits(void) {
-       struct visit vbuf;
+       visit vbuf;
        struct cdbdata *cdbv;
 
        cdb_rewind(CDB_VISIT);
 
        while (cdbv = cdb_next_item(CDB_VISIT), cdbv != NULL) {
-               memset(&vbuf, 0, sizeof(struct visit));
+               memset(&vbuf, 0, sizeof(visit));
                memcpy(&vbuf, cdbv->ptr,
-                      ((cdbv->len > sizeof(struct visit)) ?
-                       sizeof(struct visit) : cdbv->len));
+                      ((cdbv->len > sizeof(visit)) ?
+                       sizeof(visit) : cdbv->len));
                cdb_free(cdbv);
 
                client_write("<visit>\n", 8);
@@ -233,7 +242,7 @@ void migr_export_visits(void) {
                cprintf("<v_usernum>%ld</v_usernum>\n", vbuf.v_usernum);
 
                client_write("<v_seen>", 8);
-               if (!IsEmptyStr(vbuf.v_seen)) {
+               if ( (!IsEmptyStr(vbuf.v_seen)) && (is_sequence_set(vbuf.v_seen)) ) {
                        xml_strout(vbuf.v_seen);
                }
                else {
@@ -241,7 +250,12 @@ void migr_export_visits(void) {
                }
                client_write("</v_seen>", 9);
 
-               client_write("<v_answered>", 12); xml_strout(vbuf.v_answered); client_write("</v_answered>\n", 14);
+               if ( (!IsEmptyStr(vbuf.v_answered)) && (is_sequence_set(vbuf.v_answered)) ) {
+                       client_write("<v_answered>", 12);
+                       xml_strout(vbuf.v_answered);
+                       client_write("</v_answered>\n", 14);
+               }
+
                cprintf("<v_flags>%u</v_flags>\n", vbuf.v_flags);
                cprintf("<v_view>%d</v_view>\n", vbuf.v_view);
                client_write("</visit>\n", 9);
@@ -344,8 +358,8 @@ void migr_export_messages(void) {
        Ctx = CC;
        migr_global_message_list = fopen(migr_tempfilename1, "r");
        if (migr_global_message_list != NULL) {
-               CtdlLogPrintf(CTDL_INFO, "Opened %s\n", migr_tempfilename1);
-               while ((Ctx->kill_me != 1) && 
+               syslog(LOG_INFO, "Opened %s\n", migr_tempfilename1);
+               while ((Ctx->kill_me == 0) && 
                       (fgets(buf, sizeof(buf), migr_global_message_list) != NULL)) {
                        msgnum = atol(buf);
                        if (msgnum > 0L) {
@@ -355,10 +369,10 @@ void migr_export_messages(void) {
                }
                fclose(migr_global_message_list);
        }
-       if (Ctx->kill_me != 1)
-               CtdlLogPrintf(CTDL_INFO, "Exported %d messages.\n", count);
+       if (Ctx->kill_me == 0)
+               syslog(LOG_INFO, "Exported %d messages.\n", count);
        else
-               CtdlLogPrintf(CTDL_ERR, "Export aborted due to client disconnect! \n");
+               syslog(LOG_ERR, "Export aborted due to client disconnect! \n");
 
        migr_export_message(-1L);       /* This frees the encoding buffer */
 }
@@ -366,8 +380,6 @@ void migr_export_messages(void) {
 
 
 void migr_do_export(void) {
-       struct config *buf;
-       buf = &config;
        CitContext *Ctx;
 
        Ctx = CC;
@@ -395,7 +407,6 @@ void migr_do_export(void) {
        cprintf("<c_restrict>%d</c_restrict>\n", config.c_restrict);
        client_write("<c_site_location>", 17);  xml_strout(config.c_site_location);     client_write("</c_site_location>\n", 19);
        client_write("<c_sysadm>", 10);         xml_strout(config.c_sysadm);            client_write("</c_sysadm>\n", 12);
-       cprintf("<c_setup_level>%d</c_setup_level>\n", config.c_setup_level);
        cprintf("<c_maxsessions>%d</c_maxsessions>\n", config.c_maxsessions);
        client_write("<c_ip_addr>", 11);        xml_strout(config.c_ip_addr);           client_write("</c_ip_addr>\n", 13);
        cprintf("<c_port_number>%d</c_port_number>\n", config.c_port_number);
@@ -466,12 +477,12 @@ void migr_do_export(void) {
        cprintf("<control_version>%d</control_version>\n", CitControl.version);
        client_write("</control>\n", 11);
 
-       if (Ctx->kill_me != 1)  migr_export_users();
-       if (Ctx->kill_me != 1)  migr_export_openids();
-       if (Ctx->kill_me != 1)  migr_export_rooms();
-       if (Ctx->kill_me != 1)  migr_export_floors();
-       if (Ctx->kill_me != 1)  migr_export_visits();
-       if (Ctx->kill_me != 1)  migr_export_messages();
+       if (Ctx->kill_me == 0)  migr_export_users();
+       if (Ctx->kill_me == 0)  migr_export_openids();
+       if (Ctx->kill_me == 0)  migr_export_rooms();
+       if (Ctx->kill_me == 0)  migr_export_floors();
+       if (Ctx->kill_me == 0)  migr_export_visits();
+       if (Ctx->kill_me == 0)  migr_export_messages();
        client_write("</citadel_migrate_data>\n", 24);
        client_write("000\n", 4);
        Ctx->dont_term = 0;
@@ -499,7 +510,7 @@ long openid_usernum = 0;
 char FRname[ROOMNAMELEN];
 struct floor flbuf;
 int floornum = 0;
-struct visit vbuf;
+visit vbuf;
 struct MetaData smi;
 long import_msgnum = 0;
 char *decoded_msg = NULL;
@@ -551,7 +562,7 @@ void migr_xml_start(void *data, const char *el, const char **attr) {
        }
 
        if (citadel_migrate_data != 1) {
-               CtdlLogPrintf(CTDL_ALERT, "Out-of-sequence tag <%s> detected.  Warning: ODD-DATA!\n");
+               syslog(LOG_ALERT, "Out-of-sequence tag <%s> detected.  Warning: ODD-DATA!\n", el);
                return;
        }
 
@@ -563,7 +574,7 @@ void migr_xml_start(void *data, const char *el, const char **attr) {
        else if (!strcasecmp(el, "room"))               memset(&qrbuf, 0, sizeof (struct ctdlroom));
        else if (!strcasecmp(el, "room_messages"))      memset(FRname, 0, sizeof FRname);
        else if (!strcasecmp(el, "floor"))              memset(&flbuf, 0, sizeof (struct floor));
-       else if (!strcasecmp(el, "visit"))              memset(&vbuf, 0, sizeof (struct visit));
+       else if (!strcasecmp(el, "visit"))              memset(&vbuf, 0, sizeof (visit));
 
        else if (!strcasecmp(el, "message")) {
                memset(&smi, 0, sizeof (struct MetaData));
@@ -577,7 +588,7 @@ void migr_xml_start(void *data, const char *el, const char **attr) {
 }
 
 
-void migr_xml_end(void *data, const char *el, const char **attr) {
+void migr_xml_end(void *data, const char *el) {
        char *ptr;
        int msgcount = 0;
        long msgnum = 0L;
@@ -596,7 +607,7 @@ void migr_xml_end(void *data, const char *el, const char **attr) {
        }
 
        if (citadel_migrate_data != 1) {
-               CtdlLogPrintf(CTDL_ALERT, "Out-of-sequence tag <%s> detected.  Warning: ODD-DATA!\n");
+               syslog(LOG_ALERT, "Out-of-sequence tag <%s> detected.  Warning: ODD-DATA!\n", el);
                return;
        }
 
@@ -605,14 +616,14 @@ void migr_xml_end(void *data, const char *el, const char **attr) {
                migr_chardata_len = 0;
        }
 
-       // CtdlLogPrintf(CTDL_DEBUG, "END TAG: <%s> DATA: <%s>\n", el, (migr_chardata_len ? migr_chardata : ""));
+       // syslog(LOG_DEBUG, "END TAG: <%s> DATA: <%s>\n", el, (migr_chardata_len ? migr_chardata : ""));
 
        /*** CONFIG ***/
 
        if (!strcasecmp(el, "config")) {
                config.c_enable_fulltext = 0;   /* always disable */
                put_config();
-               CtdlLogPrintf(CTDL_INFO, "Completed import of server configuration\n");
+               syslog(LOG_INFO, "Completed import of server configuration\n");
        }
 
        else if (!strcasecmp(el, "c_nodename"))                 safestrncpy(config.c_nodename, migr_chardata, sizeof config.c_nodename);
@@ -630,7 +641,6 @@ void migr_xml_end(void *data, const char *el, const char **attr) {
        else if (!strcasecmp(el, "c_restrict"))                 config.c_restrict = atoi(migr_chardata);
        else if (!strcasecmp(el, "c_site_location"))            safestrncpy(config.c_site_location, migr_chardata, sizeof config.c_site_location);
        else if (!strcasecmp(el, "c_sysadm"))                   safestrncpy(config.c_sysadm, migr_chardata, sizeof config.c_sysadm);
-       else if (!strcasecmp(el, "c_setup_level"))              config.c_setup_level = atoi(migr_chardata);
        else if (!strcasecmp(el, "c_maxsessions"))              config.c_maxsessions = atoi(migr_chardata);
        else if (!strcasecmp(el, "c_ip_addr"))                  safestrncpy(config.c_ip_addr, migr_chardata, sizeof config.c_ip_addr);
        else if (!strcasecmp(el, "c_port_number"))              config.c_port_number = atoi(migr_chardata);
@@ -701,7 +711,7 @@ void migr_xml_end(void *data, const char *el, const char **attr) {
        else if (!strcasecmp(el, "control")) {
                CitControl.MMfulltext = (-1L);  /* always flush */
                put_control();
-               CtdlLogPrintf(CTDL_INFO, "Completed import of control record\n");
+               syslog(LOG_INFO, "Completed import of control record\n");
        }
 
        /*** USER ***/
@@ -720,7 +730,7 @@ void migr_xml_end(void *data, const char *el, const char **attr) {
 
        else if (!strcasecmp(el, "user")) {
                CtdlPutUser(&usbuf);
-               CtdlLogPrintf(CTDL_INFO, "Imported user: %s\n", usbuf.fullname);
+               syslog(LOG_INFO, "Imported user: %s\n", usbuf.fullname);
        }
 
        /*** OPENID ***/
@@ -737,7 +747,7 @@ void migr_xml_end(void *data, const char *el, const char **attr) {
                memcpy(&oid_data[sizeof(long)], openid_url, strlen(openid_url) + 1);
                cdb_store(CDB_OPENID, openid_url, strlen(openid_url), oid_data, oid_data_len);
                free(oid_data);
-               CtdlLogPrintf(CTDL_INFO, "Imported OpenID: %s (%ld)\n", openid_url, openid_usernum);
+               syslog(LOG_INFO, "Imported OpenID: %s (%ld)\n", openid_url, openid_usernum);
        }
 
        /*** ROOM ***/
@@ -761,7 +771,7 @@ void migr_xml_end(void *data, const char *el, const char **attr) {
 
        else if (!strcasecmp(el, "room")) {
                CtdlPutRoom(&qrbuf);
-               CtdlLogPrintf(CTDL_INFO, "Imported room: %s\n", qrbuf.QRname);
+               syslog(LOG_INFO, "Imported room: %s\n", qrbuf.QRname);
        }
 
        /*** ROOM MESSAGE POINTERS ***/
@@ -774,7 +784,7 @@ void migr_xml_end(void *data, const char *el, const char **attr) {
                        msglist_alloc = 1000;
                        msglist = malloc(sizeof(long) * msglist_alloc);
 
-                       CtdlLogPrintf(CTDL_DEBUG, "Message list for: %s\n", FRname);
+                       syslog(LOG_DEBUG, "Message list for: %s\n", FRname);
 
                        ptr = migr_chardata;
                        while (*ptr != 0) {
@@ -797,13 +807,13 @@ void migr_xml_end(void *data, const char *el, const char **attr) {
                                }
                        }
                        if (msgcount > 0) {
-                               CtdlSaveMsgPointersInRoom(FRname, msglist, msgcount, 0, NULL);
+                               CtdlSaveMsgPointersInRoom(FRname, msglist, msgcount, 0, NULL, 1);
                        }
                        free(msglist);
                        msglist = NULL;
                        msglist_alloc = 0;
-                       CtdlLogPrintf(CTDL_DEBUG, "Imported %d messages.\n", msgcount);
-                       if (CtdlThreadCheckStop()) {
+                       syslog(LOG_DEBUG, "Imported %d messages.\n", msgcount);
+                       if (server_shutting_down) {
                                return;
                }
        }
@@ -819,7 +829,7 @@ void migr_xml_end(void *data, const char *el, const char **attr) {
 
        else if (!strcasecmp(el, "floor")) {
                CtdlPutFloor(&flbuf, floornum);
-               CtdlLogPrintf(CTDL_INFO, "Imported floor #%d (%s)\n", floornum, flbuf.f_name);
+               syslog(LOG_INFO, "Imported floor #%d (%s)\n", floornum, flbuf.f_name);
        }
 
        /*** VISITS ***/
@@ -841,7 +851,7 @@ void migr_xml_end(void *data, const char *el, const char **attr) {
 
        else if (!strcasecmp(el, "visit")) {
                put_visit(&vbuf);
-               CtdlLogPrintf(CTDL_INFO, "Imported visit: %ld/%ld/%ld\n", vbuf.v_roomnum, vbuf.v_roomgen, vbuf.v_usernum);
+               syslog(LOG_INFO, "Imported visit: %ld/%ld/%ld\n", vbuf.v_roomnum, vbuf.v_roomgen, vbuf.v_usernum);
        }
 
        /*** MESSAGES ***/
@@ -861,7 +871,7 @@ void migr_xml_end(void *data, const char *el, const char **attr) {
                free(decoded_msg);
                decoded_msg = NULL;
                PutMetaData(&smi);
-               CtdlLogPrintf(CTDL_INFO, "Imported message #%ld, size=%ld, refcount=%d, content-type: %s\n",
+               syslog(LOG_INFO, "Imported message #%ld, size=%ld, refcount=%d, content-type: %s\n",
                        import_msgnum, msglen, smi.meta_refcount, smi.meta_content_type);
        }
 
@@ -904,7 +914,7 @@ void migr_do_import(void) {
                linelen = strlen(buf);
                strcpy(&buf[linelen++], "\n");
 
-               if (CtdlThreadCheckStop())
+               if (server_shutting_down)
                        break;  // Should we break or return?
                
                if (buf[0] == '\0')
@@ -989,6 +999,6 @@ CTDL_MODULE_INIT(migrate)
                CtdlRegisterProtoHook(cmd_migr, "ARTV", "Across-the-wire migration (legacy syntax)");
        }
        
-       /* return our Subversion id for the Log */
-       return "$Id$";
+       /* return our module name for the log */
+       return "migrate";
 }