struct MetaData has an unused member "mimetype" that doesn't
[citadel.git] / citadel / modules / migrate / serv_migrate.c
index 83173268239cbc2f69074ee6e24d7ce8f5c2f2f6..96ff75057f20e218285c7f1820416f6d82539961 100644 (file)
@@ -1,7 +1,7 @@
 /*
  * This module dumps and/or loads the Citadel database in XML format.
  *
- * Copyright (c) 1987-2015 by the citadel.org team
+ * Copyright (c) 1987-2018 by the citadel.org team
  *
  * This program is open source software; you can redistribute it and/or modify
  * it under the terms of the GNU General Public License version 3.
@@ -69,6 +69,7 @@ char migr_tempfilename1[PATH_MAX];
 char migr_tempfilename2[PATH_MAX];
 FILE *migr_global_message_list;
 int total_msgs = 0;
+char *ikey = NULL;                     // If we're importing a config key we store it here.
 
 
 /******************************************************************************
@@ -76,7 +77,7 @@ int total_msgs = 0;
  ******************************************************************************/
 
 /*
- * Output a string to the client with these characters escaped:  & < >
+ * Output a string to the client with these characters escaped:  & < > " '
  */
 void xml_strout(char *str) {
 
@@ -126,6 +127,8 @@ void migr_export_users_backend(struct ctdluser *buf, void *data) {
        cprintf("<u_lastcall>%ld</u_lastcall>\n", (long)buf->lastcall);
        cprintf("<u_USuserpurge>%d</u_USuserpurge>\n", buf->USuserpurge);
        client_write(HKEY("<u_fullname>"));     xml_strout(buf->fullname);              client_write(HKEY("</u_fullname>\n"));
+       cprintf("<u_msgnum_bio>%ld</u_msgnum_bio>\n", buf->msgnum_bio);
+       cprintf("<u_msgnum_pic>%ld</u_msgnum_pic>\n", buf->msgnum_pic);
        client_write(HKEY("</user>\n"));
 }
 
@@ -154,7 +157,6 @@ void migr_export_rooms_backend(struct ctdlroom *buf, void *data) {
                xml_strout(buf->QRdirname);
                client_write(HKEY("</QRdirname>\n"));
        }
-       cprintf("<QRinfo>%ld</QRinfo>\n", buf->QRinfo);
        cprintf("<QRfloor>%d</QRfloor>\n", buf->QRfloor);
        cprintf("<QRmtime>%ld</QRmtime>\n", (long)buf->QRmtime);
        cprintf("<QRexpire_mode>%d</QRexpire_mode>\n", buf->QRep.expire_mode);
@@ -163,6 +165,8 @@ void migr_export_rooms_backend(struct ctdlroom *buf, void *data) {
        cprintf("<QRorder>%d</QRorder>\n", buf->QRorder);
        cprintf("<QRflags2>%u</QRflags2>\n", buf->QRflags2);
        cprintf("<QRdefaultview>%d</QRdefaultview>\n", buf->QRdefaultview);
+       cprintf("<msgnum_info>%ld</msgnum_info>\n", buf->msgnum_info);
+       cprintf("<msgnum_pic>%ld</msgnum_pic>\n", buf->msgnum_pic);
        client_write(HKEY("</room>\n"));
 
        /* message list goes inside this tag */
@@ -194,9 +198,9 @@ void migr_export_rooms(void) {
         * exporting the message multiple times.)
         */
        snprintf(cmd, sizeof cmd, "sort -n <%s >%s", migr_tempfilename1, migr_tempfilename2);
-       if (system(cmd) != 0) syslog(LOG_ALERT, "Error %d\n", errno);
+       if (system(cmd) != 0) syslog(LOG_ALERT, "Error %d", errno);
        snprintf(cmd, sizeof cmd, "uniq <%s >%s", migr_tempfilename2, migr_tempfilename1);
-       if (system(cmd) != 0) syslog(LOG_ALERT, "Error %d\n", errno);
+       if (system(cmd) != 0) syslog(LOG_ALERT, "Error %d", errno);
 
 
        snprintf(cmd, sizeof cmd, "wc -l %s", migr_tempfilename1);
@@ -326,7 +330,6 @@ void migr_export_message(long msgnum) {
        cprintf("<msg_meta_refcount>%d</msg_meta_refcount>\n", smi.meta_refcount);
        cprintf("<msg_meta_rfc822_length>%ld</msg_meta_rfc822_length>\n", smi.meta_rfc822_length);
        client_write(HKEY("<msg_meta_content_type>")); xml_strout(smi.meta_content_type); client_write(HKEY("</msg_meta_content_type>\n"));
-       client_write(HKEY("<msg_mimetype>")); xml_strout(smi.mimetype); client_write(HKEY("</msg_mimetype>\n"));
 
        client_write(HKEY("<msg_text>"));
        CtdlSerializeMessage(&smr, msg);
@@ -362,8 +365,8 @@ void migr_export_openids(void) {
        long usernum;
        char url[512];
 
-       cdb_rewind(CDB_OPENID);
-       while (cdboi = cdb_next_item(CDB_OPENID), cdboi != NULL) {
+       cdb_rewind(CDB_EXTAUTH);
+       while (cdboi = cdb_next_item(CDB_EXTAUTH), cdboi != NULL) {
                if (cdboi->len > sizeof(long)) {
                        client_write(HKEY("<openid>\n"));
                        memcpy(&usernum, cdboi->ptr, sizeof(long));
@@ -415,7 +418,7 @@ void migr_export_messages(void) {
        Ctx = CC;
        migr_global_message_list = fopen(migr_tempfilename1, "r");
        if (migr_global_message_list != NULL) {
-               syslog(LOG_INFO, "Opened %s\n", migr_tempfilename1);
+               syslog(LOG_INFO, "Opened %s", migr_tempfilename1);
                while ((Ctx->kill_me == 0) && 
                       (fgets(buf, sizeof(buf), migr_global_message_list) != NULL)) {
                        msgnum = atol(buf);
@@ -432,9 +435,9 @@ void migr_export_messages(void) {
                fclose(migr_global_message_list);
        }
        if (Ctx->kill_me == 0)
-               syslog(LOG_INFO, "Exported %d messages.\n", count);
+               syslog(LOG_INFO, "Exported %d messages.", count);
        else
-               syslog(LOG_ERR, "Export aborted due to client disconnect! \n");
+               syslog(LOG_ERR, "Export aborted due to client disconnect!");
 
        migr_export_message(-1L);       /* This frees the encoding buffer */
 }
@@ -533,7 +536,7 @@ void migr_xml_start(void *data, const char *el, const char **attr) {
        }
 
        if (citadel_migrate_data != 1) {
-               syslog(LOG_ALERT, "Out-of-sequence tag <%s> detected.  Warning: ODD-DATA!\n", el);
+               syslog(LOG_ALERT, "Out-of-sequence tag <%s> detected.  Warning: ODD-DATA!", el);
                return;
        }
 
@@ -552,7 +555,16 @@ void migr_xml_start(void *data, const char *el, const char **attr) {
                import_msgnum = 0;
        }
        else if (!strcasecmp(el, "config")) {
-               syslog(LOG_DEBUG, "\033[31m IMPORT OF CONFIG START ELEMENT FIXME\033\0m");
+               if (ikey != NULL) {
+                       free(ikey);
+                       ikey = NULL;
+               }
+               while (*attr) {
+                       if (!strcasecmp(attr[0], "key")) {
+                               ikey = strdup(attr[1]);
+                       }
+                       attr += 2;
+               }
        }
 
 }
@@ -571,20 +583,22 @@ int migr_userrecord(void *data, const char *el)
        else if (!strcasecmp(el, "u_lastcall"))                 usbuf.lastcall = atol(ChrPtr(migr_chardata));
        else if (!strcasecmp(el, "u_USuserpurge"))              usbuf.USuserpurge = atoi(ChrPtr(migr_chardata));
        else if (!strcasecmp(el, "u_fullname"))                 safestrncpy(usbuf.fullname, ChrPtr(migr_chardata), sizeof usbuf.fullname);
+       else if (!strcasecmp(el, "u_msgnum_bio"))               usbuf.msgnum_bio = atol(ChrPtr(migr_chardata));
+       else if (!strcasecmp(el, "u_msgnum_pic"))               usbuf.msgnum_pic = atol(ChrPtr(migr_chardata));
        else return 0;
        return 1;
 }
 
+
 int migr_roomrecord(void *data, const char *el)
 {
-       if (!strcasecmp(el, "QRname"))                  safestrncpy(qrbuf.QRname, ChrPtr(migr_chardata), sizeof qrbuf.QRname);
+       if (!strcasecmp(el, "QRname"))                          safestrncpy(qrbuf.QRname, ChrPtr(migr_chardata), sizeof qrbuf.QRname);
        else if (!strcasecmp(el, "QRpasswd"))                   safestrncpy(qrbuf.QRpasswd, ChrPtr(migr_chardata), sizeof qrbuf.QRpasswd);
        else if (!strcasecmp(el, "QRroomaide"))                 qrbuf.QRroomaide = atol(ChrPtr(migr_chardata));
        else if (!strcasecmp(el, "QRhighest"))                  qrbuf.QRhighest = atol(ChrPtr(migr_chardata));
        else if (!strcasecmp(el, "QRgen"))                      qrbuf.QRgen = atol(ChrPtr(migr_chardata));
        else if (!strcasecmp(el, "QRflags"))                    qrbuf.QRflags = atoi(ChrPtr(migr_chardata));
        else if (!strcasecmp(el, "QRdirname"))                  safestrncpy(qrbuf.QRdirname, ChrPtr(migr_chardata), sizeof qrbuf.QRdirname);
-       else if (!strcasecmp(el, "QRinfo"))                     qrbuf.QRinfo = atol(ChrPtr(migr_chardata));
        else if (!strcasecmp(el, "QRfloor"))                    qrbuf.QRfloor = atoi(ChrPtr(migr_chardata));
        else if (!strcasecmp(el, "QRmtime"))                    qrbuf.QRmtime = atol(ChrPtr(migr_chardata));
        else if (!strcasecmp(el, "QRexpire_mode"))              qrbuf.QRep.expire_mode = atoi(ChrPtr(migr_chardata));
@@ -593,6 +607,8 @@ int migr_roomrecord(void *data, const char *el)
        else if (!strcasecmp(el, "QRorder"))                    qrbuf.QRorder = atoi(ChrPtr(migr_chardata));
        else if (!strcasecmp(el, "QRflags2"))                   qrbuf.QRflags2 = atoi(ChrPtr(migr_chardata));
        else if (!strcasecmp(el, "QRdefaultview"))              qrbuf.QRdefaultview = atoi(ChrPtr(migr_chardata));
+       else if (!strcasecmp(el, "msgnum_info"))                qrbuf.msgnum_info = atol(ChrPtr(migr_chardata));
+       else if (!strcasecmp(el, "msgnum_pic"))                 qrbuf.msgnum_pic = atol(ChrPtr(migr_chardata));
        else return 0;
        return 1;
 }
@@ -652,7 +668,7 @@ void migr_xml_end(void *data, const char *el)
        }
 
        if (citadel_migrate_data != 1) {
-               syslog(LOG_ALERT, "Out-of-sequence tag <%s> detected.  Warning: ODD-DATA!\n", el);
+               syslog(LOG_ALERT, "Out-of-sequence tag <%s> detected.  Warning: ODD-DATA!", el);
                return;
        }
 
@@ -662,8 +678,16 @@ void migr_xml_end(void *data, const char *el)
 
        if (!strcasecmp(el, "config"))
        {
-               syslog(LOG_DEBUG, "\033[31m IMPORT OF CONFIG END ELEMENT FIXME\033\0m");
-               CtdlSetConfigInt("c_enable_fulltext", 0);       /* always disable FIXME put this somewhere more appropriate */
+               syslog(LOG_DEBUG, "Imported config key=%s", ikey);
+
+               if (ikey != NULL) {
+                       CtdlSetConfigStr(ikey, (char *)ChrPtr(migr_chardata));
+                       free(ikey);
+                       ikey = NULL;
+               }
+               else {
+                       syslog(LOG_INFO, "Closed a <config> tag but no key name was supplied.");
+               }
        }
 
        /*** USER ***/
@@ -672,7 +696,7 @@ void migr_xml_end(void *data, const char *el)
                ; /* Nothing to do anymore */
        else if (!strcasecmp(el, "user")) {
                CtdlPutUser(&usbuf);
-               syslog(LOG_INFO, "Imported user: %s\n", usbuf.fullname);
+               syslog(LOG_INFO, "Imported user: %s", usbuf.fullname);
        }
 
        /*** OPENID ***/
@@ -687,9 +711,9 @@ void migr_xml_end(void *data, const char *el)
                oid_data = malloc(oid_data_len);
                memcpy(oid_data, &openid_usernum, sizeof(long));
                memcpy(&oid_data[sizeof(long)], openid_url, strlen(openid_url) + 1);
-               cdb_store(CDB_OPENID, openid_url, strlen(openid_url), oid_data, oid_data_len);
+               cdb_store(CDB_EXTAUTH, openid_url, strlen(openid_url), oid_data, oid_data_len);
                free(oid_data);
-               syslog(LOG_INFO, "Imported OpenID: %s (%ld)\n", openid_url, openid_usernum);
+               syslog(LOG_INFO, "Imported OpenID: %s (%ld)", openid_url, openid_usernum);
        }
 
        /*** ROOM ***/
@@ -698,7 +722,7 @@ void migr_xml_end(void *data, const char *el)
                ; /* Nothing to do anymore */
        else if (!strcasecmp(el, "room")) {
                CtdlPutRoom(&qrbuf);
-               syslog(LOG_INFO, "Imported room: %s\n", qrbuf.QRname);
+               syslog(LOG_INFO, "Imported room: %s", qrbuf.QRname);
        }
 
        /*** ROOM MESSAGE POINTERS ***/
@@ -711,7 +735,7 @@ void migr_xml_end(void *data, const char *el)
                        msglist_alloc = 1000;
                        msglist = malloc(sizeof(long) * msglist_alloc);
 
-                       syslog(LOG_DEBUG, "Message list for: %s\n", FRname);
+                       syslog(LOG_DEBUG, "Message list for: %s", FRname);
 
                        ptr = ChrPtr(migr_chardata);
                        while (*ptr != 0) {
@@ -739,7 +763,7 @@ void migr_xml_end(void *data, const char *el)
                        free(msglist);
                        msglist = NULL;
                        msglist_alloc = 0;
-                       syslog(LOG_DEBUG, "Imported %d messages.\n", msgcount);
+                       syslog(LOG_DEBUG, "Imported %d messages.", msgcount);
                        if (server_shutting_down) {
                                return;
                }
@@ -752,7 +776,7 @@ void migr_xml_end(void *data, const char *el)
 
        else if (!strcasecmp(el, "floor")) {
                CtdlPutFloor(&flbuf, floornum);
-               syslog(LOG_INFO, "Imported floor #%d (%s)\n", floornum, flbuf.f_name);
+               syslog(LOG_INFO, "Imported floor #%d (%s)", floornum, flbuf.f_name);
        }
 
        /*** VISITS ***/
@@ -761,7 +785,7 @@ void migr_xml_end(void *data, const char *el)
                ; /* Nothing to do anymore */
        else if (!strcasecmp(el, "visit")) {
                put_visit(&vbuf);
-               syslog(LOG_INFO, "Imported visit: %ld/%ld/%ld\n", vbuf.v_roomnum, vbuf.v_roomgen, vbuf.v_usernum);
+               syslog(LOG_INFO, "Imported visit: %ld/%ld/%ld", vbuf.v_roomnum, vbuf.v_roomgen, vbuf.v_usernum);
        }
 
        /*** MESSAGES ***/
@@ -770,7 +794,6 @@ void migr_xml_end(void *data, const char *el)
        else if (!strcasecmp(el, "msg_meta_refcount"))          smi.meta_refcount = atoi(ChrPtr(migr_chardata));
        else if (!strcasecmp(el, "msg_meta_rfc822_length"))     smi.meta_rfc822_length = atoi(ChrPtr(migr_chardata));
        else if (!strcasecmp(el, "msg_meta_content_type"))      safestrncpy(smi.meta_content_type, ChrPtr(migr_chardata), sizeof smi.meta_content_type);
-       else if (!strcasecmp(el, "msg_mimetype"))               safestrncpy(smi.mimetype, ChrPtr(migr_chardata), sizeof smi.mimetype);
 
        else if (!strcasecmp(el, "msg_text"))
        {
@@ -795,14 +818,14 @@ void migr_xml_end(void *data, const char *el)
                }
 
                syslog(LOG_INFO,
-                      "%s message #%ld, size=%d, refcount=%d, bodylength=%ld, content-type: %s / %s \n",
+                      "%s message #%ld, size=%d, refcount=%d, bodylength=%ld, content-type: %s",
                       (rc!= 0)?"failed to import ":"Imported ",
                       import_msgnum,
                       StrLength(migr_MsgData),
                       smi.meta_refcount,
                       smi.meta_rfc822_length,
-                      smi.meta_content_type,
-                      smi.mimetype);
+                      smi.meta_content_type
+               );
                memset(&smi, 0, sizeof(smi));
        }
 
@@ -865,11 +888,11 @@ void migr_do_import(void) {
        FreeStrBuf(&migr_MsgData);
        rebuild_euid_index();
        rebuild_usersbynumber();
+       CtdlSetConfigInt("MM_fulltext_wordbreaker", -1);        // Set an invalid wordbreaker to force re-indexing
        CC->dont_term = 0;
 }
 
 
-
 /******************************************************************************
  *                         Dispatcher, Common code                            *
  ******************************************************************************/
@@ -878,17 +901,13 @@ void migr_do_import(void) {
  */
 void migr_do_listdirs(void) {
        cprintf("%d Don't forget these:\n", LISTING_FOLLOWS);
-       cprintf("bio|%s\n",             ctdl_bio_dir);
        cprintf("files|%s\n",           ctdl_file_dir);
-       cprintf("userpics|%s\n",        ctdl_usrpic_dir);
        cprintf("messages|%s\n",        ctdl_message_dir);
-       cprintf("netconfigs|%s\n",      ctdl_netcfg_dir);
        cprintf("keys|%s\n",            ctdl_key_dir);
-       cprintf("images|%s\n",          ctdl_image_dir);
-       cprintf("info|%s\n",            ctdl_info_dir);
        cprintf("000\n");
 }
 
+
 /******************************************************************************
  *                    Repair database integrity                               *
  ******************************************************************************/
@@ -961,12 +980,12 @@ int migr_restore_message_metadata(long msgnum, int refcount)
 
 
        syslog(LOG_INFO,
-              "Setting message #%ld meta data to: refcount=%d, bodylength=%ld, content-type: %s / %s \n",
+              "Setting message #%ld meta data to: refcount=%d, bodylength=%ld, content-type: %s",
               smi.meta_msgnum,
               smi.meta_refcount,
               smi.meta_rfc822_length,
-              smi.meta_content_type,
-              smi.mimetype);
+              smi.meta_content_type
+       );
 
        PutMetaData(&smi);
 
@@ -1006,7 +1025,7 @@ void RemoveMessagesFromRooms(StrBuf *RoomNameVec, long msgnum) {
 void migr_do_restore_meta(void) {
        char buf[SIZ];
        int failGetMessage;
-       long msgnum;
+       long msgnum = 0;
        int lastnum = 0;
        int refcount = 0;
        CitContext *Ctx;
@@ -1027,13 +1046,13 @@ void migr_do_restore_meta(void) {
         * exporting the message multiple times.)
         */
        snprintf(cmd, sizeof cmd, "sort -n <%s >%s", migr_tempfilename1, migr_tempfilename2);
-       if (system(cmd) != 0) syslog(LOG_ALERT, "Error %d\n", errno);
+       if (system(cmd) != 0) syslog(LOG_ALERT, "Error %d", errno);
 
        RoomNames = NewStrBuf();
        Ctx = CC;
        migr_global_message_list = fopen(migr_tempfilename2, "r");
        if (migr_global_message_list != NULL) {
-               syslog(LOG_INFO, "Opened %s\n", migr_tempfilename1);
+               syslog(LOG_INFO, "Opened %s", migr_tempfilename1);
                while ((Ctx->kill_me == 0) && 
                       (fgets(buf, sizeof(buf), migr_global_message_list) != NULL)) {
                        msgnum = atol(buf);