MIGRATE: By Edward Flick (DTX) properly set the message ID for the meta data record...
[citadel.git] / citadel / modules / migrate / serv_migrate.c
index 10404772b3f2647a0fb676e77a84730d58033984..39ffc73b9782f664d84d6f1afe5690d227e7814a 100644 (file)
@@ -1,21 +1,15 @@
 /*
  * This module dumps and/or loads the Citadel database in XML format.
  *
- * Copyright (c) 1987-2010 by the citadel.org team
+ * Copyright (c) 1987-2012 by the citadel.org team
  *
- * This program is free software; you can redistribute it and/or modify
- * it under the terms of the GNU General Public License as published by
- * the Free Software Foundation; either version 3 of the License, or
- * (at your option) any later version.
+ * This program is open source software; you can redistribute it and/or modify
+ * it under the terms of the GNU General Public License version 3.
  *
  * This program is distributed in the hope that it will be useful,
  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  * GNU General Public License for more details.
- *
- * You should have received a copy of the GNU General Public License
- * along with this program; if not, write to the Free Software
- * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  */
 
 #include "sysdep.h"
 #include "user_ops.h"
 #include "control.h"
 #include "euidindex.h"
-
-
 #include "ctdl_module.h"
 
-
-
 #define END_OF_MESSAGE "---eom---dbd---"
 
 char migr_tempfilename1[PATH_MAX];
@@ -68,14 +58,10 @@ char migr_tempfilename2[PATH_MAX];
 FILE *migr_global_message_list;
 
 
-
-
 /*
  * Code which implements the export appears in this section
  */
 
-
-
 /*
  * Output a string to the client with these characters escaped:  & < >
  */
@@ -311,8 +297,8 @@ void migr_export_message(long msgnum) {
        client_write("<msg_meta_content_type>", 23); xml_strout(smi.meta_content_type); client_write("</msg_meta_content_type>\n", 25);
 
        client_write("<msg_text>", 10);
-       serialize_message(&smr, msg);
-       CtdlFreeMessage(msg);
+       CtdlSerializeMessage(&smr, msg);
+       CM_Free(msg);
 
        /* Predict the buffer size we need.  Expand the buffer if necessary. */
        int encoded_len = smr.len * 15 / 10 ;
@@ -394,8 +380,6 @@ void migr_export_messages(void) {
 
 
 void migr_do_export(void) {
-       struct config *buf;
-       buf = &config;
        CitContext *Ctx;
 
        Ctx = CC;
@@ -423,7 +407,6 @@ void migr_do_export(void) {
        cprintf("<c_restrict>%d</c_restrict>\n", config.c_restrict);
        client_write("<c_site_location>", 17);  xml_strout(config.c_site_location);     client_write("</c_site_location>\n", 19);
        client_write("<c_sysadm>", 10);         xml_strout(config.c_sysadm);            client_write("</c_sysadm>\n", 12);
-       cprintf("<c_setup_level>%d</c_setup_level>\n", config.c_setup_level);
        cprintf("<c_maxsessions>%d</c_maxsessions>\n", config.c_maxsessions);
        client_write("<c_ip_addr>", 11);        xml_strout(config.c_ip_addr);           client_write("</c_ip_addr>\n", 13);
        cprintf("<c_port_number>%d</c_port_number>\n", config.c_port_number);
@@ -459,7 +442,6 @@ void migr_do_export(void) {
        cprintf("<c_pop3s_port>%d</c_pop3s_port>\n", config.c_pop3s_port);
        cprintf("<c_smtps_port>%d</c_smtps_port>\n", config.c_smtps_port);
        cprintf("<c_auto_cull>%d</c_auto_cull>\n", config.c_auto_cull);
-       cprintf("<c_instant_expunge>%d</c_instant_expunge>\n", config.c_instant_expunge);
        cprintf("<c_allow_spoofing>%d</c_allow_spoofing>\n", config.c_allow_spoofing);
        cprintf("<c_journal_email>%d</c_journal_email>\n", config.c_journal_email);
        cprintf("<c_journal_pubmsgs>%d</c_journal_pubmsgs>\n", config.c_journal_pubmsgs);
@@ -542,6 +524,7 @@ void migr_xml_chardata(void *data, const XML_Char *s, int len) {
 
        old_len = migr_chardata_len;
        new_len = old_len + len;
+
        new_buffer = realloc(migr_chardata, new_len + 1);
        if (new_buffer != NULL) {
                memcpy(&new_buffer[old_len], s, len);
@@ -658,7 +641,6 @@ void migr_xml_end(void *data, const char *el) {
        else if (!strcasecmp(el, "c_restrict"))                 config.c_restrict = atoi(migr_chardata);
        else if (!strcasecmp(el, "c_site_location"))            safestrncpy(config.c_site_location, migr_chardata, sizeof config.c_site_location);
        else if (!strcasecmp(el, "c_sysadm"))                   safestrncpy(config.c_sysadm, migr_chardata, sizeof config.c_sysadm);
-       else if (!strcasecmp(el, "c_setup_level"))              config.c_setup_level = atoi(migr_chardata);
        else if (!strcasecmp(el, "c_maxsessions"))              config.c_maxsessions = atoi(migr_chardata);
        else if (!strcasecmp(el, "c_ip_addr"))                  safestrncpy(config.c_ip_addr, migr_chardata, sizeof config.c_ip_addr);
        else if (!strcasecmp(el, "c_port_number"))              config.c_port_number = atoi(migr_chardata);
@@ -694,7 +676,6 @@ void migr_xml_end(void *data, const char *el) {
        else if (!strcasecmp(el, "c_pop3s_port"))               config.c_pop3s_port = atoi(migr_chardata);
        else if (!strcasecmp(el, "c_smtps_port"))               config.c_smtps_port = atoi(migr_chardata);
        else if (!strcasecmp(el, "c_auto_cull"))                config.c_auto_cull = atoi(migr_chardata);
-       else if (!strcasecmp(el, "c_instant_expunge"))          config.c_instant_expunge = atoi(migr_chardata);
        else if (!strcasecmp(el, "c_allow_spoofing"))           config.c_allow_spoofing = atoi(migr_chardata);
        else if (!strcasecmp(el, "c_journal_email"))            config.c_journal_email = atoi(migr_chardata);
        else if (!strcasecmp(el, "c_journal_pubmsgs"))          config.c_journal_pubmsgs = atoi(migr_chardata);
@@ -831,7 +812,7 @@ void migr_xml_end(void *data, const char *el) {
                        msglist = NULL;
                        msglist_alloc = 0;
                        syslog(LOG_DEBUG, "Imported %d messages.\n", msgcount);
-                       if (CtdlThreadCheckStop()) {
+                       if (server_shutting_down) {
                                return;
                }
        }
@@ -888,6 +869,7 @@ void migr_xml_end(void *data, const char *el) {
                cdb_store(CDB_MSGMAIN, &import_msgnum, sizeof(long), decoded_msg, msglen);
                free(decoded_msg);
                decoded_msg = NULL;
+               smi.meta_msgnum = import_msgnum;
                PutMetaData(&smi);
                syslog(LOG_INFO, "Imported message #%ld, size=%ld, refcount=%d, content-type: %s\n",
                        import_msgnum, msglen, smi.meta_refcount, smi.meta_content_type);
@@ -909,12 +891,12 @@ void migr_xml_end(void *data, const char *el) {
  * Import begins here
  */
 void migr_do_import(void) {
-       char buf[SIZ];
+       StrBuf *Buf;
        XML_Parser xp;
-       int linelen;
+       int Finished = 0;
        
        unbuffer_output();
-
+       Buf = NewStrBufPlain(NULL, SIZ);
        xp = XML_ParserCreate(NULL);
        if (!xp) {
                cprintf("%d Failed to create XML parser instance\n", ERROR+INTERNAL_ERROR);
@@ -928,22 +910,28 @@ void migr_do_import(void) {
        cprintf("%d sock it to me\n", SEND_LISTING);
        unbuffer_output();
 
-       while (client_getln(buf, sizeof buf) >= 0 && strcmp(buf, "000")) {
-               linelen = strlen(buf);
-               strcpy(&buf[linelen++], "\n");
+       client_set_inbound_buf(SIZ * 10);
 
-               if (CtdlThreadCheckStop())
+       while (!Finished && client_read_random_blob(Buf, -1) >= 0) {
+               if ((StrLength(Buf) > 4) &&
+                   !strcmp(ChrPtr(Buf) + StrLength(Buf) - 4, "000\n"))
+               {
+                       Finished = 1;
+                       StrBufCutAt(Buf, StrLength(Buf) - 4, NULL);
+               }
+               if (server_shutting_down)
                        break;  // Should we break or return?
                
-               if (buf[0] == '\0')
+               if (StrLength(Buf) == 0)
                        continue;
 
-               XML_Parse(xp, buf, linelen, 0);
+               XML_Parse(xp, ChrPtr(Buf), StrLength(Buf), 0);
+               FlushStrBuf(Buf);
        }
 
        XML_Parse(xp, "", 0, 1);
        XML_ParserFree(xp);
-       
+       FreeStrBuf(&Buf);
        rebuild_euid_index();
        rebuild_usersbynumber();
        CC->dont_term = 0;
@@ -1017,6 +1005,6 @@ CTDL_MODULE_INIT(migrate)
                CtdlRegisterProtoHook(cmd_migr, "ARTV", "Across-the-wire migration (legacy syntax)");
        }
        
-       /* return our Subversion id for the Log */
+       /* return our module name for the log */
        return "migrate";
 }