]> code.citadel.org Git - citadel.git/blobdiff - citadel/database_sleepycat.c
New versions of Berkeley DB (I tested with 4.5.20) seem to
[citadel.git] / citadel / database_sleepycat.c
index 1e2b4f6cebaa92f8f978952dbdbdb13117b22c3b..918b6d415f9c6db1de8eba55351c88ceeb159e56 100644 (file)
 
 /*****************************************************************************/
 
-#ifdef DLL_EXPORT
-#define IN_LIBCIT
-#endif
-
 #include "sysdep.h"
 #include <stdlib.h>
 #include <unistd.h>
@@ -74,6 +70,20 @@ static pthread_key_t tsdkey;
 #define MYCURSORS      (((struct cdbtsd*)pthread_getspecific(tsdkey))->cursors)
 #define MYTID          (((struct cdbtsd*)pthread_getspecific(tsdkey))->tid)
 
+/* Verbose logging callback */
+void cdb_verbose_log(const DB_ENV *dbenv, const char *msg)
+{
+       lprintf(CTDL_DEBUG, "BDB: %s\n", msg);
+}
+
+
+/* Verbose logging callback */
+void cdb_verbose_err(const DB_ENV *dbenv, const char *errpfx, const char *msg)
+{
+       lprintf(CTDL_ALERT, "BDB: %s\n", msg);
+}
+
+
 /* just a little helper function */
 static void txabort(DB_TXN * tid)
 {
@@ -248,13 +258,20 @@ static void cdb_cull_logs(void)
                                         " This log file is no longer in use "
                                         "and may be safely deleted.\n",
                                         *file, strerror(errno));
-                               aide_message(errmsg);
+                               aide_message(errmsg, "Database Warning Message");
                        }
                }
                free(list);
        }
+}
 
-       lprintf(CTDL_INFO, "Database log file cull ended.\n");
+/*
+ * Manually initiate log file cull.
+ */
+void cmd_cull(char *argbuf) {
+       if (CtdlAccessCheck(ac_internal)) return;
+       cdb_cull_logs();
+       cprintf("%d Database log file cull completed.\n", CIT_OK);
 }
 
 
@@ -264,8 +281,15 @@ static void cdb_cull_logs(void)
 static void cdb_checkpoint(void)
 {
        int ret;
-       /* static time_t last_cull = 0L; */
+       static time_t last_run = 0L;
+
+       /* Only do a checkpoint once per minute. */
+       if ((time(NULL) - last_run) < 60L) {
+               return;
+       }
+       last_run = time(NULL);
 
+       lprintf(CTDL_DEBUG, "-- db checkpoint --\n");
        ret = dbenv->txn_checkpoint(dbenv,
                                    MAX_CHECKPOINT_KBYTES,
                                    MAX_CHECKPOINT_MINUTES, 0);
@@ -277,14 +301,34 @@ static void cdb_checkpoint(void)
        }
 
        /* After a successful checkpoint, we can cull the unused logs */
-       cdb_cull_logs();
+       if (config.c_auto_cull) {
+               cdb_cull_logs();
+       }
+}
+
+
+/*
+ * Main loop for the checkpoint thread.
+ */
+void *checkpoint_thread(void *arg) {
+       struct CitContext checkpointCC;
+
+       lprintf(CTDL_DEBUG, "checkpoint_thread() initializing\n");
 
-       /* Cull the logs if we haven't done so for 24 hours
-          if ((time(NULL) - last_cull) > 86400L) {
-          last_cull = time(NULL);
-          cdb_cull_logs();
-          } */
+       memset(&checkpointCC, 0, sizeof(struct CitContext));
+       checkpointCC.internal_pgm = 1;
+       checkpointCC.cs_pid = 0;
+       pthread_setspecific(MyConKey, (void *)&checkpointCC );
 
+       cdb_allocate_tsd();
+
+       while (!time_to_die) {
+               cdb_checkpoint();
+               sleep(1);
+       }
+
+       lprintf(CTDL_DEBUG, "checkpoint_thread() exiting\n");
+       pthread_exit(NULL);
 }
 
 /*
@@ -299,14 +343,6 @@ void open_databases(void)
        int i;
        char dbfilename[SIZ];
        u_int32_t flags = 0;
-       char dbdirname[PATH_MAX];
-       DIR *dp;
-       struct dirent *d;
-       char filename[PATH_MAX];
-
-
-       getcwd(dbdirname, sizeof dbdirname);
-       strcat(dbdirname, "/data");
 
        lprintf(CTDL_DEBUG, "cdb_*: open_databases() starting\n");
        lprintf(CTDL_DEBUG, "Compiled db: %s\n", DB_VERSION_STRING);
@@ -320,9 +356,9 @@ void open_databases(void)
         * Silently try to create the database subdirectory.  If it's
         * already there, no problem.
         */
-       mkdir(dbdirname, 0700);
-       chmod(dbdirname, 0700);
-       chown(dbdirname, CTDLUID, (-1));
+       mkdir(ctdl_data_dir, 0700);
+       chmod(ctdl_data_dir, 0700);
+       chown(ctdl_data_dir, CTDLUID, (-1));
 
        lprintf(CTDL_DEBUG, "cdb_*: Setting up DB environment\n");
        db_env_set_func_yield(sched_yield);
@@ -330,10 +366,17 @@ void open_databases(void)
        if (ret) {
                lprintf(CTDL_EMERG, "cdb_*: db_env_create: %s\n",
                        db_strerror(ret));
-               exit(ret);
+               exit(CTDLEXIT_DB);
        }
        dbenv->set_errpfx(dbenv, "citserver");
        dbenv->set_paniccall(dbenv, dbpanic);
+       dbenv->set_errcall(dbenv, cdb_verbose_err);
+       dbenv->set_errpfx(dbenv, "ctdl");
+#if (DB_VERSION_MAJOR == 4) && (DB_VERSION_MINOR >= 3)
+       dbenv->set_msgcall(dbenv, cdb_verbose_log);
+#endif
+       dbenv->set_verbose(dbenv, DB_VERB_DEADLOCK, 1);
+       dbenv->set_verbose(dbenv, DB_VERB_RECOVERY, 1);
 
        /*
         * We want to specify the shared memory buffer pool cachesize,
@@ -344,27 +387,27 @@ void open_databases(void)
                lprintf(CTDL_EMERG, "cdb_*: set_cachesize: %s\n",
                        db_strerror(ret));
                dbenv->close(dbenv, 0);
-               exit(ret);
+               exit(CTDLEXIT_DB);
        }
 
        if ((ret = dbenv->set_lk_detect(dbenv, DB_LOCK_DEFAULT))) {
                lprintf(CTDL_EMERG, "cdb_*: set_lk_detect: %s\n",
                        db_strerror(ret));
                dbenv->close(dbenv, 0);
-               exit(ret);
+               exit(CTDLEXIT_DB);
        }
 
        flags =
-           DB_CREATE | DB_RECOVER | DB_INIT_MPOOL | DB_PRIVATE |
-           DB_INIT_TXN | DB_INIT_LOCK | DB_THREAD;
-       lprintf(CTDL_DEBUG, "dbenv->open(dbenv, %s, %d, 0)\n", dbdirname,
-               flags);
-       ret = dbenv->open(dbenv, dbdirname, flags, 0);
+           DB_CREATE | DB_RECOVER | DB_INIT_MPOOL |
+           DB_PRIVATE | DB_INIT_TXN | DB_INIT_LOCK | DB_THREAD;
+       lprintf(CTDL_DEBUG, "dbenv->open(dbenv, %s, %d, 0)\n",
+               ctdl_data_dir, flags);
+       ret = dbenv->open(dbenv, ctdl_data_dir, flags, 0);
        if (ret) {
                lprintf(CTDL_DEBUG, "cdb_*: dbenv->open: %s\n",
                        db_strerror(ret));
                dbenv->close(dbenv, 0);
-               exit(ret);
+               exit(CTDLEXIT_DB);
        }
 
        lprintf(CTDL_INFO, "cdb_*: Starting up DB\n");
@@ -376,7 +419,7 @@ void open_databases(void)
                if (ret) {
                        lprintf(CTDL_DEBUG, "cdb_*: db_create: %s\n",
                                db_strerror(ret));
-                       exit(ret);
+                       exit(CTDLEXIT_DB);
                }
 
 
@@ -395,36 +438,48 @@ void open_databases(void)
                if (ret) {
                        lprintf(CTDL_EMERG, "cdb_*: db_open[%d]: %s\n", i,
                                db_strerror(ret));
-                       exit(ret);
+                       exit(CTDLEXIT_DB);
                }
        }
 
        if ((ret = pthread_key_create(&tsdkey, dest_tsd))) {
                lprintf(CTDL_EMERG, "cdb_*: pthread_key_create: %s\n",
                        strerror(ret));
-               exit(1);
+               exit(CTDLEXIT_DB);
        }
 
        cdb_allocate_tsd();
-       CtdlRegisterSessionHook(cdb_checkpoint, EVT_TIMER);
+}
 
-       /* Now make sure we own all the files, because in a few milliseconds
-        * we're going to drop root privs.
-        */
-       dp = opendir(dbdirname);
+
+/* Make sure we own all the files, because in a few milliseconds
+ * we're going to drop root privs.
+ */
+void cdb_chmod_data(void) {
+       DIR *dp;
+       struct dirent *d;
+       char filename[PATH_MAX];
+
+       dp = opendir(ctdl_data_dir);
        if (dp != NULL) {
                while (d = readdir(dp), d != NULL) {
                        if (d->d_name[0] != '.') {
                                snprintf(filename, sizeof filename,
-                                        "%s/%s", dbdirname, d->d_name);
-                               chmod(filename, 0600);
-                               chown(filename, CTDLUID, (-1));
+                                        "%s/%s", ctdl_data_dir, d->d_name);
+                               lprintf(9, "chmod(%s, 0600) returned %d\n",
+                                       filename, chmod(filename, 0600)
+                               );
+                               lprintf(9, "chown(%s, CTDLUID, -1) returned %d\n",
+                                       filename, chown(filename, CTDLUID, (-1))
+                               );
                        }
                }
                closedir(dp);
        }
 
        lprintf(CTDL_DEBUG, "cdb_*: open_databases() finished\n");
+
+       CtdlRegisterProtoHook(cmd_cull, "CULL", "Cull database logs");
 }
 
 
@@ -518,14 +573,14 @@ int cdb_store(int cdb, void *ckey, int ckeylen, void *cdata, int cdatalen)
 
        DBT dkey, ddata;
        DB_TXN *tid;
-       int ret;
+       int ret = 0;
 
 #ifdef HAVE_ZLIB
        struct CtdlCompressHeader zheader;
        char *compressed_data = NULL;
        int compressing = 0;
-       size_t buffer_len;
-       uLongf destLen;
+       size_t buffer_len = 0;
+       uLongf destLen = 0;
 #endif
 
        memset(&dkey, 0, sizeof(DBT));
@@ -740,12 +795,18 @@ struct cdbdata *cdb_fetch(int cdb, void *key, int keylen)
 
 
 /*
- * Free a cdbdata item (ok, this is really no big deal, but we might need to do
- * more complex stuff with other database managers in the future).
+ * Free a cdbdata item.
+ *
+ * Note that we only free the 'ptr' portion if it is not NULL.  This allows
+ * other code to assume ownership of that memory simply by storing the
+ * pointer elsewhere and then setting 'ptr' to NULL.  cdb_free() will then
+ * avoid freeing it.
  */
 void cdb_free(struct cdbdata *cdb)
 {
-       free(cdb->ptr);
+       if (cdb->ptr) {
+               free(cdb->ptr);
+       }
        free(cdb);
 }