removed some debugs
[citadel.git] / citadel / modules / expire / serv_expire.c
index cd30915dc610fc3c0f91123b467bf4224aa043a3..a3c2258d066b12d7fa352cfbaf55090159076754 100644 (file)
@@ -1,33 +1,18 @@
-/*
- * $Id$
- *
- * This module handles the expiry of old messages and the purging of old users.
- *
- */
-
-
-/*
- * A brief technical discussion:
- *
- * Several of the purge operations found in this module operate in two
- * stages: the first stage generates a linked list of objects to be deleted,
- * then the second stage deletes all listed objects from the database.
- *
- * At first glance this may seem cumbersome and unnecessary.  The reason it is
- * implemented in this way is because Berkeley DB, and possibly other backends
- * we may hook into in the future, explicitly do _not_ support the deletion of
- * records from a file while the file is being traversed.  The delete operation
- * will succeed, but the traversal is not guaranteed to visit every object if
- * this is done.  Therefore we utilize the two-stage purge.
- *
- * When using Berkeley DB, there's another reason for the two-phase purge: we
- * don't want the entire thing being done as one huge transaction.
- *
- * You'll also notice that we build the in-memory list of records to be deleted
- * sometimes with a linked list and sometimes with a hash table.  There is no
- * reason for this aside from the fact that the linked list ones were written
- * before we had the hash table library available.
- */
+// This module handles the expiry of old messages and the purging of old users.
+//
+// You might also see this module affectionately referred to as TDAP (The Dreaded Auto-Purger).
+//
+// Copyright (c) 1988-2022 by citadel.org (Art Cancro, Wilifried Goesgens, and others)
+//
+// This program is open source software; you can redistribute it and/or
+// modify it under the terms of the GNU General Public License as published
+// by the Free Software Foundation; either version 3 of the License, or
+// (at your option) any later version.
+//
+// This program is distributed in the hope that it will be useful,
+// but WITHOUT ANY WARRANTY; without even the implied warranty of
+// MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+// GNU General Public License for more details.
 
 
 #include "sysdep.h"
 #include <pwd.h>
 #include <errno.h>
 #include <sys/types.h>
-
-#if TIME_WITH_SYS_TIME
-# include <sys/time.h>
-# include <time.h>
-#else
-# if HAVE_SYS_TIME_H
-#  include <sys/time.h>
-# else
-#  include <time.h>
-# endif
-#endif
-
+#include <time.h>
 #include <sys/wait.h>
 #include <string.h>
 #include <limits.h>
 #include "citserver.h"
 #include "support.h"
 #include "config.h"
-#include "room_ops.h"
 #include "policy.h"
 #include "database.h"
 #include "msgbase.h"
 #include "user_ops.h"
 #include "control.h"
-#include "serv_network.h"      /* Needed for defenition of UseTable */
 #include "threads.h"
+#include "context.h"
 
 #include "ctdl_module.h"
 
 
 struct PurgeList {
        struct PurgeList *next;
-       char name[ROOMNAMELEN]; /* use the larger of username or roomname */
+       char name[ROOMNAMELEN];         // use the larger of username or roomname
 };
 
 struct VPurgeList {
@@ -95,7 +68,6 @@ struct ValidUser {
        long vu_usernum;
 };
 
-
 struct ctdlroomref {
        struct ctdlroomref *next;
        long msgnum;
@@ -121,23 +93,19 @@ int messages_purged;
 int users_not_purged;
 char *users_corrupt_msg = NULL;
 char *users_zero_msg = NULL;
-
 struct ctdlroomref *rr = NULL;
+int force_purge_now = 0;                       // set to nonzero to force a run right now
 
-extern struct CitContext *ContextList;
 
-
-/*
- * First phase of message purge -- gather the locations of messages which
- * qualify for purging and write them to a temp file.
- */
+// First phase of message purge -- gather the locations of messages which
+// qualify for purging and write them to a temp file.
 void GatherPurgeMessages(struct ctdlroom *qrbuf, void *data) {
        struct ExpirePolicy epbuf;
        long delnum;
        time_t xtime, now;
        struct CtdlMessage *msg = NULL;
        int a;
-        struct cdbdata *cdbfr;
+       struct cdbdata *cdbfr;
        long *msglist = NULL;
        int num_msgs = 0;
        FILE *purgelist;
@@ -148,26 +116,30 @@ void GatherPurgeMessages(struct ctdlroom *qrbuf, void *data) {
        time(&now);
        GetExpirePolicy(&epbuf, qrbuf);
 
-       /* If the room is set to never expire messages ... do nothing */
+       // If the room is set to never expire messages ... do nothing
        if (epbuf.expire_mode == EXPIRE_NEXTLEVEL) return;
        if (epbuf.expire_mode == EXPIRE_MANUAL) return;
 
-        cdbfr = cdb_fetch(CDB_MSGLISTS, &qrbuf->QRnumber, sizeof(long));
+       // Don't purge messages containing system configuration, dumbass.
+       if (!strcasecmp(qrbuf->QRname, SYSCONFIGROOM)) return;
+
+       // Ok, we got this far ... now let's see what's in the room.
+       cdbfr = cdb_fetch(CDB_MSGLISTS, &qrbuf->QRnumber, sizeof(long));
 
-        if (cdbfr != NULL) {
-               msglist = malloc(cdbfr->len);
-               memcpy(msglist, cdbfr->ptr, cdbfr->len);
-               num_msgs = cdbfr->len / sizeof(long);
-               cdb_free(cdbfr);
+       if (cdbfr != NULL) {
+               msglist = malloc(cdbfr->len);
+               memcpy(msglist, cdbfr->ptr, cdbfr->len);
+               num_msgs = cdbfr->len / sizeof(long);
+               cdb_free(cdbfr);
        }
 
-       /* Nothing to do if there aren't any messages */
+       // Nothing to do if there aren't any messages
        if (num_msgs == 0) {
                if (msglist != NULL) free(msglist);
                return;
        }
 
-       /* If the room is set to expire by count, do that */
+       // If the room is set to expire by count, do that.
        if (epbuf.expire_mode == EXPIRE_NUMMSGS) {
                if (num_msgs > epbuf.expire_value) {
                        for (a=0; a<(num_msgs - epbuf.expire_value); ++a) {
@@ -177,21 +149,21 @@ void GatherPurgeMessages(struct ctdlroom *qrbuf, void *data) {
                }
        }
 
-       /* If the room is set to expire by age... */
+       // If the room is set to expire by age...
        if (epbuf.expire_mode == EXPIRE_AGE) {
                for (a=0; a<num_msgs; ++a) {
                        delnum = msglist[a];
 
-                       msg = CtdlFetchMessage(delnum, 0); /* dont need body */
+                       msg = CtdlFetchMessage(delnum, 0);      // don't need the body
                        if (msg != NULL) {
-                               xtime = atol(msg->cm_fields['T']);
-                               CtdlFreeMessage(msg);
-                       } else {
+                               xtime = atol(msg->cm_fields[eTimestamp]);
+                               CM_Free(msg);
+                       }
+                       else {
                                xtime = 0L;
                        }
 
-                       if ((xtime > 0L)
-                          && (now - xtime > (time_t)(epbuf.expire_value * 86400L))) {
+                       if ((xtime > 0L) && (now - xtime > (time_t)(epbuf.expire_value * 86400L))) {
                                fprintf(purgelist, "m=%ld\n", delnum);
                                ++messages_purged;
                        }
@@ -202,10 +174,7 @@ void GatherPurgeMessages(struct ctdlroom *qrbuf, void *data) {
 }
 
 
-/*
- * Second phase of message purge -- read list of msgs from temp file and
- * delete them.
- */
+// Second phase of message purge -- read list of msgs from temp file and delete them.
 void DoPurgeMessages(FILE *purgelist) {
        char roomname[ROOMNAMELEN];
        long msgnum;
@@ -231,31 +200,36 @@ void DoPurgeMessages(FILE *purgelist) {
 void PurgeMessages(void) {
        FILE *purgelist;
 
-       CtdlLogPrintf(CTDL_DEBUG, "PurgeMessages() called\n");
+       syslog(LOG_DEBUG, "PurgeMessages() called");
        messages_purged = 0;
 
        purgelist = tmpfile();
        if (purgelist == NULL) {
-               CtdlLogPrintf(CTDL_CRIT, "Can't create purgelist temp file: %s\n",
-                       strerror(errno));
+               syslog(LOG_CRIT, "Can't create purgelist temp file: %s", strerror(errno));
                return;
        }
 
-       ForEachRoom(GatherPurgeMessages, (void *)purgelist );
+       CtdlForEachRoom(GatherPurgeMessages, (void *)purgelist );
        DoPurgeMessages(purgelist);
        fclose(purgelist);
 }
 
 
-void AddValidUser(struct ctdluser *usbuf, void *data) {
+void AddValidUser(char *username, void *data) {
        struct ValidUser *vuptr;
+       struct ctdluser usbuf;
+
+       if (CtdlGetUser(&usbuf, username) != 0) {
+               return;
+       }
 
        vuptr = (struct ValidUser *)malloc(sizeof(struct ValidUser));
        vuptr->next = ValidUserList;
-       vuptr->vu_usernum = usbuf->usernum;
+       vuptr->vu_usernum = usbuf.usernum;
        ValidUserList = vuptr;
 }
 
+
 void AddValidRoom(struct ctdlroom *qrbuf, void *data) {
        struct ValidRoom *vrptr;
 
@@ -266,18 +240,18 @@ void AddValidRoom(struct ctdlroom *qrbuf, void *data) {
        ValidRoomList = vrptr;
 }
 
+
 void DoPurgeRooms(struct ctdlroom *qrbuf, void *data) {
        time_t age, purge_secs;
        struct PurgeList *pptr;
        struct ValidUser *vuptr;
        int do_purge = 0;
 
-       /* For mailbox rooms, there's only one purging rule: if the user who
-        * owns the room still exists, we keep the room; otherwise, we purge
-        * it.  Bypass any other rules.
-        */
+       // For mailbox rooms, there's only one purging rule: if the user who
+       // owns the room still exists, we keep the room; otherwise, we purge
+       // it.  Bypass any other rules.
        if (qrbuf->QRflags & QR_MAILBOX) {
-               /* if user not found, do_purge will be 1 */
+               // if user not found, do_purge will be 1
                do_purge = 1;
                for (vuptr=ValidUserList; vuptr!=NULL; vuptr=vuptr->next) {
                        if (vuptr->vu_usernum == atol(qrbuf->QRname)) {
@@ -286,26 +260,27 @@ void DoPurgeRooms(struct ctdlroom *qrbuf, void *data) {
                }
        }
        else {
-               /* Any of these attributes render a room non-purgable */
+               // Any of these attributes render a room non-purgable
                if (qrbuf->QRflags & QR_PERMANENT) return;
                if (qrbuf->QRflags & QR_DIRECTORY) return;
                if (qrbuf->QRflags & QR_NETWORK) return;
+               if (qrbuf->QRflags2 & QR2_SYSTEM) return;
                if (!strcasecmp(qrbuf->QRname, SYSCONFIGROOM)) return;
-               if (is_noneditable(qrbuf)) return;
+               if (CtdlIsNonEditable(qrbuf)) return;
 
-               /* If we don't know the modification date, be safe and don't purge */
+               // If we don't know the modification date, be safe and don't purge
                if (qrbuf->QRmtime <= (time_t)0) return;
 
-               /* If no room purge time is set, be safe and don't purge */
-               if (config.c_roompurge < 0) return;
+               // If no room purge time is set, be safe and don't purge
+               if (CtdlGetConfigLong("c_roompurge") < 0) return;
 
-               /* Otherwise, check the date of last modification */
+               // Otherwise, check the date of last modification
                age = time(NULL) - (qrbuf->QRmtime);
-               purge_secs = (time_t)config.c_roompurge * (time_t)86400;
+               purge_secs = CtdlGetConfigLong("c_roompurge") * 86400;
                if (purge_secs <= (time_t)0) return;
-               CtdlLogPrintf(CTDL_DEBUG, "<%s> is <%ld> seconds old\n", qrbuf->QRname, (long)age);
+               syslog(LOG_DEBUG, "<%s> is <%ld> seconds old", qrbuf->QRname, (long)age);
                if (age > purge_secs) do_purge = 1;
-       } /* !QR_MAILBOX */
+       } // !QR_MAILBOX
 
        if (do_purge) {
                pptr = (struct PurgeList *) malloc(sizeof(struct PurgeList));
@@ -317,7 +292,6 @@ void DoPurgeRooms(struct ctdlroom *qrbuf, void *data) {
 }
 
 
-
 int PurgeRooms(void) {
        struct PurgeList *pptr;
        int num_rooms_purged = 0;
@@ -325,33 +299,31 @@ int PurgeRooms(void) {
        struct ValidUser *vuptr;
        char *transcript = NULL;
 
-       CtdlLogPrintf(CTDL_DEBUG, "PurgeRooms() called\n");
-
+       syslog(LOG_DEBUG, "PurgeRooms() called");
 
-       /* Load up a table full of valid user numbers so we can delete
-        * user-owned rooms for users who no longer exist */
+       // Load up a table full of valid user numbers so we can delete
+       // user-owned rooms for users who no longer exist
        ForEachUser(AddValidUser, NULL);
 
-       /* Then cycle through the room file */
-       ForEachRoom(DoPurgeRooms, NULL);
+       // Then cycle through the room file
+       CtdlForEachRoom(DoPurgeRooms, NULL);
 
-       /* Free the valid user list */
+       // Free the valid user list
        while (ValidUserList != NULL) {
                vuptr = ValidUserList->next;
                free(ValidUserList);
                ValidUserList = vuptr;
        }
 
-
        transcript = malloc(SIZ);
        strcpy(transcript, "The following rooms have been auto-purged:\n");
 
        while (RoomPurgeList != NULL) {
-               if (getroom(&qrbuf, RoomPurgeList->name) == 0) {
+               if (CtdlGetRoom(&qrbuf, RoomPurgeList->name) == 0) {
                        transcript=realloc(transcript, strlen(transcript)+SIZ);
                        snprintf(&transcript[strlen(transcript)], SIZ, " %s\n",
                                qrbuf.QRname);
-                       delete_room(&qrbuf);
+                       CtdlDeleteRoom(&qrbuf);
                }
                pptr = RoomPurgeList->next;
                free(RoomPurgeList);
@@ -359,156 +331,102 @@ int PurgeRooms(void) {
                ++num_rooms_purged;
        }
 
-       if (num_rooms_purged > 0) aide_message(transcript, "Room Autopurger Message");
+       if (num_rooms_purged > 0) CtdlAideMessage(transcript, "Room Autopurger Message");
        free(transcript);
 
-       CtdlLogPrintf(CTDL_DEBUG, "Purged %d rooms.\n", num_rooms_purged);
+       syslog(LOG_DEBUG, "Purged %d rooms.", num_rooms_purged);
        return(num_rooms_purged);
 }
 
 
-/*
- * Back end function to check user accounts for associated Unix accounts
- * which no longer exist.  (Only relevant for host auth mode.)
- */
-void do_uid_user_purge(struct ctdluser *us, void *data) {
-       struct PurgeList *pptr;
-
-       if ((us->uid != (-1)) && (us->uid != CTDLUID)) {
-               if (getpwuid(us->uid) == NULL) {
-                       pptr = (struct PurgeList *)
-                               malloc(sizeof(struct PurgeList));
-                       pptr->next = UserPurgeList;
-                       strcpy(pptr->name, us->fullname);
-                       UserPurgeList = pptr;
-               }
-       }
-       else {
-               ++users_not_purged;
-       }
-}
-
-
-
-
-/*
- * Back end function to check user accounts for expiration.
- */
-void do_user_purge(struct ctdluser *us, void *data) {
+// Back end function to check user accounts for expiration.
+void do_user_purge(char *username, void *data) {
        int purge;
        time_t now;
        time_t purge_time;
        struct PurgeList *pptr;
+       struct ctdluser us;
 
-       /* Set purge time; if the user overrides the system default, use it */
-       if (us->USuserpurge > 0) {
-               purge_time = ((time_t)us->USuserpurge) * 86400L;
+       if (CtdlGetUser(&us, username) != 0) {
+               return;
+       }
+
+       // Set purge time; if the user overrides the system default, use it
+       if (us.USuserpurge > 0) {
+               purge_time = ((time_t)us.USuserpurge) * 86400;
        }
        else {
-               purge_time = ((time_t)config.c_userpurge) * 86400L;
+               purge_time = CtdlGetConfigLong("c_userpurge") * 86400;
        }
 
-       /* The default rule is to not purge. */
+       // The default rule is to not purge.
        purge = 0;
-
-       /* If the user hasn't called in two months and expiring of accounts is turned on, his/her account
-        * has expired, so purge the record.
-        */
-       if (config.c_userpurge > 0)
-       {
+       
+       // If the user has not logged in for the configured amount of time, expire the account.
+       if (CtdlGetConfigLong("c_userpurge") > 0) {
                now = time(NULL);
-               if ((now - us->lastcall) > purge_time) purge = 1;
+               if ((now - us.lastcall) > purge_time) purge = 1;
        }
 
-       /* If the record is marked as permanent, don't purge it.
-        */
-       if (us->flags & US_PERM) purge = 0;
-
-       /* If the user is an Aide, don't purge him/her/it.
-        */
-       if (us->axlevel == 6) purge = 0;
-
-       /* If the access level is 0, the record should already have been
-        * deleted, but maybe the user was logged in at the time or something.
-        * Delete the record now.
-        */
-       if (us->axlevel == 0) purge = 1;
-
-       /* If the user set his/her password to 'deleteme', he/she
-        * wishes to be deleted, so purge the record.
-        * Moved this lower down so that aides and permanent users get purged if they ask to be.
-        */
-       if (!strcasecmp(us->password, "deleteme")) purge = 1;
+       // If the account is marked as permanent, don't purge it.
+       if (us.flags & US_PERM) purge = 0;
+
+       // If the account is an administrator, don't purge it.
+       if (us.axlevel == 6) purge = 0;
+
+       // If the access level is 0, the record should already have been
+       // deleted, but maybe the user was logged in at the time or something.
+       // Delete the record now.
+       if (us.axlevel == 0) purge = 1;
+
+       // If the user set his/her password to 'deleteme', he/she
+       // wishes to be deleted, so purge the record.
+       // Moved this lower down so that aides and permanent users get purged if they ask to be.
+       if (!strcasecmp(us.password, "deleteme")) purge = 1;
        
-       /* 0 calls is impossible.  If there are 0 calls, it must
-        * be a corrupted record, so purge it.
-        * Actually it is possible if an Aide created the user so now we check for less than 0 (DRW)
-        */
-       if (us->timescalled < 0) purge = 1;
-
-       /* User number 0, as well as any negative user number, is
-        * also impossible.
-        */
-       if (us->usernum < 0L) purge = 1;
+       // Fewer than zero calls is impossible, indicating a corrupted record.
+       if (us.timescalled < 0) purge = 1;
+
+       // any negative user number, is also impossible.
+       if (us.usernum < 0L) purge = 1;
        
-       /** Don't purge user 0. That user is there for the system */
-       if (us->usernum == 0) purge = 0;
+       // Don't purge user 0. That user is there for the system
+       if (us.usernum == 0L) {
+               // FIXME: Temporary log message. Until we do unauth access with user 0 we should
+               // try to get rid of all user 0 occurences. Many will be remnants from old code so
+               // we will need to try and purge them from users data bases.Some will not have names but
+               // those with names should be purged.
+               syslog(LOG_DEBUG, "Auto purger found a user 0 with name <%s>", us.fullname);
+               // purge = 0;
+       }
        
-       /* If the user has no full name entry then we can't purge them
-        * since the actual purge can't find them.
-        * This shouldn't happen but does somehow.
-        * So we make an Aide message to alert to it but don't add it to the purge list
-        */
-       if (IsEmptyStr(us->fullname))
-       {
-               if (us->usernum > 0L)
-               {
-                       purge=0;
-                       if (users_corrupt_msg == NULL)
-                       {
-                               users_corrupt_msg = malloc(SIZ);
-                               strcpy(users_corrupt_msg, "The auto-purger found the following user numbers with no name.\n"
-                               "If the user number is 0 you should report this to the Citadel development\n"
-                               "team either by a bugzilla report at http://bugzilla.citadel.org or\n"
-                               "posting a message in the Citadel Support room on Uncensored at\n"
-                               "https://uncensored.citadel.org You should make it clear that you have seen a\n"
-                               "user 0 messages in the Aide room which means a module has not named its\n"
-                               "private context.\n"
-                               "Unfortunately the auto-purger is not yet able to fix this problem.\n"
-                               "This problem is not considered serious since a user with no name can\n"
-                               "not log in.\n");
-                       }
+       // If the user has no full name entry then we can't purge them since the actual purge can't find them.
+       // This shouldn't happen but does somehow.
+       if (IsEmptyStr(us.fullname)) {
+               purge = 0;
                
-                       users_corrupt_msg=realloc(users_corrupt_msg, strlen(users_corrupt_msg)+SIZ);
-                       snprintf(&users_corrupt_msg[strlen(users_corrupt_msg)], SIZ, " %ld\n", us->usernum);
-               }
-               else if (us->usernum == 0L)
-               {
+               if (us.usernum > 0L) {
                        purge=0;
-                       if (users_zero_msg == NULL)
-                       {
-                               users_zero_msg = malloc(SIZ);
-                               strcpy(users_zero_msg, "The auto-purger found a user with a user number of 0 but no name.\n"
-                               "This is the result of a bug where a private contaxt has been created but\n"
-                               "not named.\n\n"
-                               "Please report this to the Citadel development team either by a bugzilla\n"
-                               "report at http://bugzilla.citadel.org or by posting a message in the\n"
-                               "Citadel Support room on Uncensored at https://uncensored.citadel.org\n"
-                               "You should make it clear that you have seen a user 0 messages in the\n"
-                               "Aide room which means a module has not named its private context.\n\n"
-                               "This problem is not considered serious since it does not constitute a\n"
-                               "security risk and should not impare system operation.\n"
+                       if (users_corrupt_msg == NULL) {
+                               users_corrupt_msg = malloc(SIZ);
+                               strcpy(users_corrupt_msg,
+                                       "The auto-purger found the following user numbers with no name.\n"
+                                       "The system has no way to purge a user with no name,"
+                                       " and should not be able to create them either.\n"
+                                       "This indicates corruption of the user DB or possibly a bug.\n"
+                                       "It may be a good idea to restore your DB from a backup.\n"
                                );
                        }
+               
+                       users_corrupt_msg=realloc(users_corrupt_msg, strlen(users_corrupt_msg)+30);
+                       snprintf(&users_corrupt_msg[strlen(users_corrupt_msg)], 29, " %ld\n", us.usernum);
                }
-
        }
 
-
        if (purge == 1) {
                pptr = (struct PurgeList *) malloc(sizeof(struct PurgeList));
                pptr->next = UserPurgeList;
-               strcpy(pptr->name, us->fullname);
+               strcpy(pptr->name, us.fullname);
                UserPurgeList = pptr;
        }
        else {
@@ -518,24 +436,20 @@ void do_user_purge(struct ctdluser *us, void *data) {
 }
 
 
-
 int PurgeUsers(void) {
        struct PurgeList *pptr;
        int num_users_purged = 0;
        char *transcript = NULL;
 
-       CtdlLogPrintf(CTDL_DEBUG, "PurgeUsers() called\n");
+       syslog(LOG_DEBUG, "PurgeUsers() called");
        users_not_purged = 0;
 
-       switch(config.c_auth_mode) {
+       switch(CtdlGetConfigInt("c_auth_mode")) {
                case AUTHMODE_NATIVE:
                        ForEachUser(do_user_purge, NULL);
                        break;
-               case AUTHMODE_HOST:
-                       ForEachUser(do_uid_user_purge, NULL);
-                       break;
                default:
-                       CtdlLogPrintf(CTDL_DEBUG, "Unknown authentication mode!\n");
+                       syslog(LOG_DEBUG, "User purge for auth mode %d is not implemented.", CtdlGetConfigInt("c_auth_mode"));
                        break;
        }
 
@@ -568,43 +482,40 @@ int PurgeUsers(void) {
                }
        }
 
-       if (num_users_purged > 0) aide_message(transcript, "User Purge Message");
+       if (num_users_purged > 0) CtdlAideMessage(transcript, "User Purge Message");
        free(transcript);
 
-       if(users_corrupt_msg)
-       {
-               aide_message(users_corrupt_msg, "User Corruption Message");
+       if (users_corrupt_msg) {
+               CtdlAideMessage(users_corrupt_msg, "User Corruption Message");
                free (users_corrupt_msg);
                users_corrupt_msg = NULL;
        }
        
-       if(users_zero_msg)
-       {
-               aide_message(users_zero_msg, "User Zero Message");
+       if(users_zero_msg) {
+               CtdlAideMessage(users_zero_msg, "User Zero Message");
                free (users_zero_msg);
                users_zero_msg = NULL;
        }
                
-       CtdlLogPrintf(CTDL_DEBUG, "Purged %d users.\n", num_users_purged);
+       syslog(LOG_DEBUG, "Purged %d users.", num_users_purged);
        return(num_users_purged);
 }
 
 
-/*
- * Purge visits
- *
- * This is a really cumbersome "garbage collection" function.  We have to
- * delete visits which refer to rooms and/or users which no longer exist.  In
- * order to prevent endless traversals of the room and user files, we first
- * build linked lists of rooms and users which _do_ exist on the system, then
- * traverse the visit file, checking each record against those two lists and
- * purging the ones that do not have a match on _both_ lists.  (Remember, if
- * either the room or user being referred to is no longer on the system, the
- * record is completely useless.)
- */
+// Purge visits
+//
+// This is a really cumbersome "garbage collection" function.  We have to
+// delete visits which refer to rooms and/or users which no longer exist.  In
+// order to prevent endless traversals of the room and user files, we first
+// build linked lists of rooms and users which _do_ exist on the system, then
+// traverse the visit file, checking each record against those two lists and
+// purging the ones that do not have a match on _both_ lists.  (Remember, if
+// either the room or user being referred to is no longer on the system, the
+// record is completely useless.)
+//
 int PurgeVisits(void) {
        struct cdbdata *cdbvisit;
-       struct visit vbuf;
+       visit vbuf;
        struct VPurgeList *VisitPurgeList = NULL;
        struct VPurgeList *vptr;
        int purged = 0;
@@ -614,38 +525,38 @@ int PurgeVisits(void) {
        struct ValidUser *vuptr;
        int RoomIsValid, UserIsValid;
 
-       /* First, load up a table full of valid room/gen combinations */
-       ForEachRoom(AddValidRoom, NULL);
+       // First, load up a table full of valid room/gen combinations
+       CtdlForEachRoom(AddValidRoom, NULL);
 
-       /* Then load up a table full of valid user numbers */
+       // Then load up a table full of valid user numbers
        ForEachUser(AddValidUser, NULL);
 
-       /* Now traverse through the visits, purging irrelevant records... */
+       // Now traverse through the visits, purging irrelevant records...
        cdb_rewind(CDB_VISIT);
        while(cdbvisit = cdb_next_item(CDB_VISIT), cdbvisit != NULL) {
-               memset(&vbuf, 0, sizeof(struct visit));
+               memset(&vbuf, 0, sizeof(visit));
                memcpy(&vbuf, cdbvisit->ptr,
-                       ( (cdbvisit->len > sizeof(struct visit)) ?
-                       sizeof(struct visit) : cdbvisit->len) );
+                       ( (cdbvisit->len > sizeof(visit)) ?
+                         sizeof(visit) : cdbvisit->len) );
                cdb_free(cdbvisit);
 
                RoomIsValid = 0;
                UserIsValid = 0;
 
-               /* Check to see if the room exists */
+               // Check to see if the room exists
                for (vrptr=ValidRoomList; vrptr!=NULL; vrptr=vrptr->next) {
                        if ( (vrptr->vr_roomnum==vbuf.v_roomnum)
                             && (vrptr->vr_roomgen==vbuf.v_roomgen))
                                RoomIsValid = 1;
                }
 
-               /* Check to see if the user exists */
+               // Check to see if the user exists
                for (vuptr=ValidUserList; vuptr!=NULL; vuptr=vuptr->next) {
                        if (vuptr->vu_usernum == vbuf.v_usernum)
                                UserIsValid = 1;
                }
 
-               /* Put the record on the purge list if it's dead */
+               // Put the record on the purge list if it's dead
                if ((RoomIsValid==0) || (UserIsValid==0)) {
                        vptr = (struct VPurgeList *)
                                malloc(sizeof(struct VPurgeList));
@@ -658,21 +569,21 @@ int PurgeVisits(void) {
 
        }
 
-       /* Free the valid room/gen combination list */
+       // Free the valid room/gen combination list
        while (ValidRoomList != NULL) {
                vrptr = ValidRoomList->next;
                free(ValidRoomList);
                ValidRoomList = vrptr;
        }
 
-       /* Free the valid user list */
+       // Free the valid user list
        while (ValidUserList != NULL) {
                vuptr = ValidUserList->next;
                free(ValidUserList);
                ValidUserList = vuptr;
        }
 
-       /* Now delete every visit on the purged list */
+       // Now delete every visit on the purged list
        while (VisitPurgeList != NULL) {
                IndexLen = GenerateRelationshipIndex(IndexBuf,
                                VisitPurgeList->vp_roomnum,
@@ -688,31 +599,27 @@ int PurgeVisits(void) {
        return(purged);
 }
 
-/*
- * Purge the use table of old entries.
- *
- */
-int PurgeUseTable(void) {
+
+// Purge the use table of old entries.
+int PurgeUseTable(StrBuf *ErrMsg) {
        int purged = 0;
        struct cdbdata *cdbut;
        struct UseTable ut;
        struct UPurgeList *ul = NULL;
        struct UPurgeList *uptr; 
 
-       /* Phase 1: traverse through the table, discovering old records... */
-       CtdlLogPrintf(CTDL_DEBUG, "Purge use table: phase 1\n");
+       // Phase 1: traverse through the table, discovering old records...
+
+       syslog(LOG_DEBUG, "Purge use table: phase 1");
        cdb_rewind(CDB_USETABLE);
        while(cdbut = cdb_next_item(CDB_USETABLE), cdbut != NULL) {
-
-       /*
-        * TODODRW: change this to create a new function time_t cdb_get_timestamp( struct cdbdata *)
-        * this will release this file from the serv_network.h
-        * Maybe it could be a macro that extracts and casts the reult
-        */
-                memcpy(&ut, cdbut->ptr,
-                       ((cdbut->len > sizeof(struct UseTable)) ?
-                        sizeof(struct UseTable) : cdbut->len));
-                cdb_free(cdbut);
+               if (cdbut->len > sizeof(struct UseTable))
+                       memcpy(&ut, cdbut->ptr, sizeof(struct UseTable));
+               else {
+                       memset(&ut, 0, sizeof(struct UseTable));
+                       memcpy(&ut, cdbut->ptr, cdbut->len);
+               }
+               cdb_free(cdbut);
 
                if ( (time(NULL) - ut.ut_timestamp) > USETABLE_RETAIN ) {
                        uptr = (struct UPurgeList *) malloc(sizeof(struct UPurgeList));
@@ -726,8 +633,8 @@ int PurgeUseTable(void) {
 
        }
 
-       /* Phase 2: delete the records */
-       CtdlLogPrintf(CTDL_DEBUG, "Purge use table: phase 2\n");
+       // Phase 2: delete the records
+       syslog(LOG_DEBUG, "Purge use table: phase 2");
        while (ul != NULL) {
                cdb_delete(CDB_USETABLE, ul->up_key, strlen(ul->up_key));
                uptr = ul->next;
@@ -735,16 +642,12 @@ int PurgeUseTable(void) {
                ul = uptr;
        }
 
-       CtdlLogPrintf(CTDL_DEBUG, "Purge use table: finished (purged %d records)\n", purged);
+       syslog(LOG_DEBUG, "Purge use table: finished (purged %d records)", purged);
        return(purged);
 }
 
 
-
-/*
- * Purge the EUID Index of old records.
- *
- */
+// Purge the EUID Index of old records.
 int PurgeEuidIndexTable(void) {
        int purged = 0;
        struct cdbdata *cdbei;
@@ -753,8 +656,8 @@ int PurgeEuidIndexTable(void) {
        long msgnum;
        struct CtdlMessage *msg = NULL;
 
-       /* Phase 1: traverse through the table, discovering old records... */
-       CtdlLogPrintf(CTDL_DEBUG, "Purge EUID index: phase 1\n");
+       // Phase 1: traverse through the table, discovering old records...
+       syslog(LOG_DEBUG, "Purge EUID index: phase 1");
        cdb_rewind(CDB_EUIDINDEX);
        while(cdbei = cdb_next_item(CDB_EUIDINDEX), cdbei != NULL) {
 
@@ -762,7 +665,7 @@ int PurgeEuidIndexTable(void) {
 
                msg = CtdlFetchMessage(msgnum, 0);
                if (msg != NULL) {
-                       CtdlFreeMessage(msg);   /* it still exists, so do nothing */
+                       CM_Free(msg);   // it still exists, so do nothing
                }
                else {
                        eptr = (struct EPurgeList *) malloc(sizeof(struct EPurgeList));
@@ -776,12 +679,12 @@ int PurgeEuidIndexTable(void) {
                        ++purged;
                }
 
-                cdb_free(cdbei);
+              cdb_free(cdbei);
 
        }
 
-       /* Phase 2: delete the records */
-       CtdlLogPrintf(CTDL_DEBUG, "Purge euid index: phase 2\n");
+       // Phase 2: delete the records
+       syslog(LOG_DEBUG, "Purge euid index: phase 2");
        while (el != NULL) {
                cdb_delete(CDB_EUIDINDEX, el->ep_key, el->ep_keylen);
                free(el->ep_key);
@@ -790,16 +693,13 @@ int PurgeEuidIndexTable(void) {
                el = eptr;
        }
 
-       CtdlLogPrintf(CTDL_DEBUG, "Purge euid index: finished (purged %d records)\n", purged);
+       syslog(LOG_DEBUG, "Purge euid index: finished (purged %d records)", purged);
        return(purged);
 }
 
 
-
-/*
- * Purge OpenID assocations for missing users (theoretically this will never delete anything)
- */
-int PurgeStaleOpenIDassociations(void) {
+// Purge external auth assocations for missing users (theoretically this will never delete anything)
+int PurgeStaleExtAuthAssociations(void) {
        struct cdbdata *cdboi;
        struct ctdluser usbuf;
        HashList *keys = NULL;
@@ -807,34 +707,32 @@ int PurgeStaleOpenIDassociations(void) {
        char *deleteme = NULL;
        long len;
        void *Value;
-       char *Key;
+       const char *Key;
        int num_deleted = 0;
+       long usernum = 0L;
 
        keys = NewHash(1, NULL);
        if (!keys) return(0);
 
-
-       cdb_rewind(CDB_OPENID);
-       while (cdboi = cdb_next_item(CDB_OPENID), cdboi != NULL) {
+       cdb_rewind(CDB_EXTAUTH);
+       while (cdboi = cdb_next_item(CDB_EXTAUTH), cdboi != NULL) {
                if (cdboi->len > sizeof(long)) {
-                       long usernum;
-                       usernum = ((long)*(cdboi->ptr));
-                       if (getuserbynumber(&usbuf, usernum) != 0) {
+                       memcpy(&usernum, cdboi->ptr, sizeof(long));
+                       if (CtdlGetUserByNumber(&usbuf, usernum) != 0) {
                                deleteme = strdup(cdboi->ptr + sizeof(long)),
-                               Put(keys, deleteme, strlen(deleteme), deleteme, generic_free_handler);
+                               Put(keys, deleteme, strlen(deleteme), deleteme, NULL);
                        }
                }
                cdb_free(cdboi);
        }
 
-       /* Go through the hash list, deleting keys we stored in it */
+       // Go through the hash list, deleting keys we stored in it
 
-       HashPos = GetNewHashPos();
-       while (GetNextHashPos(keys, HashPos, &len, &Key, &Value)!=0)
-       {
-               CtdlLogPrintf(CTDL_DEBUG, "Deleting associated OpenID <%s>\n", Value);
-               cdb_delete(CDB_OPENID, Value, strlen(Value));
-               /* note: don't free(Value) -- deleting the hash list will handle this for us */
+       HashPos = GetNewHashPos(keys, 0);
+       while (GetNextHashPos(keys, HashPos, &len, &Key, &Value)!=0) {
+               syslog(LOG_DEBUG, "Deleting associated external authenticator <%s>",  (char*)Value);
+               cdb_delete(CDB_EXTAUTH, Value, strlen(Value));
+               // note: don't free(Value) -- deleting the hash list will handle this for us
                ++num_deleted;
        }
        DeleteHashPos(&HashPos);
@@ -843,190 +741,98 @@ int PurgeStaleOpenIDassociations(void) {
 }
 
 
-
-
-
-void *purge_databases(void *args)
-{
-        int retval;
-        static time_t last_purge = 0;
-        time_t now;
-        struct tm tm;
-       struct CitContext purgerCC;
-
-       CtdlLogPrintf(CTDL_DEBUG, "Auto-purger_thread() initializing\n");
-
-       CtdlFillPrivateContext(&purgerCC, "purger");
-       citthread_setspecific(MyConKey, (void *)&purgerCC );
-
-        while (!CtdlThreadCheckStop()) {
-                /* Do the auto-purge if the current hour equals the purge hour,
-                 * but not if the operation has already been performed in the
-                 * last twelve hours.  This is usually enough granularity.
-                 */
-                now = time(NULL);
-                localtime_r(&now, &tm);
-                if ((tm.tm_hour != config.c_purge_hour) || ((now - last_purge) < 43200)) {
-                        CtdlThreadSleep(60);
-                        continue;
-                }
-
-
-                CtdlLogPrintf(CTDL_INFO, "Auto-purger: starting.\n");
-
-               if (!CtdlThreadCheckStop())
-               {
-                       retval = PurgeUsers();
-                       CtdlLogPrintf(CTDL_NOTICE, "Purged %d users.\n", retval);
-               }
-               
-               if (!CtdlThreadCheckStop())
-               {
-                       PurgeMessages();
-                       CtdlLogPrintf(CTDL_NOTICE, "Expired %d messages.\n", messages_purged);
-               }
-
-               if (!CtdlThreadCheckStop())
-               {
-                       retval = PurgeRooms();
-                       CtdlLogPrintf(CTDL_NOTICE, "Expired %d rooms.\n", retval);
-               }
-
-               if (!CtdlThreadCheckStop())
-               {
-                       retval = PurgeVisits();
-                       CtdlLogPrintf(CTDL_NOTICE, "Purged %d visits.\n", retval);
-               }
-
-               if (!CtdlThreadCheckStop())
-               {
-                       retval = PurgeUseTable();
-                       CtdlLogPrintf(CTDL_NOTICE, "Purged %d entries from the use table.\n", retval);
-               }
-
-               if (!CtdlThreadCheckStop())
-               {
-                       retval = PurgeEuidIndexTable();
-                       CtdlLogPrintf(CTDL_NOTICE, "Purged %d entries from the EUID index.\n", retval);
-               }
-
-               if (!CtdlThreadCheckStop())
-               {
-                       retval = PurgeStaleOpenIDassociations();
-                       CtdlLogPrintf(CTDL_NOTICE, "Purged %d stale OpenID associations.\n", retval);
-               }
-
-               if (!CtdlThreadCheckStop())
-               {
-                       retval = TDAP_ProcessAdjRefCountQueue();
-                       CtdlLogPrintf(CTDL_NOTICE, "Processed %d message reference count adjustments.\n", retval);
-               }
-
-               if (!CtdlThreadCheckStop())
-               {
-                       CtdlLogPrintf(CTDL_INFO, "Auto-purger: finished.\n");
-                       last_purge = now;       /* So we don't do it again soon */
-               }
-               else
-                       CtdlLogPrintf(CTDL_INFO, "Auto-purger: STOPPED.\n");
-
-        }
-        return NULL;
-}
-/*****************************************************************************/
-
-
-void do_fsck_msg(long msgnum, void *userdata) {
-       struct ctdlroomref *ptr;
-
-       ptr = (struct ctdlroomref *)malloc(sizeof(struct ctdlroomref));
-       ptr->next = rr;
-       ptr->msgnum = msgnum;
-       rr = ptr;
-}
-
-void do_fsck_room(struct ctdlroom *qrbuf, void *data)
-{
-       getroom(&CC->room, qrbuf->QRname);
-       CtdlForEachMessage(MSGS_ALL, 0L, NULL, NULL, NULL, do_fsck_msg, NULL);
-}
-
-/*
- * Check message reference counts
- */
-void cmd_fsck(char *argbuf) {
-       long msgnum;
-       struct cdbdata *cdbmsg;
-       struct MetaData smi;
-       struct ctdlroomref *ptr;
-       int realcount;
-
-       if (CtdlAccessCheck(ac_aide)) return;
-
-       /* Lame way of checking whether anyone else is doing this now */
-       if (rr != NULL) {
-               cprintf("%d Another FSCK is already running.\n", ERROR + RESOURCE_BUSY);
+void purge_databases(void) {
+       int retval;
+       static time_t last_purge = 0;
+       time_t now;
+       struct tm tm;
+
+       // Do the auto-purge if the current hour equals the purge hour,
+       // but not if the operation has already been performed in the
+       // last twelve hours.  This is usually enough granularity.
+       now = time(NULL);
+       localtime_r(&now, &tm);
+       if (((tm.tm_hour != CtdlGetConfigInt("c_purge_hour")) || ((now - last_purge) < 43200)) && (force_purge_now == 0)) {
                return;
        }
 
-       cprintf("%d Checking message reference counts\n", LISTING_FOLLOWS);
+       syslog(LOG_INFO, "Auto-purger: starting.");
 
-       cprintf("\nThis could take a while.  Please be patient!\n\n");
-       cprintf("Gathering pointers...\n");
-       ForEachRoom(do_fsck_room, NULL);
+       if (!server_shutting_down) {
+               retval = PurgeUsers();
+               syslog(LOG_NOTICE, "Purged %d users.", retval);
+       }
+               
+       if (!server_shutting_down) {
+               PurgeMessages();
+               syslog(LOG_NOTICE, "Expired %d messages.", messages_purged);
+       }
 
-       get_control();
-       cprintf("Checking message base...\n");
-       for (msgnum = 0L; msgnum <= CitControl.MMhighest; ++msgnum) {
+       if (!server_shutting_down) {
+                       retval = PurgeRooms();
+                       syslog(LOG_NOTICE, "Expired %d rooms.", retval);
+       }
 
-               cdbmsg = cdb_fetch(CDB_MSGMAIN, &msgnum, sizeof(long));
-               if (cdbmsg != NULL) {
-                       cdb_free(cdbmsg);
-                       cprintf("Message %7ld    ", msgnum);
+       if (!server_shutting_down) {
+                       retval = PurgeVisits();
+                       syslog(LOG_NOTICE, "Purged %d visits.", retval);
+       }
 
-                       GetMetaData(&smi, msgnum);
-                       cprintf("refcount=%-2d   ", smi.meta_refcount);
+       if (!server_shutting_down) {
+               StrBuf *ErrMsg;
+               ErrMsg = NewStrBuf();
+               retval = PurgeUseTable(ErrMsg);
+                       syslog(LOG_NOTICE, "Purged %d entries from the use table.", retval);
+               FreeStrBuf(&ErrMsg);
+       }
 
-                       realcount = 0;
-                       for (ptr = rr; ptr != NULL; ptr = ptr->next) {
-                               if (ptr->msgnum == msgnum) ++realcount;
-                       }
-                       cprintf("realcount=%-2d\n", realcount);
+       if (!server_shutting_down) {
+                       retval = PurgeEuidIndexTable();
+                       syslog(LOG_NOTICE, "Purged %d entries from the EUID index.", retval);
+       }
 
-                       if ( (smi.meta_refcount != realcount)
-                          || (realcount == 0) ) {
-                               AdjRefCount(msgnum, (smi.meta_refcount - realcount));
-                       }
+       if (!server_shutting_down) {
+               retval = PurgeStaleExtAuthAssociations();
+               syslog(LOG_NOTICE, "Purged %d stale external auth associations.", retval);
+       }
 
-               }
+       //if (!server_shutting_down) {
+       //      FIXME this is where we could do a non-interactive delete of zero-refcount messages
+       //}
 
+       if ( (!server_shutting_down) && (CtdlGetConfigInt("c_shrink_db_files") != 0) ) {
+               cdb_compact();                                  // Shrink the DB files on disk
        }
 
-       cprintf("Freeing memory...\n");
-       while (rr != NULL) {
-               ptr = rr->next;
-               free(rr);
-               rr = ptr;
+       if (!server_shutting_down) {
+               syslog(LOG_INFO, "Auto-purger: finished.");
+               last_purge = now;                               // So we don't do it again soon
+               force_purge_now = 0;
+       }
+       else {
+               syslog(LOG_INFO, "Auto-purger: STOPPED.");
        }
-
-       cprintf("Done!\n");
-       cprintf("000\n");
-
 }
 
 
+// Manually initiate a run of The Dreaded Auto-Purger (tm)
+void cmd_tdap(char *argbuf) {
+       if (CtdlAccessCheck(ac_aide)) return;
+       force_purge_now = 1;
+       cprintf("%d Manually initiating a purger run now.\n", CIT_OK);
+}
 
 
-/*****************************************************************************/
-
 CTDL_MODULE_INIT(expire)
 {
        if (!threading)
        {
-               CtdlRegisterProtoHook(cmd_fsck, "FSCK", "Check message ref counts");
+               CtdlRegisterProtoHook(cmd_tdap, "TDAP", "Manually initiate auto-purger");
+               CtdlRegisterProtoHook(cmd_gpex, "GPEX", "Get expire policy");
+               CtdlRegisterProtoHook(cmd_spex, "SPEX", "Set expire policy");
+               CtdlRegisterSessionHook(purge_databases, EVT_TIMER, PRIO_CLEANUP + 20);
        }
-       else
-               CtdlThreadCreate("Auto Purger", CTDLTHREAD_BIGSTACK, purge_databases, NULL);
-       /* return our Subversion id for the Log */
-       return "$Id$";
+
+       // return our module name for the log
+       return "expire";
 }