msgbase.c: change to new API

msgbase.c: upgrade CtdlSetSeen() to the new CtdlGetMsgList() API

serv_expire: move to new msglists call

DRY fetch of msglists.

A lot of the calls to cdb_fetch(CDB_MSGLISTS...) follow the same design pattern
and many of them are in need of rework to handle how they free their memory.  So
I created a new function CtdlGetMsgList() to do it in a consistent way.  Three
callers have been migrated to the new syntax.

serv_fulltext.c: copy the data returned by cdb_fetch() instead of taking ownership

We have to do this everywhere.  Berkeley DB can be configured to hand off ownership of memory to
the caller, but LMDB cannot.

More renaming of symbols that are local to the berkeley_db module.

dbp[] is now bdb_table[]
dbenv is now bdb_env

Moved cdb_chmod_data() out of the backend API

This function only does file and directory level operations on
the data/ directory and files in it.  These operations will be
common across all backends.

Renamed some more functions and variables that are specific to the bdb_ module.

comments cleanup

This works much better.  TSD maintained in-module instead of globally.

Revert "Prepared for upcoming change to cdb_next_item() API."

This reverts commit d805c8202867ff3cc4049e5df6a3e871c4fdc5be.

Revert "Changed the API for cdb_rewind() / cdb_next_item() to make the caller hold the cursor"

This reverts commit 733c6e8f2a624fb641cc50a9d253b3a914c25bba.

Changed the API for cdb_rewind() / cdb_next_item() to make the caller hold the cursor

Prepared for upcoming change to cdb_next_item() API.

cdb_next_item() is always preceded by a call to cdb_rewind() before the
iteration loop.  We're going to remove the cursor from thread-specific
data, and replace it with a void pointer that the caller is responsible
for passing back.  This will make the backend drivers easier to build.

imap_acl.c: update to C99 style comments

berkeley_db.c: remove includes that are no longer needed

document private/public functions in berkeley_db.c

berkeley_db.c: prefixed all module-local functions with bdb_ to avoid namespace collisions

Moved cdb_ prototypes from berkeley_db.c to database.c where they belong

Building better abstractions for the backend interface

server/database_bdb.c is now server/backends/berkeley_db/berkeley_db.c

cdb_init_backends() just calls bdb_init_backend() for now

Silenced a compiler warning by bringing in the correct include files.

Mostly finished the abstractions, now just need to silence some compiler warnings that came up

saving my work before I do the rest of the functions en masse

Tried it with a function that requires a parameter

Begin turning cdb_ functions into pointers assigned to bdb_ functions

made the prototypes prettier

ctdl_module_init_database() is now ctdl_module_init_database_bdb()

open_databases() and close_databases() are now cdb_open_databases() and cdb_close_databases()

usetable.c: moved CheckIfAlreadySeen() out of database.c

Also remove cdb_allocate_tsd(), cdb_free_tsd(), cdb_cull_logs()

It is important to get this right because it's going to become a driver interface for databases

Removed checkpoint_thread() prototype from database.h , this is not a real function anymore

database.h: assert that it is an internal API that should remain consistent across multiple back ends.

Renamed database.c to database_bdb.c

serv_nntp.c: change everything to C99 comment style

Marked code that will require some rework for LMDB.

When BDB returns data, the caller owns the memory and is required to
free it, which we usually do.  I marked the places where we take ownership
of memory pointers and then set the BDB ptr to NULL.  If we switch to
LMDB, those pointers remain valid forever, so we cannot simply free them
later.

point out sessions that are timed out but non-idle

verify that 'begin' and 'end' lines were found

began work on enumerating attachments in the mail view

Enumerate attachments in JSON message output

Merge branch 'ConstStr_Access_Checks' into 'master'

IMAP memory issues with use of ConstStr

See merge request citadel/citadel!5

Release version 988 generated by do-release.sh

ctdldump/ctdlload: -h now specifies the top-level Citadel directory, just like all the other programs, and defaults to the compiled-in Citadel directory, just like all the other programs

More reliable search for guesstimezone.sh

Release version 987 generated by do-release.sh

ctdldump/ctdlload: more testing

ctdlload: finished remaining record types; need to test

skip the database open for the unused table to keep it from erroring out

ctdlload: euidindex

ctdlload: usersbynumber

add some //FIXME tags where needed

import fulltext index records

stub functions for new import routines

Export euidindex records

export fulltext records

Both banners now use the same color scheme

Go back to exporting dir and usersbynumber records.

We will also be exporting fulltext, euidindex, etc records.
Re-generating them on the target server after import is just way too time consuming.

When exporting visit records, if there is corrupt (non-printable) data in seen/answered arrays, cut that out before exporting

Release version 986 generated by do-release.sh

Fixed bad import in thing

Release version 985 generated by do-release.sh

Aggressively sync

Be more aggressive about closing the databases during a segfault

Try to close the databases if we segfault

Release version 984 generated by do-release.sh

ctdldump/ctdlload: fixed on Raspberry Pi, reintroduced to build

add prototype for b64unalphabet() to silence warning

Merge branch 'Memory_Leak_SmtpClient' into 'master'

Memory leak in SMTP Client string trim

See merge request citadel/citadel!4

Release version 983 generated by do-release.sh

Release version 982 generated by do-release.sh

Release version 981 generated by do-release.sh

IMAP memory issues with use of ConstStr

Had a coredump in IMAP Search parsing.  Not sure of root cause, but parameter string parsing
  of IMAP Search coredumped on ConstStr pointer content access.

When ConstStr are created, pointer is null and length is zero.  Some code accesses the pointer
  contents without checking length first.  Not sure how parameter parsing passed a zero length
parameter, but added length checks before accessing throughout IMAP code to be safe.

While adding checks, found a typo in checking string for end of string in imap_list().
  Was using address of character instead of looking for null termination.  Corrected.

Memory leak in SMTP Client string trim

serv_smtpclient.c: Removed unused variable 't' from trim_response() which was malloc'ing memory

Removed serv_migrate.c and ctdlmigrate.  They are replaced by ctdldump and ctdlload.

remove extra msgs

ctdldump/ctdlload is functionally complete.

happy happy: convert_msgtext() also works for convert_bigmsgs()

ctdlload: import use table records

citserver: regenerate secondary indices if the regenerate_secondary_indices config key is set to nonzero

ctdldump/ctdlload: removed tables that can be re-generated by the server.

Added a new config key to the server that forces it to do that the next time it is run.

Beautiful startup banners in vivid color

ctdlload: import visits

import msglists

ctdlload: import floor table

ctdlload: import room records

Replaced all the pointer arithmetic in getuser/putuser with readable.

Pretty statistics

Now I have a machine gun that can write ctdluser records.  Ho-ho-ho.

Moved makeuserkey() into its own file because we need it in ctdlload

ctdlload: load message metadata

ctdlload: load msgtext

ctdlload: skeleton code for table ingestion

./ctdldump -y -h./data | ./ctdlload -y -h./newdata

./ctdldump -y -h./data | ./ctdlload -y -h./newdata

ctdlload: wrote the code to ingest dump lines

Cleaned up config dump so there are no nulls in the dump

ctdldump: convert binary to base64 instead of hex

ctdldump: dump config records.  This is now functionally complete.

ctdldump: export usersbynumber (secondary index)