berkeley_db.c: improvements to transactional data store

https://docs.oracle.com/cd/E17276_01/html/programmer_reference/transapp_env_open.html

The use of the DB_RECOVER flag to dbenv->open() appears to do more than just try to
recover the environment upon startup.  It also creates __db.00X files, which are
perhaps holding the environment???   In any case it seems to be more solid this way.
I am also removing the use of any "private" transactions, since they are no longer
needed.  Operations which write to the database check to see if the thread's dedicated
transaction pointer is in effect, maintaining that transaction if it is, and creating
a transaction in the same pointer otherwise.

There is a "double free" bug somewhere in here and I'm still trying to figure out what
conditions cause it to happen.

master_cleanup() is now the global shutdown/exit function

db debugging

dbnothing does nothing

dbnothing: temporary utility that just opens and closes the database as a test

ctdldump/ctdlload: fix usage messages

ctdldump/ctdlload: -h now works identical to citserver

ctdlload: use the backend API instead of BDB calls

It works, but it is several orders of magnitude slower.  Why?

ctdldump: use the backend API instead of BDB calls

This makes ctdldump backend agnostic, or at least as backend
agnostic as citserver itself is at this point.  We will probably
add some calling syntax across the board when we add more
backends, but at least this utility doesn't have to be rewritten
now.  This makes me a happy ig.  ctdlload will be next.

Makefile: BACKEND_LDFLAGS "created" by configure

Drop support for upgrading sites older than v811 (8.11)

That release was more than 11 years ago.  Sites have had ample time to upgrade.

Makefile: move -ldb from hardcoded to a new BACKEND_LDFLAGS

Makefile: restructured so that backends can be compiled into utilities

database.c has been moved from server/ into server/backends/common.
Makefile now separates server objects from backend objects.
This is all in preparation for ctdldump and ctdlload to link the backend
code instead of calling BDB directly.

Remove CTDLUID definition, point to ctdluid symbol instead.

CTDLUID was probably a hard-coded preprocessor definition back in the
ancient times.  Now it is not.

cdb_next_item() now returns both key and value

Removed call to db_env->set_cachesize()

The third parameter has always been set to 0
so it wasn't ever doing anything before.

Calls to cdb_fetch()/cdb_next_item() now check ptr for NULL or non-NULL

This is a better practice than checking to see if the data length was 0.
It now allows for extant but zero-length data to be returned.

cdb_free() is no longer needed; removed from backend API

cdb_fetch() and cdb_next_item() now return a struct cdbdata instead of a pointer to one

bdb_decompress_if_necessary() now operates on DBT instead of cdbdata

This allows us to maintain the DB_DBT_REALLOC heuristics.

Remove diagnostic section

Keep track of whether cdb->ptr must be freed by cdb_free()

This would happen, for example, if we decompressed the record.

Apply patch sent by UFarx to support CPPFLAGS

cdb_fetch()/cdb_next_item() return immutable data

************************************************************************

Before now, the Berkeley DB back end was supplied the DB_DBT_MALLOC flag
and it became the caller's responsibility to handle any memory allocated
and returned by cdb_fetch() and cdb_next_item().  These heuristics are
not expected to be compatible with new back ends currently in planning.

cdb_fetch() and cdb_next_item() now return data that is to be considered
immutable (don't write to it or you'll segfault).  The caller must still
call cdb_free() to free the `struct cdbdata` itself, but the pointers
inside it point to buffers that the back end will reuse.

After a call to cdb_fetch() or cdb_next_item(), the buffers are
guaranteed to be readable until the next call to one of those functions
on the same table.

serv_imap.c: moved to new CtdlFetchMsgList() API.

This should be the last of them.  Next step is to audit all other use of cdb_free().

serv_imap: removed all the CCC and CCCIMAP shorthand

msgbase.c all migrated to new api now

CtdlFetchMsgList() - treat no-record and zero-messages identically

In both cases, we return 0 to the caller and set the array pointer to NULL.
This simplifies the calling convention and eliminates extra code to check for both conditions

The previous commit was actually for CtdlDeleteMessages()

CtdlSaveMsgPointersInRoom() is now lmdb-safe

serv_nntp.c: move to new API

InitialMailCheck() uses new API

msgbase.c: change to new API

msgbase.c: upgrade CtdlSetSeen() to the new CtdlGetMsgList() API

serv_expire: move to new msglists call

DRY fetch of msglists.

A lot of the calls to cdb_fetch(CDB_MSGLISTS...) follow the same design pattern
and many of them are in need of rework to handle how they free their memory.  So
I created a new function CtdlGetMsgList() to do it in a consistent way.  Three
callers have been migrated to the new syntax.

serv_fulltext.c: copy the data returned by cdb_fetch() instead of taking ownership

We have to do this everywhere.  Berkeley DB can be configured to hand off ownership of memory to
the caller, but LMDB cannot.

More renaming of symbols that are local to the berkeley_db module.

dbp[] is now bdb_table[]
dbenv is now bdb_env

Moved cdb_chmod_data() out of the backend API

This function only does file and directory level operations on
the data/ directory and files in it.  These operations will be
common across all backends.

Renamed some more functions and variables that are specific to the bdb_ module.

comments cleanup

This works much better.  TSD maintained in-module instead of globally.

Revert "Prepared for upcoming change to cdb_next_item() API."

This reverts commit d805c8202867ff3cc4049e5df6a3e871c4fdc5be.

Revert "Changed the API for cdb_rewind() / cdb_next_item() to make the caller hold the cursor"

This reverts commit 733c6e8f2a624fb641cc50a9d253b3a914c25bba.

Changed the API for cdb_rewind() / cdb_next_item() to make the caller hold the cursor

Prepared for upcoming change to cdb_next_item() API.

cdb_next_item() is always preceded by a call to cdb_rewind() before the
iteration loop.  We're going to remove the cursor from thread-specific
data, and replace it with a void pointer that the caller is responsible
for passing back.  This will make the backend drivers easier to build.

imap_acl.c: update to C99 style comments

berkeley_db.c: remove includes that are no longer needed

document private/public functions in berkeley_db.c

berkeley_db.c: prefixed all module-local functions with bdb_ to avoid namespace collisions

Moved cdb_ prototypes from berkeley_db.c to database.c where they belong

Building better abstractions for the backend interface

server/database_bdb.c is now server/backends/berkeley_db/berkeley_db.c

cdb_init_backends() just calls bdb_init_backend() for now

Silenced a compiler warning by bringing in the correct include files.

Mostly finished the abstractions, now just need to silence some compiler warnings that came up

saving my work before I do the rest of the functions en masse

Tried it with a function that requires a parameter

Begin turning cdb_ functions into pointers assigned to bdb_ functions

made the prototypes prettier

ctdl_module_init_database() is now ctdl_module_init_database_bdb()

open_databases() and close_databases() are now cdb_open_databases() and cdb_close_databases()

usetable.c: moved CheckIfAlreadySeen() out of database.c

Also remove cdb_allocate_tsd(), cdb_free_tsd(), cdb_cull_logs()

It is important to get this right because it's going to become a driver interface for databases

Removed checkpoint_thread() prototype from database.h , this is not a real function anymore

database.h: assert that it is an internal API that should remain consistent across multiple back ends.

Renamed database.c to database_bdb.c

serv_nntp.c: change everything to C99 comment style

Marked code that will require some rework for LMDB.

When BDB returns data, the caller owns the memory and is required to
free it, which we usually do.  I marked the places where we take ownership
of memory pointers and then set the BDB ptr to NULL.  If we switch to
LMDB, those pointers remain valid forever, so we cannot simply free them
later.

point out sessions that are timed out but non-idle

verify that 'begin' and 'end' lines were found

began work on enumerating attachments in the mail view

Enumerate attachments in JSON message output

Merge branch 'ConstStr_Access_Checks' into 'master'

IMAP memory issues with use of ConstStr

See merge request citadel/citadel!5

Release version 988 generated by do-release.sh

ctdldump/ctdlload: -h now specifies the top-level Citadel directory, just like all the other programs, and defaults to the compiled-in Citadel directory, just like all the other programs

More reliable search for guesstimezone.sh

Release version 987 generated by do-release.sh

ctdldump/ctdlload: more testing

ctdlload: finished remaining record types; need to test

skip the database open for the unused table to keep it from erroring out

ctdlload: euidindex

ctdlload: usersbynumber

add some //FIXME tags where needed

import fulltext index records

stub functions for new import routines

Export euidindex records

export fulltext records

Both banners now use the same color scheme

Go back to exporting dir and usersbynumber records.

We will also be exporting fulltext, euidindex, etc records.
Re-generating them on the target server after import is just way too time consuming.

When exporting visit records, if there is corrupt (non-printable) data in seen/answered arrays, cut that out before exporting

Release version 986 generated by do-release.sh

Fixed bad import in thing

Release version 985 generated by do-release.sh

Aggressively sync

Be more aggressive about closing the databases during a segfault

Try to close the databases if we segfault

Release version 984 generated by do-release.sh

ctdldump/ctdlload: fixed on Raspberry Pi, reintroduced to build

add prototype for b64unalphabet() to silence warning