* Change to main server loop.  All threads block on accept() instead of using a mutex.  Hopefully this will solve the deadlock issue that has been plaguing us.

* removed an extraneous debug line

* In a rare eureka-moment, discovered that my XML string escape function was only sanitizing characters higher than 0x7F, but the problem character in my data set was 0x01.  Fixed.

* Finally eliminated the dreaded 'spooling - try again in a few minutes' error, since the generation of spool files is no longer in the same locking domain as their transfer.

* individual spool files are now created for each run of the networker and consolidated later.

* When downloading network spool from another node, use the new network/spooltmp architecture

* same as for citserver: move INLINE functions from .c to .h and make them static INLINE; thanks again to #llvm, jyasskin and sabre

* INLINE doesn't work across several objects as of C99; we just survive it the way its now because of gcc is sluggish here.
(see http://clang.llvm.org/docs/UsersManual.html#c_modes for details)
Move the INLINE function into the header, make it static INLINE as sugested by jyasskin and sabre

* split cutuserkey() out of makeuserkey(); its name doesn't show that theres a modification of the buffer inside.
* modify several functions so their callers have to call cutuserkey()
* harmonize the user length to  USERNAME_SIZE; apply cutting after cleanup of invalid characters

* When a network node is uploading a spool file, receive it in ./network/spooltmp and then move it to ./network/spoolin only when the upload is closed. (This is the first of perhaps five changes which need to be made.)

* Documented all of the 'TODO: document me.' commands in file_ops.c
* Set up a new directory ./network/spooltmp, this will be part of the solution to allow the processing of network spool files to occur independently of the transfer of network spool files.

* Minor cleanups while I try to figure out the network problem

* roomchat_rwho(), roomchat_poll(): gcc likes bit operations in logical operations better that way.

* check_get() clang was indeed right, this ';' is a bug. dict_tcp syntax errors would have been ignored.

* Properly escape XML output using new xmlesc() function for XMPP sessions.  This function should eventually get moved into libcitadel, but the bigger problem is that it doesn't handle UTF-8.  Right now we're just using it to keep Pidgin from barfing on illegal characters.

* openid-Module: don't use static buffers in most places

* cdb_fetch() make lookup key const

* I think this cleans up the remaining XMPP bugs.  We now see the correct number of sessions for each user (and it turns out I didn't have to modify the xmpp_is_visible() API after all, but it's still a nice enhancement to have and doesn't cost extra).

* Ok, it's not an async bug.  When I changed everything over to xmpp_is_visible() I screwed up the logic of xmpp_presence_notify().  Changed the xmpp_is_visible() API to allow it to check the visibility of ANY session to ANY other session.  Still need to clean up xmpp_presence_notify() and nail down the bug.

* Changed the logic of how we inform the client about dead buddies.  Instead of pushing a dead buddy update at login, we push it immediately following any roster query requested by the client.  I discovered that some clients don't bother to query the roster if an unsolicited update is recived.  This is working more reliably now.  However, I'm not getting any asynchronous updates; must check this...

* Modified the XMPP service to use client_read_random_blob().  However, I noticed that client_read_random_blob() is always returning only one byte.

* implement client_read_random_blob(); its hear to read a blob of undefined size; Its to be used _once_ after a successfull select of the master loop.

* cleanup

 * StrBufPlain(): don't access pointers before we check them

 * OverrideRequest(): for some reason Hdr->HR.ReqLine can be NULL here, we need to take care of that.

* XMPP login hooks which output protocol data should only activate if this is actually an XMPP session.  Ouch.

* check for null

* StrBufReadBLOBBuffered(): fix abort condition; if it doesn't end by itself, stop after 100000 tries; if we select 1000 tries should do it.

* New utility function xmpp_is_visible(), used to determine whether any given session in the wholist is visible to the current user and capable of receiving instant messages.  This eliminates duplicate code in three different places.
* The XMPP mortuary is functionally complete and does appear to be working properly.  Upon connecting, an XMPP client now receives 'buddy delete' messages for any buddy he has ever seen, minus the ones who are online right now.  This should effectively eliminate the accumulation of 'ghost' buddies on large public access systems like Uncensored.

* New utility function xmpp_is_visible(), used to determine whether any given session in the wholist is visible to the current user and capable of receiving instant messages.  This eliminates duplicate code in three different places.
* The XMPP mortuary is functionally complete and does appear to be working properly.  Upon connecting, an XMPP client now receives 'buddy delete' messages for any buddy he has ever seen, minus the ones who are online right now.  This should effectively eliminate the accumulation of 'ghost' buddies on large public access systems like Uncensored.

* rather have one typedef than dozends of structs all over the source

* Lots of changes to the XMPP Mortuary to make it keep track of useful data.  We're one more update away from this being something that works.

* Eliminate generic_free_handler() since it is not needed

* cosmetic changes

* Tried to complete the dead buddy thing in xmpp, but the code I already wrote now seems to be broken?

* Make memreadlinelen() const

xmpp_fetch_mortuary_backend(): copy the string over so we can use it later and free it. else we will free a non-malloced pointer or loose that buffer before we want to use it.
Btw, theres no need for specifying generic_free_handler, thats default.

* free the wildfire buffer on session detaching

* require DEF:VAL and DEF:STR to have one token, as it should.

* ups, its FreeStrBuf(&ptr)

* fix wildfire exception handling; collect stuff in a buffer, and serialize it to the header when done.

* xmpp_xml_end(): output what we don't understand in the error message.

* Reenabled the XMPP mortuary.  If there's still a bug in this I need to find it.

* A little more padding between the chat windows

* Added a background color to the roomchat send box
* fixed some indentation and spacing in webcit.css

* upgrade prototype to 1.6.1
* upgrade scriptaculous to 1.8.3

* When the user navigates away from the roomchat screen for any reason, advise the server of this condition using an 'RCHT exit' command.

* StrBufTCP_read_buffered_line_fast(): silence warning of narrow minded compilers

* output_html(): it needs to be isspace()src="cid: not <blank>src="cid:

* cmd_spex() accept old (deprecated) version of policy too
* cmd_gpex() accept old (deprecated) version of policy too

* More tweaks to the room chat window.  Now displays the list of users in chat.

* Executive decision.  From now on, intr (ctrl-c) begins an attempt at a graceful shutdown, but quit (ctrl-backslash) forcibly quits the server.  Signal handler for SIGQUIT has been disabled.

* Added some style to the roomchat window.

* add Remove button
* post_message(): use IKEY and Flathash, we just use numbers anyway.
* post_message(): add handler for removal of attachments; it seems as if 'filename' comes out URL-encoded, so we need to decode it.
  We need to iterate and strcmp() so we find the right one :(
* post_message(): when adding a new item just using count+1 isn't sufficient anymore; we need to use the key value + 1 of the last item in the list instead

* DeleteEntryFromHash(): don't skip indirection via the lookuptable, else we free some random payload
* DeleteEntryFromHash(): NULL the end of the list; This is the entry we just removed.
* hashlist_test: add some tests with removing items from the list

* offer a split version of GetNextHashPos(): GetHashPos() retrieves the item, NextHashPos() moves the iterator forward.

* post_mime_to_server(): next try for the lz3 case: try to block posting empty messages anyway.

* move policy.c into modules/expire/expire_policy.c, since it just controls this.
* remove all unneded includes to policy.h
* remove hardcoded reference to policy from mk_module_init.sh (hard to find...)

* Finally got room chat working properly.  Just need to add the bells and whistles.

* call json_roomflr with sort parameters

* ParseMessageListHeaders_Detail(): don't use the tokenizer to read the subject; this works around pipes in mail subjects

* headers_euid() ooops, 'T' is a string!

* cmd_oidf(): if we don't have ha Server to authenticate against, bail with ILLEGAL_VALUE

* fix flags for state of rest parsing
* DAV-Message-list: expect timestamp next to the EUID

* headers_euid(): print out timestamp of message too, DAV needs this.
* CtdlOutputPreLoadedMsg(): initialize pointer to silence value

-

* update room chat to the new protocol.  This needs a couple more tweaks but I'm checking it in to avoid conflicts with other commits

* add one more callback hook to the webcit DAV handler structure; this will be used to revalidate URLs, move or delete certain items referenced by URLs
* add handler vor EUID based namespaces; so far we just have the exists logic; this will be filled with the other required operations soon.
* finish REST URL parsing with 'best-guess'-room logic

* CompareRoomListByFloorRoomPrivFirst() add a wrapper that can be called with types for webcit internal use...

* add the IO-Debug statement to the comment howto build .debs with devel support

* client_read_to(): print a bactrace when the client socket goes away on read

* fix umlaut

* oops ... fix a syntax error

* according to https://support.mozilla.com/en-US/forum/1/479557 it pushes the limit by 5MB, but its still just 19 of 30 which it sends :(

* ReadPostData(): abort if we fail to read the whole content
* session_loop(): allocate buffers after reading post data, so we don't have to free them on error
* session_loop(): abort if reading post data fails

* mime_parser(), mime_decode(), the_mime_parser(); use typedef for callback functions, signature gets compacter that way

* change_start_page(), LoadStartpage(): check whether the startpage is allowed by rule
* InitModule_MSG() disallow postpart_download, postpart, confirm_move_msg, delete_msg, move_msg, post to become the startpage; they don't do usefull things there.

* Moved instant messaging into its own module -- serv_instmsg
* Removed serv_chat and the CHAT command
* Implemented serv_roomchat and the RCHT command, which implements a brand new chat protocol

* GetRESTFolder(): find the parts of the URL matching our rooms; since there may be uids/messageids/mimeparts keep a 'best guess' we return if theres no direct match
* GetRESTFolder(): collect sub-rooms of the current URL so we can list them later

* Minor tweaks to ldap.c -- logging, remove commented-out code etc.

* say we're UTF-8 in vacation messages.

* Disabled CHAT cmd until the underlying I/O layer is fixed

* CtdlOutputPreLoadedMsg(): chop it into handy pieces; No functional change.

* Disable the XMPP-mortuary code.  It's not ready for production yet.

cmd_chat(): use CCC instead of CC

* open_databases(): cast the yield function so the warning goes away.

* cdb_decompress_if_necessary(): memset 0 the buffer before accessing it
* cdb_decompress_if_necessary(): don't lean on cdb being big enough to fill our header

* client_read_sslblob(): don't use uninitialized values.

* html_to_ascii(): don't buffer underrun while checking whether we should append a trailing newline or not.

 * unfold_rfc822_field(): don't forget to copy over chars while unfolding

* client_read_blob(): behave the same way in non-ssl as ssl, so we return <0 in case of errors.

* serv_read_binary(): in some cases we can get here without having anything in our read buffer; catch this situation.

 * StrBufPlain(): secure input arguments; don't strlen(NULL)

* client_read_blob() don't swallow errorstates.

 * qp_encode_email_addrs():  don't use static buffers for recipient parts; alloc the size of the total buffer here, so it fits in any case.

* More work on the XMPP dead buddy list

* more work on the dead buddies purge

 * imap_fetch_rfc822(): migrate to strbuf

* clean up dead buddies from the xmpp roster (not finished yet)

* imap_listroom():
* use a nice name for buf
* don't use strcat, utilize that we know the size of string constants