Fix StrHtmlEcmaEscAppend() more edge cases in utf8 handling

 - Ctdl_GetUtf8SequenceLength(): return 0 for broken, 1 for non-utf8 sequences
 - StrHtmlEcmaEscAppend(): another attempt to fix json appending:
  - use switch instead of Rumpelstilskin if sequence
  - use HKEY for our static sequences
  - don't check for buffer expansion again while utf8-handling; we have 11 bytes reserved, utf8 will at most become 6 bytes
  - Simply handle ASCII chars in the utf8 loop
  - since aptr is moved implicitely, we mustn't move it for the last byte
  - add missing handling for some escapers
  - let unicode escapers pass

Conflicts:

libcitadel/lib/stringbuf.c

fix QP encoding

     - once we decided to QP encode we also need to encode = (forgotten in last commit)

fix QP encoding

 - once we decided to QP encode we also need to encode =[]

Work on event'ing the pop3 aggregator

  - POP3_C_ReAttachToFetchMessages(): we manage the transition DB-IO -> Network I/O
  - POP3C_GetListCommandState(): after receiving the list-OK we have to continue reading the list items
  - POP3C_GetListOneLine(): the server sends us the size of the message; save it for later use.
  - POP3C_GetOneMessagID(): after reading all list-items, start DB lookup whether we knew them already.
  - POP3C_GetOneMessageIDState(): if more items are in the list, call us again with the next message ID.
  - POP3_FetchNetworkUsetableEntry(): fetch one UT-entry per call; forward to POP3_C_ReAttachToFetchMessages() once we saw all items in the list.
  - POP3C_SendGetOneMsg(): cycle over the list till we find the next Mail we didn't know already & fetch it; if no more items in list -> goodbuye.
  - POP3C_ReadMessageBody() after the I/O layer read the message from the socket, parse it; move our context over to the DB-Queue.
  - POP3C_ReadMessageBodyFollowing(): On success initialize the async message reader; let the I/O layer read the message, then continue parsing & saving it.
  - POP3C_StoreMsgRead(): parse & save the message to the DB. Continue with remembering it in the UT table.
  - POP3C_SendDelete(): check whether we want to delete the mails on the server, if do; else continue with POP3C_SendGetOneMsg() to fetch next in list.
  - POP3_C_ReadServerStatus(): switch between line based read operation and reading whole messages.

we now can successfully aggregate one pop3 account.

add infrastructure to cleanly swap inbetween the DB and the IO queue; add infrastructure needed for async message reading.

  - QueueDBOperation(): use our own vars on the AsyncIO struct, so we don't overwrite handlers & events from the file I/O stuff.
  - DB_PerformNext(): don't use default: so we get warnings if new states are added and not handled here.
  - DB_PerformNext(): if we don't get a DB query or Terminate, the db operations are done, remove our handlers, this AsyncIO context is handed over into another Queue by the application logic.
  - NextDBOperation(): use our own vars on the AsyncIO struct, so we don't overwrite handlers & events from the file I/O stuff.
  - HandleInbound(): handle more read-states; needed for message reading.
  - HandleInbound(): move Rumpelstilskin lookup if to switch()
  - IO_send_callback(): fix/add IO debugging to /tmp/foo
  - IO_send_callback(): Adjust switch to some edge cases:
    - eSendReply: check whether we're done with sending, if, fall forward to writing.
    - eReadMore: was missing, continue reading (if)
    - eReadPayload: new, read smtp messages for example.
    - eDBQuery: the application logic want to perform database I/O with this context, clean up hooks and remove it from this queue.
  - set_start_callback(): properly hanle the new cases
  - IO_recv_callback(): fix/add IO debugging to /tmp/foo
  - ReAttachIO(): use me if you want to continue with file I/O after i.e. DB-I/O

Add async message reading

  - CtdlSubmitMsg(): make param const, since its just read
  - add NewAsyncMsg(): preprocess the parameters provided by application logic, return the worker struct for message reading
  - add CtdlReadMessageBodyAsync(): call me from your IO handler to read a message from the socket asynchroneous.
  - add DeleteAsyncMsg(): call me to delete the worker vars.

Rename function to cary the module prefix.

work on the pop3 aggregator

  - rewrite the config parser similar to the rss-configparser
  - copy over handler logic from async smtp connector
  - chop worker into handy bits so the handler logic can control it.

fix naming of functions, so they live in the RSS-Namespace

tiny fixes

  - log failed connection attempts
  - add sample to set 127.0.0.1

fix parsing of IP-Urls

  - need to point inet_pton() to the rightly casted pointer in case of non-IPv6
  - set the port using hton()
  - set the protocol depending on our findings

StrBufSipLine(): make input params const; fix several warnings about unused code.

Conflicts:

libcitadel/lib/libcitadel.h

DBG_QR[2] now a configurable loggable

Wrap all calls to pthread_mutex_lock() and pthread_mutex_unlock() within CtdlLogResult()

Convenience function CtdlLogResult()

finalize allocation & freeing of rss stuff

make shure invalid session fd's don't get set into the central select.

use right struct for memset.

work on making RSS aggregator instances and roomlists consistant.

Fix documentation

  - fix bug about escaping in strbuf
  - link Hashlist Componets to groups so they can be easily accessed.

fix conditions where several rooms read the same RSS feed

merge in euid generation from master

first working RSS collection with async DB-Saves

  - for now, no shorter URL expansion
  - replace handling of configs, old algorythm wasn't thread-safe
  - DB i/o is done in its own libev Queue in its own thread now; so we don't block network IO with database IO.

Add ability to hex encode binary strings

 - when encoding plain md5 binary buffers we have to pass the length into the hex encoder, add parameter
 - add wrapper providing old schematic
 - fix documentation of StrBufSipLine()

more work on libev´ing the rss-reader.

fix loop / handling error when connecting fails immediately

  - add new ev_idle to unwind the stack on connecting
  - add a new handler that processes the disconnect

fix pointer indirections so we now can successfully fetch RSS feeds again.

when not forking, we fail to drop rood privileges in advance before writing netconfig files, so we loose later access to them. Sadly we don't know our GID...

move stuff out into own files from here...

Split RSS Parser...

  - URL-De-Shortener module
  - RSS/ATOM Handlers
  - start migrating to event/curl requests

if specified, use our bind-ip for the http clients.

Give us an own Context per notification client.

rebuilt from .y

* make it const baby.

Free all our allocated resources after notifying / sending a http request.

finish rewriting of http client code

 - we now have a context
 - we now handle replies
 - still some uncertain cleanup condition.

Migrate http context struct into the AsyncIO struct; streamline other structs.

unlink global struct and request structs

Fix unfolding of RFC822 lines so we don't loose blanks.

Don't overwrite the 'TO' when sending mailinglist mails; we put ourselves into 'reply to:'

Rewrite loading of notify configurations

sending http requests instant now.

work on libev <-> libcurl integration

  - move libcurl handlers into the libev file; they need to be initialized to close to separate
  - add some logging;

First successfull CURL notification via libev!

Fix parsing and rearaning of URLs

don't copy filedescriptors into the clone.

more work on async http

Memleak: free the vector of URLs to try to connect to.

just log the close if we're realy going to close.

Don't close 0-filedescriptors on session killing, its our indicator for not here, since 0 equals STDIN which at best is redirected to /dev/null

use long hash function, if we intend to use long values as keys, else we won't find anything

Stop watchers / don't close 0

work on errorhandling for the smtp event client

  - add states for the mx lookup phases
  - return the propper states
  - close filedescriptors if we fail one attempt
  - say which connection type we have: immediate, e_again, fail
  - say which NS-lookup whe do (a/aaaa)

Add backtrace debugging facility that doesn't add linebreaks

libevent needs to link the mathlib, so we add -lm

ups, .lo not .o

add prerelease so we don't get deinstalled all the time..

fix problem with po missing \n

Work on integrating libcurl <-> libev

Fix possible endless loop conditions

Various cleanups of abort conditions

  - if the timeout/connectionfail/... calls tell us to abort, shutdown the client
  - unregister all event structs

Name of MX in error messages

  - set it after successfull MX lookup
  - put in that we don't have an mx record if its NULL instead of 'no name'

fix gcc warning about it not knowing which pointer indirection is const...

Include ourselves??

Fix Crash

  * check pointer before accessing it
  * fix probably uninitialized case

Give event clients a citadel session context.

Cleanup the event client struct, remove unused vars

just use the ParsedURL to bear our destination address & port

Use IOBuffer with its StrBuf + const char* inside instead of having two of them

implement abort handling

Switch handling to have a pointer to the target address

 - change URL struct to contain sockaddr_in6
 - change URL-Parsing to add that indirection
 - change all pointer indirections so the new way fits

move URL parsing / struct over into libcitadel

Fix searching of ']'

Add busines logic for toggling multiple mx records etc.

 - move handlers into their own file
 - chain up stuff via URL-structs
(not yet all done)

Mailinglist client: don't add roomname to subject if its already there

fixing html2ascii

  - add possibility to scan 4 digit entities
  - don't scan over the end
  - add tests

libev migration: start out with creating support for 'fallbackhost'

libev/c-ares migration; fix lookup chains

  - use idle-watchers for unwinding the c-ares stack (thanks to Marc Lehmann for the hint)
  - use the generic c-ares query & parse logic instead of the integrated call; we need to first do the a then fall back to the aaaa request which the c-ares default one doesn't implement
  - stop the shutdown watchers when finalizing one client

libev migration - add shutdown handlers

  - this ties us to libev > 4.0
  - clean shutdown and storing of the new state in our quue

libev migration: use async methods to schedule jobs. thanks to Marc Lehmann for the friendly help.

libev migration - copy valus we use for loop control before we hand it off into the libevent queue

  - this fixes a race condition causing a double free with the to be copied mailpayload

Merge branch 'libevent' of ssh://git.citadel.org/appl/gitroot/citadel into libevent

libev/c-ares migration: unstack out ouf c-ares before querying new requests

  - we use the c-ares callback to parse the DNS reply and put the reply to our callback
  - we then set a zero-timer with the call to continue our flow
  - we return / unstack c-ares
  - we then do the a/aaaa record lookup without having another ares lookup in our stack
this circumvents double dns lookups.

QP-Decoding: Ignore case of letter indicating _B_inary or _Q_uoted printeable, there seem to be solutions around sending q,b instead of Q,B

by jimcuclamath: use defines instead of numbers for logging; Change some loglevels to DEBUG

fix ipv6 connections in smtp client

fix IPv6 relay url parsing

libev migration: check pointer before free'ing it.

libev migration / c-ares migration

  - free c-ares structs and its watchers in appropriate places
  - finalize relaying

libev migration; relaying implementation

  - move translation of DNS-results up into the SMTP-Client
  - use an own callback for connecting to IP-based relays
  - add assertions to callbacks being NULL, since after callin a NULL-callback the last stackframe is NIL and Void, and we can't see where we went off into misery.

libev migration: reinstantiate MX-Relay; unfinished.

libev migration: remove 127.0.0.1 forcing

Libev migration:

  - timeouts implemented & working
  - async connects working

libev migration - timeouts seem to be working.

  - handle timeouts with libev timers

libev migration; cleanup bounce; use libev to get the current time.

use the gnu format string checker for CtdlLogPrintf; fix associated new warnings / problems.

Libev migration Cleanup, print resolved IP to log

Libev Migration; fix aborting on connection establishing problems

  - libev doesn't care whether a watcher is already registered or not, we don't need to remember which to stop and which not.
  - cast to the right structure while aborting
  - put timeout callback in
  - register timeout callback
  - close our socket in the right place.

Fix bouncing of messages in smtp-queue

  - free boundary when barfing out
  - put the message body on the right citadel message collumn

Mimeparser rewrite; fix bug detecting trailing MIME-Boundary

  - when searching for the '--' after the mime boundary to detect whether its the last, we had an off by one. fixed.

libev migration - fix queue conditions

  - handle messages without recipients
  - remove the the original message when we finished our job.