Oops, we're in a new year; update the copyright date in serv_wiki.c

Wiki revs now work again - replaced --global-reject-file with -r

When we 503, do it in HTML

Conflicts:

webcit/webcit.c

fix parameter order of memset as reported by Silvio Cesare in debian Bug#609384

forward-port r4a30bae41553 from stable

use the short commit hash

Resync i18n with launchpad

fix typo in french po file.

Fix off by one here too; else we will send two '<' in the MAIL FROM command.

start working on a way do do CLANG compilation.

Multiple cleanup

  - DeletePOP3Aggregator() free the read message struct
  - comment out table revalidation
  - remove duplicate return statement
  - correctly handle queueing of dns query. We don't care about the result.

Queue functions have to return eNextState in order for the caller to i.e. swap successfully between queus.

Silence the very noisy 'Interrupted CtdlThreadSelect'

FB->ReadWritePointer has to point to FB->Buf->Buf if the buffer is nonempty; logic in other functions depends on this.

When sending chunks in a loop, terminate imemdiately if the remote party goes away.

add .silent and some echo logic to our makefiles; thanks to sECuRE for the hints.

Add testhash function, since we experienced troubles here.

Add function to do some revalidations on hashlists; Attention; this can be cpu intense; don't use for production code.

StrBufChunkSipLine(): compact buffer if we have a remaining snippet at the end of the buffer

Continue reading if the IO Grammer layer tells us so.

Correct logging expressions

Set all version numbers to 8.00 -- FEATURE FREEZE FOR 8.00

Cleanup Pop3Aggregator

  - Fix varous Memleaks
  - pop3client_scan_room() Combine old pop3collector syntax into a parseable URL.
  - use just one URL pointer
  - POP3C_GetOneMessageIDFromUseTable(): duplicate; obsolete; deleted.
  - add username to pop3 usetable entries
  - use our own Context

Fix Shutdown; work on IODebug

  - StopClientWatchers(): stop watchers regardless whether the fd is 0 or not.
  - streamline IODebugging

Add IODebugging to CtdlReadMessageBodyAsync

When creating system contexts, set the Context name.

rename our context so its more filename friendly.

add missing newline in logging.

in some rare conditions, we seem to need to check the pointer first before accessing it.

one time 'room' var is enough.

protect access to the counter by mutex, else we might get race conditions.

QP-Encode questionmarks.

When QP encoding, we need to convert blanks to underscores

  - Spamassasin test 'BAD_ENC_HEADER' matches if a subject looks like that:
     Subject: =?UTF-8?Q?=5Btestml=5D l=C3=B6sch misch ey.?=
    it needs to look like that:
     Subject: =?UTF-8?Q?=5Btestml=5D_l=C3=B6sch_misch_ey.?=

add missing var definition *ups*

Fix detecting of UTF8 Sequences

  - we need to exactly check for both highest bits to be set, not one of them.

fix counting of UTF8-charwidth

  - Ctdl_GetUtf8SequenceLength(): testbyte needs to be unsigned char, else >> will shift us new bits in from the left
  - we need to shift 'test' to the right
  - start counting at 0

fix StrHtmlEcmaEscAppend, StrECMAEscAppend

  - StrHtmlEcmaEscAppend(): reimplement 'nbsp' - handling
  - StrECMAEscAppend(): copy over required stuff from StrHtmlEcmaEscAppend()

Fix StrHtmlEcmaEscAppend() more edge cases in utf8 handling

 - Ctdl_GetUtf8SequenceLength(): return 0 for broken, 1 for non-utf8 sequences
 - StrHtmlEcmaEscAppend(): another attempt to fix json appending:
  - use switch instead of Rumpelstilskin if sequence
  - use HKEY for our static sequences
  - don't check for buffer expansion again while utf8-handling; we have 11 bytes reserved, utf8 will at most become 6 bytes
  - Simply handle ASCII chars in the utf8 loop
  - since aptr is moved implicitely, we mustn't move it for the last byte
  - add missing handling for some escapers
  - let unicode escapers pass

Conflicts:

libcitadel/lib/stringbuf.c

fix QP encoding

     - once we decided to QP encode we also need to encode = (forgotten in last commit)

fix QP encoding

 - once we decided to QP encode we also need to encode =[]

Work on event'ing the pop3 aggregator

  - POP3_C_ReAttachToFetchMessages(): we manage the transition DB-IO -> Network I/O
  - POP3C_GetListCommandState(): after receiving the list-OK we have to continue reading the list items
  - POP3C_GetListOneLine(): the server sends us the size of the message; save it for later use.
  - POP3C_GetOneMessagID(): after reading all list-items, start DB lookup whether we knew them already.
  - POP3C_GetOneMessageIDState(): if more items are in the list, call us again with the next message ID.
  - POP3_FetchNetworkUsetableEntry(): fetch one UT-entry per call; forward to POP3_C_ReAttachToFetchMessages() once we saw all items in the list.
  - POP3C_SendGetOneMsg(): cycle over the list till we find the next Mail we didn't know already & fetch it; if no more items in list -> goodbuye.
  - POP3C_ReadMessageBody() after the I/O layer read the message from the socket, parse it; move our context over to the DB-Queue.
  - POP3C_ReadMessageBodyFollowing(): On success initialize the async message reader; let the I/O layer read the message, then continue parsing & saving it.
  - POP3C_StoreMsgRead(): parse & save the message to the DB. Continue with remembering it in the UT table.
  - POP3C_SendDelete(): check whether we want to delete the mails on the server, if do; else continue with POP3C_SendGetOneMsg() to fetch next in list.
  - POP3_C_ReadServerStatus(): switch between line based read operation and reading whole messages.

we now can successfully aggregate one pop3 account.

add infrastructure to cleanly swap inbetween the DB and the IO queue; add infrastructure needed for async message reading.

  - QueueDBOperation(): use our own vars on the AsyncIO struct, so we don't overwrite handlers & events from the file I/O stuff.
  - DB_PerformNext(): don't use default: so we get warnings if new states are added and not handled here.
  - DB_PerformNext(): if we don't get a DB query or Terminate, the db operations are done, remove our handlers, this AsyncIO context is handed over into another Queue by the application logic.
  - NextDBOperation(): use our own vars on the AsyncIO struct, so we don't overwrite handlers & events from the file I/O stuff.
  - HandleInbound(): handle more read-states; needed for message reading.
  - HandleInbound(): move Rumpelstilskin lookup if to switch()
  - IO_send_callback(): fix/add IO debugging to /tmp/foo
  - IO_send_callback(): Adjust switch to some edge cases:
    - eSendReply: check whether we're done with sending, if, fall forward to writing.
    - eReadMore: was missing, continue reading (if)
    - eReadPayload: new, read smtp messages for example.
    - eDBQuery: the application logic want to perform database I/O with this context, clean up hooks and remove it from this queue.
  - set_start_callback(): properly hanle the new cases
  - IO_recv_callback(): fix/add IO debugging to /tmp/foo
  - ReAttachIO(): use me if you want to continue with file I/O after i.e. DB-I/O

Add async message reading

  - CtdlSubmitMsg(): make param const, since its just read
  - add NewAsyncMsg(): preprocess the parameters provided by application logic, return the worker struct for message reading
  - add CtdlReadMessageBodyAsync(): call me from your IO handler to read a message from the socket asynchroneous.
  - add DeleteAsyncMsg(): call me to delete the worker vars.

Rename function to cary the module prefix.

work on the pop3 aggregator

  - rewrite the config parser similar to the rss-configparser
  - copy over handler logic from async smtp connector
  - chop worker into handy bits so the handler logic can control it.

fix naming of functions, so they live in the RSS-Namespace

tiny fixes

  - log failed connection attempts
  - add sample to set 127.0.0.1

fix parsing of IP-Urls

  - need to point inet_pton() to the rightly casted pointer in case of non-IPv6
  - set the port using hton()
  - set the protocol depending on our findings

StrBufSipLine(): make input params const; fix several warnings about unused code.

Conflicts:

libcitadel/lib/libcitadel.h

DBG_QR[2] now a configurable loggable

Wrap all calls to pthread_mutex_lock() and pthread_mutex_unlock() within CtdlLogResult()

Convenience function CtdlLogResult()

finalize allocation & freeing of rss stuff

make shure invalid session fd's don't get set into the central select.

use right struct for memset.

work on making RSS aggregator instances and roomlists consistant.

Fix documentation

  - fix bug about escaping in strbuf
  - link Hashlist Componets to groups so they can be easily accessed.

fix conditions where several rooms read the same RSS feed

merge in euid generation from master

first working RSS collection with async DB-Saves

  - for now, no shorter URL expansion
  - replace handling of configs, old algorythm wasn't thread-safe
  - DB i/o is done in its own libev Queue in its own thread now; so we don't block network IO with database IO.

Add ability to hex encode binary strings

 - when encoding plain md5 binary buffers we have to pass the length into the hex encoder, add parameter
 - add wrapper providing old schematic
 - fix documentation of StrBufSipLine()

more work on libev´ing the rss-reader.

fix loop / handling error when connecting fails immediately

  - add new ev_idle to unwind the stack on connecting
  - add a new handler that processes the disconnect

fix pointer indirections so we now can successfully fetch RSS feeds again.

when not forking, we fail to drop rood privileges in advance before writing netconfig files, so we loose later access to them. Sadly we don't know our GID...

move stuff out into own files from here...

Split RSS Parser...

  - URL-De-Shortener module
  - RSS/ATOM Handlers
  - start migrating to event/curl requests

if specified, use our bind-ip for the http clients.

Give us an own Context per notification client.

rebuilt from .y

* make it const baby.

Free all our allocated resources after notifying / sending a http request.

finish rewriting of http client code

 - we now have a context
 - we now handle replies
 - still some uncertain cleanup condition.

Migrate http context struct into the AsyncIO struct; streamline other structs.

unlink global struct and request structs

Fix unfolding of RFC822 lines so we don't loose blanks.

Don't overwrite the 'TO' when sending mailinglist mails; we put ourselves into 'reply to:'

Rewrite loading of notify configurations

sending http requests instant now.

work on libev <-> libcurl integration

  - move libcurl handlers into the libev file; they need to be initialized to close to separate
  - add some logging;

First successfull CURL notification via libev!

Fix parsing and rearaning of URLs

don't copy filedescriptors into the clone.

more work on async http

Memleak: free the vector of URLs to try to connect to.

just log the close if we're realy going to close.

Don't close 0-filedescriptors on session killing, its our indicator for not here, since 0 equals STDIN which at best is redirected to /dev/null

use long hash function, if we intend to use long values as keys, else we won't find anything

Stop watchers / don't close 0

work on errorhandling for the smtp event client

  - add states for the mx lookup phases
  - return the propper states
  - close filedescriptors if we fail one attempt
  - say which connection type we have: immediate, e_again, fail
  - say which NS-lookup whe do (a/aaaa)

Add backtrace debugging facility that doesn't add linebreaks

libevent needs to link the mathlib, so we add -lm

ups, .lo not .o

add prerelease so we don't get deinstalled all the time..

fix problem with po missing \n

Work on integrating libcurl <-> libev

Fix possible endless loop conditions

Various cleanups of abort conditions

  - if the timeout/connectionfail/... calls tell us to abort, shutdown the client
  - unregister all event structs

Name of MX in error messages

  - set it after successfull MX lookup
  - put in that we don't have an mx record if its NULL instead of 'no name'

fix gcc warning about it not knowing which pointer indirection is const...

Include ourselves??