Merge branch 'master' of ssh://git.citadel.org/appl/gitroot/citadel

Reworking the enter message and attach dialogs

Fix typo in translation.

Mimeparser bugfix; if we continue we must flush the already parsed headers too.

Hunt for mime_parser bugs...

 - don't prepend the content-type/content-length - mime header if we don't intend to use it anyways.

Merge branch 'master' of ssh://git.citadel.org/appl/gitroot/citadel

More tiny bugfixes on the mimeparser

 - in the for-loop, search first start as initializer, this saves one unneccesary memcmp
 - cr/lf detection: we need to do that _before_ the first mime content is evaluated.

Merge branch 'master' of ssh://git.citadel.org/appl/gitroot/citadel

Added the regression test I wrote while fixing stripallbut() yesterday

Correctly evaluate whether we have a decoded mime part, or if we need to output the raw content.

Performance: use memchr to find the next '-' and then call memcmp to check whether this is a boundary

 - we fast forward to the next '-' since every mime boundary starts with '-'
 - from a '-' we check thorough whether at this point we can find the searched boundary

Thanks to cirrus for pointing me to memchr()

Add more test-mimecontainers.

Be more conservative about when not to apply binary searching for the next boundary or not.

Rewrote stripallbut() again, tested extensively

Add test running our wildfire sample code

In the name of test-coverage: #if 0 the parts we don't need.

Don't forget to cleanup gcov output in xdgmime

More shell calls to all our tests

 - look up all our staticaly coded mimetypes from randomly generated filenames
 - read all contents we find across all test mimecontainers.

Add test for loading one mimepart from the mimestructure; decode its content inside.

 - this found a bug of a const char being modified inside of the call.

Add test for looking up the icon for a specific mimetype.

Don't put a static buffer into content_encoding; its changed inside.

 - while decoding thats overwritten. probably a bug sleeping in here waiting for its discovery for a long time.

Update to launchpad R24

 - remove fuzzy strings, launchpad doesn't support them
 - add new translation

add scripts to run and test and have code coverage analysis across them.

Add possibility to trigger the mimeparser internal encoding-decoder

Testdata: add an email with base64 encoded content.

Remove loop, its a little unfriendly to run it a 10000 times.

Add test to call mime lookup algorithms

Ignore more missing .gcov files

Merge branch 'master' of ssh://git.citadel.org/appl/gitroot/citadel

Resync to launchpad translation add Bulgarian

 - remove fuzzy strings, launchpad doesn't have them and patching chokes on them

Ignore gcov generated files.

Dismissing the popup-is-blocked window now opens it (hopefully)

toggleModal() now explicitly accepts an argument of 1 (on) or 0 (off)

Modal dialog for the popup blocker warning

fix stupidness in closewindow icon

make the cancel button 32x32

Use modal dialog for confirm logoff

Integrated a modal dialog framework (not in use yet)

Memleak: getaddrinfo needs freeadrinfo here too.

Mime-parser rework: parse the mime headers of the current container so we can guess the size of the content to jump accross; binary/ascii is used to switch the search algorithm for the next boundary.

 - the old mime parser version skipped empty containers; we do this by hand
 - for some reason the numbers addressing the mimeparts grow different, maybe mixed use of old/new may cause confusion...

Exclude testdata from the distribution tgzs; they don't need it and they're huge.

Anonimize?

ignore new test binary for git

Add test mime containers that (used to..) cause troubles in the recent past.

Add mime-parser-testing tool

to be able to test the mimeparser in an insulated binary, here we have a test, that reads a given file into memory, and parses it using the mime parser.

More hickups found due to the mimetester; pre push.

 - the_mime_parser (): we need to know where parse_MimeHeaders() finds the end of the headers.
 - the_mime_parser (): don't move the pointer around just to count up to the end-pointer. this can be done by pointer substraction.
 - parse_MimeHeaders (): move the parameter so our caller gets to know what we read
 - parse_MimeHeaders (): if (ptr >= content_end)  after reading is probably a bug (also there in stable..), that makes us fail to read the last line, if. move it to the end of the pointer.
 - don't call strchr twice; remember & evaluate the first result
 - stripping the disposition-header can be done right where we found it.

fix crash: we want to do is_digit() on *char* not on char*

some bug the mimetest found before push.

Don't leak FD's while serving static files if they're not there

Ok, this case is rather theoretic, but if for some reason files disappear
after webcits start initialising, we might hit this point.

First Step: chop mimeparser into pieces.

 - move the cluster of buffers into a struct compatible to the CKEY macro
 - add the interesting other evaluated flags & numbers to that struct
 - move finding & parsing of the 'interesting headers' into its own function.

by all this we hope to get informations about the mimepart before we have to search for its end

* rewrite stripallbut() to return the length

 - remove strlen from the for loop abort condition
 - move string around _once_
 - return the length of the string we operated on, since we know it after the operation anyways.

<HTML> and <HEAD> set to overflow: hidden to get rid of extra scrollbars

remove a FIXME that we fixed

avoid decoding mime-parts unless we realy need to.

 - suff... doesn't need to decode all attachments; we just need the mime headers here.
 - when searching for the attachment we want to output, we also don't need the content.
 - when outputing an attachment, just decode the attachment were actualy interested in.

performance improvements: replace memcmp

 - looping forward while moving a pointer and doing memcmp isn't fast. replace it by strstr
 - \r\n can be done in a pointer dereferencing comparison.

Note: maybe we need to fallback to the memcmp way if there is binary content?
In that case we should do a little smarter and try to use contentlength-headers etc.

Add PID/GID/UID of communications parters with unix domain sockets to login-loglines.

This is an addition to Stuarts patch.

Log remote-IP on login attempts

By Stuart Cianos

Permalinks work now but they are ugly.

Began working on a permalink system WARNING NOT WORKING YET

avoid calling GETR for the number of total/read messages

so far webcit used a call of GETR to retrieve the number of messages available in the current room for displaying the room banner.
However, GOTO already gave us this information, and GETR is only available for aides, so we got Important messages with that error when logged in as joe average.
This went under the radar for quiet a while, since the error message wasn't printed but silently ignored.

Relax SMTP Client timeout settings as discussed.

 - default is 30 seconds
 - Server greeting 90 seconds (DNS lookups for RBLs might be slow
 - Server sending the response to the EOM sequence; here we might have background processing like virus or spam scanning that wants to finish before finaly accepting the message.

Began fleshing out the CSS for blog view

Only move from spooltmp to spoolin if there's actually something there.

Don't send identity header if we want to do gzip compression

Propfind replies send 'Content-encoding: identity' right now, which is superseeded by the frameworks 'Content-encoding: gzip' in case of the client indicates this.
sending that headers twice has uncertain results depending on the client; while the RFC demands to evaluate the later, some fail to read our reply then.

event_jid is a buffer, not a pointer, so don't free() it

Memleak: post_message(): don't forget about the recipient buffer.

Memleak: put request local strings into the http-header array (we used SVPUT to manage them in advance)

Memleak: CtdlMakeMessage(): don't forget about the original author.

smtp_do_bounce(): don't loose msg['A'] when overwriting its content.

Removed a few unneeded calls to scr_flush()

Began defining CSS for blog view

Memleak: free the list of search hooks on exit

Memleak: free the global inet-config on exit.

Memleak: free the XMPP-Eventqueue on shutdown

 TODO: the event_jid member contains an unclean pointer, no clue why.

Memleak: free the roomlist of the sieve-queued rooms on exit; other tiny leaks.

Memleak: fix the varous handler & config lists of the rss module on exit.

Memleak: free the imap-handlerlist on exit

Memleak: free the nttlist (network host list) on exit

Memleak: sock_connect() needs to call freeaddrinfo()

found one more place using IO directly, rerouting it to buffered IO else it will spoil the sequence.

New templates for rendering messages as blog posts and comments

Localized strings for blog view

fix buffer overrun while converting charsets

* DecodeSegment() didn't check whether one of the temporary buffers would be able to bear the transcoding results

msgbuttons are now back to being ordinary links.
They're smaller this way, and they also don't misbehave
under Internet Exploder.

Update translations to Launchpad R13

check whether the sorting algorithm specified via BSTRs is intended for us before using its groupchange detector.

add script to generate gcov/lcov output.

fix some incompletely transformed reply strings; thanks gcov & imaptest

more gcov files to ignore...

add a way to configure code coverage

Ignore data files left behind by gcov

Rewrite IMAP-Module to buffer its output

 - move defines from imap_tools.h into serv_imap.h
 - switch includes in sequence
 - we now have IMAP->Reply, which we write into, until IUnbuffer sends it to the client
 - IReply & IReplyPrintf do now send 'Params[0].Key BAD xxxxxx\r\n' to the client; this makes the code more compact.
 - IA* append stuff to the outbuffer that we want to send.
 - replace rumpelstilskin handler lookup by hashlist and central register calls.
 - replace if's in the sequence separating the handlers by their required pre-conditions by flags on the register call.

this should
 - (hopefully) fix some troubles with evolutions imap, which wouldn't like to read enough chunks until the line ends
 - speed up stuff like header fetching in huge lists, since we reduce the number of context switches here.

have flexible timouts while reading lines in our client mode connections

since some mailserver take a little longer to finish reading mails we need to wait after we send our '.\r\n'; its 90 seconds now, all other parts will wait 5s, quit will wait 1 second.

Nonblocking sockets need to select while writing

 we changed the SMTP outbound connections to be nonblocking so we could abort on not reacting SMTP-Servers.
 thus we need to select before writing, else the connection will fail.

handle errors during netedit:

 - put server errors into the ImportantMessage
 - use StrBuf
 - use GetServerStatus

New macro for putting a Citserver reply into important message: SRV_STATUS_MSG

Use it like that:
StrBuf_ServGetln(Line);
if  (GetServerStatus(Line, NULL) != 1) {
AppendImportantMessage(SRV_STATUS_MSG(Line));

if we tell the client we're in error state, return.

if SNET would fail to open the temporary file, it would tell the client 'error' and continue to read -> hang
we now abort after reporting the error.

don't fetch a RSS before the network frequency is elapsed

 currently the RSS-Thread is run over and over; we shouldn't stress our partrers to much, so we let the network poll frequency elaps before we try to poll the rss feed again.

fix crash in SSL BLOB-Reading

 - when diciding whether the read buffer contains more than the blob reader wants we had a wrong equation.

move old tokenizer over to the managesieve server; its only used there.

 - remove old_imap_tokenizer from imap_tools.h
 - move old_imap_tokenizer to modules/managesieve/serv_managesieve.c
 - move imap_tools.h to modules/imap; since its not needed globaly anymore.

Ups, its el_GR not el_EL