Version number set to 7.87, tagging for stable release

Merge branch 'stable-78x' of ssh://git.citadel.org/appl/gitroot/citadel into stable-78x

add missing var definition *ups*

Fix detecting of UTF8 Sequences

  - we need to exactly check for both highest bits to be set, not one of them.

fix counting of UTF8-charwidth

  - Ctdl_GetUtf8SequenceLength(): testbyte needs to be unsigned char, else >> will shift us new bits in from the left
  - we need to shift 'test' to the right
  - start counting at 0

QP-Encode questionmarks.

When QP encoding, we need to convert blanks to underscores

  - Spamassasin test 'BAD_ENC_HEADER' matches if a subject looks like that:
     Subject: =?UTF-8?Q?=5Btestml=5D l=C3=B6sch misch ey.?=
    it needs to look like that:
     Subject: =?UTF-8?Q?=5Btestml=5D_l=C3=B6sch_misch_ey.?=

add missing var definition *ups*

Fix detecting of UTF8 Sequences

  - we need to exactly check for both highest bits to be set, not one of them.

fix counting of UTF8-charwidth

  - Ctdl_GetUtf8SequenceLength(): testbyte needs to be unsigned char, else >> will shift us new bits in from the left
  - we need to shift 'test' to the right
  - start counting at 0

fix StrHtmlEcmaEscAppend, StrECMAEscAppend

  - StrHtmlEcmaEscAppend(): reimplement 'nbsp' - handling
  - StrECMAEscAppend(): copy over required stuff from StrHtmlEcmaEscAppend()

Fix StrHtmlEcmaEscAppend() more edge cases in utf8 handling

 - Ctdl_GetUtf8SequenceLength(): return 0 for broken, 1 for non-utf8 sequences
 - StrHtmlEcmaEscAppend(): another attempt to fix json appending:
  - use switch instead of Rumpelstilskin if sequence
  - use HKEY for our static sequences
  - don't check for buffer expansion again while utf8-handling; we have 11 bytes reserved, utf8 will at most become 6 bytes
  - Simply handle ASCII chars in the utf8 loop
  - since aptr is moved implicitely, we mustn't move it for the last byte
  - add missing handling for some escapers
  - let unicode escapers pass

Don't add brackets <> to the reply to; it should be ok without.

parse reply-to header into its permanent database field

it seems as if some mailers (Open exchange for example) add Reply-To headers; if we don't parse it when receiving it,
our list service adds another header; thus parse it into the database of headers.

fix QP encoding

     - once we decided to QP encode we also need to encode = (forgotten in last commit)

fix QP encoding

 - once we decided to QP encode we also need to encode =[]

Fix envelope-to header.

  - don't output leading whitespace
  - don't output it at all if there is just whitespace inside.

network_spool_msg() handle QP

while appending the [roomname] to the mailsubject, we have to
  - de-qp the original subject
  - search for the roomname
  - possibly prepend '[roomame] '
  - and re-qp everything.
that way we solve...
  - multiple [roomname] additions in case of QP encoded subjects
  - non RFC-Conformant behaviour in case of roomnames with umlauts.

Revert "Ugly hack to fix wiki history broken by the 'message xxx is not in this room' security check"

This reverts commit b63ef8c45ce751cb78dc4a9061a31b5448ec9049.

Ugly hack to fix wiki history broken by the 'message xxx is not in this room' security check

Merge branch 'stable-78x' of ssh://git.citadel.org/appl/gitroot/citadel into stable-78x

fix the GETMETADATA command; we mustn't count our naive split of the comand, it will fail if we have blanks in roomnames.
this fixes troubles seen with citadel <-> bynari connector.

Fix K-Escaper; we wouldn't copy the whole UTF-8 sequence in some cases.

xmpp_destroy_buddy() now accepts an 'aggressively' flag that indicates whether the server should push an 'unsubscribed' presence tag.  Apparently we can only do this when sending a roster flush at the beginning of the session, because sending it when another user logs out in the middle of our session confuses Jitsi into thinking that the other user rejected a subscription request.  I think it's making Pidgin behave better too, but more testing is needed.

Merge branch 'stable-78x' of ssh://git.citadel.org/appl/gitroot/citadel into stable-78x

fix various incidents reported by CLANG Static analyzer:

  - unneeded Vars
  - possible uninitialized access

use defines for size_t formating token

fix possible NULL-Pointer access, thanks to CLANG static analyzers for pointing out..

fix possible NULL pointer access, thanks to the CLANG static analyser.

Static analyzer fixes;

  - fix uninitialized access in case of us sending 404
  - remove unneeded duplicate line.

fix possible uninitialized access; thanks to the Clang Static analyzer for pointing out.

fix the evaluation of password quality; thanks to the clang static analyzer for pointing me there.

ServerShutdownModule_GETTEXT() was failing on non-locale-aware systems, fixed

ServerShutdownModule_GETTEXT() was failing on non-locale-aware systems, fixed

ServerShutdownModule_GETTEXT() was failing on non-locale-aware systems, fixed

Backport

sock_connect() - if first char of hostname is '/' assume it is a unix domain socket and connect to that instead

Fix unfolding of RFC822 lines so we don't loose blanks.

fix message composing

   - when composing the text/plain downmix mimepart we forgot to add a linefeed.

fix source so that '-Wformat -Werror=format-security' doesn't stop us from compiling

just log the close if we're realy going to close.

Don't close 0-filedescriptors on session killing, its our indicator for not here, since 0 equals STDIN which at best is redirected to /dev/null

* add test data from head, so we can compare results

fix possible crashes of not NULL-checking the result of icalproperty_get_attendee()

add test for html translating

Fix possible endless loop conditions

Guard against 'billion laughs' attack in our XMPP service

add new version

Fix of terminate problem while loading user list

Tag stable-78x for 7.86 release

Problem with merge: this is called Buf in stable, not LineBuf

if StrBuf_ServGetln() is called in a loop, its return value has to be checked for error, else we might get into infinite loops.

when generating subjects for calendar items do quoted printeable encoding

Fix searching of ']'

Mailinglist client: don't add roomname to subject if its already there

Reset run_queue_now back to 0 after a forced run of the SMTP queue.
Otherwise we continue to retry every message every minute, and that is bad.

Fixed incorrect byte count when writing XML entity references
(cherry picked from commit 77fc8e79ee0edb8b4b67fc4dcb3ed1b32381cb52)

Backported XML export fixes from master

Sanitize v_seen and v_answered during export
(cherry picked from commit eeda2be5a606771a06a74cca7705f4a7ec12c7fa)

Escape single and double quotes in export format
(cherry picked from commit cbd9bcf9a70f48fbb6d85b0a8eab837ebe1838ce)

Backport 3acf77119652d4e6081815dac7dbed4ed6fb7d2f from master

Enable XMPP over TLS

free the context on that exit place too.

Memleak: free the context on abort too.

f85b76d98b6922b36aef7eda85c08c09c478fe71

By jimcuclamath: set maxium allowed password length to the length of the buffer we read into.

use the gnu format string checker for CtdlLogPrintf; fix associated new warnings / problems.

apply memset-0 fix here too.

SMTP-Bouncing: don't put message body on wrong Citadel-Message-field.

Wiki revs now work again - replaced --global-reject-file with -r

THIS IS 7.85

Fix hangups on binary blob reads from webcit stable

Fix bug in SMTP-Client to send two < in the envelope sender, which will probably result in bounces/rejects.

update version number in preparation for 7.85 release

Replaced client_read() with socket_read_blob() in serv_network.c

Revert d36da34581cd277a2face04a11cdb8f81d8d2121 in stable.

SMTP Async I/O:

 - while sending data, wait relative to the size of the mail /128 + a minimal set of 50.

MimeParser Rewrite: add test to revalidate the results of the rewrite to the stable mimeparser.

Relax SMTP Client timeout settings as discussed.

 - default is 30 seconds
 - Server greeting 90 seconds (DNS lookups for RBLs might be slow
 - Server sending the response to the EOM sequence; here we might have background processing like virus or spam scanning that wants to finish before finaly accepting the message.

Nonblocking sockets need to select while writing

 we changed the SMTP outbound connections to be nonblocking so we could abort on not reacting SMTP-Servers.
 thus we need to select before writing, else the connection will fail.

have flexible timouts while reading lines in our client mode connections

since some mailserver take a little longer to finish reading mails we need to wait after we send our '.\r\n'; its 90 seconds now, all other parts will wait 5s, quit will wait 1 second.

check whether the sorting algorithm specified via BSTRs is intended for us before using its groupchange detector.

Memleak: free the roomlist of the sieve-queued rooms on exit; other tiny leaks.

smtp_do_bounce(): don't loose msg['A'] when overwriting its content.

Memleak: CtdlMakeMessage(): don't forget about the original author.

Memleak: post_message(): don't forget about the recipient buffer.

Don't send identity header if we want to do gzip compression

Propfind replies send 'Content-encoding: identity' right now, which is superseeded by the frameworks 'Content-encoding: gzip' in case of the client indicates this.
sending that headers twice has uncertain results depending on the client; while the RFC demands to evaluate the later, some fail to read our reply then.

fix buffer overrun while converting charsets

* DecodeSegment() didn't check whether one of the temporary buffers would be able to bear the transcoding results

fix crash in SSL BLOB-Reading

 - when diciding whether the read buffer contains more than the blob reader wants we had a wrong equation.

if we tell the client we're in error state, return.

if SNET would fail to open the temporary file, it would tell the client 'error' and continue to read -> hang
we now abort after reporting the error.

Finalize fixing of netconfig loosing incident

 * need to set & check errno that tells us whether our tempfile was fresh created or already there
 * remove tmpfile on error
 * don't use fopen() because we can't specify the flags we need for that
 * ftruncate() the tempfile at the right place

Prevent writing empty network configs Part II
 * writenfree_spoolcontrol_file ()
   - serialise into a StrBuf
   - write that to a tempfile in the netconfig directory
   - if we fail, abort & log error
   - if we succed use rename () to replace the original config file.

* cmd_snet: make shure the target FS has enough space for the new config

 - Create our own filename insteaf of using mk*tmp*; CC->cs_pid should be uniq.; we use  O_CREAT|O_EXCL so we're shure its ours or fails.
 - Create that filename in the same directory as the filal config filename; by that we can be shure its in the same filesystem, and if thats full, we will fail
 - Stat the original file for sise (if not there assume 80) and write twice as much into that file so we're next to shure the content from the client will fit in
 - the citadel protocol is a little st00pit here, we don't know the size in advance, and we can't return an error _after_ accepting the file
 - instead of moving the content of the tempfile into the final file, we use rename() which is supposed to be atomic.

assoc_file_name(): return length of string

* sock_getln (): CtdlSockGetLine() gives us lines without \r\n, no need to look for them again
* sock_getln_err (): add integer pointer returning the actual return state in case of error
* ml_sock_gets (): use sock_getln_err () so we can abort on impropper replies
* smtp_try (): make socket nonblocking, so we can abort on error
 -> we will wait 5 seconds for the remote site to send us the SMTP-State else we will abort the connection on failure.

* check whether we need to QP-Encode our from in case of umlauts or so in the users realname.

* StrBufSanitizeEmailRecipientVector () fix another off by one

* the number of messages available are unequal to those in scope of the list.

* off by one in range checking of indexed access

Backport infanticide prevention patch from head