]> code.citadel.org Git - citadel.git/blobdiff - libcitadel/lib/stringbuf.c
* remove temporary debian file
[citadel.git] / libcitadel / lib / stringbuf.c
index ab7dfb88661cbd34a709e4f329c2b57bfa4b11d7..b7dc903c8e392394da2b604c9278727552098fad 100644 (file)
@@ -32,7 +32,7 @@ int ZEXPORT compress_gzip(Bytef * dest, size_t * destLen,
 struct StrBuf {
        char *buf;         /**< the pointer to the dynamic buffer */
        long BufSize;      /**< how many spcae do we optain */
-       long BufUsed;      /**< Number of Chars used excluding the trailing \0 */
+       long BufUsed;      /**< StNumber of Chars used excluding the trailing \0 */
        int ConstBuf;      /**< are we just a wrapper arround a static buffer and musn't we be changed? */
 };
 
@@ -78,7 +78,7 @@ static int IncreaseBuf(StrBuf *Buf, int KeepOriginal, int DestSize)
                return -1;
                
        if (DestSize > 0)
-               while (NewSize < DestSize)
+               while (NewSize <= DestSize)
                        NewSize *= 2;
 
        NewBuf= (char*) malloc(NewSize);
@@ -226,6 +226,8 @@ StrBuf* _NewConstStrBuf(const char* StringConstant, size_t SizeOfStrConstant)
  */
 int FlushStrBuf(StrBuf *buf)
 {
+       if (buf == NULL)
+               return -1;
        if (buf->ConstBuf)
                return -1;       
        buf->buf[0] ='\0';
@@ -269,6 +271,8 @@ void HFreeStrBuf (void *VFreeMe)
  */
 long StrTol(const StrBuf *Buf)
 {
+       if (Buf == NULL)
+               return 0;
        if(Buf->BufUsed > 0)
                return atol(Buf->buf);
        else
@@ -280,12 +284,27 @@ long StrTol(const StrBuf *Buf)
  */
 int StrToi(const StrBuf *Buf)
 {
-       if(Buf->BufUsed > 0)
+       if (Buf == NULL)
+               return 0;
+       if (Buf->BufUsed > 0)
                return atoi(Buf->buf);
        else
                return 0;
 }
-
+/**
+ * \brief Checks to see if the string is a pure number 
+ */
+int StrBufIsNumber(const StrBuf *Buf) {
+  if (Buf == NULL) {
+       return 0;
+  }
+  char * pEnd;
+  strtoll(Buf->buf, &pEnd, 10);
+  if (pEnd == NULL && ((Buf->buf)-pEnd) != 0) {
+    return 1;
+  }
+  return 0;
+} 
 /**
  * \brief modifies a Single char of the Buf
  * You can point to it via char* or a zero-based integer
@@ -311,12 +330,12 @@ long StrBufPeek(StrBuf *Buf, const char* ptr, long nThChar, char PeekValue)
  * \param AppendBuf Buffer to copy at the end of our buffer
  * \param Offset Should we start copying from an offset?
  */
-void StrBufAppendBuf(StrBuf *Buf, const StrBuf *AppendBuf, size_t Offset)
+void StrBufAppendBuf(StrBuf *Buf, const StrBuf *AppendBuf, unsigned long Offset)
 {
-       if ((AppendBuf == NULL) || (Buf == NULL))
+       if ((AppendBuf == NULL) || (Buf == NULL) || (AppendBuf->buf == NULL))
                return;
 
-       if (Buf->BufSize - Offset < AppendBuf->BufUsed + Buf->BufUsed)
+       if (Buf->BufSize - Offset < AppendBuf->BufUsed + Buf->BufUsed + 1)
                IncreaseBuf(Buf, 
                            (Buf->BufUsed > 0), 
                            AppendBuf->BufUsed + Buf->BufUsed);
@@ -336,9 +355,10 @@ void StrBufAppendBuf(StrBuf *Buf, const StrBuf *AppendBuf, size_t Offset)
  * \param AppendSize number of bytes to copy; set to -1 if we should count it in advance
  * \param Offset Should we start copying from an offset?
  */
-void StrBufAppendBufPlain(StrBuf *Buf, const char *AppendBuf, long AppendSize, size_t Offset)
+void StrBufAppendBufPlain(StrBuf *Buf, const char *AppendBuf, long AppendSize, unsigned long Offset)
 {
        long aps;
+       long BufSizeRequired;
 
        if ((AppendBuf == NULL) || (Buf == NULL))
                return;
@@ -348,8 +368,9 @@ void StrBufAppendBufPlain(StrBuf *Buf, const char *AppendBuf, long AppendSize, s
        else
                aps = AppendSize - Offset;
 
-       if (Buf->BufSize < Buf->BufUsed + aps)
-               IncreaseBuf(Buf, (Buf->BufUsed > 0), Buf->BufUsed + aps);
+       BufSizeRequired = Buf->BufUsed + aps + 1;
+       if (Buf->BufSize <= BufSizeRequired)
+               IncreaseBuf(Buf, (Buf->BufUsed > 0), BufSizeRequired);
 
        memcpy(Buf->buf + Buf->BufUsed, 
               AppendBuf + Offset, 
@@ -427,7 +448,8 @@ void StrBufUrlescAppend(StrBuf *OutBuf, const StrBuf *In, const char *PlainIn)
  * \param Source       source buffer; set to NULL if you just have a C-String
  * \param PlainIn       Plain-C string to append; set to NULL if unused
  * \param nbsp         If nonzero, spaces are converted to non-breaking spaces.
- * \param nolinebreaks if set, linebreaks are removed from the string.
+ * \param nolinebreaks if set to 1, linebreaks are removed from the string.
+ *                      if set to 2, linebreaks are replaced by &ltbr/&gt
  */
 long StrEscAppend(StrBuf *Target, const StrBuf *Source, const char *PlainIn, int nbsp, int nolinebreaks)
 {
@@ -453,12 +475,12 @@ long StrEscAppend(StrBuf *Target, const StrBuf *Source, const char *PlainIn, int
                return -1;
 
        bptr = Target->buf + Target->BufUsed;
-       eptr = Target->buf + Target->BufSize - 6; /* our biggest unit to put in...  */
+       eptr = Target->buf + Target->BufSize - 11; /* our biggest unit to put in...  */
 
        while (aptr < eiptr){
                if(bptr >= eptr) {
                        IncreaseBuf(Target, 1, -1);
-                       eptr = Target->buf + Target->BufSize - 6; 
+                       eptr = Target->buf + Target->BufSize - 11; /* our biggest unit to put in...  */
                        bptr = Target->buf + Target->BufUsed;
                }
                if (*aptr == '<') {
@@ -476,7 +498,7 @@ long StrEscAppend(StrBuf *Target, const StrBuf *Source, const char *PlainIn, int
                        bptr += 5;
                        Target->BufUsed += 5;
                }
-               else if (*aptr == '\"') {
+               else if (*aptr == '"') {
                        memcpy(bptr, "&quot;", 6);
                        bptr += 6;
                        Target->BufUsed += 6;
@@ -506,10 +528,17 @@ long StrEscAppend(StrBuf *Target, const StrBuf *Source, const char *PlainIn, int
                        bptr += 6;
                        Target->BufUsed += 6;
                }
-               else if ((*aptr == '\n') && (nolinebreaks)) {
+               else if ((*aptr == '\n') && (nolinebreaks == 1)) {
                        *bptr='\0';     /* nothing */
                }
-               else if ((*aptr == '\r') && (nolinebreaks)) {
+               else if ((*aptr == '\n') && (nolinebreaks == 2)) {
+                       memcpy(bptr, "&lt;br/&gt;", 11);
+                       bptr += 11;
+                       Target->BufUsed += 11;
+               }
+
+
+               else if ((*aptr == '\r') && (nolinebreaks != 0)) {
                        *bptr='\0';     /* nothing */
                }
                else{
@@ -555,13 +584,13 @@ void StrMsgEscAppend(StrBuf *Target, StrBuf *Source, const char *PlainIn)
        if (len == 0) 
                return;
 
-       eptr = Target->buf + Target->BufSize - 6
+       eptr = Target->buf + Target->BufSize - 8
        tptr = Target->buf + Target->BufUsed;
        
        while (aptr < eiptr){
                if(tptr >= eptr) {
                        IncreaseBuf(Target, 1, -1);
-                       eptr = Target->buf + Target->BufSize - 6
+                       eptr = Target->buf + Target->BufSize - 8
                        tptr = Target->buf + Target->BufUsed;
                }
               
@@ -589,6 +618,66 @@ void StrMsgEscAppend(StrBuf *Target, StrBuf *Source, const char *PlainIn)
        *tptr = '\0';
 }
 
+/*
+ * \brief Append a string, escaping characters which have meaning in JavaScript strings .  
+ *
+ * \param Target       target buffer
+ * \param Source       source buffer; set to NULL if you just have a C-String
+ * \param PlainIn       Plain-C string to append; set to NULL if unused
+ */
+long StrECMAEscAppend(StrBuf *Target, const StrBuf *Source, const char *PlainIn)
+{
+       const char *aptr, *eiptr;
+       char *bptr, *eptr;
+       long len;
+
+       if (((Source == NULL) && (PlainIn == NULL)) || (Target == NULL) )
+               return -1;
+
+       if (PlainIn != NULL) {
+               aptr = PlainIn;
+               len = strlen(PlainIn);
+               eiptr = aptr + len;
+       }
+       else {
+               aptr = Source->buf;
+               eiptr = aptr + Source->BufUsed;
+               len = Source->BufUsed;
+       }
+
+       if (len == 0) 
+               return -1;
+
+       bptr = Target->buf + Target->BufUsed;
+       eptr = Target->buf + Target->BufSize - 3; /* our biggest unit to put in...  */
+
+       while (aptr < eiptr){
+               if(bptr >= eptr) {
+                       IncreaseBuf(Target, 1, -1);
+                       eptr = Target->buf + Target->BufSize - 3; 
+                       bptr = Target->buf + Target->BufUsed;
+               }
+               else if (*aptr == '"') {
+                       memcpy(bptr, "\\\"", 2);
+                       bptr += 2;
+                       Target->BufUsed += 2;
+               } else if (*aptr == '\\') {
+                 memcpy(bptr, "\\\\", 2);
+                 bptr += 2;
+                 Target->BufUsed += 2;
+               }
+               else{
+                       *bptr = *aptr;
+                       bptr++;
+                       Target->BufUsed ++;
+               }
+               aptr ++;
+       }
+       *bptr = '\0';
+       if ((bptr = eptr - 1 ) && !IsEmptyStr(aptr) )
+               return -1;
+       return Target->BufUsed;
+}
 
 /**
  * \brief extracts a substring from Source into dest
@@ -598,7 +687,7 @@ void StrMsgEscAppend(StrBuf *Target, StrBuf *Source, const char *PlainIn)
  * \param nChars number of chars to copy
  * \returns the number of chars copied; may be different from nChars due to the size of Source
  */
-int StrBufSub(StrBuf *dest, const StrBuf *Source, size_t Offset, size_t nChars)
+int StrBufSub(StrBuf *dest, const StrBuf *Source, unsigned long Offset, size_t nChars)
 {
        size_t NCharsRemain;
        if (Offset > Source->BufUsed)
@@ -608,7 +697,7 @@ int StrBufSub(StrBuf *dest, const StrBuf *Source, size_t Offset, size_t nChars)
        }
        if (Offset + nChars < Source->BufUsed)
        {
-               if (nChars > dest->BufSize)
+               if (nChars >= dest->BufSize)
                        IncreaseBuf(dest, 0, nChars + 1);
                memcpy(dest->buf, Source->buf + Offset, nChars);
                dest->BufUsed = nChars;
@@ -616,7 +705,7 @@ int StrBufSub(StrBuf *dest, const StrBuf *Source, size_t Offset, size_t nChars)
                return nChars;
        }
        NCharsRemain = Source->BufUsed - Offset;
-       if (NCharsRemain > dest->BufSize)
+       if (NCharsRemain  >= dest->BufSize)
                IncreaseBuf(dest, 0, NCharsRemain + 1);
        memcpy(dest->buf, Source->buf + Offset, NCharsRemain);
        dest->BufUsed = NCharsRemain;
@@ -760,12 +849,13 @@ int StrBufRemove_token(StrBuf *Source, int parmnum, char separator)
        while (*s && *s != separator) {
                s++;
        }
-
+       if (*s == separator)
+               s++;
        ReducedBy = d - s;
 
        /* Hack and slash */
        if (*s) {
-               memmove(d, s, Source->BufUsed - (s - Source->buf));
+               memmove(d, s, Source->BufUsed - (s - Source->buf) + 1);
                Source->BufUsed -= (ReducedBy + 1);
        }
        else if (d == Source->buf) {
@@ -799,20 +889,22 @@ int StrBufExtract_token(StrBuf *dest, const StrBuf *Source, int parmnum, char se
        const char *s, *e;              //* source * /
        int len = 0;                    //* running total length of extracted string * /
        int current_token = 0;          //* token currently being processed * /
+        
+       if (dest != NULL) {
+               dest->buf[0] = '\0';
+               dest->BufUsed = 0;
+       }
+       else
+               return(-1);
 
        if ((Source == NULL) || (Source->BufUsed ==0)) {
                return(-1);
        }
        s = Source->buf;
        e = s + Source->BufUsed;
-       if (dest == NULL) {
-               return(-1);
-       }
 
        //cit_backtrace();
        //lprintf (CTDL_DEBUG, "test >: n: %d sep: %c source: %s \n willi \n", parmnum, separator, source);
-       dest->buf[0] = '\0';
-       dest->BufUsed = 0;
 
        while ((s<e) && !IsEmptyStr(s)) {
                if (*s == separator) {
@@ -844,6 +936,9 @@ int StrBufExtract_token(StrBuf *dest, const StrBuf *Source, int parmnum, char se
 }
 
 
+
+
+
 /**
  * \brief a string tokenizer to fetch an integer
  * \param dest Destination StringBuffer
@@ -860,6 +955,7 @@ int StrBufExtract_int(const StrBuf* Source, int parmnum, char separator)
        buf[0] = '\0';
        tmp.BufSize = 64;
        tmp.BufUsed = 0;
+       tmp.ConstBuf = 1;
        if (StrBufExtract_token(&tmp, Source, parmnum, separator) > 0)
                return(atoi(buf));
        else
@@ -882,6 +978,7 @@ long StrBufExtract_long(const StrBuf* Source, int parmnum, char separator)
        buf[0] = '\0';
        tmp.BufSize = 64;
        tmp.BufUsed = 0;
+       tmp.ConstBuf = 1;
        if (StrBufExtract_token(&tmp, Source, parmnum, separator) > 0)
                return(atoi(buf));
        else
@@ -906,6 +1003,7 @@ unsigned long StrBufExtract_unsigned_long(const StrBuf* Source, int parmnum, cha
        buf[0] = '\0';
        tmp.BufSize = 64;
        tmp.BufUsed = 0;
+       tmp.ConstBuf = 1;
        if (StrBufExtract_token(&tmp, Source, parmnum, separator) > 0) {
                pnum = &buf[0];
                if (*pnum == '-')
@@ -918,6 +1016,207 @@ unsigned long StrBufExtract_unsigned_long(const StrBuf* Source, int parmnum, cha
 
 
 
+/**
+ * \brief a string tokenizer
+ * \param dest Destination StringBuffer
+ * \param Source StringBuffer to read into
+ * \param pStart pointer to the end of the last token. Feed with NULL.
+ * \param separator tokenizer param
+ * \returns -1 if not found, else length of token.
+ */
+int StrBufExtract_NextToken(StrBuf *dest, const StrBuf *Source, const char **pStart, char separator)
+{
+       const char *s, *EndBuffer;      //* source * /
+       int len = 0;                    //* running total length of extracted string * /
+       int current_token = 0;          //* token currently being processed * /
+        
+       if (dest != NULL) {
+               dest->buf[0] = '\0';
+               dest->BufUsed = 0;
+       }
+       else
+               return(-1);
+
+       if ((Source == NULL) || 
+           (Source->BufUsed ==0)) {
+               return(-1);
+       }
+       if (*pStart == NULL)
+               *pStart = Source->buf;
+
+       EndBuffer = Source->buf + Source->BufUsed;
+
+       if ((*pStart < Source->buf) || 
+           (*pStart >  EndBuffer)) {
+               return (-1);
+       }
+
+
+       s = *pStart;
+
+       //cit_backtrace();
+       //lprintf (CTDL_DEBUG, "test >: n: %d sep: %c source: %s \n willi \n", parmnum, separator, source);
+
+       while ((s<EndBuffer) && !IsEmptyStr(s)) {
+               if (*s == separator) {
+                       ++current_token;
+               }
+               if (len >= dest->BufSize)
+                       if (!IncreaseBuf(dest, 1, -1)) {
+                               *pStart = EndBuffer + 1;
+                               break;
+                       }
+               if ( (current_token == 0) && 
+                    (*s != separator)) {
+                       dest->buf[len] = *s;
+                       ++len;
+               }
+               else if (current_token > 0) {
+                       *pStart = s;
+                       break;
+               }
+               ++s;
+       }
+       *pStart = s;
+       (*pStart) ++;
+
+       dest->buf[len] = '\0';
+       dest->BufUsed = len;
+               //lprintf (CTDL_DEBUG,"test <!: %s\n", dest);
+       //lprintf (CTDL_DEBUG,"test <: %d; %s\n", len, dest);
+       return(len);
+}
+
+
+/**
+ * \brief a string tokenizer
+ * \param dest Destination StringBuffer
+ * \param Source StringBuffer to read into
+ * \param pStart pointer to the end of the last token. Feed with NULL.
+ * \param separator tokenizer param
+ * \returns -1 if not found, else length of token.
+ */
+int StrBufSkip_NTokenS(const StrBuf *Source, const char **pStart, char separator, int nTokens)
+{
+       const char *s, *EndBuffer;      //* source * /
+       int len = 0;                    //* running total length of extracted string * /
+       int current_token = 0;          //* token currently being processed * /
+
+       if ((Source == NULL) || 
+           (Source->BufUsed ==0)) {
+               return(-1);
+       }
+       if (nTokens == 0)
+               return Source->BufUsed;
+
+       if (*pStart == NULL)
+               *pStart = Source->buf;
+
+       EndBuffer = Source->buf + Source->BufUsed;
+
+       if ((*pStart < Source->buf) || 
+           (*pStart >  EndBuffer)) {
+               return (-1);
+       }
+
+
+       s = *pStart;
+
+       //cit_backtrace();
+       //lprintf (CTDL_DEBUG, "test >: n: %d sep: %c source: %s \n willi \n", parmnum, separator, source);
+
+       while ((s<EndBuffer) && !IsEmptyStr(s)) {
+               if (*s == separator) {
+                       ++current_token;
+               }
+               if (current_token >= nTokens) {
+                       break;
+               }
+               ++s;
+       }
+       *pStart = s;
+       (*pStart) ++;
+
+       return(len);
+}
+
+/**
+ * \brief a string tokenizer to fetch an integer
+ * \param dest Destination StringBuffer
+ * \param parmnum n'th parameter to extract
+ * \param separator tokenizer param
+ * \returns 0 if not found, else integer representation of the token
+ */
+int StrBufExtractNext_int(const StrBuf* Source, const char **pStart, char separator)
+{
+       StrBuf tmp;
+       char buf[64];
+       
+       tmp.buf = buf;
+       buf[0] = '\0';
+       tmp.BufSize = 64;
+       tmp.BufUsed = 0;
+       tmp.ConstBuf = 1;
+       if (StrBufExtract_NextToken(&tmp, Source, pStart, separator) > 0)
+               return(atoi(buf));
+       else
+               return 0;
+}
+
+/**
+ * \brief a string tokenizer to fetch a long integer
+ * \param dest Destination StringBuffer
+ * \param parmnum n'th parameter to extract
+ * \param separator tokenizer param
+ * \returns 0 if not found, else long integer representation of the token
+ */
+long StrBufExtractNext_long(const StrBuf* Source, const char **pStart, char separator)
+{
+       StrBuf tmp;
+       char buf[64];
+       
+       tmp.buf = buf;
+       buf[0] = '\0';
+       tmp.BufSize = 64;
+       tmp.BufUsed = 0;
+       tmp.ConstBuf = 1;
+       if (StrBufExtract_NextToken(&tmp, Source, pStart, separator) > 0)
+               return(atoi(buf));
+       else
+               return 0;
+}
+
+
+/**
+ * \brief a string tokenizer to fetch an unsigned long
+ * \param dest Destination StringBuffer
+ * \param parmnum n'th parameter to extract
+ * \param separator tokenizer param
+ * \returns 0 if not found, else unsigned long representation of the token
+ */
+unsigned long StrBufExtractNext_unsigned_long(const StrBuf* Source, const char **pStart, char separator)
+{
+       StrBuf tmp;
+       char buf[64];
+       char *pnum;
+       
+       tmp.buf = buf;
+       buf[0] = '\0';
+       tmp.BufSize = 64;
+       tmp.BufUsed = 0;
+       tmp.ConstBuf = 1;
+       if (StrBufExtract_NextToken(&tmp, Source, pStart, separator) > 0) {
+               pnum = &buf[0];
+               if (*pnum == '-')
+                       pnum ++;
+               return (unsigned long) atol(pnum);
+       }
+       else 
+               return 0;
+}
+
+
+
 /**
  * \brief Read a line from socket
  * flushes and closes the FD on error
@@ -949,7 +1248,7 @@ int StrBufTCP_read_line(StrBuf *buf, int *fd, int append, const char **Error)
                        break;
                if (buf->buf[len] != '\r')
                        len ++;
-               if (!(len < buf->BufSize)) {
+               if (len >= buf->BufSize) {
                        buf->BufUsed = len;
                        buf->buf[len+1] = '\0';
                        IncreaseBuf(buf, 1, -1);
@@ -1073,7 +1372,7 @@ int StrBufReadBLOB(StrBuf *Buf, int *fd, int append, long nBytes, const char **E
                return -1;
        if (!append)
                FlushStrBuf(Buf);
-       if (Buf->BufUsed + nBytes > Buf->BufSize)
+       if (Buf->BufUsed + nBytes >= Buf->BufSize)
                IncreaseBuf(Buf, 1, Buf->BufUsed + nBytes);
 
        ptr = Buf->buf + Buf->BufUsed;
@@ -1139,6 +1438,24 @@ void StrBufCutRight(StrBuf *Buf, int nChars)
        Buf->buf[Buf->BufUsed] = '\0';
 }
 
+/**
+ * \brief Cut the string after n Chars
+ * \param Buf Buffer to modify
+ * \param AfternChars after how many chars should we trunkate the string?
+ * \param At if non-null and points inside of our string, cut it there.
+ */
+void StrBufCutAt(StrBuf *Buf, int AfternChars, const char *At)
+{
+       if (At != NULL){
+               AfternChars = At - Buf->buf;
+       }
+
+       if ((AfternChars < 0) || (AfternChars >= Buf->BufUsed))
+               return;
+       Buf->BufUsed = AfternChars;
+       Buf->buf[Buf->BufUsed] = '\0';
+}
+
 
 /*
  * Strip leading and trailing spaces from a string; with premeasured and adjusted length.
@@ -1176,6 +1493,19 @@ void StrBufUpCase(StrBuf *Buf)
 }
 
 
+void StrBufLowerCase(StrBuf *Buf) 
+{
+       char *pch, *pche;
+
+       pch = Buf->buf;
+       pche = pch + Buf->BufUsed;
+       while (pch < pche) {
+               *pch = tolower(*pch);
+               pch ++;
+       }
+}
+
+
 /**
  * \brief unhide special chars hidden to the HTML escaper
  * \param target buffer to put the unescaped string in
@@ -1327,10 +1657,14 @@ int CompressBuffer(StrBuf *Buf)
 #ifdef HAVE_ZLIB
        char *compressed_data = NULL;
        size_t compressed_len, bufsize;
+       int i = 0;
        
        bufsize = compressed_len = ((Buf->BufUsed * 101) / 100) + 100;
        compressed_data = malloc(compressed_len);
        
+       /* Flush some space after the used payload so valgrind shuts up... */
+        while ((i < 10) && (Buf->BufUsed + i < Buf->BufSize))
+               Buf->buf[Buf->BufUsed + i++] = '\0';
        if (compress_gzip((Bytef *) compressed_data,
                          &compressed_len,
                          (Bytef *) Buf->buf,
@@ -1340,6 +1674,10 @@ int CompressBuffer(StrBuf *Buf)
                Buf->buf = compressed_data;
                Buf->BufUsed = compressed_len;
                Buf->BufSize = bufsize;
+               /* Flush some space after the used payload so valgrind shuts up... */
+               i = 0;
+               while ((i < 10) && (Buf->BufUsed + i < Buf->BufSize))
+                       Buf->buf[Buf->BufUsed + i++] = '\0';
                return 1;
        } else {
                free(compressed_data);
@@ -1368,6 +1706,25 @@ int StrBufDecodeBase64(StrBuf *Buf)
        return siz;
 }
 
+/**
+ * \brief replace all chars >0x20 && < 0x7F with Mute
+ * \param Mute char to put over invalid chars
+ * \param Buf Buffor to transform
+ */
+int StrBufSanitizeAscii(StrBuf *Buf, const char Mute)
+{
+       unsigned char *pch;
+
+       if (Buf == NULL) return -1;
+       pch = (unsigned char *)Buf->buf;
+       while (pch < (unsigned char *)Buf->buf + Buf->BufUsed) {
+               if ((*pch < 0x20) || (*pch > 0x7F))
+                       *pch = Mute;
+               pch ++;
+       }
+       return Buf->BufUsed;
+}
+
 
 /**
  * \brief  remove escaped strings from i.e. the url string (like %20 for blanks)
@@ -1457,12 +1814,12 @@ int StrBufRFC2047encode(StrBuf **target, const StrBuf *source)
        }
        if (*target == NULL)
                *target = NewStrBufPlain(NULL, sizeof(headerStr) + source->BufUsed * 2);
-       else if (sizeof(headerStr) + source->BufUsed > (*target)->BufSize)
+       else if (sizeof(headerStr) + source->BufUsed >= (*target)->BufSize)
                IncreaseBuf(*target, sizeof(headerStr) + source->BufUsed, 0);
        memcpy ((*target)->buf, headerStr, sizeof(headerStr) - 1);
        (*target)->BufUsed = sizeof(headerStr) - 1;
        for (i=0; (i < source->BufUsed); ++i) {
-               if ((*target)->BufUsed + 4 > (*target)->BufSize)
+               if ((*target)->BufUsed + 4 >= (*target)->BufSize)
                        IncreaseBuf(*target, 1, 0);
                ch = (unsigned char) source->buf[i];
                if ((ch < 32) || (ch > 126) || (ch == 61)) {
@@ -1475,7 +1832,7 @@ int StrBufRFC2047encode(StrBuf **target, const StrBuf *source)
                }
        }
        
-       if ((*target)->BufUsed + 4 > (*target)->BufSize)
+       if ((*target)->BufUsed + 4 >= (*target)->BufSize)
                IncreaseBuf(*target, 1, 0);
 
        (*target)->buf[(*target)->BufUsed++] = '?';
@@ -1531,7 +1888,7 @@ void  ctdl_iconv_open(const char *tocode, const char *fromcode, void *pic)
 
 
 
-static inline char *FindNextEnd (StrBuf *Buf, char *bptr)
+static inline char *FindNextEnd (const StrBuf *Buf, char *bptr)
 {
        char * end;
        /* Find the next ?Q? */
@@ -1567,7 +1924,7 @@ void StrBufConvert(StrBuf *ConvertBuf, StrBuf *TmpBuf, void *pic)
        size_t obuflen;                 /**< Length of output buffer */
 
 
-       if (ConvertBuf->BufUsed > TmpBuf->BufSize)
+       if (ConvertBuf->BufUsed >= TmpBuf->BufSize)
                IncreaseBuf(TmpBuf, 0, ConvertBuf->BufUsed);
 
        ic = *(iconv_t*)pic;
@@ -1598,11 +1955,12 @@ void StrBufConvert(StrBuf *ConvertBuf, StrBuf *TmpBuf, void *pic)
 
 
 inline static void DecodeSegment(StrBuf *Target, 
-                                StrBuf *DecodeMe, 
+                                const StrBuf *DecodeMe, 
                                 char *SegmentStart, 
                                 char *SegmentEnd, 
                                 StrBuf *ConvertBuf,
-                                StrBuf *ConvertBuf2)
+                                StrBuf *ConvertBuf2, 
+                                StrBuf *FoundCharset)
 {
        StrBuf StaticBuf;
        char charset[128];
@@ -1616,9 +1974,14 @@ inline static void DecodeSegment(StrBuf *Target,
        StaticBuf.BufUsed = SegmentEnd - SegmentStart;
        StaticBuf.BufSize = DecodeMe->BufSize - (SegmentStart - DecodeMe->buf);
        extract_token(charset, SegmentStart, 1, '?', sizeof charset);
+       if (FoundCharset != NULL) {
+               FlushStrBuf(FoundCharset);
+               StrBufAppendBufPlain(FoundCharset, charset, -1, 0);
+       }
        extract_token(encoding, SegmentStart, 2, '?', sizeof encoding);
        StrBufExtract_token(ConvertBuf, &StaticBuf, 3, '?');
        
+       *encoding = toupper(*encoding);
        if (*encoding == 'B') { /**< base64 */
                ConvertBuf2->BufUsed = CtdlDecodeBase64(ConvertBuf2->buf, 
                                                        ConvertBuf->buf, 
@@ -1658,16 +2021,11 @@ inline static void DecodeSegment(StrBuf *Target,
  * Handle subjects with RFC2047 encoding such as:
  * =?koi8-r?B?78bP0s3Mxc7JxSDXz9rE1dvO2c3JINvB0sHNySDP?=
  */
-void StrBuf_RFC822_to_Utf8(StrBuf *Target, StrBuf *DecodeMe, const StrBuf* DefaultCharset)
+void StrBuf_RFC822_to_Utf8(StrBuf *Target, const StrBuf *DecodeMe, const StrBuf* DefaultCharset, StrBuf *FoundCharset)
 {
        StrBuf *ConvertBuf, *ConvertBuf2;
-       char *start, *end, *next, *nextend, *ptr;
+       char *start, *end, *next, *nextend, *ptr = NULL;
        iconv_t ic = (iconv_t)(-1) ;
-       char *ibuf;                     /**< Buffer of characters to be converted */
-       char *obuf;                     /**< Buffer for converted characters */
-       size_t ibuflen;                 /**< Length of input buffer */
-       size_t obuflen;                 /**< Length of output buffer */
-       
        const char *eptr;
        int passes = 0;
        int i, len, delta;
@@ -1689,33 +2047,14 @@ void StrBuf_RFC822_to_Utf8(StrBuf *Target, StrBuf *DecodeMe, const StrBuf* Defau
        }
 
        ConvertBuf = NewStrBufPlain(NULL, StrLength(DecodeMe));
-       if (illegal_non_rfc2047_encoding) {
-               if ( (strcasecmp(ChrPtr(DefaultCharset), "UTF-8")) && 
-                    (strcasecmp(ChrPtr(DefaultCharset), "us-ascii")) ) {
-                       ctdl_iconv_open("UTF-8", ChrPtr(DefaultCharset), &ic);
-                       if (ic != (iconv_t)(-1) ) {
-                               long BufSize;
-                               ibuf = DecodeMe->buf;
-                               obuf = ConvertBuf->buf;
-                               ibuflen = DecodeMe->BufUsed;
-                               obuflen = ConvertBuf->BufSize;
-
-                               iconv(ic, &ibuf, &ibuflen, &obuf, &obuflen);
-                               /* little card game: wheres the red lady? */
-                               ibuf = DecodeMe->buf;
-                               BufSize = DecodeMe->BufSize;
-                               DecodeMe->buf = ConvertBuf->buf;
-                               DecodeMe->BufSize = ConvertBuf->BufSize;
-                               DecodeMe->BufUsed = ConvertBuf->BufSize - obuflen;
-                               DecodeMe->buf[DecodeMe->BufUsed] = '\0';
-
-                               ConvertBuf->buf = ibuf;
-                               ConvertBuf->BufSize = BufSize;
-                               ConvertBuf->BufUsed = 0;
-                               ConvertBuf->buf[0] = '\0';
-
-                               iconv_close(ic);
-                       }
+       if ((illegal_non_rfc2047_encoding) &&
+           (strcasecmp(ChrPtr(DefaultCharset), "UTF-8")) && 
+           (strcasecmp(ChrPtr(DefaultCharset), "us-ascii")) )
+       {
+               ctdl_iconv_open("UTF-8", ChrPtr(DefaultCharset), &ic);
+               if (ic != (iconv_t)(-1) ) {
+                       StrBufConvert((StrBuf*)DecodeMe, ConvertBuf, &ic);///TODO: don't void const?
+                       iconv_close(ic);
                }
        }
 
@@ -1734,6 +2073,8 @@ void StrBuf_RFC822_to_Utf8(StrBuf *Target, StrBuf *DecodeMe, const StrBuf* Defau
 
        ConvertBuf2 = NewStrBufPlain(NULL, StrLength(DecodeMe));
 
+       if (start != DecodeMe->buf)
+               StrBufAppendBufPlain(Target, DecodeMe->buf, start - DecodeMe->buf, 0);
        /*
         * Since spammers will go to all sorts of absurd lengths to get their
         * messages through, there are LOTS of corrupt headers out there.
@@ -1752,7 +2093,8 @@ void StrBuf_RFC822_to_Utf8(StrBuf *Target, StrBuf *DecodeMe, const StrBuf* Defau
                              start, 
                              end, 
                              ConvertBuf,
-                             ConvertBuf2);
+                             ConvertBuf2,
+                             FoundCharset);
                
                next = strstr(end, "=?");
                nextend = NULL;
@@ -1781,9 +2123,9 @@ void StrBuf_RFC822_to_Utf8(StrBuf *Target, StrBuf *DecodeMe, const StrBuf* Defau
                                         len - (next - start));
                                
                                /* now terminate the gab at the end */
-                               delta = (next - end) - 2;
-                               DecodeMe->BufUsed -= delta;
-                               DecodeMe->buf[DecodeMe->BufUsed] = '\0';
+                               delta = (next - end) - 2; ////TODO: const! 
+                               ((StrBuf*)DecodeMe)->BufUsed -= delta;
+                               ((StrBuf*)DecodeMe)->buf[DecodeMe->BufUsed] = '\0';
 
                                /* move next to its new location. */
                                next -= delta;
@@ -1791,9 +2133,23 @@ void StrBuf_RFC822_to_Utf8(StrBuf *Target, StrBuf *DecodeMe, const StrBuf* Defau
                        }
                }
                /* our next-pair is our new first pair now. */
+               ptr = end + 2;
                start = next;
                end = nextend;
        }
+       end = ptr;
+       nextend = DecodeMe->buf + DecodeMe->BufUsed;
+       if ((end != NULL) && (end < nextend)) {
+               ptr = end;
+               while ( (ptr < nextend) &&
+                       (isspace(*ptr) ||
+                        (*ptr == '\r') ||
+                        (*ptr == '\n') || 
+                        (*ptr == '\t')))
+                       ptr ++;
+               if (ptr < nextend)
+                       StrBufAppendBufPlain(Target, end, nextend - end, 0);
+       }
        FreeStrBuf(&ConvertBuf);
        FreeStrBuf(&ConvertBuf2);
 }
@@ -1834,7 +2190,7 @@ int StrBufSipLine(StrBuf *LineBuf, StrBuf *Buf, const char **Ptr)
 
        optr = LineBuf->buf;
        eptr = Buf->buf + Buf->BufUsed;
-       xptr = LineBuf->buf + LineBuf->BufSize;
+       xptr = LineBuf->buf + LineBuf->BufSize - 1;
 
        while ((*ptr != '\n') &&
               (*ptr != '\r') &&
@@ -1846,7 +2202,7 @@ int StrBufSipLine(StrBuf *LineBuf, StrBuf *Buf, const char **Ptr)
                        LineBuf->BufUsed = optr - LineBuf->buf;
                        IncreaseBuf(LineBuf,  1, LineBuf->BufUsed + 1);
                        optr = LineBuf->buf + LineBuf->BufUsed;
-                       xptr = LineBuf->buf + LineBuf->BufSize;
+                       xptr = LineBuf->buf + LineBuf->BufSize - 1;
                }
        }
        LineBuf->BufUsed = optr - LineBuf->buf;