Add propper debugging for lflathashs, crash if debug and invalid combination of ...
[citadel.git] / libcitadel / lib / hash.c
index 26a20e53fbf1db772fcffab756a4f5f070eb4c28..ab7eec1896206b12797b442b4952114414c64285 100644 (file)
@@ -1,3 +1,21 @@
+/*
+ * Copyright (c) 1987-2011 by the citadel.org team
+ *
+ * This program is open source software; you can redistribute it and/or modify
+ * it under the terms of the GNU General Public License as published by
+ * the Free Software Foundation; either version 3 of the License, or
+ * (at your option) any later version.
+ *
+ * This program is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+ * GNU General Public License for more details.
+ *
+ * You should have received a copy of the GNU General Public License
+ * along with this program; if not, write to the Free Software
+ * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
+ */
+
 #include <stdint.h>
 #include <stdlib.h>
 #include <string.h>
 typedef struct Payload Payload;
 
 /**
+ * @defgroup HashList Hashlist Key Value list implementation; 
+ * Hashlist is a simple implementation of key value pairs. It doesn't implement collision handling.
+ * the Hashingalgorythm is pluggeable on creation. 
+ * items are added with a functionpointer destructs them; that way complex structures can be added.
+ * if no pointer is given, simply free is used. Use @ref reference_free_handler if you don't want us to free you rmemory.
+ */
+
+/**
+ * @defgroup HashListData Datastructures used for the internals of HashList
+ * @ingroup HashList
+ */
+
+/**
+ * @defgroup HashListDebug Hashlist debugging functions
+ * @ingroup HashList
+ */
+
+/**
+ * @defgroup HashListPrivate Hashlist internal functions
+ * @ingroup HashList
+ */
+
+/**
+ * @defgroup HashListSort Hashlist sorting functions
+ * @ingroup HashList
+ */
+
+/**
+ * @defgroup HashListAccess Hashlist functions to access / put / delete items in(to) the list
+ * @ingroup HashList
+ */
+
+/**
+ * @defgroup HashListAlgorithm functions to condense Key to an integer.
+ * @ingroup HashList
+ */
+
+/**
+ * @defgroup HashListMset MSet is sort of a derived hashlist, its special for treating Messagesets as Citadel uses them to store access rangesx
+ * @ingroup HashList
+ */
+
+/**
+ * @ingroup HashListData
  * @brief Hash Payload storage Structure; filled in linear.
  */
 struct Payload {
@@ -19,6 +81,7 @@ struct Payload {
 
 
 /**
+ * @ingroup HashListData
  * @brief Hash key element; sorted by key
  */
 struct HashKey {
@@ -30,6 +93,7 @@ struct HashKey {
 };
 
 /**
+ * @ingroup HashListData
  * @brief Hash structure; holds arrays of Hashkey and Payload. 
  */
 struct HashList {
@@ -45,6 +109,7 @@ struct HashList {
 };
 
 /**
+ * @ingroup HashListData
  * @brief Anonymous Hash Iterator Object. used for traversing the whole array from outside 
  */
 struct HashPos {
@@ -54,12 +119,13 @@ struct HashPos {
 
 
 /**
+ * @ingroup HashListDebug
  * @brief Iterate over the hash and call PrintEntry. 
  * @param Hash your Hashlist structure
  * @param Trans is called so you could for example print 'A:' if the next entries are like that.
  *        Must be aware to receive NULL in both pointers.
  * @param PrintEntry print entry one by one
- * \returns the number of items printed
+ * @return the number of items printed
  */
 int PrintHash(HashList *Hash, TransitionFunc Trans, PrintHashDataFunc PrintEntry)
 {
@@ -98,18 +164,21 @@ int PrintHash(HashList *Hash, TransitionFunc Trans, PrintHashDataFunc PrintEntry
 
 
 /**
+ * @ingroup HashListDebug
  * @brief verify the contents of a hash list; here for debugging purposes.
  * @param Hash your Hashlist structure
  * @param First Functionpointer to allow you to print your payload
  * @param Second Functionpointer to allow you to print your payload
- * \returns 0
+ * @return 0
  */
 int dbg_PrintHash(HashList *Hash, PrintHashContent First, PrintHashContent Second)
 {
+#ifdef DEBUG
        const char *foo;
        const char *bar;
        const char *bla = "";
        long key;
+#endif
        long i;
 
        if (Hash == NULL)
@@ -126,25 +195,47 @@ int dbg_PrintHash(HashList *Hash, PrintHashContent First, PrintHashContent Secon
                
                if (Hash->LookupTable[i] == NULL)
                {
+#ifdef DEBUG
                        foo = "";
                        bar = "";
                        key = 0;
+#endif
                }
                else 
                {
+#ifdef DEBUG
                        key = Hash->LookupTable[i]->Key;
                        foo = Hash->LookupTable[i]->HashKey;
+#endif
                        if (First != NULL)
-                               bar = First(Hash->Members[Hash->LookupTable[i]->Position]->Data);
+#ifdef DEBUG
+                               bar =
+#endif
+                                       First(Hash->Members[Hash->LookupTable[i]->Position]->Data);
+#ifdef DEBUG
                        else 
                                bar = "";
+#endif
+
                        if (Second != NULL)
-                               bla = Second(Hash->Members[Hash->LookupTable[i]->Position]->Data);
+#ifdef DEBUG
+                               bla = 
+#endif 
+                                       Second(Hash->Members[Hash->LookupTable[i]->Position]->Data);
+#ifdef DEBUG
+
                        else
                                bla = "";
+#endif
+
                }
 #ifdef DEBUG
-               printf (" ---- Hashkey[%ld][%ld]: '%s' Value: '%s' ; %s\n", i, key, foo, bar, bla);
+               if ((Hash->Algorithm == lFlathash) || (Hash->Algorithm == Flathash)) {
+                       printf (" ---- Hashkey[%ld][%ld]: %ld '%s' Value: '%s' ; %s\n", i, key, *(long*) foo, foo, bar, bla);
+               }
+               else {
+                       printf (" ---- Hashkey[%ld][%ld]: '%s' Value: '%s' ; %s\n", i, key, foo, bar, bla);
+               }
 #endif
        }
 #ifdef DEBUG
@@ -154,20 +245,58 @@ int dbg_PrintHash(HashList *Hash, PrintHashContent First, PrintHashContent Secon
 }
 
 
+int TestValidateHash(HashList *TestHash)
+{
+       long i;
+
+       if (TestHash->nMembersUsed != TestHash->nLookupTableItems)
+               return 1;
+
+       if (TestHash->nMembersUsed > TestHash->MemberSize)
+               return 2;
+
+       for (i=0; i < TestHash->nMembersUsed; i++)
+       {
+
+               if (TestHash->LookupTable[i]->Position > TestHash->nMembersUsed)
+                       return 3;
+               
+               if (TestHash->Members[TestHash->LookupTable[i]->Position] == NULL)
+                       return 4;
+               if (TestHash->Members[TestHash->LookupTable[i]->Position]->Data == NULL)
+                       return 5;
+       }
+       return 0;
+}
+
 /**
+ * @ingroup HashListAccess
  * @brief instanciate a new hashlist
- * \returns the newly allocated list. 
+ * @return the newly allocated list. 
  */
 HashList *NewHash(int Uniq, HashFunc F)
 {
        HashList *NewList;
        NewList = malloc (sizeof(HashList));
+       if (NewList == NULL)
+               return NULL;
        memset(NewList, 0, sizeof(HashList));
 
        NewList->Members = malloc(sizeof(Payload*) * 100);
+       if (NewList->Members == NULL)
+       {
+               free(NewList);
+               return NULL;
+       }
        memset(NewList->Members, 0, sizeof(Payload*) * 100);
 
        NewList->LookupTable = malloc(sizeof(HashKey*) * 100);
+       if (NewList->LookupTable == NULL)
+       {
+               free(NewList->Members);
+               free(NewList);
+               return NULL;
+       }
        memset(NewList->LookupTable, 0, sizeof(HashKey*) * 100);
 
        NewList->MemberSize = 100;
@@ -186,6 +315,7 @@ int GetCount(HashList *Hash)
 
 
 /**
+ * @ingroup HashListPrivate
  * @brief private destructor for one hash element.
  * Crashing? go one frame up and do 'print *FreeMe->LookupTable[i]'
  * @param Data an element to free using the user provided destructor, or just plain free
@@ -200,6 +330,7 @@ static void DeleteHashPayload (Payload *Data)
 }
 
 /**
+ * @ingroup HashListPrivate
  * @brief Destructor for nested hashes
  */
 void HDeleteHash(void *vHash)
@@ -209,6 +340,7 @@ void HDeleteHash(void *vHash)
 }
 
 /**
+ * @ingroup HashListAccess
  * @brief flush the members of a hashlist 
  * Crashing? do 'print *FreeMe->LookupTable[i]'
  * @param Hash Hash to destroy. Is NULL'ed so you are shure its done.
@@ -249,6 +381,7 @@ void DeleteHashContent(HashList **Hash)
 }
 
 /**
+ * @ingroup HashListAccess
  * @brief destroy a hashlist and all of its members
  * Crashing? do 'print *FreeMe->LookupTable[i]'
  * @param Hash Hash to destroy. Is NULL'ed so you are shure its done.
@@ -271,17 +404,18 @@ void DeleteHash(HashList **Hash)
 }
 
 /**
+ * @ingroup HashListPrivate
  * @brief Private function to increase the hash size.
  * @param Hash the Hasharray to increase
  */
-static void IncreaseHashSize(HashList *Hash)
+static int IncreaseHashSize(HashList *Hash)
 {
        /* Ok, Our space is used up. Double the available space. */
        Payload **NewPayloadArea;
        HashKey **NewTable;
        
        if (Hash == NULL)
-               return ;
+               return 0;
 
        /** If we grew to much, this might be the place to rehash and shrink again.
        if ((Hash->NMembersUsed > Hash->nLookupTableItems) && 
@@ -293,59 +427,87 @@ static void IncreaseHashSize(HashList *Hash)
        }
        */
 
-       /** double our payload area */
        NewPayloadArea = (Payload**) malloc(sizeof(Payload*) * Hash->MemberSize * 2);
+       if (NewPayloadArea == NULL)
+               return 0;
+       NewTable = malloc(sizeof(HashKey*) * Hash->MemberSize * 2);
+       if (NewTable == NULL)
+       {
+               free(NewPayloadArea);
+               return 0;
+       }
+
+       /** double our payload area */
        memset(&NewPayloadArea[Hash->MemberSize], 0, sizeof(Payload*) * Hash->MemberSize);
        memcpy(NewPayloadArea, Hash->Members, sizeof(Payload*) * Hash->MemberSize);
        free(Hash->Members);
        Hash->Members = NewPayloadArea;
        
        /** double our hashtable area */
-       NewTable = malloc(sizeof(HashKey*) * Hash->MemberSize * 2);
        memset(&NewTable[Hash->MemberSize], 0, sizeof(HashKey*) * Hash->MemberSize);
        memcpy(NewTable, Hash->LookupTable, sizeof(HashKey*) * Hash->MemberSize);
        free(Hash->LookupTable);
        Hash->LookupTable = NewTable;
        
        Hash->MemberSize *= 2;
+       return 1;
 }
 
 
 /**
+ * @ingroup HashListPrivate
  * @brief private function to add a new item to / replace an existing in -  the hashlist
  * if the hash list is full, its re-alloced with double size.
- * \parame Hash our hashlist to manipulate
+ * @param Hash our hashlist to manipulate
  * @param HashPos where should we insert / replace?
  * @param HashKeyStr the Hash-String
  * @param HKLen length of HashKeyStr
  * @param Data your Payload to add
  * @param Destructor Functionpointer to free Data. if NULL, default free() is used.
  */
-static void InsertHashItem(HashList *Hash, 
-                          long HashPos, 
-                          long HashBinKey, 
-                          const char *HashKeyStr, 
-                          long HKLen, 
-                          void *Data,
-                          DeleteHashDataFunc Destructor)
+static int InsertHashItem(HashList *Hash, 
+                         long HashPos, 
+                         long HashBinKey, 
+                         const char *HashKeyStr, 
+                         long HKLen, 
+                         void *Data,
+                         DeleteHashDataFunc Destructor)
 {
        Payload *NewPayloadItem;
        HashKey *NewHashKey;
+       char *HashKeyOrgVal;
 
        if (Hash == NULL)
-               return;
+               return 0;
 
-       if (Hash->nMembersUsed >= Hash->MemberSize)
-               IncreaseHashSize (Hash);
+       if ((Hash->nMembersUsed >= Hash->MemberSize) &&
+           (!IncreaseHashSize (Hash)))
+           return 0;
 
-       /** Arrange the payload */
        NewPayloadItem = (Payload*) malloc (sizeof(Payload));
+       if (NewPayloadItem == NULL)
+               return 0;
+       NewHashKey = (HashKey*) malloc (sizeof(HashKey));
+       if (NewHashKey == NULL)
+       {
+               free(NewPayloadItem);
+               return 0;
+       }
+       HashKeyOrgVal = (char *) malloc (HKLen + 1);
+       if (HashKeyOrgVal == NULL)
+       {
+               free(NewHashKey);
+               free(NewPayloadItem);
+               return 0;
+       }
+
+
+       /** Arrange the payload */
        NewPayloadItem->Data = Data;
        NewPayloadItem->Destructor = Destructor;
        /** Arrange the hashkey */
-       NewHashKey = (HashKey*) malloc (sizeof(HashKey));
-       NewHashKey->HashKey = (char *) malloc (HKLen + 1);
        NewHashKey->HKLen = HKLen;
+       NewHashKey->HashKey = HashKeyOrgVal;
        memcpy (NewHashKey->HashKey, HashKeyStr, HKLen + 1);
        NewHashKey->Key = HashBinKey;
        NewHashKey->PL = NewPayloadItem;
@@ -370,14 +532,16 @@ static void InsertHashItem(HashList *Hash,
        Hash->LookupTable[HashPos] = NewHashKey;
        Hash->nMembersUsed++;
        Hash->nLookupTableItems++;
+       return 1;
 }
 
 /**
+ * @ingroup HashListSort
  * @brief if the user has tainted the hash, but wants to insert / search items by their key
  *  we need to search linear through the array. You have been warned that this will take more time!
  * @param Hash Our Hash to manipulate
  * @param HashBinKey the Hash-Number to lookup. 
- * \returns the position (most closely) matching HashBinKey (-> Caller needs to compare! )
+ * @return the position (most closely) matching HashBinKey (-> Caller needs to compare! )
  */
 static long FindInTaintedHash(HashList *Hash, long HashBinKey)
 {
@@ -395,10 +559,11 @@ static long FindInTaintedHash(HashList *Hash, long HashBinKey)
 }
 
 /**
+ * @ingroup HashListPrivate
  * @brief Private function to lookup the Item / the closest position to put it in
  * @param Hash Our Hash to manipulate
  * @param HashBinKey the Hash-Number to lookup. 
- * \returns the position (most closely) matching HashBinKey (-> Caller needs to compare! )
+ * @return the position (most closely) matching HashBinKey (-> Caller needs to compare! )
  */
 static long FindInHash(HashList *Hash, long HashBinKey)
 {
@@ -449,36 +614,51 @@ static long FindInHash(HashList *Hash, long HashBinKey)
 
 
 /**
+ * @ingroup HashListAlgorithm
  * @brief another hashing algorithm; treat it as just a pointer to int.
  * @param str Our pointer to the int value
  * @param len the length of the data pointed to; needs to be sizeof int, else we won't use it!
- * \returns the calculated hash value
+ * @return the calculated hash value
  */
 long Flathash(const char *str, long len)
 {
        if (len != sizeof (int))
+       {
+#ifdef DEBUG
+               int *crash = NULL;
+               *crash = 1;
+#endif
                return 0;
+       }
        else return *(int*)str;
 }
 
 /**
+ * @ingroup HashListAlgorithm
  * @brief another hashing algorithm; treat it as just a pointer to long.
  * @param str Our pointer to the long value
  * @param len the length of the data pointed to; needs to be sizeof long, else we won't use it!
- * \returns the calculated hash value
+ * @return the calculated hash value
  */
 long lFlathash(const char *str, long len)
 {
        if (len != sizeof (long))
+       {
+#ifdef DEBUG
+               int *crash = NULL;
+               *crash = 1;
+#endif
                return 0;
+       }
        else return *(long*)str;
 }
 
 /**
+ * @ingroup HashListPrivate
  * @brief private abstract wrapper around the hashing algorithm
  * @param HKey the hash string
  * @param HKLen length of HKey
- * \returns the calculated hash value
+ * @return the calculated hash value
  */
 inline static long CalcHashKey (HashList *Hash, const char *HKey, long HKLen)
 {
@@ -493,10 +673,11 @@ inline static long CalcHashKey (HashList *Hash, const char *HKey, long HKLen)
 
 
 /**
+ * @ingroup HashListAccess
  * @brief Add a new / Replace an existing item in the Hash
- * @param HashList the list to manipulate
+ * @param Hash the list to manipulate
  * @param HKey the hash-string to store Data under
- * @param HKeyLen Length of HKey
+ * @param HKLen Length of HKey
  * @param Data the payload you want to associate with HKey
  * @param DeleteIt if not free() should be used to delete Data set to NULL, else DeleteIt is used.
  */
@@ -512,16 +693,17 @@ void Put(HashList *Hash, const char *HKey, long HKLen, void *Data, DeleteHashDat
        HashBinKey = CalcHashKey(Hash, HKey, HKLen);
        HashAt = FindInHash(Hash, HashBinKey);
 
-       if (HashAt >= Hash->MemberSize)
-               IncreaseHashSize (Hash);
+       if ((HashAt >= Hash->MemberSize) &&
+           (!IncreaseHashSize (Hash)))
+               return;
 
        /** oh, we're brand new... */
        if (Hash->LookupTable[HashAt] == NULL) {
                InsertHashItem(Hash, HashAt, HashBinKey, HKey, HKLen, Data, DeleteIt);
-       }/** Insert After? */
+       }/** Insert Before? */
        else if (Hash->LookupTable[HashAt]->Key > HashBinKey) {
                InsertHashItem(Hash, HashAt, HashBinKey, HKey, HKLen, Data, DeleteIt);
-       }/** Insert before? */
+       }/** Insert After? */
        else if (Hash->LookupTable[HashAt]->Key < HashBinKey) {
                InsertHashItem(Hash, HashAt + 1, HashBinKey, HKey, HKLen, Data, DeleteIt);
        }
@@ -541,12 +723,13 @@ void Put(HashList *Hash, const char *HKey, long HKLen, void *Data, DeleteHashDat
 }
 
 /**
+ * @ingroup HashListAccess
  * @brief Lookup the Data associated with HKey
  * @param Hash the Hashlist to search in
  * @param HKey the hashkey to look up
  * @param HKLen length of HKey
  * @param Data returns the Data associated with HKey
- * \returns 0 if not found, 1 if.
+ * @return 0 if not found, 1 if.
  */
 int GetHash(HashList *Hash, const char *HKey, long HKLen, void **Data)
 {
@@ -585,7 +768,8 @@ int GetKey(HashList *Hash, char *HKey, long HKLen, void **Payload)
 }
 
 /**
- * @brief get the Keys present in this hash, simila to array_keys() in PHP
+ * @ingroup HashListAccess
+ * @brief get the Keys present in this hash, similar to array_keys() in PHP
  *  Attention: List remains to Hash! don't modify or free it!
  * @param Hash Your Hashlist to extract the keys from
  * @param List returns the list of hashkeys stored in Hash
@@ -593,14 +777,19 @@ int GetKey(HashList *Hash, char *HKey, long HKLen, void **Payload)
 int GetHashKeys(HashList *Hash, char ***List)
 {
        long i;
+
+       *List = NULL;
        if (Hash == NULL)
                return 0;
        if (Hash->MyKeys != NULL)
                free (Hash->MyKeys);
 
        Hash->MyKeys = (char**) malloc(sizeof(char*) * Hash->nLookupTableItems);
-       for (i=0; i < Hash->nLookupTableItems; i++) {
-       
+       if (Hash->MyKeys == NULL)
+               return 0;
+
+       for (i=0; i < Hash->nLookupTableItems; i++)
+       {
                Hash->MyKeys[i] = Hash->LookupTable[i]->HashKey;
        }
        *List = (char**)Hash->MyKeys;
@@ -608,18 +797,22 @@ int GetHashKeys(HashList *Hash, char ***List)
 }
 
 /**
+ * @ingroup HashListAccess
  * @brief creates a hash-linear iterator object
  * @param Hash the list we reference
- * @param in which step width should we iterate?
+ * @param StepWidth in which step width should we iterate?
  *  If negative, the last position matching the 
  *  step-raster is provided.
- * \returns the hash iterator
+ * @return the hash iterator
  */
-HashPos *GetNewHashPos(HashList *Hash, int StepWidth)
+HashPos *GetNewHashPos(const HashList *Hash, int StepWidth)
 {
        HashPos *Ret;
        
        Ret = (HashPos*)malloc(sizeof(HashPos));
+       if (Ret == NULL)
+               return NULL;
+
        if (StepWidth != 0)
                Ret->StepWidth = StepWidth;
        else
@@ -634,12 +827,37 @@ HashPos *GetNewHashPos(HashList *Hash, int StepWidth)
 }
 
 /**
+ * @ingroup HashListAccess
+ * @brief resets a hash-linear iterator object
+ * @param Hash the list we reference
+ * @param StepWidth in which step width should we iterate?
+ * @param it the iterator object to manipulate
+ *  If negative, the last position matching the 
+ *  step-raster is provided.
+ * @return the hash iterator
+ */
+void RewindHashPos(const HashList *Hash, HashPos *it, int StepWidth)
+{
+       if (StepWidth != 0)
+               it->StepWidth = StepWidth;
+       else
+               it->StepWidth = 1;
+       if (it->StepWidth <  0) {
+               it->Position = Hash->nLookupTableItems - 1;
+       }
+       else {
+               it->Position = 0;
+       }
+}
+
+/**
+ * @ingroup HashListAccess
  * @brief Set iterator object to point to key. If not found, don't change iterator
  * @param Hash the list we reference
  * @param HKey key to search for
  * @param HKLen length of key
  * @param At HashPos to update
- * \returns 0 if not found
+ * @return 0 if not found
  */
 int GetHashPosFromKey(HashList *Hash, const char *HKey, long HKLen, HashPos *At)
 {
@@ -661,15 +879,16 @@ int GetHashPosFromKey(HashList *Hash, const char *HKey, long HKLen, HashPos *At)
                return 0;
        }
        /** GOTCHA! */
-       At->Position = Hash->LookupTable[HashAt]->Position;
+       At->Position = HashAt;
        return 1;
 }
 
 /**
+ * @ingroup HashListAccess
  * @brief Delete from the Hash the entry at Position
  * @param Hash the list we reference
  * @param At the position within the Hash
- * \returns 0 if not found
+ * @return 0 if not found
  */
 int DeleteEntryFromHash(HashList *Hash, HashPos *At)
 {
@@ -722,9 +941,11 @@ int DeleteEntryFromHash(HashList *Hash, HashPos *At)
 }
 
 /**
+ * @ingroup HashListAccess
  * @brief retrieve the counter from the itteratoor
- * @param the Iterator to analyze
- * \returns the n'th hashposition we point at
+ * @param Hash which 
+ * @param At the Iterator to analyze
+ * @return the n'th hashposition we point at
  */
 int GetHashPosCounter(HashList *Hash, HashPos *At)
 {
@@ -737,6 +958,7 @@ int GetHashPosCounter(HashList *Hash, HashPos *At)
 }
 
 /**
+ * @ingroup HashListAccess
  * @brief frees a linear hash iterator
  */
 void DeleteHashPos(HashPos **DelMe)
@@ -750,15 +972,16 @@ void DeleteHashPos(HashPos **DelMe)
 
 
 /**
+ * @ingroup HashListAccess
  * @brief Get the data located where HashPos Iterator points at, and Move HashPos one forward
  * @param Hash your Hashlist to follow
  * @param At the position to retrieve the Item from and move forward afterwards
  * @param HKLen returns Length of Hashkey Returned
  * @param HashKey returns the Hashkey corrosponding to HashPos
  * @param Data returns the Data found at HashPos
- * \returns whether the item was found or not.
+ * @return whether the item was found or not.
  */
-int GetNextHashPos(HashList *Hash, HashPos *At, long *HKLen, const char **HashKey, void **Data)
+int GetNextHashPos(const HashList *Hash, HashPos *At, long *HKLen, const char **HashKey, void **Data)
 {
        long PayloadPos;
 
@@ -782,13 +1005,14 @@ int GetNextHashPos(HashList *Hash, HashPos *At, long *HKLen, const char **HashKe
 }
 
 /**
+ * @ingroup HashListAccess
  * @brief Get the data located where HashPos Iterator points at
  * @param Hash your Hashlist to follow
  * @param At the position retrieve the data from
  * @param HKLen returns Length of Hashkey Returned
  * @param HashKey returns the Hashkey corrosponding to HashPos
  * @param Data returns the Data found at HashPos
- * \returns whether the item was found or not.
+ * @return whether the item was found or not.
  */
 int GetHashPos(HashList *Hash, HashPos *At, long *HKLen, const char **HashKey, void **Data)
 {
@@ -808,10 +1032,11 @@ int GetHashPos(HashList *Hash, HashPos *At, long *HKLen, const char **HashKey, v
 }
 
 /**
+ * @ingroup HashListAccess
  * @brief Move HashPos one forward
  * @param Hash your Hashlist to follow
  * @param At the position to move forward
- * \returns whether there is a next item or not.
+ * @return whether there is a next item or not.
  */
 int NextHashPos(HashList *Hash, HashPos *At)
 {
@@ -833,13 +1058,15 @@ int NextHashPos(HashList *Hash, HashPos *At)
 }
 
 /**
+ * @ingroup HashListAccess
  * @brief Get the data located where At points to
  * note: you should prefer iterator operations instead of using me.
  * @param Hash your Hashlist peek from
+ * @param At get the item in the position At.
  * @param HKLen returns Length of Hashkey Returned
  * @param HashKey returns the Hashkey corrosponding to HashPos
  * @param Data returns the Data found at HashPos
- * \returns whether the item was found or not.
+ * @return whether the item was found or not.
  */
 int GetHashAt(HashList *Hash,long At, long *HKLen, const char **HashKey, void **Data)
 {
@@ -857,13 +1084,14 @@ int GetHashAt(HashList *Hash,long At, long *HKLen, const char **HashKey, void **
 }
 
 /**
+ * @ingroup HashListSort
  * @brief Get the data located where At points to
  * note: you should prefer iterator operations instead of using me.
  * @param Hash your Hashlist peek from
  * @param HKLen returns Length of Hashkey Returned
  * @param HashKey returns the Hashkey corrosponding to HashPos
  * @param Data returns the Data found at HashPos
- * \returns whether the item was found or not.
+ * @return whether the item was found or not.
  */
 /*
 long GetHashIDAt(HashList *Hash,long At)
@@ -879,6 +1107,7 @@ long GetHashIDAt(HashList *Hash,long At)
 
 
 /**
+ * @ingroup HashListSort
  * @brief sorting function for sorting the Hash alphabeticaly by their strings
  * @param Key1 first item
  * @param Key2 second item
@@ -893,6 +1122,7 @@ static int SortByKeys(const void *Key1, const void* Key2)
 }
 
 /**
+ * @ingroup HashListSort
  * @brief sorting function for sorting the Hash alphabeticaly reverse by their strings
  * @param Key1 first item
  * @param Key2 second item
@@ -907,6 +1137,7 @@ static int SortByKeysRev(const void *Key1, const void* Key2)
 }
 
 /**
+ * @ingroup HashListSort
  * @brief sorting function to regain hash-sequence and revert tainted status
  * @param Key1 first item
  * @param Key2 second item
@@ -922,6 +1153,7 @@ static int SortByHashKeys(const void *Key1, const void* Key2)
 
 
 /**
+ * @ingroup HashListSort
  * @brief sort the hash alphabeticaly by their keys.
  * Caution: This taints the hashlist, so accessing it later 
  * will be significantly slower! You can un-taint it by SortByHashKeyStr
@@ -938,6 +1170,7 @@ void SortByHashKey(HashList *Hash, int Order)
 }
 
 /**
+ * @ingroup HashListSort
  * @brief sort the hash by their keys (so it regains untainted state).
  * this will result in the sequence the hashing allgorithm produces it by default.
  * @param Hash the list to sort
@@ -952,9 +1185,10 @@ void SortByHashKeyStr(HashList *Hash)
 
 
 /**
+ * @ingroup HashListSort
  * @brief gives user sort routines access to the hash payload
- * @param Searchentry to retrieve Data to
- * \returns Data belonging to HashVoid
+ * @param HashVoid to retrieve Data to
+ * @return Data belonging to HashVoid
  */
 const void *GetSearchPayload(const void *HashVoid)
 {
@@ -962,6 +1196,7 @@ const void *GetSearchPayload(const void *HashVoid)
 }
 
 /**
+ * @ingroup HashListSort
  * @brief sort the hash by your sort function. see the following sample.
  * this will result in the sequence the hashing allgorithm produces it by default.
  * @param Hash the list to sort
@@ -991,8 +1226,9 @@ void SortByPayload(HashList *Hash, CompareFunc SortBy)
  */
 
 
-/*
- * Generic function to free a reference.  
+/**
+ * @ingroup HashListAccess
+ * @brief Generic function to free a reference.  
  * since a reference actualy isn't needed to be freed, do nothing.
  */
 void reference_free_handler(void *ptr) 
@@ -1001,7 +1237,8 @@ void reference_free_handler(void *ptr)
 }
 
 
-/*
+/**
+ * @ingroup HashListAlgorithm
  * This exposes the hashlittle() function to consumers.
  */
 int HashLittle(const void *key, size_t length) {
@@ -1010,9 +1247,10 @@ int HashLittle(const void *key, size_t length) {
 
 
 /**
- * \brief parses an MSet string into a list for later use
- * \param MSetList List to be read from MSetStr
- * \param MSetStr String containing the list
+ * @ingroup HashListMset
+ * @brief parses an MSet string into a list for later use
+ * @param MSetList List to be read from MSetStr
+ * @param MSetStr String containing the list
  */
 int ParseMSet(MSet **MSetList, StrBuf *MSetStr)
 {
@@ -1027,8 +1265,15 @@ int ParseMSet(MSet **MSetList, StrBuf *MSetStr)
            return 0;
            
        OneSet = NewStrBufPlain(NULL, StrLength(MSetStr));
+       if (OneSet == NULL)
+               return 0;
 
        ThisMSet = NewHash(0, lFlathash);
+       if (ThisMSet == NULL)
+       {
+               FreeStrBuf(&OneSet);
+               return 0;
+       }
 
        *MSetList = (MSet*) ThisMSet;
 
@@ -1051,6 +1296,12 @@ int ParseMSet(MSet **MSetList, StrBuf *MSetStr)
                }
 
                pEndSet = (long*) malloc (sizeof(long));
+               if (pEndSet == NULL)
+               {
+                       FreeStrBuf(&OneSet);
+                       DeleteHash(&ThisMSet);
+                       return 0;
+               }
                *pEndSet = EndSet;
 
                Put(ThisMSet, LKEY(StartSet), pEndSet, NULL);
@@ -1065,9 +1316,10 @@ int ParseMSet(MSet **MSetList, StrBuf *MSetStr)
 }
 
 /**
- * \brief checks whether a message is inside a mset
- * \param MSetList List to search for MsgNo
- * \param MsgNo number to search in mset
+ * @ingroup HashListMset
+ * @brief checks whether a message is inside a mset
+ * @param MSetList List to search for MsgNo
+ * @param MsgNo number to search in mset
  */
 int IsInMSetList(MSet *MSetList, long MsgNo)
 {
@@ -1116,8 +1368,9 @@ int IsInMSetList(MSet *MSetList, long MsgNo)
 
 
 /**
- * \brief frees a mset [redirects to @ref DeleteHash
- * \param FreeMe to be free'd
+ * @ingroup HashListMset
+ * @brief frees a mset [redirects to @ref DeleteHash
+ * @param FreeMe to be free'd
  */
 void DeleteMSet(MSet **FreeMe)
 {