citadel/modules/fulltext/ft_wordbreaker.h

   1 /*
   2  * Copyright (c) 2005-2021 by the citadel.org team
   3  *
   4  * This program is open source software; you can redistribute it and/or modify
   5  * it under the terms of the GNU General Public License version 3.
   6  *
   7  * This program is distributed in the hope that it will be useful,
   8  * but WITHOUT ANY WARRANTY; without even the implied warranty of
   9  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  10  * GNU General Public License for more details.
  11  */
  12
  13 /*
  14  * This is an ID for the wordbreaker module.  If we do pluggable wordbreakers
  15  * later on, or even if we update this one, we can use a different ID so the
  16  * system knows it needs to throw away the existing index and rebuild it.
  17  */
  18 #define FT_WORDBREAKER_ID       0x0021
  19
  20 /*
  21  * Minimum and maximum length of words to index
  22  */
  23 #define WB_MIN                  4       // nothing with 3 or less chars
  24 #define WB_MAX                  40
  25
  26 void wordbreaker(const char *text, int *num_tokens, int **tokens);