webcit/gettext.c

   1 /*
   2  * Copyright (c) 1996-2012 by the citadel.org team
   3  *
   4  * This program is open source software.  You can redistribute it and/or
   5  * modify it under the terms of the GNU General Public License version 3.
   6  *
   7  * This program is distributed in the hope that it will be useful,
   8  * but WITHOUT ANY WARRANTY; without even the implied warranty of
   9  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  10  * GNU General Public License for more details.
  11  */
  12
  13 #include "webcit.h"
  14 #include "webserver.h"
  15 #define SEARCH_LANG 20          /* how many langs should we parse? */
  16
  17 #ifdef HAVE_USELOCALE
  18 /* actual supported locales */
  19 const char *AvailLang[] = {
  20         "C",
  21         "bg_BG",
  22         "cs_CZ",
  23         "en_US",
  24         "da_DK",
  25         "de_DE",
  26         "el_GR",
  27         "en_GB",
  28         "es_ES",
  29         "et_EE",
  30         "fi_FI",
  31         "fr_FR",
  32         "hu_HU",
  33         "it_IT",
  34         "nl_NL",
  35         "pt_BR",
  36         "ru_RU",
  37         "zh_CN",
  38         "he_IL",
  39         "kk_KK",
  40         "ro_RO",
  41         "sl_SL",
  42         "tr_TR",
  43         ""
  44 };
  45
  46 const char **AvailLangLoaded;
  47 long nLocalesLoaded = 0;
  48
  49 locale_t *wc_locales; /* here we keep the parsed stuff */
  50
  51 /* Keep information about one locale */
  52 typedef struct _lang_pref{
  53         char lang[16];          /* the language locale string */
  54         char region[16];        /* the region locale string */
  55         long priority;          /* which priority does it have */
  56         int availability;       /* do we know it? */
  57         int selectedlang;       /* is this the selected language? */
  58 } LangStruct;
  59
  60 /* parse browser locale header
  61  *
  62  * seems as most browsers just do a one after comma value even if more than 10 locales are available. Sample strings:
  63  * opera:
  64  * Accept-Language: sq;q=1.0,de;q=0.9,as;q=0.8,ar;q=0.7,bn;q=0.6,zh-cn;q=0.5,kn;q=0.4,ch;q=0.3,fo;q=0.2,gn;q=0.1,ce;q=0.1,ie;q=0.1
  65  * Firefox
  66  * Accept-Language: 'de-de,en-us;q=0.7,en;q=0.3'
  67  * Accept-Language: de,en-ph;q=0.8,en-us;q=0.5,de-at;q=0.3
  68  * Accept-Language: de,en-us;q=0.9,it;q=0.9,de-de;q=0.8,en-ph;q=0.7,de-at;q=0.7,zh-cn;q=0.6,cy;q=0.5,ar-om;q=0.5,en-tt;q=0.4,xh;q=0.3,nl-be;q=0.3,cs;q=0.2,sv;q=0.1,tk;q=0.1
  69  */
  70
  71 void httplang_to_locale(StrBuf *LocaleString, wcsession *sess)
  72 {
  73         LangStruct wanted_locales[SEARCH_LANG];
  74         LangStruct *ls;
  75
  76         int i = 0;
  77         int j = 0;
  78         /* size_t len = strlen(LocaleString); */
  79         long prio;
  80         int av;
  81         int nBest;
  82         int nParts;
  83         StrBuf *Buf = NULL;
  84         StrBuf *SBuf = NULL;
  85
  86         nParts = StrBufNum_tokens(LocaleString, ',');
  87         for (i=0; ((i<nParts) && (i < SEARCH_LANG)); i++)
  88         {
  89                 char lbuf[32];
  90                 int blen;
  91
  92                 if (Buf == NULL) {
  93                         Buf = NewStrBuf();
  94                         SBuf = NewStrBuf();
  95                 }
  96                 else {
  97                         FlushStrBuf(Buf);
  98                         FlushStrBuf(SBuf);
  99                 }
 100
 101                 ls = &wanted_locales[i];
 102
 103                 StrBufExtract_token(Buf, LocaleString, i, ',');
 104                 /* we are searching, if this list item has something like ;q=n*/
 105                 if (StrBufNum_tokens(Buf, '=') > 1) {
 106                         int sbuflen, k;
 107                         StrBufExtract_token(SBuf, Buf, 1, '=');
 108                         sbuflen = StrLength(SBuf);
 109                         for (k = 0; k < sbuflen; k++) {
 110                                 if (ChrPtr(SBuf)[k] == '.') {
 111                                         StrBufPeek(SBuf, NULL, k, '0');
 112                                 }
 113                         }
 114                         ls->priority = StrTol(SBuf);
 115                 }
 116                 else {
 117                         ls->priority = 1000;
 118                 }
 119
 120                 /* get the locale part */
 121                 StrBufExtract_token(SBuf, Buf, 0, ';');
 122
 123                 /* get the lang part, which should be allways there */
 124                 extract_token(&ls->lang[0],
 125                               ChrPtr(SBuf),
 126                               0, '-',
 127                               sizeof(ls->lang));
 128
 129                 /* get the area code if any. */
 130                 if (StrBufNum_tokens(SBuf, '-') > 1) {
 131                         extract_token(&ls->region[0],
 132                                       ChrPtr(SBuf),
 133                                       1, '-',
 134                                       sizeof(ls->region)
 135                         );
 136                 }
 137                 else { /* no ara code? use lang code */
 138                         blen=strlen(&ls->lang[0]);
 139                         memcpy(&ls->region[0], ls->lang, blen);
 140                         ls->region[blen] = '\0';
 141                 }
 142
 143                 /* area codes are uppercase */
 144                 blen = strlen(&ls->region[0]);
 145                 for (j = 0; j < blen; j++)
 146                 {
 147                         int chars;
 148                         chars = toupper(ls->region[j]);
 149                         ls->region[j] = (char)chars; /* todo ? */
 150                 }
 151                 snprintf(&lbuf[0],
 152                          sizeof(lbuf),
 153                          "%s_%s",
 154                          &ls->lang[0],
 155                          &ls->region[0]);
 156
 157                 /* check if we have this lang */
 158                 ls->availability = 1;
 159                 ls->selectedlang = -1;
 160                 for (j = 0; j < nLocalesLoaded; j++) {
 161                         int result;
 162                         /* match against the LANG part */
 163                         result = strcasecmp(&ls->lang[0], AvailLangLoaded[j]);
 164                         if ((result < 0) && (result < ls->availability)){
 165                                 ls->availability = result;
 166                                 ls->selectedlang = j;
 167                         }
 168                         /* match against lang and locale */
 169                         if (0 == strcasecmp(&lbuf[0], AvailLangLoaded[j])){
 170                                 ls->availability = 0;
 171                                 ls->selectedlang = j;
 172                                 j = nLocalesLoaded;
 173                         }
 174                 }
 175         }
 176
 177         prio = 0;
 178         av = -1000;
 179         nBest = -1;
 180         for (i = 0; ((i < nParts) && (i<SEARCH_LANG)); i++) {
 181                 ls = &wanted_locales[i];
 182                 if (    (ls->availability <= 0)
 183                         && (av < ls->availability)
 184                         && (prio < ls->priority)
 185                         && (ls->selectedlang != -1)
 186                 ) {
 187                         nBest = ls->selectedlang;
 188                         av = ls->availability;
 189                         prio = ls->priority;
 190                 }
 191         }
 192         if (nBest == -1) {
 193                 /* fall back to C */
 194                 nBest=0;
 195         }
 196         sess->selected_language = nBest;
 197         syslog(9, "language found: %s", AvailLangLoaded[WC->selected_language]);
 198         FreeStrBuf(&Buf);
 199         FreeStrBuf(&SBuf);
 200 }
 201
 202
 203 /*
 204  * show the language chooser on the login dialog
 205  * depending on the browser locale change the sequence of the
 206  * language chooser.
 207  */
 208 void tmplput_offer_languages(StrBuf *Target, WCTemplputParams *TP)
 209 {
 210         int i;
 211
 212         wc_printf("<select name=\"language\" id=\"lname\" size=\"1\" onChange=\"switch_to_lang($('lname').value);\">\n");
 213
 214         for (i=0; i < nLocalesLoaded; ++i) {
 215                 wc_printf("<option %s value=%s>%s</option>\n",
 216                         ((WC->selected_language == i) ? "selected" : ""),
 217                         AvailLangLoaded[i],
 218                         AvailLangLoaded[i]
 219                 );
 220         }
 221
 222         wc_printf("</select>\n");
 223 }
 224
 225 /*
 226  * Set the selected language for this session.
 227  */
 228 void set_selected_language(const char *lang) {
 229         int i;
 230         for (i = 0; i<nLocalesLoaded; ++i) {
 231                 if (!strcasecmp(lang, AvailLangLoaded[i])) {
 232                         WC->selected_language = i;
 233                         break;
 234                 }
 235         }
 236 }
 237
 238 /*
 239  * Activate the selected language for this session.
 240  */
 241 void go_selected_language(void) {
 242         wcsession *WCC = WC;
 243         if (WCC->selected_language < 0) return;
 244         uselocale(wc_locales[WCC->selected_language]);  /* switch locales */
 245         textdomain(textdomain(NULL));                   /* clear the cache */
 246 }
 247
 248 /*
 249  * Deactivate the selected language for this session.
 250  */
 251 void stop_selected_language(void) {
 252         uselocale(LC_GLOBAL_LOCALE);                    /* switch locales */
 253         textdomain(textdomain(NULL));                   /* clear the cache */
 254 }
 255
 256
 257 /*
 258  * Create a locale_t for each available language
 259  */
 260 void initialize_locales(void) {
 261         int nLocales;
 262         int i;
 263         char *language = NULL;
 264
 265         setlocale(LC_ALL, "");
 266         syslog(9, "Text domain: %s", textdomain("webcit"));
 267         syslog(9, "Message catalog directory: %s", bindtextdomain(textdomain(NULL), LOCALEDIR"/locale"));
 268         syslog(9, "Text domain Charset: %s", bind_textdomain_codeset("webcit","UTF8"));
 269
 270         nLocales = 0;
 271         while (!IsEmptyStr(AvailLang[nLocales]))
 272                 nLocales++;
 273
 274         language = getenv("WEBCIT_LANG");
 275         if ((language) && (!IsEmptyStr(language)) && (strcmp(language, "UNLIMITED") != 0)) {
 276                 syslog(9, "Nailing locale to %s", language);
 277         }
 278         else language = NULL;
 279
 280         AvailLangLoaded = malloc (sizeof(char*) * nLocales);
 281         memset(AvailLangLoaded, 0, sizeof(char*) * nLocales);
 282         wc_locales = malloc (sizeof(locale_t) * nLocales);
 283         memset(wc_locales,0, sizeof(locale_t) * nLocales);
 284         wc_locales[0] = newlocale(LC_ALL_MASK, NULL, NULL);
 285
 286         for (i = 1; i < nLocales; ++i) {
 287                 wc_locales[nLocalesLoaded] = newlocale(
 288                         (LC_MESSAGES_MASK|LC_TIME_MASK),
 289                         AvailLang[i],
 290                         wc_locales[0]
 291                 );
 292                 if (wc_locales[nLocalesLoaded] == NULL) {
 293                         syslog(1, "locale for %s disabled: %s (domain: %s, path: %s)",
 294                                 AvailLang[i],
 295                                 strerror(errno),
 296                                 textdomain(NULL),
 297                                 bindtextdomain(textdomain(NULL), NULL)
 298                         );
 299                 }
 300                 else {
 301                         syslog(3, "Found locale: %s", AvailLang[i]);
 302                         AvailLangLoaded[nLocalesLoaded] = AvailLang[i];
 303                         nLocalesLoaded++;
 304                 }
 305         }
 306         if ((language != NULL) && (nLocalesLoaded == 0)) {
 307                 syslog(1, "Your selected locale [%s] isn't available on your system. falling back to C", language);
 308                 setlocale(LC_MESSAGES, AvailLang[0]);
 309                 setenv("LANG", AvailLang[0], 1);
 310                 AvailLangLoaded[0] = AvailLang[0];
 311                 nLocalesLoaded = 1;
 312         }
 313 }
 314
 315
 316 void
 317 ServerShutdownModule_GETTEXT
 318 (void)
 319 {
 320         int i;
 321         for (i = 0; i < nLocalesLoaded; ++i) {
 322                 freelocale(wc_locales[i]);
 323         }
 324         free(wc_locales);
 325         free(AvailLangLoaded);
 326 }
 327
 328 #else   /* HAVE_USELOCALE */
 329 const char *AvailLang[] = {
 330         "C",
 331         ""
 332 };
 333
 334 /* dummy for non NLS enabled systems */
 335 void tmplput_offer_languages(StrBuf *Target, WCTemplputParams *TP)
 336 {
 337         wc_printf("English (US)");
 338 }
 339
 340 /* dummy for non NLS enabled systems */
 341 void set_selected_language(const char *lang) {
 342 }
 343
 344 /* dummy for non NLS enabled systems */
 345 void go_selected_language(void) {
 346 }
 347
 348 /* dummy for non NLS enabled systems */
 349 void stop_selected_language(void) {
 350 }
 351
 352 /* dummy for non NLS enabled systems */
 353 void initialize_locales(void) {
 354 }
 355
 356 /* dummy for non NLS enabled systems */
 357 void
 358 ServerShutdownModule_GETTEXT
 359 (void)
 360 {
 361 }
 362
 363
 364 #endif  /* HAVE_USELOCALE */
 365
 366
 367
 368
 369
 370
 371
 372 void TmplGettext(StrBuf *Target, WCTemplputParams *TP)
 373 {
 374         StrBufAppendBufPlain(Target, _(TP->Tokens->Params[0]->Start), -1, 0);
 375 }
 376
 377
 378 /*
 379  * Returns the language currently in use.
 380  * This function returns a static string, so don't do anything stupid please.
 381  */
 382 const char *get_selected_language(void) {
 383 #ifdef HAVE_USELOCALE
 384         return AvailLang[WC->selected_language];
 385 #else
 386         return "en";
 387 #endif
 388 }
 389
 390
 391 void Header_HandleAcceptLanguage(StrBuf *Line, ParsedHttpHdrs *hdr)
 392 {
 393         hdr->HR.browser_language = Line;
 394 }
 395
 396
 397 void
 398 InitModule_GETTEXT
 399 (void)
 400 {
 401         initialize_locales();
 402
 403         RegisterHeaderHandler(HKEY("ACCEPT-LANGUAGE"),
 404                               Header_HandleAcceptLanguage);
 405
 406         RegisterNamespace("LANG:SELECT", 0, 0,
 407                           tmplput_offer_languages, NULL, CTX_NONE);
 408 }
 409
 410
 411 void
 412 SessionNewModule_GETTEXT
 413 (wcsession *sess)
 414 {
 415 #ifdef HAVE_USELOCALE
 416         if (    (sess != NULL)
 417                 && (!sess->Hdr->HR.Static)
 418                 && (sess->Hdr->HR.browser_language != NULL)
 419         ) {
 420                 httplang_to_locale(sess->Hdr->HR.browser_language, sess);
 421         }
 422 #endif
 423 }
 424
 425 void
 426 SessionAttachModule_GETTEXT
 427 (wcsession *sess)
 428 {
 429 #ifdef HAVE_USELOCALE
 430         go_selected_language();                                 /* set locale */
 431 #endif
 432 }
 433
 434 void
 435 SessionDestroyModule_GETTEXT
 436 (wcsession *sess)
 437 {
 438 #ifdef HAVE_USELOCALE
 439         stop_selected_language();                               /* unset locale */
 440 #endif
 441 }