webcit/gettext.c

   1 /*
   2  * Copyright (c) 1996-2012 by the citadel.org team
   3  *
   4  * This program is open source software.  You can redistribute it and/or
   5  * modify it under the terms of the GNU General Public License version 3.
   6  *
   7  * This program is distributed in the hope that it will be useful,
   8  * but WITHOUT ANY WARRANTY; without even the implied warranty of
   9  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  10  * GNU General Public License for more details.
  11  */
  12
  13 #include "webcit.h"
  14 #include "webserver.h"
  15 #define SEARCH_LANG 20          /* how many langs should we parse? */
  16
  17 #ifdef ENABLE_NLS
  18 /* actual supported locales */
  19 const char *AvailLang[] = {
  20         "en_US",
  21         "ar_AE",
  22         "bg_BG",
  23         "cs_CZ",
  24         "en_US",
  25         "da_DK",
  26         "de_DE",
  27         "el_GR",
  28         "en_GB",
  29         "es_ES",
  30         "et_EE",
  31         "fi_FI",
  32         "fr_FR",
  33         "hu_HU",
  34         "it_IT",
  35         "ko_KO",
  36         "nl_NL",
  37         "pl_PL",
  38         "pt_BR",
  39         "ru_RU",
  40         "zh_CN",
  41         "he_IL",
  42         "kk_KK",
  43         "ro_RO",
  44         "sl_SL",
  45         "tr_TR",
  46         ""
  47 };
  48
  49 const char **AvailLangLoaded;
  50 long nLocalesLoaded = 0;
  51
  52 #ifdef HAVE_USELOCALE
  53 locale_t *wc_locales; /* here we keep the parsed stuff */
  54 #endif
  55
  56 /* Keep information about one locale */
  57 typedef struct _lang_pref {
  58         char lang[16];          /* the language locale string */
  59         char region[16];        /* the region locale string */
  60         long priority;          /* which priority does it have */
  61         int availability;       /* do we know it? */
  62         int selectedlang;       /* is this the selected language? */
  63 } LangStruct;
  64
  65 /* parse browser locale header
  66  *
  67  * seems as most browsers just do a one after comma value even if more than 10 locales are available. Sample strings:
  68  * opera:
  69  * Accept-Language: sq;q=1.0,de;q=0.9,as;q=0.8,ar;q=0.7,bn;q=0.6,zh-cn;q=0.5,kn;q=0.4,ch;q=0.3,fo;q=0.2,gn;q=0.1,ce;q=0.1,ie;q=0.1
  70  * Firefox
  71  * Accept-Language: 'de-de,en-us;q=0.7,en;q=0.3'
  72  * Accept-Language: de,en-ph;q=0.8,en-us;q=0.5,de-at;q=0.3
  73  * Accept-Language: de,en-us;q=0.9,it;q=0.9,de-de;q=0.8,en-ph;q=0.7,de-at;q=0.7,zh-cn;q=0.6,cy;q=0.5,ar-om;q=0.5,en-tt;q=0.4,xh;q=0.3,nl-be;q=0.3,cs;q=0.2,sv;q=0.1,tk;q=0.1
  74  */
  75
  76 void httplang_to_locale(StrBuf *LocaleString, wcsession *sess)
  77 {
  78         LangStruct wanted_locales[SEARCH_LANG];
  79         LangStruct *ls;
  80
  81         long len;
  82         int i = 0;
  83         int j = 0;
  84         /* size_t len = strlen(LocaleString); */
  85         long prio;
  86         int av;
  87         int nBest;
  88         int nParts;
  89         StrBuf *Buf = NULL;
  90         StrBuf *SBuf = NULL;
  91
  92         nParts = StrBufNum_tokens(LocaleString, ',');
  93         for (i=0; ((i<nParts) && (i < SEARCH_LANG)); i++)
  94         {
  95                 char lbuf[32];
  96                 int blen;
  97
  98                 if (Buf == NULL) {
  99                         Buf = NewStrBuf();
 100                         SBuf = NewStrBuf();
 101                 }
 102                 else {
 103                         FlushStrBuf(Buf);
 104                         FlushStrBuf(SBuf);
 105                 }
 106
 107                 ls = &wanted_locales[i];
 108
 109                 StrBufExtract_token(Buf, LocaleString, i, ',');
 110                 /* we are searching, if this list item has something like ;q=n*/
 111                 if (StrBufNum_tokens(Buf, '=') > 1) {
 112                         int sbuflen, k;
 113                         StrBufExtract_token(SBuf, Buf, 1, '=');
 114                         sbuflen = StrLength(SBuf);
 115                         for (k = 0; k < sbuflen; k++) {
 116                                 if (ChrPtr(SBuf)[k] == '.') {
 117                                         StrBufPeek(SBuf, NULL, k, '0');
 118                                 }
 119                         }
 120                         ls->priority = StrTol(SBuf);
 121                 }
 122                 else {
 123                         ls->priority = 1000;
 124                 }
 125
 126                 /* get the locale part */
 127                 StrBufExtract_token(SBuf, Buf, 0, ';');
 128
 129                 /* get the lang part, which should be allways there */
 130                 extract_token(ls->lang,
 131                               ChrPtr(SBuf),
 132                               0, '-',
 133                               sizeof(ls->lang));
 134
 135                 /* get the area code if any. */
 136                 if (StrBufNum_tokens(SBuf, '-') > 1) {
 137                         extract_token(ls->region,
 138                                       ChrPtr(SBuf),
 139                                       1, '-',
 140                                       sizeof(ls->region)
 141                         );
 142                 }
 143                 else { /* no ara code? use lang code */
 144                         blen = strlen(ls->lang);
 145                         memcpy(ls->region, ls->lang, blen);
 146                         ls->region[blen] = '\0';
 147                 }
 148
 149                 /* area codes are uppercase */
 150                 blen = strlen(&ls->region[0]);
 151                 for (j = 0; j < blen; j++)
 152                 {
 153                         int chars;
 154                         chars = toupper(ls->region[j]);
 155                         ls->region[j] = (char)chars; /* todo ? */
 156                 }
 157                 snprintf(lbuf,
 158                          sizeof(lbuf),
 159                          "%s_%s",
 160                          ls->lang,
 161                          ls->region);
 162
 163                 /* check if we have this lang */
 164                 ls->availability = 1;
 165                 ls->selectedlang = -1;
 166                 len = strlen(ls->lang);
 167                 for (j = 0; j < nLocalesLoaded; j++) {
 168                         int result;
 169                         /* match against the LANG part */
 170                         result = strncasecmp(ls->lang, AvailLangLoaded[j], len);
 171                         if ((result == 0) && (result < ls->availability)){
 172                                 ls->availability = result;
 173                                 ls->selectedlang = j;
 174                         }
 175                         /* match against lang and locale */
 176                         if (0 == strcasecmp(lbuf, AvailLangLoaded[j])){
 177                                 ls->availability = 0;
 178                                 ls->selectedlang = j;
 179                                 j = nLocalesLoaded;
 180                         }
 181                 }
 182         }
 183
 184         prio = 0;
 185         av = -1000;
 186         nBest = -1;
 187         for (i = 0; ((i < nParts) && (i<SEARCH_LANG)); i++) {
 188                 ls = &wanted_locales[i];
 189                 if (    (ls->availability <= 0)
 190                         && (av < ls->availability)
 191                         && (prio < ls->priority)
 192                         && (ls->selectedlang != -1)
 193                 ) {
 194                         nBest = ls->selectedlang;
 195                         av = ls->availability;
 196                         prio = ls->priority;
 197                 }
 198         }
 199         if (nBest == -1) {
 200                 /* fall back to C */
 201                 nBest=0;
 202         }
 203         sess->selected_language = nBest;
 204         syslog(LOG_DEBUG, "language found: %s", AvailLangLoaded[sess->selected_language]);
 205         FreeStrBuf(&Buf);
 206         FreeStrBuf(&SBuf);
 207 }
 208
 209
 210 /*
 211  * show the language chooser on the login dialog
 212  * depending on the browser locale change the sequence of the
 213  * language chooser.
 214  */
 215 void tmplput_offer_languages(StrBuf *Target, WCTemplputParams *TP)
 216 {
 217         int i;
 218 #ifndef HAVE_USELOCALE
 219         char *Lang = getenv("LANG");
 220
 221         if (Lang == NULL)
 222                 Lang = "C";
 223 #endif
 224
 225         if (nLocalesLoaded == 1) {
 226                 wc_printf("<p>%s</p>", AvailLangLoaded[0]);
 227                 return;
 228         }
 229
 230         wc_printf("<select name=\"language\" id=\"lname\" size=\"1\" onChange=\"switch_to_lang($('lname').value);\">\n");
 231
 232         for (i=0; i < nLocalesLoaded; ++i) {
 233 #ifndef HAVE_USELOCALE
 234                 if (strcmp(AvailLangLoaded[i], Lang) == 0)
 235 #endif
 236                 wc_printf("<option %s value=%s>%s</option>\n",
 237                         ((WC->selected_language == i) ? "selected" : ""),
 238                         AvailLangLoaded[i],
 239                         AvailLangLoaded[i]
 240                 );
 241         }
 242
 243         wc_printf("</select>\n");
 244 }
 245
 246 /*
 247  * Set the selected language for this session.
 248  */
 249 void set_selected_language(const char *lang) {
 250 #ifdef HAVE_USELOCALE
 251         int i;
 252         for (i = 0; i<nLocalesLoaded; ++i) {
 253                 if (!strcasecmp(lang, AvailLangLoaded[i])) {
 254                         WC->selected_language = i;
 255                         break;
 256                 }
 257         }
 258 #endif
 259 }
 260
 261 /*
 262  * Activate the selected language for this session.
 263  */
 264 void go_selected_language(void) {
 265 #ifdef HAVE_USELOCALE
 266         wcsession *WCC = WC;
 267         if (WCC->selected_language < 0)
 268         {
 269                 httplang_to_locale(WCC->Hdr->HR.browser_language, WCC);
 270                 if (WCC->selected_language < 0)
 271                         return;
 272         }
 273         uselocale(wc_locales[WCC->selected_language]);  /* switch locales */
 274         textdomain(textdomain(NULL));                   /* clear the cache */
 275 #else
 276         char *language;
 277
 278         language = getenv("LANG");
 279         setlocale(LC_MESSAGES, language);
 280 #endif
 281 }
 282
 283 /*
 284  * Deactivate the selected language for this session.
 285  */
 286 void stop_selected_language(void) {
 287 #ifdef HAVE_USELOCALE
 288         uselocale(LC_GLOBAL_LOCALE);                    /* switch locales */
 289         textdomain(textdomain(NULL));                   /* clear the cache */
 290 #endif
 291 }
 292
 293 #ifdef HAVE_USELOCALE
 294         locale_t Empty_Locale;
 295 #endif
 296
 297 /*
 298  * Create a locale_t for each available language
 299  */
 300 void initialize_locales(void) {
 301         int nLocales;
 302         int i;
 303         char buf[32];
 304         char *language = NULL;
 305
 306         nLocales = 0;
 307         while (!IsEmptyStr(AvailLang[nLocales]))
 308                 nLocales++;
 309
 310         language = getenv("WEBCIT_LANG");
 311         if ((language) && (!IsEmptyStr(language)) && (strcmp(language, "UNLIMITED") != 0)) {
 312                 syslog(LOG_INFO, "Nailing locale to %s", language);
 313         }
 314         else language = NULL;
 315
 316         AvailLangLoaded = malloc (sizeof(char*) * nLocales);
 317         memset(AvailLangLoaded, 0, sizeof(char*) * nLocales);
 318 #ifdef HAVE_USELOCALE
 319         wc_locales = malloc (sizeof(locale_t) * nLocales);
 320         memset(wc_locales,0, sizeof(locale_t) * nLocales);
 321         /* create default locale */
 322         Empty_Locale = newlocale(LC_ALL_MASK, NULL, NULL);
 323 #endif
 324
 325         for (i = 0; i < nLocales; ++i) {
 326                 if ((language != NULL) && (strcmp(AvailLang[i], language) != 0))
 327                         continue;
 328                 if (i == 0) {
 329                         sprintf(buf, "C");      /* locale 0 (C) is ascii, not utf-8 */
 330
 331                 }
 332                 else {
 333                         sprintf(buf, "%s.UTF8", AvailLang[i]);
 334                 }
 335 #ifdef HAVE_USELOCALE
 336                 wc_locales[nLocalesLoaded] = newlocale(
 337                         (LC_MESSAGES_MASK|LC_TIME_MASK),
 338                         buf,
 339                         (((i > 0) && (wc_locales[0] != NULL)) ? wc_locales[0] : Empty_Locale)
 340                 );
 341                 if (wc_locales[nLocalesLoaded] == NULL) {
 342                         syslog(LOG_NOTICE, "locale for %s disabled: %s", buf, strerror(errno));
 343                 }
 344                 else {
 345                         syslog(LOG_INFO, "Found locale: %s - %s", buf, AvailLang[i]);
 346                         AvailLangLoaded[nLocalesLoaded] = AvailLang[i];
 347                         nLocalesLoaded++;
 348                 }
 349 #else
 350                 if ((language != NULL) && (strcmp(language, AvailLang[i]) == 0)) {
 351                         setenv("LANG", buf, 1);
 352                         AvailLangLoaded[nLocalesLoaded] = AvailLang[i];
 353                         setlocale(LC_MESSAGES, AvailLang[i]);
 354                         nLocalesLoaded++;
 355                 }
 356                 else if (nLocalesLoaded == 0) {
 357                         setenv("LANG", buf, 1);
 358                         AvailLangLoaded[nLocalesLoaded] = AvailLang[i];
 359                         nLocalesLoaded++;
 360                 }
 361 #endif
 362         }
 363         if ((language != NULL) && (nLocalesLoaded == 0)) {
 364                 syslog(LOG_WARNING, "Your selected locale [%s] isn't available on your system. falling back to C", language);
 365 #ifdef HAVE_USELOCALE
 366                 wc_locales[0] = newlocale(
 367                         (LC_MESSAGES_MASK|LC_TIME_MASK),
 368                         AvailLang[0],
 369                         Empty_Locale
 370                 );
 371 #else
 372                 setlocale(LC_MESSAGES, AvailLang[0]);
 373                 setenv("LANG", AvailLang[0], 1);
 374 #endif
 375                 AvailLangLoaded[0] = AvailLang[0];
 376                 nLocalesLoaded = 1;
 377         }
 378
 379 #ifdef ENABLE_NLS
 380         setlocale(LC_ALL, "");
 381         syslog(LOG_DEBUG, "Text domain: %s", textdomain("webcit"));
 382         syslog(LOG_DEBUG, "Text domain Charset: %s", bind_textdomain_codeset("webcit", "UTF8"));
 383         syslog(LOG_DEBUG, "Message catalog directory: %s", bindtextdomain(textdomain(NULL), LOCALEDIR"/locale"));
 384 #endif
 385 }
 386
 387
 388 void
 389 ServerShutdownModule_GETTEXT
 390 (void)
 391 {
 392 #ifdef HAVE_USELOCALE
 393         int i;
 394         for (i = 0; i < nLocalesLoaded; ++i) {
 395                 if (Empty_Locale != wc_locales[i]) {
 396                         freelocale(wc_locales[i]);
 397                 }
 398         }
 399         free(wc_locales);
 400 #endif
 401         free(AvailLangLoaded);
 402 }
 403
 404 #else   /* ENABLE_NLS */
 405 const char *AvailLang[] = {
 406         "C",
 407         ""
 408 };
 409
 410 /* dummy for non NLS enabled systems */
 411 void
 412 ServerShutdownModule_GETTEXT
 413 (void)
 414 {
 415 }
 416
 417
 418 void tmplput_offer_languages(StrBuf *Target, WCTemplputParams *TP)
 419 {
 420         wc_printf("English (US)");
 421 }
 422
 423 /* dummy for non NLS enabled systems */
 424 void set_selected_language(const char *lang) {
 425 }
 426
 427 /* dummy for non NLS enabled systems */
 428 void go_selected_language(void) {
 429 }
 430
 431 /* dummy for non NLS enabled systems */
 432 void stop_selected_language(void) {
 433 }
 434
 435 void initialize_locales(void) {
 436 }
 437
 438 #endif  /* ENABLE_NLS */
 439
 440 void TmplGettext(StrBuf *Target, WCTemplputParams *TP)
 441 {
 442         const char *Text = _(TP->Tokens->Params[0]->Start);
 443
 444         StrBufAppendTemplateStr(Target, TP, Text, 1);
 445 }
 446
 447
 448 /*
 449  * Returns the language currently in use.
 450  * This function returns a static string, so don't do anything stupid please.
 451  */
 452 const char *get_selected_language(void) {
 453 #ifdef ENABLE_NLS
 454 #ifdef HAVE_USELOCALE
 455         return AvailLangLoaded[WC->selected_language];
 456 #else
 457         return "en";
 458 #endif
 459 #else
 460         return "en";
 461 #endif
 462 }
 463
 464
 465 void Header_HandleAcceptLanguage(StrBuf *Line, ParsedHttpHdrs *hdr)
 466 {
 467         hdr->HR.browser_language = Line;
 468 }
 469
 470
 471 void
 472 InitModule_GETTEXT
 473 (void)
 474 {
 475         initialize_locales();
 476
 477         RegisterHeaderHandler(HKEY("ACCEPT-LANGUAGE"),
 478                               Header_HandleAcceptLanguage);
 479
 480         RegisterNamespace("LANG:SELECT", 0, 0,
 481                           tmplput_offer_languages, NULL, CTX_NONE);
 482 }
 483
 484
 485 void
 486 SessionNewModule_GETTEXT
 487 (wcsession *sess)
 488 {
 489 #ifdef ENABLE_NLS
 490         if (    (sess != NULL)
 491                 && (!sess->Hdr->HR.Static)
 492                 && (sess->Hdr->HR.browser_language != NULL)
 493         ) {
 494                 httplang_to_locale(sess->Hdr->HR.browser_language, sess);
 495         }
 496 #endif
 497 }
 498
 499 void
 500 SessionAttachModule_GETTEXT
 501 (wcsession *sess)
 502 {
 503 #ifdef ENABLE_NLS
 504         go_selected_language();                                 /* set locale */
 505 #endif
 506 }
 507
 508 void
 509 SessionDestroyModule_GETTEXT
 510 (wcsession *sess)
 511 {
 512 #ifdef ENABLE_NLS
 513         stop_selected_language();                               /* unset locale */
 514 #endif
 515 }