webcit/gettext.c

   1 /*
   2  * Copyright (c) 1996-2012 by the citadel.org team
   3  *
   4  * This program is open source software.  You can redistribute it and/or
   5  * modify it under the terms of the GNU General Public License version 3.
   6  *
   7  * This program is distributed in the hope that it will be useful,
   8  * but WITHOUT ANY WARRANTY; without even the implied warranty of
   9  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  10  * GNU General Public License for more details.
  11  */
  12
  13 #include "webcit.h"
  14 #include "webserver.h"
  15 #define SEARCH_LANG 20          /* how many langs should we parse? */
  16
  17 #ifdef ENABLE_NLS
  18 /* actual supported locales */
  19 const char *AvailLang[] = {
  20         "en_US",
  21         "ar_AE",
  22         "bg_BG",
  23         "cs_CZ",
  24         "en_US",
  25         "da_DK",
  26         "de_DE",
  27         "el_GR",
  28         "en_GB",
  29         "es_ES",
  30         "et_EE",
  31         "fi_FI",
  32         "fr_FR",
  33         "hu_HU",
  34         "it_IT",
  35         "nl_NL",
  36         "pt_BR",
  37         "ru_RU",
  38         "zh_CN",
  39         "he_IL",
  40         "kk_KK",
  41         "ro_RO",
  42         "sl_SL",
  43         "tr_TR",
  44         ""
  45 };
  46
  47 const char **AvailLangLoaded;
  48 long nLocalesLoaded = 0;
  49
  50 #ifdef HAVE_USELOCALE
  51 locale_t *wc_locales; /* here we keep the parsed stuff */
  52 #endif
  53
  54 /* Keep information about one locale */
  55 typedef struct _lang_pref {
  56         char lang[16];          /* the language locale string */
  57         char region[16];        /* the region locale string */
  58         long priority;          /* which priority does it have */
  59         int availability;       /* do we know it? */
  60         int selectedlang;       /* is this the selected language? */
  61 } LangStruct;
  62
  63 /* parse browser locale header
  64  *
  65  * seems as most browsers just do a one after comma value even if more than 10 locales are available. Sample strings:
  66  * opera:
  67  * Accept-Language: sq;q=1.0,de;q=0.9,as;q=0.8,ar;q=0.7,bn;q=0.6,zh-cn;q=0.5,kn;q=0.4,ch;q=0.3,fo;q=0.2,gn;q=0.1,ce;q=0.1,ie;q=0.1
  68  * Firefox
  69  * Accept-Language: 'de-de,en-us;q=0.7,en;q=0.3'
  70  * Accept-Language: de,en-ph;q=0.8,en-us;q=0.5,de-at;q=0.3
  71  * Accept-Language: de,en-us;q=0.9,it;q=0.9,de-de;q=0.8,en-ph;q=0.7,de-at;q=0.7,zh-cn;q=0.6,cy;q=0.5,ar-om;q=0.5,en-tt;q=0.4,xh;q=0.3,nl-be;q=0.3,cs;q=0.2,sv;q=0.1,tk;q=0.1
  72  */
  73
  74 void httplang_to_locale(StrBuf *LocaleString, wcsession *sess)
  75 {
  76         LangStruct wanted_locales[SEARCH_LANG];
  77         LangStruct *ls;
  78
  79         long len;
  80         int i = 0;
  81         int j = 0;
  82         /* size_t len = strlen(LocaleString); */
  83         long prio;
  84         int av;
  85         int nBest;
  86         int nParts;
  87         StrBuf *Buf = NULL;
  88         StrBuf *SBuf = NULL;
  89
  90         nParts = StrBufNum_tokens(LocaleString, ',');
  91         for (i=0; ((i<nParts) && (i < SEARCH_LANG)); i++)
  92         {
  93                 char lbuf[32];
  94                 int blen;
  95
  96                 if (Buf == NULL) {
  97                         Buf = NewStrBuf();
  98                         SBuf = NewStrBuf();
  99                 }
 100                 else {
 101                         FlushStrBuf(Buf);
 102                         FlushStrBuf(SBuf);
 103                 }
 104
 105                 ls = &wanted_locales[i];
 106
 107                 StrBufExtract_token(Buf, LocaleString, i, ',');
 108                 /* we are searching, if this list item has something like ;q=n*/
 109                 if (StrBufNum_tokens(Buf, '=') > 1) {
 110                         int sbuflen, k;
 111                         StrBufExtract_token(SBuf, Buf, 1, '=');
 112                         sbuflen = StrLength(SBuf);
 113                         for (k = 0; k < sbuflen; k++) {
 114                                 if (ChrPtr(SBuf)[k] == '.') {
 115                                         StrBufPeek(SBuf, NULL, k, '0');
 116                                 }
 117                         }
 118                         ls->priority = StrTol(SBuf);
 119                 }
 120                 else {
 121                         ls->priority = 1000;
 122                 }
 123
 124                 /* get the locale part */
 125                 StrBufExtract_token(SBuf, Buf, 0, ';');
 126
 127                 /* get the lang part, which should be allways there */
 128                 extract_token(ls->lang,
 129                               ChrPtr(SBuf),
 130                               0, '-',
 131                               sizeof(ls->lang));
 132
 133                 /* get the area code if any. */
 134                 if (StrBufNum_tokens(SBuf, '-') > 1) {
 135                         extract_token(ls->region,
 136                                       ChrPtr(SBuf),
 137                                       1, '-',
 138                                       sizeof(ls->region)
 139                         );
 140                 }
 141                 else { /* no ara code? use lang code */
 142                         blen = strlen(ls->lang);
 143                         memcpy(ls->region, ls->lang, blen);
 144                         ls->region[blen] = '\0';
 145                 }
 146
 147                 /* area codes are uppercase */
 148                 blen = strlen(&ls->region[0]);
 149                 for (j = 0; j < blen; j++)
 150                 {
 151                         int chars;
 152                         chars = toupper(ls->region[j]);
 153                         ls->region[j] = (char)chars; /* todo ? */
 154                 }
 155                 snprintf(lbuf,
 156                          sizeof(lbuf),
 157                          "%s_%s",
 158                          ls->lang,
 159                          ls->region);
 160
 161                 /* check if we have this lang */
 162                 ls->availability = 1;
 163                 ls->selectedlang = -1;
 164                 len = strlen(ls->lang);
 165                 for (j = 0; j < nLocalesLoaded; j++) {
 166                         int result;
 167                         /* match against the LANG part */
 168                         result = strncasecmp(ls->lang, AvailLangLoaded[j], len);
 169                         if ((result == 0) && (result < ls->availability)){
 170                                 ls->availability = result;
 171                                 ls->selectedlang = j;
 172                         }
 173                         /* match against lang and locale */
 174                         if (0 == strcasecmp(lbuf, AvailLangLoaded[j])){
 175                                 ls->availability = 0;
 176                                 ls->selectedlang = j;
 177                                 j = nLocalesLoaded;
 178                         }
 179                 }
 180         }
 181
 182         prio = 0;
 183         av = -1000;
 184         nBest = -1;
 185         for (i = 0; ((i < nParts) && (i<SEARCH_LANG)); i++) {
 186                 ls = &wanted_locales[i];
 187                 if (    (ls->availability <= 0)
 188                         && (av < ls->availability)
 189                         && (prio < ls->priority)
 190                         && (ls->selectedlang != -1)
 191                 ) {
 192                         nBest = ls->selectedlang;
 193                         av = ls->availability;
 194                         prio = ls->priority;
 195                 }
 196         }
 197         if (nBest == -1) {
 198                 /* fall back to C */
 199                 nBest=0;
 200         }
 201         sess->selected_language = nBest;
 202         syslog(LOG_DEBUG, "language found: %s", AvailLangLoaded[sess->selected_language]);
 203         FreeStrBuf(&Buf);
 204         FreeStrBuf(&SBuf);
 205 }
 206
 207
 208 /*
 209  * show the language chooser on the login dialog
 210  * depending on the browser locale change the sequence of the
 211  * language chooser.
 212  */
 213 void tmplput_offer_languages(StrBuf *Target, WCTemplputParams *TP)
 214 {
 215         int i;
 216 #ifndef HAVE_USELOCALE
 217         char *Lang = getenv("LANG");
 218
 219         if (Lang == NULL)
 220                 Lang = "C";
 221 #endif
 222
 223         if (nLocalesLoaded == 1) {
 224                 wc_printf("<p>%s</p>", AvailLangLoaded[0]);
 225                 return;
 226         }
 227
 228         wc_printf("<select name=\"language\" id=\"lname\" size=\"1\" onChange=\"switch_to_lang($('lname').value);\">\n");
 229
 230         for (i=0; i < nLocalesLoaded; ++i) {
 231 #ifndef HAVE_USELOCALE
 232                 if (strcmp(AvailLangLoaded[i], Lang) == 0)
 233 #endif
 234                 wc_printf("<option %s value=%s>%s</option>\n",
 235                         ((WC->selected_language == i) ? "selected" : ""),
 236                         AvailLangLoaded[i],
 237                         AvailLangLoaded[i]
 238                 );
 239         }
 240
 241         wc_printf("</select>\n");
 242 }
 243
 244 /*
 245  * Set the selected language for this session.
 246  */
 247 void set_selected_language(const char *lang) {
 248 #ifdef HAVE_USELOCALE
 249         int i;
 250         for (i = 0; i<nLocalesLoaded; ++i) {
 251                 if (!strcasecmp(lang, AvailLangLoaded[i])) {
 252                         WC->selected_language = i;
 253                         break;
 254                 }
 255         }
 256 #endif
 257 }
 258
 259 /*
 260  * Activate the selected language for this session.
 261  */
 262 void go_selected_language(void) {
 263 #ifdef HAVE_USELOCALE
 264         wcsession *WCC = WC;
 265         if (WCC->selected_language < 0) return;
 266         uselocale(wc_locales[WCC->selected_language]);  /* switch locales */
 267         textdomain(textdomain(NULL));                   /* clear the cache */
 268 #else
 269         char *language;
 270
 271         language = getenv("LANG");
 272         setlocale(LC_MESSAGES, language);
 273 #endif
 274 }
 275
 276 /*
 277  * Deactivate the selected language for this session.
 278  */
 279 void stop_selected_language(void) {
 280 #ifdef HAVE_USELOCALE
 281         uselocale(LC_GLOBAL_LOCALE);                    /* switch locales */
 282         textdomain(textdomain(NULL));                   /* clear the cache */
 283 #endif
 284 }
 285
 286 #ifdef HAVE_USELOCALE
 287         locale_t Empty_Locale;
 288 #endif
 289
 290 /*
 291  * Create a locale_t for each available language
 292  */
 293 void initialize_locales(void) {
 294         int nLocales;
 295         int i;
 296         char buf[32];
 297         char *language = NULL;
 298
 299         nLocales = 0;
 300         while (!IsEmptyStr(AvailLang[nLocales]))
 301                 nLocales++;
 302
 303         language = getenv("WEBCIT_LANG");
 304         if ((language) && (!IsEmptyStr(language)) && (strcmp(language, "UNLIMITED") != 0)) {
 305                 syslog(LOG_INFO, "Nailing locale to %s", language);
 306         }
 307         else language = NULL;
 308
 309         AvailLangLoaded = malloc (sizeof(char*) * nLocales);
 310         memset(AvailLangLoaded, 0, sizeof(char*) * nLocales);
 311 #ifdef HAVE_USELOCALE
 312         wc_locales = malloc (sizeof(locale_t) * nLocales);
 313         memset(wc_locales,0, sizeof(locale_t) * nLocales);
 314         /* create default locale */
 315         Empty_Locale = newlocale(LC_ALL_MASK, NULL, NULL);
 316 #endif
 317
 318         for (i = 0; i < nLocales; ++i) {
 319                 if ((language != NULL) && (strcmp(AvailLang[i], language) != 0))
 320                         continue;
 321                 if (i == 0) {
 322                         sprintf(buf, "C");      /* locale 0 (C) is ascii, not utf-8 */
 323
 324                 }
 325                 else {
 326                         sprintf(buf, "%s.UTF8", AvailLang[i]);
 327                 }
 328 #ifdef HAVE_USELOCALE
 329                 wc_locales[nLocalesLoaded] = newlocale(
 330                         (LC_MESSAGES_MASK|LC_TIME_MASK),
 331                         buf,
 332                         (((i > 0) && (wc_locales[0] != NULL)) ? wc_locales[0] : Empty_Locale)
 333                 );
 334                 if (wc_locales[nLocalesLoaded] == NULL) {
 335                         syslog(LOG_NOTICE, "locale for %s disabled: %s", buf, strerror(errno));
 336                 }
 337                 else {
 338                         syslog(LOG_INFO, "Found locale: %s - %s", buf, AvailLang[i]);
 339                         AvailLangLoaded[nLocalesLoaded] = AvailLang[i];
 340                         nLocalesLoaded++;
 341                 }
 342 #else
 343                 if ((language != NULL) && (strcmp(language, AvailLang[i]) == 0)) {
 344                         setenv("LANG", buf, 1);
 345                         AvailLangLoaded[nLocalesLoaded] = AvailLang[i];
 346                         setlocale(LC_MESSAGES, AvailLang[i]);
 347                         nLocalesLoaded++;
 348                 }
 349                 else if (nLocalesLoaded == 0) {
 350                         setenv("LANG", buf, 1);
 351                         AvailLangLoaded[nLocalesLoaded] = AvailLang[i];
 352                         nLocalesLoaded++;
 353                 }
 354 #endif
 355         }
 356         if ((language != NULL) && (nLocalesLoaded == 0)) {
 357                 syslog(LOG_WARNING, "Your selected locale [%s] isn't available on your system. falling back to C", language);
 358 #ifdef HAVE_USELOCALE
 359                 wc_locales[0] = newlocale(
 360                         (LC_MESSAGES_MASK|LC_TIME_MASK),
 361                         AvailLang[0],
 362                         Empty_Locale
 363                 );
 364 #else
 365                 setlocale(LC_MESSAGES, AvailLang[0]);
 366                 setenv("LANG", AvailLang[0], 1);
 367 #endif
 368                 AvailLangLoaded[0] = AvailLang[0];
 369                 nLocalesLoaded = 1;
 370         }
 371
 372 #ifdef ENABLE_NLS
 373         setlocale(LC_ALL, "");
 374         syslog(LOG_DEBUG, "Text domain: %s", textdomain("webcit"));
 375         syslog(LOG_DEBUG, "Text domain Charset: %s", bind_textdomain_codeset("webcit", "UTF8"));
 376         syslog(LOG_DEBUG, "Message catalog directory: %s", bindtextdomain(textdomain(NULL), LOCALEDIR"/locale"));
 377 #endif
 378 }
 379
 380
 381 void
 382 ServerShutdownModule_GETTEXT
 383 (void)
 384 {
 385 #ifdef HAVE_USELOCALE
 386         int i;
 387         for (i = 0; i < nLocalesLoaded; ++i) {
 388                 if (Empty_Locale != wc_locales[i]) {
 389                         freelocale(wc_locales[i]);
 390                 }
 391         }
 392         free(wc_locales);
 393 #endif
 394         free(AvailLangLoaded);
 395 }
 396
 397 #else   /* ENABLE_NLS */
 398 const char *AvailLang[] = {
 399         "C",
 400         ""
 401 };
 402
 403 /* dummy for non NLS enabled systems */
 404 void
 405 ServerShutdownModule_GETTEXT
 406 (void)
 407 {
 408 }
 409
 410
 411 void tmplput_offer_languages(StrBuf *Target, WCTemplputParams *TP)
 412 {
 413         wc_printf("English (US)");
 414 }
 415
 416 /* dummy for non NLS enabled systems */
 417 void set_selected_language(const char *lang) {
 418 }
 419
 420 /* dummy for non NLS enabled systems */
 421 void go_selected_language(void) {
 422 }
 423
 424 /* dummy for non NLS enabled systems */
 425 void stop_selected_language(void) {
 426 }
 427
 428 void initialize_locales(void) {
 429 }
 430
 431 #endif  /* ENABLE_NLS */
 432
 433 void TmplGettext(StrBuf *Target, WCTemplputParams *TP)
 434 {
 435         const char *Text = _(TP->Tokens->Params[0]->Start);
 436
 437         StrBufAppendTemplateStr(Target, TP, Text, 1);
 438 }
 439
 440
 441 /*
 442  * Returns the language currently in use.
 443  * This function returns a static string, so don't do anything stupid please.
 444  */
 445 const char *get_selected_language(void) {
 446 #ifdef ENABLE_NLS
 447 #ifdef HAVE_USELOCALE
 448         return AvailLangLoaded[WC->selected_language];
 449 #else
 450         return "en";
 451 #endif
 452 #else
 453         return "en";
 454 #endif
 455 }
 456
 457
 458 void Header_HandleAcceptLanguage(StrBuf *Line, ParsedHttpHdrs *hdr)
 459 {
 460         hdr->HR.browser_language = Line;
 461 }
 462
 463
 464 void
 465 InitModule_GETTEXT
 466 (void)
 467 {
 468         initialize_locales();
 469
 470         RegisterHeaderHandler(HKEY("ACCEPT-LANGUAGE"),
 471                               Header_HandleAcceptLanguage);
 472
 473         RegisterNamespace("LANG:SELECT", 0, 0,
 474                           tmplput_offer_languages, NULL, CTX_NONE);
 475 }
 476
 477
 478 void
 479 SessionNewModule_GETTEXT
 480 (wcsession *sess)
 481 {
 482 #ifdef ENABLE_NLS
 483         if (    (sess != NULL)
 484                 && (!sess->Hdr->HR.Static)
 485                 && (sess->Hdr->HR.browser_language != NULL)
 486         ) {
 487                 httplang_to_locale(sess->Hdr->HR.browser_language, sess);
 488         }
 489 #endif
 490 }
 491
 492 void
 493 SessionAttachModule_GETTEXT
 494 (wcsession *sess)
 495 {
 496 #ifdef ENABLE_NLS
 497         go_selected_language();                                 /* set locale */
 498 #endif
 499 }
 500
 501 void
 502 SessionDestroyModule_GETTEXT
 503 (wcsession *sess)
 504 {
 505 #ifdef ENABLE_NLS
 506         stop_selected_language();                               /* unset locale */
 507 #endif
 508 }