webcit/gettext.c

   1 /*
   2  * Copyright (c) 1996-2012 by the citadel.org team
   3  *
   4  * This program is open source software.  You can redistribute it and/or
   5  * modify it under the terms of the GNU General Public License version 3.
   6  *
   7  * This program is distributed in the hope that it will be useful,
   8  * but WITHOUT ANY WARRANTY; without even the implied warranty of
   9  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  10  * GNU General Public License for more details.
  11  */
  12
  13 #include "webcit.h"
  14 #include "webserver.h"
  15 #define SEARCH_LANG 20          /* how many langs should we parse? */
  16
  17 #ifdef ENABLE_NLS
  18 /* actual supported locales */
  19 const char *AvailLang[] = {
  20         "C",
  21         "ar_AR",
  22         "bg_BG",
  23         "cs_CZ",
  24         "en_US",
  25         "da_DK",
  26         "de_DE",
  27         "el_GR",
  28         "en_GB",
  29         "es_ES",
  30         "et_EE",
  31         "fi_FI",
  32         "fr_FR",
  33         "hu_HU",
  34         "it_IT",
  35         "nl_NL",
  36         "pt_BR",
  37         "ru_RU",
  38         "zh_CN",
  39         "he_IL",
  40         "kk_KK",
  41         "ro_RO",
  42         "sl_SL",
  43         "tr_TR",
  44         ""
  45 };
  46
  47 const char **AvailLangLoaded;
  48 long nLocalesLoaded = 0;
  49
  50 #ifdef HAVE_USELOCALE
  51 locale_t *wc_locales; /* here we keep the parsed stuff */
  52 #endif
  53
  54 /* Keep information about one locale */
  55 typedef struct _lang_pref {
  56         char lang[16];          /* the language locale string */
  57         char region[16];        /* the region locale string */
  58         long priority;          /* which priority does it have */
  59         int availability;       /* do we know it? */
  60         int selectedlang;       /* is this the selected language? */
  61 } LangStruct;
  62
  63 /* parse browser locale header
  64  *
  65  * seems as most browsers just do a one after comma value even if more than 10 locales are available. Sample strings:
  66  * opera:
  67  * Accept-Language: sq;q=1.0,de;q=0.9,as;q=0.8,ar;q=0.7,bn;q=0.6,zh-cn;q=0.5,kn;q=0.4,ch;q=0.3,fo;q=0.2,gn;q=0.1,ce;q=0.1,ie;q=0.1
  68  * Firefox
  69  * Accept-Language: 'de-de,en-us;q=0.7,en;q=0.3'
  70  * Accept-Language: de,en-ph;q=0.8,en-us;q=0.5,de-at;q=0.3
  71  * Accept-Language: de,en-us;q=0.9,it;q=0.9,de-de;q=0.8,en-ph;q=0.7,de-at;q=0.7,zh-cn;q=0.6,cy;q=0.5,ar-om;q=0.5,en-tt;q=0.4,xh;q=0.3,nl-be;q=0.3,cs;q=0.2,sv;q=0.1,tk;q=0.1
  72  */
  73
  74 void httplang_to_locale(StrBuf *LocaleString, wcsession *sess)
  75 {
  76         LangStruct wanted_locales[SEARCH_LANG];
  77         LangStruct *ls;
  78
  79         int i = 0;
  80         int j = 0;
  81         /* size_t len = strlen(LocaleString); */
  82         long prio;
  83         int av;
  84         int nBest;
  85         int nParts;
  86         StrBuf *Buf = NULL;
  87         StrBuf *SBuf = NULL;
  88
  89         nParts = StrBufNum_tokens(LocaleString, ',');
  90         for (i=0; ((i<nParts) && (i < SEARCH_LANG)); i++)
  91         {
  92                 char lbuf[32];
  93                 int blen;
  94
  95                 if (Buf == NULL) {
  96                         Buf = NewStrBuf();
  97                         SBuf = NewStrBuf();
  98                 }
  99                 else {
 100                         FlushStrBuf(Buf);
 101                         FlushStrBuf(SBuf);
 102                 }
 103
 104                 ls = &wanted_locales[i];
 105
 106                 StrBufExtract_token(Buf, LocaleString, i, ',');
 107                 /* we are searching, if this list item has something like ;q=n*/
 108                 if (StrBufNum_tokens(Buf, '=') > 1) {
 109                         int sbuflen, k;
 110                         StrBufExtract_token(SBuf, Buf, 1, '=');
 111                         sbuflen = StrLength(SBuf);
 112                         for (k = 0; k < sbuflen; k++) {
 113                                 if (ChrPtr(SBuf)[k] == '.') {
 114                                         StrBufPeek(SBuf, NULL, k, '0');
 115                                 }
 116                         }
 117                         ls->priority = StrTol(SBuf);
 118                 }
 119                 else {
 120                         ls->priority = 1000;
 121                 }
 122
 123                 /* get the locale part */
 124                 StrBufExtract_token(SBuf, Buf, 0, ';');
 125
 126                 /* get the lang part, which should be allways there */
 127                 extract_token(&ls->lang[0],
 128                               ChrPtr(SBuf),
 129                               0, '-',
 130                               sizeof(ls->lang));
 131
 132                 /* get the area code if any. */
 133                 if (StrBufNum_tokens(SBuf, '-') > 1) {
 134                         extract_token(&ls->region[0],
 135                                       ChrPtr(SBuf),
 136                                       1, '-',
 137                                       sizeof(ls->region)
 138                         );
 139                 }
 140                 else { /* no ara code? use lang code */
 141                         blen=strlen(&ls->lang[0]);
 142                         memcpy(&ls->region[0], ls->lang, blen);
 143                         ls->region[blen] = '\0';
 144                 }
 145
 146                 /* area codes are uppercase */
 147                 blen = strlen(&ls->region[0]);
 148                 for (j = 0; j < blen; j++)
 149                 {
 150                         int chars;
 151                         chars = toupper(ls->region[j]);
 152                         ls->region[j] = (char)chars; /* todo ? */
 153                 }
 154                 snprintf(&lbuf[0],
 155                          sizeof(lbuf),
 156                          "%s_%s",
 157                          &ls->lang[0],
 158                          &ls->region[0]);
 159
 160                 /* check if we have this lang */
 161                 ls->availability = 1;
 162                 ls->selectedlang = -1;
 163                 for (j = 0; j < nLocalesLoaded; j++) {
 164                         int result;
 165                         /* match against the LANG part */
 166                         result = strcasecmp(&ls->lang[0], AvailLangLoaded[j]);
 167                         if ((result < 0) && (result < ls->availability)){
 168                                 ls->availability = result;
 169                                 ls->selectedlang = j;
 170                         }
 171                         /* match against lang and locale */
 172                         if (0 == strcasecmp(&lbuf[0], AvailLangLoaded[j])){
 173                                 ls->availability = 0;
 174                                 ls->selectedlang = j;
 175                                 j = nLocalesLoaded;
 176                         }
 177                 }
 178         }
 179
 180         prio = 0;
 181         av = -1000;
 182         nBest = -1;
 183         for (i = 0; ((i < nParts) && (i<SEARCH_LANG)); i++) {
 184                 ls = &wanted_locales[i];
 185                 if (    (ls->availability <= 0)
 186                         && (av < ls->availability)
 187                         && (prio < ls->priority)
 188                         && (ls->selectedlang != -1)
 189                 ) {
 190                         nBest = ls->selectedlang;
 191                         av = ls->availability;
 192                         prio = ls->priority;
 193                 }
 194         }
 195         if (nBest == -1) {
 196                 /* fall back to C */
 197                 nBest=0;
 198         }
 199         sess->selected_language = nBest;
 200         syslog(LOG_DEBUG, "language found: %s", AvailLangLoaded[WC->selected_language]);
 201         FreeStrBuf(&Buf);
 202         FreeStrBuf(&SBuf);
 203 }
 204
 205
 206 /*
 207  * show the language chooser on the login dialog
 208  * depending on the browser locale change the sequence of the
 209  * language chooser.
 210  */
 211 void tmplput_offer_languages(StrBuf *Target, WCTemplputParams *TP)
 212 {
 213         int i;
 214 #ifndef HAVE_USELOCALE
 215         char *Lang = getenv("LANG");
 216
 217         if (Lang == NULL)
 218                 Lang = "C";
 219 #endif
 220
 221         if (nLocalesLoaded == 1) {
 222                 wc_printf("<p>%s</p>", AvailLangLoaded[0]);
 223                 return;
 224         }
 225
 226         wc_printf("<select name=\"language\" id=\"lname\" size=\"1\" onChange=\"switch_to_lang($('lname').value);\">\n");
 227
 228         for (i=0; i < nLocalesLoaded; ++i) {
 229 #ifndef HAVE_USELOCALE
 230                 if (strcmp(AvailLangLoaded[i], Lang) == 0)
 231 #endif
 232                 wc_printf("<option %s value=%s>%s</option>\n",
 233                         ((WC->selected_language == i) ? "selected" : ""),
 234                         AvailLangLoaded[i],
 235                         AvailLangLoaded[i]
 236                 );
 237         }
 238
 239         wc_printf("</select>\n");
 240 }
 241
 242 /*
 243  * Set the selected language for this session.
 244  */
 245 void set_selected_language(const char *lang) {
 246 #ifdef HAVE_USELOCALE
 247         int i;
 248         for (i = 0; i<nLocalesLoaded; ++i) {
 249                 if (!strcasecmp(lang, AvailLangLoaded[i])) {
 250                         WC->selected_language = i;
 251                         break;
 252                 }
 253         }
 254 #endif
 255 }
 256
 257 /*
 258  * Activate the selected language for this session.
 259  */
 260 void go_selected_language(void) {
 261 #ifdef HAVE_USELOCALE
 262         wcsession *WCC = WC;
 263         if (WCC->selected_language < 0) return;
 264         uselocale(wc_locales[WCC->selected_language]);  /* switch locales */
 265         textdomain(textdomain(NULL));                   /* clear the cache */
 266 #else
 267         char *language;
 268
 269         language = getenv("LANG");
 270         setlocale(LC_MESSAGES, language);
 271 #endif
 272 }
 273
 274 /*
 275  * Deactivate the selected language for this session.
 276  */
 277 void stop_selected_language(void) {
 278 #ifdef HAVE_USELOCALE
 279         uselocale(LC_GLOBAL_LOCALE);                    /* switch locales */
 280         textdomain(textdomain(NULL));                   /* clear the cache */
 281 #endif
 282 }
 283
 284 #ifdef HAVE_USELOCALE
 285         locale_t Empty_Locale;
 286 #endif
 287
 288 /*
 289  * Create a locale_t for each available language
 290  */
 291 void initialize_locales(void) {
 292         int nLocales;
 293         int i;
 294         char buf[32];
 295         char *language = NULL;
 296
 297         nLocales = 0;
 298         while (!IsEmptyStr(AvailLang[nLocales]))
 299                 nLocales++;
 300
 301         language = getenv("WEBCIT_LANG");
 302         if ((language) && (!IsEmptyStr(language)) && (strcmp(language, "UNLIMITED") != 0)) {
 303                 syslog(LOG_INFO, "Nailing locale to %s", language);
 304         }
 305         else language = NULL;
 306
 307         AvailLangLoaded = malloc (sizeof(char*) * nLocales);
 308         memset(AvailLangLoaded, 0, sizeof(char*) * nLocales);
 309 #ifdef HAVE_USELOCALE
 310         wc_locales = malloc (sizeof(locale_t) * nLocales);
 311         memset(wc_locales,0, sizeof(locale_t) * nLocales);
 312         /* create default locale */
 313         Empty_Locale = newlocale(LC_ALL_MASK, NULL, NULL);
 314 #endif
 315
 316         for (i = 0; i < nLocales; ++i) {
 317                 if ((language != NULL) && (strcmp(AvailLang[i], language) != 0))
 318                         continue;
 319                 if (i == 0) {
 320                         sprintf(buf, "%s", AvailLang[i]);       /* locale 0 (C) is ascii, not utf-8 */
 321                 }
 322                 else {
 323                         sprintf(buf, "%s.UTF8", AvailLang[i]);
 324                 }
 325 #ifdef HAVE_USELOCALE
 326                 wc_locales[nLocalesLoaded] = newlocale(
 327                         (LC_MESSAGES_MASK|LC_TIME_MASK),
 328                         buf,
 329                         (((i > 0) && (wc_locales[0] != NULL)) ? wc_locales[0] : Empty_Locale)
 330                 );
 331                 if (wc_locales[nLocalesLoaded] == NULL) {
 332                         syslog(LOG_NOTICE, "locale for %s disabled: %s", buf, strerror(errno));
 333                 }
 334                 else {
 335                         syslog(LOG_INFO, "Found locale: %s", buf);
 336                         AvailLangLoaded[nLocalesLoaded] = AvailLang[i];
 337                         nLocalesLoaded++;
 338                 }
 339 #else
 340                 if ((language != NULL) && (strcmp(language, AvailLang[i]) == 0)) {
 341                         setenv("LANG", buf, 1);
 342                         AvailLangLoaded[nLocalesLoaded] = AvailLang[i];
 343                         setlocale(LC_MESSAGES, AvailLang[i]);
 344                         nLocalesLoaded++;
 345                 }
 346                 else if (nLocalesLoaded == 0) {
 347                         setenv("LANG", buf, 1);
 348                         AvailLangLoaded[nLocalesLoaded] = AvailLang[i];
 349                         nLocalesLoaded++;
 350                 }
 351 #endif
 352         }
 353         if ((language != NULL) && (nLocalesLoaded == 0)) {
 354                 syslog(LOG_WARNING, "Your selected locale [%s] isn't available on your system. falling back to C", language);
 355 #ifdef HAVE_USELOCALE
 356                 wc_locales[0] = newlocale(
 357                         (LC_MESSAGES_MASK|LC_TIME_MASK),
 358                         AvailLang[0],
 359                         Empty_Locale
 360                 );
 361 #else
 362                 setlocale(LC_MESSAGES, AvailLang[0]);
 363                 setenv("LANG", AvailLang[0], 1);
 364 #endif
 365                 AvailLangLoaded[0] = AvailLang[0];
 366                 nLocalesLoaded = 1;
 367         }
 368
 369 #ifdef ENABLE_NLS
 370         setlocale(LC_ALL, "");
 371         syslog(LOG_DEBUG, "Text domain: %s", textdomain("webcit"));
 372         syslog(LOG_DEBUG, "Text domain Charset: %s", bind_textdomain_codeset("webcit", "UTF8"));
 373         syslog(LOG_DEBUG, "Message catalog directory: %s", bindtextdomain(textdomain(NULL), LOCALEDIR"/locale"));
 374 #endif
 375 }
 376
 377
 378 void
 379 ServerShutdownModule_GETTEXT
 380 (void)
 381 {
 382 #ifdef HAVE_USELOCALE
 383         int i;
 384         for (i = 0; i < nLocalesLoaded; ++i) {
 385                 if (Empty_Locale != wc_locales[i]) {
 386                         freelocale(wc_locales[i]);
 387                 }
 388         }
 389         free(wc_locales);
 390 #endif
 391         free(AvailLangLoaded);
 392 }
 393
 394 #else   /* ENABLE_NLS */
 395 const char *AvailLang[] = {
 396         "C",
 397         ""
 398 };
 399
 400 /* dummy for non NLS enabled systems */
 401 void
 402 ServerShutdownModule_GETTEXT
 403 (void)
 404 {
 405 }
 406
 407
 408 void tmplput_offer_languages(StrBuf *Target, WCTemplputParams *TP)
 409 {
 410         wc_printf("English (US)");
 411 }
 412
 413 /* dummy for non NLS enabled systems */
 414 void set_selected_language(const char *lang) {
 415 }
 416
 417 /* dummy for non NLS enabled systems */
 418 void go_selected_language(void) {
 419 }
 420
 421 /* dummy for non NLS enabled systems */
 422 void stop_selected_language(void) {
 423 }
 424
 425 void initialize_locales(void) {
 426 }
 427
 428 #endif  /* ENABLE_NLS */
 429
 430
 431 void TmplGettext(StrBuf *Target, WCTemplputParams *TP)
 432 {
 433         StrBufAppendBufPlain(Target, _(TP->Tokens->Params[0]->Start), -1, 0);
 434 }
 435
 436
 437 /*
 438  * Returns the language currently in use.
 439  * This function returns a static string, so don't do anything stupid please.
 440  */
 441 const char *get_selected_language(void) {
 442 #ifdef ENABLE_NLS
 443 #ifdef HAVE_USELOCALE
 444         return AvailLangLoaded[WC->selected_language];
 445 #else
 446         return "en";
 447 #endif
 448 #else
 449         return "en";
 450 #endif
 451 }
 452
 453
 454 void Header_HandleAcceptLanguage(StrBuf *Line, ParsedHttpHdrs *hdr)
 455 {
 456         hdr->HR.browser_language = Line;
 457 }
 458
 459
 460 void
 461 InitModule_GETTEXT
 462 (void)
 463 {
 464         initialize_locales();
 465
 466         RegisterHeaderHandler(HKEY("ACCEPT-LANGUAGE"),
 467                               Header_HandleAcceptLanguage);
 468
 469         RegisterNamespace("LANG:SELECT", 0, 0,
 470                           tmplput_offer_languages, NULL, CTX_NONE);
 471 }
 472
 473
 474 void
 475 SessionNewModule_GETTEXT
 476 (wcsession *sess)
 477 {
 478 #ifdef ENABLE_NLS
 479         if (    (sess != NULL)
 480                 && (!sess->Hdr->HR.Static)
 481                 && (sess->Hdr->HR.browser_language != NULL)
 482         ) {
 483                 httplang_to_locale(sess->Hdr->HR.browser_language, sess);
 484         }
 485 #endif
 486 }
 487
 488 void
 489 SessionAttachModule_GETTEXT
 490 (wcsession *sess)
 491 {
 492 #ifdef ENABLE_NLS
 493         go_selected_language();                                 /* set locale */
 494 #endif
 495 }
 496
 497 void
 498 SessionDestroyModule_GETTEXT
 499 (wcsession *sess)
 500 {
 501 #ifdef ENABLE_NLS
 502         stop_selected_language();                               /* unset locale */
 503 #endif
 504 }