webcit/gettext.c

   1 /*
   2  * Copyright (c) 1996-2012 by the citadel.org team
   3  *
   4  * This program is open source software.  You can redistribute it and/or
   5  * modify it under the terms of the GNU General Public License version 3.
   6  *
   7  * This program is distributed in the hope that it will be useful,
   8  * but WITHOUT ANY WARRANTY; without even the implied warranty of
   9  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  10  * GNU General Public License for more details.
  11  */
  12
  13 #include "webcit.h"
  14 #include "webserver.h"
  15 #define SEARCH_LANG 20          /* how many langs should we parse? */
  16
  17 #ifdef ENABLE_NLS
  18 /* actual supported locales */
  19 const char *AvailLang[] = {
  20         "C",
  21         "bg_BG",
  22         "cs_CZ",
  23         "en_US",
  24         "da_DK",
  25         "de_DE",
  26         "el_GR",
  27         "en_GB",
  28         "es_ES",
  29         "et_EE",
  30         "fi_FI",
  31         "fr_FR",
  32         "hu_HU",
  33         "it_IT",
  34         "nl_NL",
  35         "pt_BR",
  36         "ru_RU",
  37         "zh_CN",
  38         "he_IL",
  39         "kk_KK",
  40         "ro_RO",
  41         "sl_SL",
  42         "tr_TR",
  43         ""
  44 };
  45
  46 const char **AvailLangLoaded;
  47 long nLocalesLoaded = 0;
  48
  49 #ifdef HAVE_USELOCALE
  50 locale_t *wc_locales; /* here we keep the parsed stuff */
  51 #endif
  52
  53 /* Keep information about one locale */
  54 typedef struct _lang_pref{
  55         char lang[16];          /* the language locale string */
  56         char region[16];        /* the region locale string */
  57         long priority;          /* which priority does it have */
  58         int availability;       /* do we know it? */
  59         int selectedlang;       /* is this the selected language? */
  60 } LangStruct;
  61
  62 /* parse browser locale header
  63  *
  64  * seems as most browsers just do a one after comma value even if more than 10 locales are available. Sample strings:
  65  * opera:
  66  * Accept-Language: sq;q=1.0,de;q=0.9,as;q=0.8,ar;q=0.7,bn;q=0.6,zh-cn;q=0.5,kn;q=0.4,ch;q=0.3,fo;q=0.2,gn;q=0.1,ce;q=0.1,ie;q=0.1
  67  * Firefox
  68  * Accept-Language: 'de-de,en-us;q=0.7,en;q=0.3'
  69  * Accept-Language: de,en-ph;q=0.8,en-us;q=0.5,de-at;q=0.3
  70  * Accept-Language: de,en-us;q=0.9,it;q=0.9,de-de;q=0.8,en-ph;q=0.7,de-at;q=0.7,zh-cn;q=0.6,cy;q=0.5,ar-om;q=0.5,en-tt;q=0.4,xh;q=0.3,nl-be;q=0.3,cs;q=0.2,sv;q=0.1,tk;q=0.1
  71  */
  72
  73 void httplang_to_locale(StrBuf *LocaleString, wcsession *sess)
  74 {
  75         LangStruct wanted_locales[SEARCH_LANG];
  76         LangStruct *ls;
  77
  78         int i = 0;
  79         int j = 0;
  80         /* size_t len = strlen(LocaleString); */
  81         long prio;
  82         int av;
  83         int nBest;
  84         int nParts;
  85         StrBuf *Buf = NULL;
  86         StrBuf *SBuf = NULL;
  87
  88         nParts = StrBufNum_tokens(LocaleString, ',');
  89         for (i=0; ((i<nParts) && (i < SEARCH_LANG)); i++)
  90         {
  91                 char lbuf[32];
  92                 int blen;
  93
  94                 if (Buf == NULL) {
  95                         Buf = NewStrBuf();
  96                         SBuf = NewStrBuf();
  97                 }
  98                 else {
  99                         FlushStrBuf(Buf);
 100                         FlushStrBuf(SBuf);
 101                 }
 102
 103                 ls = &wanted_locales[i];
 104
 105                 StrBufExtract_token(Buf, LocaleString, i, ',');
 106                 /* we are searching, if this list item has something like ;q=n*/
 107                 if (StrBufNum_tokens(Buf, '=') > 1) {
 108                         int sbuflen, k;
 109                         StrBufExtract_token(SBuf, Buf, 1, '=');
 110                         sbuflen = StrLength(SBuf);
 111                         for (k = 0; k < sbuflen; k++) {
 112                                 if (ChrPtr(SBuf)[k] == '.') {
 113                                         StrBufPeek(SBuf, NULL, k, '0');
 114                                 }
 115                         }
 116                         ls->priority = StrTol(SBuf);
 117                 }
 118                 else {
 119                         ls->priority = 1000;
 120                 }
 121
 122                 /* get the locale part */
 123                 StrBufExtract_token(SBuf, Buf, 0, ';');
 124
 125                 /* get the lang part, which should be allways there */
 126                 extract_token(&ls->lang[0],
 127                               ChrPtr(SBuf),
 128                               0, '-',
 129                               sizeof(ls->lang));
 130
 131                 /* get the area code if any. */
 132                 if (StrBufNum_tokens(SBuf, '-') > 1) {
 133                         extract_token(&ls->region[0],
 134                                       ChrPtr(SBuf),
 135                                       1, '-',
 136                                       sizeof(ls->region)
 137                         );
 138                 }
 139                 else { /* no ara code? use lang code */
 140                         blen=strlen(&ls->lang[0]);
 141                         memcpy(&ls->region[0], ls->lang, blen);
 142                         ls->region[blen] = '\0';
 143                 }
 144
 145                 /* area codes are uppercase */
 146                 blen = strlen(&ls->region[0]);
 147                 for (j = 0; j < blen; j++)
 148                 {
 149                         int chars;
 150                         chars = toupper(ls->region[j]);
 151                         ls->region[j] = (char)chars; /* todo ? */
 152                 }
 153                 snprintf(&lbuf[0],
 154                          sizeof(lbuf),
 155                          "%s_%s",
 156                          &ls->lang[0],
 157                          &ls->region[0]);
 158
 159                 /* check if we have this lang */
 160                 ls->availability = 1;
 161                 ls->selectedlang = -1;
 162                 for (j = 0; j < nLocalesLoaded; j++) {
 163                         int result;
 164                         /* match against the LANG part */
 165                         result = strcasecmp(&ls->lang[0], AvailLangLoaded[j]);
 166                         if ((result < 0) && (result < ls->availability)){
 167                                 ls->availability = result;
 168                                 ls->selectedlang = j;
 169                         }
 170                         /* match against lang and locale */
 171                         if (0 == strcasecmp(&lbuf[0], AvailLangLoaded[j])){
 172                                 ls->availability = 0;
 173                                 ls->selectedlang = j;
 174                                 j = nLocalesLoaded;
 175                         }
 176                 }
 177         }
 178
 179         prio = 0;
 180         av = -1000;
 181         nBest = -1;
 182         for (i = 0; ((i < nParts) && (i<SEARCH_LANG)); i++) {
 183                 ls = &wanted_locales[i];
 184                 if (    (ls->availability <= 0)
 185                         && (av < ls->availability)
 186                         && (prio < ls->priority)
 187                         && (ls->selectedlang != -1)
 188                 ) {
 189                         nBest = ls->selectedlang;
 190                         av = ls->availability;
 191                         prio = ls->priority;
 192                 }
 193         }
 194         if (nBest == -1) {
 195                 /* fall back to C */
 196                 nBest=0;
 197         }
 198         sess->selected_language = nBest;
 199         syslog(9, "language found: %s", AvailLangLoaded[WC->selected_language]);
 200         FreeStrBuf(&Buf);
 201         FreeStrBuf(&SBuf);
 202 }
 203
 204
 205 /*
 206  * show the language chooser on the login dialog
 207  * depending on the browser locale change the sequence of the
 208  * language chooser.
 209  */
 210 void tmplput_offer_languages(StrBuf *Target, WCTemplputParams *TP)
 211 {
 212 #ifdef HAVE_USELOCALE
 213         int i;
 214
 215         wc_printf("<select name=\"language\" id=\"lname\" size=\"1\" onChange=\"switch_to_lang($('lname').value);\">\n");
 216
 217         for (i=0; i < nLocalesLoaded; ++i) {
 218                 wc_printf("<option %s value=%s>%s</option>\n",
 219                         ((WC->selected_language == i) ? "selected" : ""),
 220                         AvailLangLoaded[i],
 221                         AvailLangLoaded[i]
 222                 );
 223         }
 224
 225         wc_printf("</select>\n");
 226 #else
 227         wc_printf("%s", (getenv("LANG") ? getenv("LANG") : "C"));
 228 #endif
 229 }
 230
 231 /*
 232  * Set the selected language for this session.
 233  */
 234 void set_selected_language(const char *lang) {
 235 #ifdef HAVE_USELOCALE
 236         int i;
 237         for (i = 0; i<nLocalesLoaded; ++i) {
 238                 if (!strcasecmp(lang, AvailLangLoaded[i])) {
 239                         WC->selected_language = i;
 240                         break;
 241                 }
 242         }
 243 #endif
 244 }
 245
 246 /*
 247  * Activate the selected language for this session.
 248  */
 249 void go_selected_language(void) {
 250 #ifdef HAVE_USELOCALE
 251         wcsession *WCC = WC;
 252         if (WCC->selected_language < 0) return;
 253         uselocale(wc_locales[WCC->selected_language]);  /* switch locales */
 254         textdomain(textdomain(NULL));                   /* clear the cache */
 255 #else
 256         char *language;
 257
 258         language = getenv("LANG");
 259         setlocale(LC_MESSAGES, language);
 260 #endif
 261 }
 262
 263 /*
 264  * Deactivate the selected language for this session.
 265  */
 266 void stop_selected_language(void) {
 267 #ifdef HAVE_USELOCALE
 268         uselocale(LC_GLOBAL_LOCALE);                    /* switch locales */
 269         textdomain(textdomain(NULL));                   /* clear the cache */
 270 #endif
 271 }
 272
 273
 274 /*
 275  * Create a locale_t for each available language
 276  */
 277 void initialize_locales(void) {
 278         int nLocales;
 279         int i;
 280         char *language = NULL;
 281
 282 #ifdef ENABLE_NLS
 283         setlocale(LC_ALL, "");
 284         syslog(9, "Text domain: %s", textdomain("webcit"));
 285         syslog(9, "Message catalog directory: %s", bindtextdomain(textdomain(NULL), LOCALEDIR"/locale"));
 286         syslog(9, "Text domain Charset: %s", bind_textdomain_codeset("webcit","UTF8"));
 287 #endif
 288
 289         nLocales = 0;
 290         while (!IsEmptyStr(AvailLang[nLocales]))
 291                 nLocales++;
 292
 293         language = getenv("WEBCIT_LANG");
 294         if ((language) && (!IsEmptyStr(language)) && (strcmp(language, "UNLIMITED") != 0)) {
 295                 syslog(9, "Nailing locale to %s", language);
 296         }
 297         else language = NULL;
 298
 299         AvailLangLoaded = malloc (sizeof(char*) * nLocales);
 300         memset(AvailLangLoaded, 0, sizeof(char*) * nLocales);
 301 #ifdef HAVE_USELOCALE
 302         wc_locales = malloc (sizeof(locale_t) * nLocales);
 303         memset(wc_locales,0, sizeof(locale_t) * nLocales);
 304         wc_locales[0] = newlocale(LC_ALL_MASK, NULL, NULL);
 305 #endif
 306
 307         for (i = 1; i < nLocales; ++i) {
 308 #ifdef HAVE_USELOCALE
 309                 wc_locales[nLocalesLoaded] = newlocale(
 310                         (LC_MESSAGES_MASK|LC_TIME_MASK),
 311                         AvailLang[i],
 312                         wc_locales[0]
 313                 );
 314                 if (wc_locales[nLocalesLoaded] == NULL) {
 315                         syslog(1, "locale for %s disabled: %s (domain: %s, path: %s)",
 316                                 AvailLang[i],
 317                                 strerror(errno),
 318                                 textdomain(NULL),
 319                                 bindtextdomain(textdomain(NULL), NULL)
 320                         );
 321                 }
 322                 else {
 323                         syslog(3, "Found locale: %s", AvailLang[i]);
 324                         AvailLangLoaded[nLocalesLoaded] = AvailLang[i];
 325                         nLocalesLoaded++;
 326                 }
 327 #else
 328                 if ((language != NULL) && (strcmp(language, AvailLang[i]) == 0)) {
 329                         setenv("LANG", AvailLang[i], 1);
 330                         AvailLangLoaded[nLocalesLoaded] = AvailLang[i];
 331                         setlocale(LC_MESSAGES, AvailLang[i]);
 332                         nLocalesLoaded++;
 333                 }
 334                 else if (nLocalesLoaded == 0) {
 335                         setenv("LANG", AvailLang[i], 1);
 336                         AvailLangLoaded[nLocalesLoaded] = AvailLang[i];
 337                         nLocalesLoaded++;
 338                 }
 339 #endif
 340         }
 341         if ((language != NULL) && (nLocalesLoaded == 0)) {
 342                 syslog(1, "Your selected locale [%s] isn't available on your system. falling back to C", language);
 343 #ifndef HAVE_USELOCALE
 344                 setlocale(LC_MESSAGES, AvailLang[0]);
 345                 setenv("LANG", AvailLang[0], 1);
 346 #endif
 347                 AvailLangLoaded[0] = AvailLang[0];
 348                 nLocalesLoaded = 1;
 349         }
 350 }
 351
 352
 353 void
 354 ServerShutdownModule_GETTEXT
 355 (void)
 356 {
 357 #ifdef HAVE_USELOCALE
 358         int i;
 359         for (i = 0; i < nLocalesLoaded; ++i) {
 360                 freelocale(wc_locales[i]);
 361         }
 362         free(wc_locales);
 363 #endif
 364         free(AvailLangLoaded);
 365 }
 366
 367 #else   /* ENABLE_NLS */
 368 const char *AvailLang[] = {
 369         "C",
 370         ""
 371 };
 372
 373 /* dummy for non NLS enabled systems */
 374 void tmplput_offer_languages(StrBuf *Target, WCTemplputParams *TP)
 375 {
 376         wc_printf("English (US)");
 377 }
 378
 379 /* dummy for non NLS enabled systems */
 380 void set_selected_language(const char *lang) {
 381 }
 382
 383 /* dummy for non NLS enabled systems */
 384 void go_selected_language(void) {
 385 }
 386
 387 /* dummy for non NLS enabled systems */
 388 void stop_selected_language(void) {
 389 }
 390
 391 void initialize_locales(void) {
 392 }
 393
 394 #endif  /* ENABLE_NLS */
 395
 396
 397 void TmplGettext(StrBuf *Target, WCTemplputParams *TP)
 398 {
 399         StrBufAppendBufPlain(Target, _(TP->Tokens->Params[0]->Start), -1, 0);
 400 }
 401
 402
 403 /*
 404  * Returns the language currently in use.
 405  * This function returns a static string, so don't do anything stupid please.
 406  */
 407 const char *get_selected_language(void) {
 408 #ifdef ENABLE_NLS
 409 #ifdef HAVE_USELOCALE
 410         return AvailLang[WC->selected_language];
 411 #else
 412         return "en";
 413 #endif
 414 #else
 415         return "en";
 416 #endif
 417 }
 418
 419
 420 void Header_HandleAcceptLanguage(StrBuf *Line, ParsedHttpHdrs *hdr)
 421 {
 422         hdr->HR.browser_language = Line;
 423 }
 424
 425
 426 void
 427 InitModule_GETTEXT
 428 (void)
 429 {
 430         initialize_locales();
 431
 432         RegisterHeaderHandler(HKEY("ACCEPT-LANGUAGE"),
 433                               Header_HandleAcceptLanguage);
 434
 435         RegisterNamespace("LANG:SELECT", 0, 0,
 436                           tmplput_offer_languages, NULL, CTX_NONE);
 437 }
 438
 439
 440 void
 441 SessionNewModule_GETTEXT
 442 (wcsession *sess)
 443 {
 444 #ifdef ENABLE_NLS
 445         if (    (sess != NULL)
 446                 && (!sess->Hdr->HR.Static)
 447                 && (sess->Hdr->HR.browser_language != NULL)
 448         ) {
 449                 httplang_to_locale(sess->Hdr->HR.browser_language, sess);
 450         }
 451 #endif
 452 }
 453
 454 void
 455 SessionAttachModule_GETTEXT
 456 (wcsession *sess)
 457 {
 458 #ifdef ENABLE_NLS
 459         go_selected_language();                                 /* set locale */
 460 #endif
 461 }
 462
 463 void
 464 SessionDestroyModule_GETTEXT
 465 (wcsession *sess)
 466 {
 467 #ifdef ENABLE_NLS
 468         stop_selected_language();                               /* unset locale */
 469 #endif
 470 }