webcit/gettext.c

   1 /*
   2  * Copyright (c) 1996-2012 by the citadel.org team
   3  *
   4  * This program is open source software.  You can redistribute it and/or
   5  * modify it under the terms of the GNU General Public License version 3.
   6  *
   7  * This program is distributed in the hope that it will be useful,
   8  * but WITHOUT ANY WARRANTY; without even the implied warranty of
   9  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  10  * GNU General Public License for more details.
  11  */
  12
  13 #include "webcit.h"
  14 #include "webserver.h"
  15 #define SEARCH_LANG 20          /* how many langs should we parse? */
  16
  17 #ifdef ENABLE_NLS
  18 /* actual supported locales */
  19 const char *AvailLang[] = {
  20         "C",
  21         "bg_BG",
  22         "cs_CZ",
  23         "en_US",
  24         "da_DK",
  25         "de_DE",
  26         "el_GR",
  27         "en_GB",
  28         "es_ES",
  29         "et_EE",
  30         "fi_FI",
  31         "fr_FR",
  32         "hu_HU",
  33         "it_IT",
  34         "nl_NL",
  35         "pt_BR",
  36         "ru_RU",
  37         "zh_CN",
  38         "he_IL",
  39         "kk_KK",
  40         "ro_RO",
  41         "sl_SL",
  42         ""
  43 };
  44
  45 const char **AvailLangLoaded;
  46 long nLocalesLoaded = 0;
  47
  48 #ifdef HAVE_USELOCALE
  49 locale_t *wc_locales; /* here we keep the parsed stuff */
  50 #endif
  51
  52 /* Keep information about one locale */
  53 typedef struct _lang_pref{
  54         char lang[16];          /* the language locale string */
  55         char region[16];        /* the region locale string */
  56         long priority;          /* which priority does it have */
  57         int availability;       /* do we know it? */
  58         int selectedlang;       /* is this the selected language? */
  59 } LangStruct;
  60
  61 /* parse browser locale header
  62  *
  63  * seems as most browsers just do a one after comma value even if more than 10 locales are available. Sample strings:
  64  * opera:
  65  * Accept-Language: sq;q=1.0,de;q=0.9,as;q=0.8,ar;q=0.7,bn;q=0.6,zh-cn;q=0.5,kn;q=0.4,ch;q=0.3,fo;q=0.2,gn;q=0.1,ce;q=0.1,ie;q=0.1
  66  * Firefox
  67  * Accept-Language: 'de-de,en-us;q=0.7,en;q=0.3'
  68  * Accept-Language: de,en-ph;q=0.8,en-us;q=0.5,de-at;q=0.3
  69  * Accept-Language: de,en-us;q=0.9,it;q=0.9,de-de;q=0.8,en-ph;q=0.7,de-at;q=0.7,zh-cn;q=0.6,cy;q=0.5,ar-om;q=0.5,en-tt;q=0.4,xh;q=0.3,nl-be;q=0.3,cs;q=0.2,sv;q=0.1,tk;q=0.1
  70  */
  71
  72 void httplang_to_locale(StrBuf *LocaleString, wcsession *sess)
  73 {
  74         LangStruct wanted_locales[SEARCH_LANG];
  75         LangStruct *ls;
  76
  77         int i = 0;
  78         int j = 0;
  79         /* size_t len = strlen(LocaleString); */
  80         long prio;
  81         int av;
  82         int nBest;
  83         int nParts;
  84         StrBuf *Buf = NULL;
  85         StrBuf *SBuf = NULL;
  86
  87         nParts = StrBufNum_tokens(LocaleString, ',');
  88         for (i=0; ((i<nParts) && (i < SEARCH_LANG)); i++)
  89         {
  90                 char lbuf[32];
  91                 int blen;
  92
  93                 if (Buf == NULL) {
  94                         Buf = NewStrBuf();
  95                         SBuf = NewStrBuf();
  96                 }
  97                 else {
  98                         FlushStrBuf(Buf);
  99                         FlushStrBuf(SBuf);
 100                 }
 101
 102                 ls = &wanted_locales[i];
 103
 104                 StrBufExtract_token(Buf, LocaleString, i, ',');
 105                 /* we are searching, if this list item has something like ;q=n*/
 106                 if (StrBufNum_tokens(Buf, '=') > 1) {
 107                         int sbuflen, k;
 108                         StrBufExtract_token(SBuf, Buf, 1, '=');
 109                         sbuflen = StrLength(SBuf);
 110                         for (k = 0; k < sbuflen; k++) {
 111                                 if (ChrPtr(SBuf)[k] == '.') {
 112                                         StrBufPeek(SBuf, NULL, k, '0');
 113                                 }
 114                         }
 115                         ls->priority = StrTol(SBuf);
 116                 }
 117                 else {
 118                         ls->priority = 1000;
 119                 }
 120
 121                 /* get the locale part */
 122                 StrBufExtract_token(SBuf, Buf, 0, ';');
 123
 124                 /* get the lang part, which should be allways there */
 125                 extract_token(&ls->lang[0],
 126                               ChrPtr(SBuf),
 127                               0, '-',
 128                               sizeof(ls->lang));
 129
 130                 /* get the area code if any. */
 131                 if (StrBufNum_tokens(SBuf, '-') > 1) {
 132                         extract_token(&ls->region[0],
 133                                       ChrPtr(SBuf),
 134                                       1, '-',
 135                                       sizeof(ls->region)
 136                         );
 137                 }
 138                 else { /* no ara code? use lang code */
 139                         blen=strlen(&ls->lang[0]);
 140                         memcpy(&ls->region[0], ls->lang, blen);
 141                         ls->region[blen] = '\0';
 142                 }
 143
 144                 /* area codes are uppercase */
 145                 blen = strlen(&ls->region[0]);
 146                 for (j = 0; j < blen; j++)
 147                 {
 148                         int chars;
 149                         chars = toupper(ls->region[j]);
 150                         ls->region[j] = (char)chars; /* todo ? */
 151                 }
 152                 snprintf(&lbuf[0],
 153                          sizeof(lbuf),
 154                          "%s_%s",
 155                          &ls->lang[0],
 156                          &ls->region[0]);
 157
 158                 /* check if we have this lang */
 159                 ls->availability = 1;
 160                 ls->selectedlang = -1;
 161                 for (j = 0; j < nLocalesLoaded; j++) {
 162                         int result;
 163                         /* match against the LANG part */
 164                         result = strcasecmp(&ls->lang[0], AvailLangLoaded[j]);
 165                         if ((result < 0) && (result < ls->availability)){
 166                                 ls->availability = result;
 167                                 ls->selectedlang = j;
 168                         }
 169                         /* match against lang and locale */
 170                         if (0 == strcasecmp(&lbuf[0], AvailLangLoaded[j])){
 171                                 ls->availability = 0;
 172                                 ls->selectedlang = j;
 173                                 j = nLocalesLoaded;
 174                         }
 175                 }
 176         }
 177
 178         prio = 0;
 179         av = -1000;
 180         nBest = -1;
 181         for (i = 0; ((i < nParts) && (i<SEARCH_LANG)); i++) {
 182                 ls = &wanted_locales[i];
 183                 if (    (ls->availability <= 0)
 184                         && (av < ls->availability)
 185                         && (prio < ls->priority)
 186                         && (ls->selectedlang != -1)
 187                 ) {
 188                         nBest = ls->selectedlang;
 189                         av = ls->availability;
 190                         prio = ls->priority;
 191                 }
 192         }
 193         if (nBest == -1) {
 194                 /* fall back to C */
 195                 nBest=0;
 196         }
 197         sess->selected_language = nBest;
 198         syslog(9, "language found: %s", AvailLangLoaded[WC->selected_language]);
 199         FreeStrBuf(&Buf);
 200         FreeStrBuf(&SBuf);
 201 }
 202
 203
 204 /*
 205  * show the language chooser on the login dialog
 206  * depending on the browser locale change the sequence of the
 207  * language chooser.
 208  */
 209 void tmplput_offer_languages(StrBuf *Target, WCTemplputParams *TP)
 210 {
 211         int i;
 212 #ifndef HAVE_USELOCALE
 213         char *Lang = getenv("LANG");
 214
 215         if (Lang == NULL)
 216                 Lang = "C";
 217 #endif
 218
 219         if (nLocalesLoaded == 1) {
 220                 wc_printf("<p>%s</p>", AvailLangLoaded[0]);
 221                 return;
 222         }
 223
 224         wc_printf("<select name=\"language\" id=\"lname\" size=\"1\" onChange=\"switch_to_lang($('lname').value);\">\n");
 225
 226         for (i=0; i < nLocalesLoaded; ++i) {
 227 #ifndef HAVE_USELOCALE
 228                 if (strcmp(AvailLangLoaded[i], Lang) == 0)
 229 #endif
 230                 wc_printf("<option %s value=%s>%s</option>\n",
 231                         ((WC->selected_language == i) ? "selected" : ""),
 232                         AvailLangLoaded[i],
 233                         AvailLangLoaded[i]
 234                 );
 235         }
 236
 237         wc_printf("</select>\n");
 238 }
 239
 240 /*
 241  * Set the selected language for this session.
 242  */
 243 void set_selected_language(const char *lang) {
 244 #ifdef HAVE_USELOCALE
 245         int i;
 246         for (i = 0; i<nLocalesLoaded; ++i) {
 247                 if (!strcasecmp(lang, AvailLangLoaded[i])) {
 248                         WC->selected_language = i;
 249                         break;
 250                 }
 251         }
 252 #endif
 253 }
 254
 255 /*
 256  * Activate the selected language for this session.
 257  */
 258 void go_selected_language(void) {
 259 #ifdef HAVE_USELOCALE
 260         wcsession *WCC = WC;
 261         if (WCC->selected_language < 0) return;
 262         uselocale(wc_locales[WCC->selected_language]);  /* switch locales */
 263         textdomain(textdomain(NULL));                   /* clear the cache */
 264 #else
 265         char *language;
 266
 267         language = getenv("LANG");
 268         setlocale(LC_MESSAGES, language);
 269 #endif
 270 }
 271
 272 /*
 273  * Deactivate the selected language for this session.
 274  */
 275 void stop_selected_language(void) {
 276 #ifdef HAVE_USELOCALE
 277         uselocale(LC_GLOBAL_LOCALE);                    /* switch locales */
 278         textdomain(textdomain(NULL));                   /* clear the cache */
 279 #endif
 280 }
 281
 282 #ifdef HAVE_USELOCALE
 283         locale_t Empty_Locale;
 284 #endif
 285
 286 /*
 287  * Create a locale_t for each available language
 288  */
 289 void initialize_locales(void) {
 290         int nLocales;
 291         int i;
 292         char buf[32];
 293         char *language = NULL;
 294
 295         nLocales = 0;
 296         while (!IsEmptyStr(AvailLang[nLocales]))
 297                 nLocales++;
 298
 299         language = getenv("WEBCIT_LANG");
 300         if ((language) && (!IsEmptyStr(language)) && (strcmp(language, "UNLIMITED") != 0)) {
 301                 syslog(9, "Nailing locale to %s", language);
 302         }
 303         else language = NULL;
 304
 305         AvailLangLoaded = malloc (sizeof(char*) * nLocales);
 306         memset(AvailLangLoaded, 0, sizeof(char*) * nLocales);
 307 #ifdef HAVE_USELOCALE
 308         wc_locales = malloc (sizeof(locale_t) * nLocales);
 309         memset(wc_locales,0, sizeof(locale_t) * nLocales);
 310         /* create default locale */
 311         Empty_Locale = newlocale(LC_ALL_MASK, NULL, NULL);
 312 #endif
 313
 314         for (i = 0; i < nLocales; ++i) {
 315                 if ((language != NULL) && (strcmp(AvailLang[i], language) != 0))
 316                         continue;
 317                 if (i == 0) {
 318                         sprintf(buf, "%s", AvailLang[i]);       /* locale 0 (C) is ascii, not utf-8 */
 319                 }
 320                 else {
 321                         sprintf(buf, "%s.UTF8", AvailLang[i]);
 322                 }
 323 #ifdef HAVE_USELOCALE
 324                 wc_locales[nLocalesLoaded] = newlocale(
 325                         (LC_MESSAGES_MASK|LC_TIME_MASK),
 326                         buf,
 327                         (((i > 0) && (wc_locales[0] != NULL)) ? wc_locales[0] : Empty_Locale)
 328                 );
 329                 if (wc_locales[nLocalesLoaded] == NULL) {
 330                         syslog(1, "locale for %s disabled: %s", buf, strerror(errno));
 331                 }
 332                 else {
 333                         syslog(3, "Found locale: %s", buf);
 334                         AvailLangLoaded[nLocalesLoaded] = AvailLang[i];
 335                         nLocalesLoaded++;
 336                 }
 337 #else
 338                 if ((language != NULL) && (strcmp(language, AvailLang[i]) == 0)) {
 339                         setenv("LANG", buf, 1);
 340                         AvailLangLoaded[nLocalesLoaded] = AvailLang[i];
 341                         setlocale(LC_MESSAGES, AvailLang[i]);
 342                         nLocalesLoaded++;
 343                 }
 344                 else if (nLocalesLoaded == 0) {
 345                         setenv("LANG", buf, 1);
 346                         AvailLangLoaded[nLocalesLoaded] = AvailLang[i];
 347                         nLocalesLoaded++;
 348                 }
 349 #endif
 350         }
 351         if ((language != NULL) && (nLocalesLoaded == 0)) {
 352                 syslog(1, "Your selected locale [%s] isn't available on your system. falling back to C", language);
 353 #ifdef HAVE_USELOCALE
 354                 wc_locales[0] = newlocale(
 355                         (LC_MESSAGES_MASK|LC_TIME_MASK),
 356                         AvailLang[0],
 357                         Empty_Locale
 358                 );
 359 #else
 360                 setlocale(LC_MESSAGES, AvailLang[0]);
 361                 setenv("LANG", AvailLang[0], 1);
 362 #endif
 363                 AvailLangLoaded[0] = AvailLang[0];
 364                 nLocalesLoaded = 1;
 365         }
 366
 367 #ifdef ENABLE_NLS
 368         setlocale(LC_ALL, "");
 369         syslog(9, "Message catalog directory: %s", bindtextdomain("webcit", LOCALEDIR"/locale"));
 370         syslog(9, "Text domain: %s", textdomain("webcit"));
 371         syslog(9, "Text domain Charset: %s", bind_textdomain_codeset("webcit","UTF8"));
 372 #endif
 373 }
 374
 375
 376 void
 377 ServerShutdownModule_GETTEXT
 378 (void)
 379 {
 380 #ifdef HAVE_USELOCALE
 381         int i;
 382         for (i = 0; i < nLocalesLoaded; ++i) {
 383                 if (Empty_Locale != wc_locales[i]) {
 384                         freelocale(wc_locales[i]);
 385                 }
 386         }
 387         free(wc_locales);
 388 #endif
 389         free(AvailLangLoaded);
 390 }
 391
 392 #else   /* ENABLE_NLS */
 393 const char *AvailLang[] = {
 394         "C",
 395         ""
 396 };
 397
 398 /* dummy for non NLS enabled systems */
 399 void tmplput_offer_languages(StrBuf *Target, WCTemplputParams *TP)
 400 {
 401         wc_printf("English (US)");
 402 }
 403
 404 /* dummy for non NLS enabled systems */
 405 void set_selected_language(const char *lang) {
 406 }
 407
 408 /* dummy for non NLS enabled systems */
 409 void go_selected_language(void) {
 410 }
 411
 412 /* dummy for non NLS enabled systems */
 413 void stop_selected_language(void) {
 414 }
 415
 416 void initialize_locales(void) {
 417 }
 418
 419 #endif  /* ENABLE_NLS */
 420
 421
 422 void TmplGettext(StrBuf *Target, WCTemplputParams *TP)
 423 {
 424         StrBufAppendBufPlain(Target, _(TP->Tokens->Params[0]->Start), -1, 0);
 425 }
 426
 427
 428 /*
 429  * Returns the language currently in use.
 430  * This function returns a static string, so don't do anything stupid please.
 431  */
 432 const char *get_selected_language(void) {
 433 #ifdef ENABLE_NLS
 434 #ifdef HAVE_USELOCALE
 435         return AvailLang[WC->selected_language];
 436 #else
 437         return "en";
 438 #endif
 439 #else
 440         return "en";
 441 #endif
 442 }
 443
 444
 445 void Header_HandleAcceptLanguage(StrBuf *Line, ParsedHttpHdrs *hdr)
 446 {
 447         hdr->HR.browser_language = Line;
 448 }
 449
 450
 451 void
 452 InitModule_GETTEXT
 453 (void)
 454 {
 455         initialize_locales();
 456
 457         RegisterHeaderHandler(HKEY("ACCEPT-LANGUAGE"),
 458                               Header_HandleAcceptLanguage);
 459
 460         RegisterNamespace("LANG:SELECT", 0, 0,
 461                           tmplput_offer_languages, NULL, CTX_NONE);
 462 }
 463
 464
 465 void
 466 SessionNewModule_GETTEXT
 467 (wcsession *sess)
 468 {
 469 #ifdef ENABLE_NLS
 470         if (    (sess != NULL)
 471                 && (!sess->Hdr->HR.Static)
 472                 && (sess->Hdr->HR.browser_language != NULL)
 473         ) {
 474                 httplang_to_locale(sess->Hdr->HR.browser_language, sess);
 475         }
 476 #endif
 477 }
 478
 479 void
 480 SessionAttachModule_GETTEXT
 481 (wcsession *sess)
 482 {
 483 #ifdef ENABLE_NLS
 484         go_selected_language();                                 /* set locale */
 485 #endif
 486 }
 487
 488 void
 489 SessionDestroyModule_GETTEXT
 490 (wcsession *sess)
 491 {
 492 #ifdef ENABLE_NLS
 493         stop_selected_language();                               /* unset locale */
 494 #endif
 495 }