citadel/modules/nntp/serv_nntp.c

   1 /*
   2  * NNTP server module FIXME THIS IS NOT FINISHED
   3  *
   4  * Copyright (c) 2014 by the citadel.org team
   5  *
   6  * This program is open source software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License version 3.
   8  *
   9  * This program is distributed in the hope that it will be useful,
  10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12  * GNU General Public License for more details.
  13  */
  14
  15 #include "sysdep.h"
  16 #include <stdlib.h>
  17 #include <unistd.h>
  18 #include <stdio.h>
  19 #include <termios.h>
  20 #include <fcntl.h>
  21 #include <signal.h>
  22 #include <pwd.h>
  23 #include <errno.h>
  24 #include <sys/types.h>
  25 #include <syslog.h>
  26
  27 #if TIME_WITH_SYS_TIME
  28 # include <sys/time.h>
  29 # include <time.h>
  30 #else
  31 # if HAVE_SYS_TIME_H
  32 #  include <sys/time.h>
  33 # else
  34 #  include <time.h>
  35 # endif
  36 #endif
  37
  38 #include <sys/wait.h>
  39 #include <ctype.h>
  40 #include <string.h>
  41 #include <limits.h>
  42 #include <sys/socket.h>
  43 #include <netinet/in.h>
  44 #include <arpa/inet.h>
  45 #include <libcitadel.h>
  46 #include "citadel.h"
  47 #include "server.h"
  48 #include "citserver.h"
  49 #include "support.h"
  50 #include "config.h"
  51 #include "control.h"
  52 #include "user_ops.h"
  53 #include "room_ops.h"
  54 #include "database.h"
  55 #include "msgbase.h"
  56 #include "internet_addressing.h"
  57 #include "genstamp.h"
  58 #include "domain.h"
  59 #include "clientsocket.h"
  60 #include "locate_host.h"
  61 #include "citadel_dirs.h"
  62 #include "ctdl_module.h"
  63 #include "serv_nntp.h"
  64
  65 extern long timezone;
  66
  67 /****************** BEGIN UTILITY FUNCTIONS THAT COULD BE MOVED ELSEWHERE LATER **************/
  68
  69
  70 /*
  71  * Tests whether the supplied string is a valid newsgroup name
  72  * Returns true (nonzero) or false (0)
  73  */
  74 int is_valid_newsgroup_name(char *name) {
  75         char *ptr = name;
  76         int has_a_letter = 0;
  77
  78         if (!ptr) return(0);
  79         if (!strncasecmp(name, "ctdl.", 5)) return(0);
  80
  81         while (*ptr != 0) {
  82
  83                 if (isalpha(ptr[0])) {
  84                         has_a_letter = 1;
  85                 }
  86
  87                 if (    (isalnum(ptr[0]))
  88                         || (ptr[0] == '.')
  89                         || (ptr[0] == '+')
  90                         || (ptr[0] == '-')
  91                 ) {
  92                         ++ptr;
  93                 }
  94                 else {
  95                         return(0);
  96                 }
  97         }
  98         return(has_a_letter);
  99 }
 100
 101
 102
 103 /*
 104  * Convert a Citadel room name to a valid newsgroup name
 105  */
 106 void room_to_newsgroup(char *target, char *source, size_t target_size) {
 107
 108         if (!target) return;
 109         if (!source) return;
 110
 111         if (is_valid_newsgroup_name(source)) {
 112                 strncpy(target, source, target_size);
 113                 return;
 114         }
 115
 116         strcpy(target, "ctdl.");
 117         int len = 5;
 118         char *ptr = source;
 119         char ch;
 120
 121         while (ch=*ptr++, ch!=0) {
 122                 if (len >= target_size) return;
 123                 if (    (isalnum(ch))
 124                         || (ch == '.')
 125                         || (ch == '-')
 126                 ) {
 127                         target[len++] = ch;
 128                         target[len] = 0;
 129                 }
 130                 else {
 131                         target[len++] = '+' ;
 132                         sprintf(&target[len], "%02x", ch);
 133                         len += 2;
 134                         target[len] = 0;
 135                 }
 136         }
 137 }
 138
 139
 140 /*
 141  * Convert a newsgroup name to a Citadel room name.
 142  * This function recognizes names converted with room_to_newsgroup() and restores them with full fidelity.
 143  */
 144 void newsgroup_to_room(char *target, char *source, size_t target_size) {
 145
 146         if (!target) return;
 147         if (!source) return;
 148
 149         if (strncasecmp(source, "ctdl.", 5)) {                  // not a converted room name; pass through as-is
 150                 strncpy(target, source, target_size);
 151                 return;
 152         }
 153
 154         target[0] = 0;
 155         int len = 0;
 156         char *ptr = &source[5];
 157         char ch;
 158
 159         while (ch=*ptr++, ch!=0) {
 160                 if (len >= target_size) return;
 161                 if (ch == '+') {
 162                         char hex[3];
 163                         long digit;
 164                         hex[0] = *ptr++;
 165                         hex[1] = *ptr++;
 166                         hex[2] = 0;
 167                         digit = strtol(hex, NULL, 16);
 168                         ch = (char)digit;
 169                 }
 170                 target[len++] = ch;
 171                 target[len] = 0;
 172         }
 173 }
 174
 175
 176 /******************  END  UTILITY FUNCTIONS THAT COULD BE MOVED ELSEWHERE LATER **************/
 177
 178
 179
 180 /*
 181  * Here's where our NNTP session begins its happy day.
 182  */
 183 void nntp_greeting(void)
 184 {
 185         strcpy(CC->cs_clientname, "NNTP session");
 186         CC->cs_flags |= CS_STEALTH;
 187
 188         /* CC->session_specific_data = malloc(sizeof(citnntp));
 189         memset(NNTP, 0, sizeof(citnntp));
 190         */
 191
 192         if (CC->nologin==1) {
 193                 cprintf("451 Too many connections are already open; please try again later.\r\n");
 194                 CC->kill_me = KILLME_MAX_SESSIONS_EXCEEDED;
 195                 return;
 196         }
 197
 198         /* Note: the FQDN *must* appear as the first thing after the 220 code.
 199          * Some clients (including citmail.c) depend on it being there.
 200          */
 201         cprintf("200 %s NNTP Citadel server is not finished yet\r\n", config.c_fqdn);
 202 }
 203
 204
 205 /*
 206  * NNTPS is just like NNTP, except it goes crypto right away.
 207  */
 208 void nntps_greeting(void) {
 209         CtdlModuleStartCryptoMsgs(NULL, NULL, NULL);
 210 #ifdef HAVE_OPENSSL
 211         if (!CC->redirect_ssl) CC->kill_me = KILLME_NO_CRYPTO;          /* kill session if no crypto */
 212 #endif
 213         nntp_greeting();
 214 }
 215
 216
 217
 218 /*
 219  * implements the STARTTLS command
 220  */
 221 void nntp_starttls(void)
 222 {
 223         char ok_response[SIZ];
 224         char nosup_response[SIZ];
 225         char error_response[SIZ];
 226
 227         sprintf(ok_response, "382 Begin TLS negotiation now\r\n");
 228         sprintf(nosup_response, "502 Can not initiate TLS negotiation\r\n");
 229         sprintf(error_response, "580 Internal error\r\n");
 230         CtdlModuleStartCryptoMsgs(ok_response, nosup_response, error_response);
 231 }
 232
 233
 234 void nntp_capabilities(void)
 235 {
 236         cprintf("101 Capability list:\r\n");
 237         cprintf("VERSION 2\r\n");
 238         cprintf("READER\r\n");
 239         cprintf("LIST ACTIVE NEWSGROUPS\r\n");
 240         cprintf("IMPLEMENTATION Citadel v%d.%02d\r\n", (REV_LEVEL/100), (REV_LEVEL%100));
 241 #ifdef HAVE_OPENSSL
 242         cprintf("STARTTLS\r\n");
 243 #endif
 244         if (!CC->logged_in) {
 245                 cprintf("AUTHINFO USER\r\n");
 246         }
 247         cprintf(".\r\n");
 248 }
 249
 250
 251 void nntp_quit(void)
 252 {
 253         cprintf("221 Goodbye...\r\n");
 254         CC->kill_me = KILLME_CLIENT_LOGGED_OUT;
 255 }
 256
 257
 258 void nntp_cleanup(void)
 259 {
 260         /* nothing here yet */
 261 }
 262
 263
 264
 265 /*
 266  * Implements the AUTHINFO USER command (RFC 4643)
 267  */
 268 void nntp_authinfo_user(const char *username)
 269 {
 270         int a = CtdlLoginExistingUser(NULL, username);
 271         switch (a) {
 272         case login_already_logged_in:
 273                 cprintf("482 Already logged in\r\n");
 274                 return;
 275         case login_too_many_users:
 276                 cprintf("481 Too many users are already online (maximum is %d)\r\n", config.c_maxsessions);
 277                 return;
 278         case login_ok:
 279                 cprintf("381 Password required for %s\r\n", CC->curr_user);
 280                 return;
 281         case login_not_found:
 282                 cprintf("481 %s not found\r\n", username);
 283                 return;
 284         default:
 285                 cprintf("502 Internal error\r\n");
 286         }
 287 }
 288
 289
 290 /*
 291  * Implements the AUTHINFO PASS command (RFC 4643)
 292  */
 293 void nntp_authinfo_pass(const char *buf)
 294 {
 295         int a;
 296
 297         a = CtdlTryPassword(buf, strlen(buf));
 298
 299         switch (a) {
 300         case pass_already_logged_in:
 301                 cprintf("482 Already logged in\r\n");
 302                 return;
 303         case pass_no_user:
 304                 cprintf("482 Authentication commands issued out of sequence\r\n");
 305                 return;
 306         case pass_wrong_password:
 307                 cprintf("481 Authentication failed\r\n");
 308                 return;
 309         case pass_ok:
 310                 cprintf("281 Authentication accepted\r\n");
 311                 return;
 312         }
 313 }
 314
 315
 316
 317 /*
 318  * Implements the AUTHINFO extension (RFC 4643) in USER/PASS mode
 319  */
 320 void nntp_authinfo(const char *cmd) {
 321
 322         if (!strncasecmp(cmd, "authinfo user ", 14)) {
 323                 nntp_authinfo_user(&cmd[14]);
 324         }
 325
 326         else if (!strncasecmp(cmd, "authinfo pass ", 14)) {
 327                 nntp_authinfo_pass(&cmd[14]);
 328         }
 329
 330         else {
 331                 cprintf("502 command unavailable\r\n");
 332         }
 333 }
 334
 335
 336 /*
 337  * Utility function to fetch the current list of message numbers in a room
 338  */
 339 struct nntp_msglist nntp_fetch_msglist(struct ctdlroom *qrbuf) {
 340         struct nntp_msglist nm;
 341         struct cdbdata *cdbfr;
 342
 343         cdbfr = cdb_fetch(CDB_MSGLISTS, &qrbuf->QRnumber, sizeof(long));
 344         if (cdbfr != NULL) {
 345                 nm.msgnums = (long*)cdbfr->ptr;
 346                 cdbfr->ptr = NULL;
 347                 nm.num_msgs = cdbfr->len / sizeof(long);
 348                 cdbfr->len = 0;
 349                 cdb_free(cdbfr);
 350         } else {
 351                 nm.num_msgs = 0;
 352                 nm.msgnums = NULL;
 353         }
 354         return(nm);
 355 }
 356
 357
 358
 359 /*
 360  * Various output formats for the LIST commands
 361  */
 362 enum {
 363         NNTP_LIST_ACTIVE,
 364         NNTP_LIST_ACTIVE_TIMES,
 365         NNTP_LIST_DISTRIB_PATS,
 366         NNTP_LIST_HEADERS,
 367         NNTP_LIST_NEWSGROUPS,
 368         NNTP_LIST_OVERVIEW_FMT
 369 };
 370
 371
 372 /*
 373  * Output a room name (newsgroup name) in formats required for LIST and NEWGROUPS command
 374  */
 375 void output_roomname_in_list_format(struct ctdlroom *qrbuf, int which_format, char *wildmat_pattern) {
 376         char n_name[1024];
 377         struct nntp_msglist nm;
 378         long low_water_mark = 0;
 379         long high_water_mark = 0;
 380
 381         room_to_newsgroup(n_name, qrbuf->QRname, sizeof n_name);
 382
 383         if ((wildmat_pattern != NULL) && (!IsEmptyStr(wildmat_pattern))) {
 384                 if (!wildmat(n_name, wildmat_pattern)) {
 385                         return;
 386                 }
 387         }
 388
 389         nm = nntp_fetch_msglist(qrbuf);
 390         if ((nm.num_msgs > 0) && (nm.msgnums != NULL)) {
 391                 low_water_mark = nm.msgnums[0];
 392                 high_water_mark = nm.msgnums[nm.num_msgs - 1];
 393         }
 394
 395         // Only the mandatory formats are supported
 396         switch(which_format) {
 397         case NNTP_LIST_ACTIVE:
 398                 // FIXME we have hardcoded "n" for "no posting allowed" -- fix when we add posting
 399                 cprintf("%s %ld %ld n\r\n", n_name, high_water_mark, low_water_mark);
 400                 break;
 401         case NNTP_LIST_NEWSGROUPS:
 402                 cprintf("%s %s\r\n", n_name, qrbuf->QRname);
 403                 break;
 404         }
 405
 406         if (nm.msgnums != NULL) {
 407                 free(nm.msgnums);
 408         }
 409 }
 410
 411
 412
 413 /*
 414  * Called once per room by nntp_newgroups() to qualify and possibly output a single room
 415  */
 416 void nntp_newgroups_backend(struct ctdlroom *qrbuf, void *data)
 417 {
 418         int ra;
 419         int view;
 420         time_t thetime = *(time_t *)data;
 421
 422         CtdlRoomAccess(qrbuf, &CC->user, &ra, &view);
 423
 424         /*
 425          * The "created after <date/time>" heuristics depend on the happy coincidence
 426          * that for a very long time we have used a unix timestamp as the room record's
 427          * generation number (QRgen).  When this module is merged into the master
 428          * source tree we should rename QRgen to QR_create_time or something like that.
 429          */
 430
 431         if (ra & UA_KNOWN) {
 432                 if (qrbuf->QRgen >= thetime) {
 433                         output_roomname_in_list_format(qrbuf, NNTP_LIST_ACTIVE, NULL);
 434                 }
 435         }
 436 }
 437
 438
 439 /*
 440  * Implements the NEWGROUPS command
 441  */
 442 void nntp_newgroups(const char *cmd) {
 443         /*
 444          * HACK: this works because the 5XX series error codes from citadel
 445          * protocol will also be considered error codes by an NNTP client
 446          */
 447         if (CtdlAccessCheck(ac_logged_in_or_guest)) return;
 448
 449
 450         char stringy_date[16];
 451         char stringy_time[16];
 452         char stringy_gmt[16];
 453         struct tm tm;
 454         time_t thetime;
 455
 456         extract_token(stringy_date, cmd, 1, ' ', sizeof stringy_date);
 457         extract_token(stringy_time, cmd, 2, ' ', sizeof stringy_time);
 458         extract_token(stringy_gmt, cmd, 3, ' ', sizeof stringy_gmt);
 459
 460         memset(&tm, 0, sizeof tm);
 461         if (strlen(stringy_date) == 6) {
 462                 sscanf(stringy_date, "%2d%2d%2d", &tm.tm_year, &tm.tm_mon, &tm.tm_mday);
 463                 tm.tm_year += 100;
 464         }
 465         else {
 466                 sscanf(stringy_date, "%4d%2d%2d", &tm.tm_year, &tm.tm_mon, &tm.tm_mday);
 467                 tm.tm_year -= 1900;
 468         }
 469         tm.tm_mon -= 1;         // tm_mon is zero based (0=January)
 470         tm.tm_isdst = (-1);     // let the C library figure out whether DST is in effect
 471         sscanf(stringy_time, "%2d%2d%2d", &tm.tm_hour, &tm.tm_min ,&tm.tm_sec);
 472         thetime = mktime(&tm);
 473         if (!strcasecmp(stringy_gmt, "GMT")) {
 474                 tzset();
 475                 thetime += timezone;
 476         }
 477
 478
 479         cprintf("231 list of new newsgroups follows\r\n");
 480         CtdlGetUser(&CC->user, CC->curr_user);
 481         CtdlForEachRoom(nntp_newgroups_backend, &thetime);
 482         cprintf(".\r\n");
 483 }
 484
 485
 486 /*
 487  * Called once per room by nntp_list() to qualify and possibly output a single room
 488  */
 489 void nntp_list_backend(struct ctdlroom *qrbuf, void *data)
 490 {
 491         int ra;
 492         int view;
 493         struct nntp_list_data *nld = (struct nntp_list_data *)data;
 494
 495         CtdlRoomAccess(qrbuf, &CC->user, &ra, &view);
 496         if (ra & UA_KNOWN) {
 497                 output_roomname_in_list_format(qrbuf, nld->list_format, nld->wildmat_pattern);
 498         }
 499 }
 500
 501
 502 /*
 503  * Implements the LIST commands
 504  */
 505 void nntp_list(const char *cmd) {
 506         /*
 507          * HACK: this works because the 5XX series error codes from citadel
 508          * protocol will also be considered error codes by an NNTP client
 509          */
 510         if (CtdlAccessCheck(ac_logged_in_or_guest)) return;
 511
 512         char list_format[64];
 513         char wildmat_pattern[1024];
 514         struct nntp_list_data nld;
 515
 516         extract_token(list_format, cmd, 1, ' ', sizeof list_format);
 517         extract_token(wildmat_pattern, cmd, 2, ' ', sizeof wildmat_pattern);
 518
 519         if (strlen(wildmat_pattern) > 0) {
 520                 nld.wildmat_pattern = wildmat_pattern;
 521         }
 522         else {
 523                 nld.wildmat_pattern = NULL;
 524         }
 525
 526         if ( (strlen(cmd) < 6) || (!strcasecmp(list_format, "ACTIVE")) ) {
 527                 nld.list_format = NNTP_LIST_ACTIVE;
 528         }
 529         else if (!strcasecmp(list_format, "NEWSGROUPS")) {
 530                 nld.list_format = NNTP_LIST_NEWSGROUPS;
 531         }
 532         else {
 533                 cprintf("501 syntax error , unsupported list format\r\n");
 534                 return;
 535         }
 536
 537         cprintf("231 list of newsgroups follows\r\n");
 538         CtdlGetUser(&CC->user, CC->curr_user);
 539         CtdlForEachRoom(nntp_list_backend, &nld);
 540         cprintf(".\r\n");
 541 }
 542
 543
 544 /*
 545  * Implement HELP command.
 546  */
 547 void nntp_help(void) {
 548         cprintf("100 This is the Citadel NNTP service.\r\n");
 549         cprintf("RTFM http://www.ietf.org/rfc/rfc3977.txt\r\n");
 550         cprintf(".\r\n");
 551 }
 552
 553
 554 /*
 555  * Main command loop for NNTP server sessions.
 556  */
 557 void nntp_command_loop(void)
 558 {
 559         StrBuf *Cmd = NewStrBuf();
 560         char cmdname[16];
 561
 562         time(&CC->lastcmd);
 563         if (CtdlClientGetLine(Cmd) < 1) {
 564                 syslog(LOG_CRIT, "NNTP: client disconnected: ending session.\n");
 565                 CC->kill_me = KILLME_CLIENT_DISCONNECTED;
 566                 FreeStrBuf(&Cmd);
 567                 return;
 568         }
 569         syslog(LOG_DEBUG, "NNTP server: %s\n", ChrPtr(Cmd));
 570         extract_token(cmdname, ChrPtr(Cmd), 0, ' ', sizeof cmdname);
 571
 572         /*
 573          * Rumpelstiltskin lookups are awesome
 574          */
 575
 576         if (!strcasecmp(cmdname, "quit")) {
 577                 nntp_quit();
 578         }
 579
 580         else if (!strcasecmp(cmdname, "help")) {
 581                 nntp_help();
 582         }
 583
 584         else if (!strcasecmp(cmdname, "capabilities")) {
 585                 nntp_capabilities();
 586         }
 587
 588         else if (!strcasecmp(cmdname, "starttls")) {
 589                 nntp_starttls();
 590         }
 591
 592         else if (!strcasecmp(cmdname, "authinfo")) {
 593                 nntp_authinfo(ChrPtr(Cmd));
 594         }
 595
 596         else if (!strcasecmp(cmdname, "newgroups")) {
 597                 nntp_newgroups(ChrPtr(Cmd));
 598         }
 599
 600         else if (!strcasecmp(cmdname, "list")) {
 601                 nntp_list(ChrPtr(Cmd));
 602         }
 603
 604         else {
 605                 cprintf("500 I'm afraid I can't do that.\r\n");
 606         }
 607
 608         FreeStrBuf(&Cmd);
 609 }
 610
 611
 612 /*****************************************************************************/
 613 /*                    MODULE INITIALIZATION STUFF                         */
 614 /*****************************************************************************/
 615
 616
 617 /*
 618  * This cleanup function blows away the temporary memory used by
 619  * the NNTP server.
 620  */
 621 void nntp_cleanup_function(void)
 622 {
 623         /* Don't do this stuff if this is not an NNTP session! */
 624         if (CC->h_command_function != nntp_command_loop) return;
 625
 626         syslog(LOG_DEBUG, "Performing NNTP cleanup hook\n");
 627 }
 628
 629 const char *CitadelServiceNNTP="NNTP";
 630
 631 CTDL_MODULE_INIT(nntp)
 632 {
 633         if (!threading)
 634         {
 635                 CtdlRegisterServiceHook(119,                    // FIXME config.c_nntp_port,
 636                                         NULL,
 637                                         nntp_greeting,
 638                                         nntp_command_loop,
 639                                         NULL,
 640                                         CitadelServiceNNTP);
 641
 642 #ifdef HAVE_OPENSSL
 643                 CtdlRegisterServiceHook(563,                    // FIXME config.c_nntps_port,
 644                                         NULL,
 645                                         nntps_greeting,
 646                                         nntp_command_loop,
 647                                         NULL,
 648                                         CitadelServiceNNTP);
 649 #endif
 650
 651                 CtdlRegisterCleanupHook(nntp_cleanup);
 652                 CtdlRegisterSessionHook(nntp_cleanup_function, EVT_STOP, PRIO_STOP + 250);
 653         }
 654
 655         /* return our module name for the log */
 656         return "nntp";
 657 }
 658