source: lib/http_client.c @ 90fc864

Last change on this file since 90fc864 was 80acb6d, checked in by Wilmer van der Gaast <wilmer@…>, at 2011-11-14T10:43:03Z

GnuTLS now also needs ssl_pending() implemented. Bug #860.

  • Property mode set to 100644
File size: 11.4 KB
Line 
1  /********************************************************************\
2  * BitlBee -- An IRC to other IM-networks gateway                     *
3  *                                                                    *
4  * Copyright 2002-2011 Wilmer van der Gaast and others                *
5  \********************************************************************/
6
7/* HTTP(S) module                                                       */
8
9/*
10  This program is free software; you can redistribute it and/or modify
11  it under the terms of the GNU General Public License as published by
12  the Free Software Foundation; either version 2 of the License, or
13  (at your option) any later version.
14
15  This program is distributed in the hope that it will be useful,
16  but WITHOUT ANY WARRANTY; without even the implied warranty of
17  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
18  GNU General Public License for more details.
19
20  You should have received a copy of the GNU General Public License with
21  the Debian GNU/Linux distribution in /usr/share/common-licenses/GPL;
22  if not, write to the Free Software Foundation, Inc., 59 Temple Place,
23  Suite 330, Boston, MA  02111-1307  USA
24*/
25
26#include <string.h>
27#include <stdio.h>
28
29#include "http_client.h"
30#include "url.h"
31#include "sock.h"
32
33
34static gboolean http_connected( gpointer data, int source, b_input_condition cond );
35static gboolean http_ssl_connected( gpointer data, void *source, b_input_condition cond );
36static gboolean http_incoming_data( gpointer data, int source, b_input_condition cond );
37static void http_free( struct http_request *req );
38
39
40struct http_request *http_dorequest( char *host, int port, int ssl, char *request, http_input_function func, gpointer data )
41{
42        struct http_request *req;
43        int error = 0;
44       
45        req = g_new0( struct http_request, 1 );
46       
47        if( ssl )
48        {
49                req->ssl = ssl_connect( host, port, http_ssl_connected, req );
50                if( req->ssl == NULL )
51                        error = 1;
52        }
53        else
54        {
55                req->fd = proxy_connect( host, port, http_connected, req );
56                if( req->fd < 0 )
57                        error = 1;
58        }
59       
60        if( error )
61        {
62                http_free( req );
63                return NULL;
64        }
65       
66        req->func = func;
67        req->data = data;
68        req->request = g_strdup( request );
69        req->request_length = strlen( request );
70        req->redir_ttl = 3;
71       
72        return( req );
73}
74
75struct http_request *http_dorequest_url( char *url_string, http_input_function func, gpointer data )
76{
77        url_t *url = g_new0( url_t, 1 );
78        char *request;
79        void *ret;
80       
81        if( !url_set( url, url_string ) )
82        {
83                g_free( url );
84                return NULL;
85        }
86       
87        if( url->proto != PROTO_HTTP && url->proto != PROTO_HTTPS )
88        {
89                g_free( url );
90                return NULL;
91        }
92       
93        request = g_strdup_printf( "GET %s HTTP/1.0\r\n"
94                                   "Host: %s\r\n"
95                                   "Connection: close\r\n"
96                                   "User-Agent: BitlBee " BITLBEE_VERSION " " ARCH "/" CPU "\r\n"
97                                   "\r\n", url->file, url->host );
98       
99        ret = http_dorequest( url->host, url->port,
100                              url->proto == PROTO_HTTPS, request, func, data );
101       
102        g_free( url );
103        g_free( request );
104        return ret;
105}
106
107/* This one is actually pretty simple... Might get more calls if we can't write
108   the whole request at once. */
109static gboolean http_connected( gpointer data, int source, b_input_condition cond )
110{
111        struct http_request *req = data;
112        int st;
113       
114        if( source < 0 )
115                goto error;
116       
117        if( req->inpa > 0 )
118                b_event_remove( req->inpa );
119       
120        sock_make_nonblocking( req->fd );
121       
122        if( req->ssl )
123        {
124                st = ssl_write( req->ssl, req->request + req->bytes_written,
125                                req->request_length - req->bytes_written );
126                if( st < 0 )
127                {
128                        if( ssl_errno != SSL_AGAIN )
129                        {
130                                ssl_disconnect( req->ssl );
131                                goto error;
132                        }
133                }
134        }
135        else
136        {
137                st = write( source, req->request + req->bytes_written,
138                                    req->request_length - req->bytes_written );
139                if( st < 0 )
140                {
141                        if( !sockerr_again() )
142                        {
143                                closesocket( req->fd );
144                                goto error;
145                        }
146                }
147        }
148       
149        if( st > 0 )
150                req->bytes_written += st;
151       
152        if( req->bytes_written < req->request_length )
153                req->inpa = b_input_add( source,
154                                         req->ssl ? ssl_getdirection( req->ssl ) : B_EV_IO_WRITE,
155                                         http_connected, req );
156        else
157                req->inpa = b_input_add( source, B_EV_IO_READ, http_incoming_data, req );
158       
159        return FALSE;
160       
161error:
162        req->status_string = g_strdup( "Error while writing HTTP request" );
163       
164        req->func( req );
165        http_free( req );
166        return FALSE;
167}
168
169static gboolean http_ssl_connected( gpointer data, void *source, b_input_condition cond )
170{
171        struct http_request *req = data;
172       
173        if( source == NULL )
174                return http_connected( data, -1, cond );
175       
176        req->fd = ssl_getfd( source );
177       
178        return http_connected( data, req->fd, cond );
179}
180
181static gboolean http_incoming_data( gpointer data, int source, b_input_condition cond )
182{
183        struct http_request *req = data;
184        int evil_server = 0;
185        char buffer[2048];
186        char *end1, *end2;
187        int st;
188       
189        if( req->inpa > 0 )
190                b_event_remove( req->inpa );
191       
192        if( req->ssl )
193        {
194                st = ssl_read( req->ssl, buffer, sizeof( buffer ) );
195                if( st < 0 )
196                {
197                        if( ssl_errno != SSL_AGAIN )
198                        {
199                                /* goto cleanup; */
200                               
201                                /* YAY! We have to deal with crappy Microsoft
202                                   servers that LOVE to send invalid TLS
203                                   packets that abort connections! \o/ */
204                               
205                                goto got_reply;
206                        }
207                }
208                else if( st == 0 )
209                {
210                        goto got_reply;
211                }
212        }
213        else
214        {
215                st = read( req->fd, buffer, sizeof( buffer ) );
216                if( st < 0 )
217                {
218                        if( !sockerr_again() )
219                        {
220                                req->status_string = g_strdup( strerror( errno ) );
221                                goto cleanup;
222                        }
223                }
224                else if( st == 0 )
225                {
226                        goto got_reply;
227                }
228        }
229       
230        if( st > 0 )
231        {
232                req->reply_headers = g_realloc( req->reply_headers, req->bytes_read + st + 1 );
233                memcpy( req->reply_headers + req->bytes_read, buffer, st );
234                req->bytes_read += st;
235        }
236       
237        /* There will be more! */
238        req->inpa = b_input_add( req->fd,
239                                 req->ssl ? ssl_getdirection( req->ssl ) : B_EV_IO_READ,
240                                 http_incoming_data, req );
241       
242        if( ssl_pending( req->ssl ) )
243                return http_incoming_data( data, source, cond );
244        else
245                return FALSE;
246
247got_reply:
248        /* Maybe if the webserver is overloaded, or when there's bad SSL
249           support... */
250        if( req->bytes_read == 0 )
251        {
252                req->status_string = g_strdup( "Empty HTTP reply" );
253                goto cleanup;
254        }
255       
256        /* Zero termination is very convenient. */
257        req->reply_headers[req->bytes_read] = 0;
258       
259        /* Find the separation between headers and body, and keep stupid
260           webservers in mind. */
261        end1 = strstr( req->reply_headers, "\r\n\r\n" );
262        end2 = strstr( req->reply_headers, "\n\n" );
263       
264        if( end2 && end2 < end1 )
265        {
266                end1 = end2 + 1;
267                evil_server = 1;
268        }
269        else if( end1 )
270        {
271                end1 += 2;
272        }
273        else
274        {
275                req->status_string = g_strdup( "Malformed HTTP reply" );
276                goto cleanup;
277        }
278       
279        *end1 = 0;
280       
281        if( evil_server )
282                req->reply_body = end1 + 1;
283        else
284                req->reply_body = end1 + 2;
285       
286        req->body_size = req->reply_headers + req->bytes_read - req->reply_body;
287       
288        if( ( end1 = strchr( req->reply_headers, ' ' ) ) != NULL )
289        {
290                if( sscanf( end1 + 1, "%d", &req->status_code ) != 1 )
291                {
292                        req->status_string = g_strdup( "Can't parse status code" );
293                        req->status_code = -1;
294                }
295                else
296                {
297                        char *eol;
298                       
299                        if( evil_server )
300                                eol = strchr( end1, '\n' );
301                        else
302                                eol = strchr( end1, '\r' );
303                       
304                        req->status_string = g_strndup( end1 + 1, eol - end1 - 1 );
305                       
306                        /* Just to be sure... */
307                        if( ( eol = strchr( req->status_string, '\r' ) ) )
308                                *eol = 0;
309                        if( ( eol = strchr( req->status_string, '\n' ) ) )
310                                *eol = 0;
311                }
312        }
313        else
314        {
315                req->status_string = g_strdup( "Can't locate status code" );
316                req->status_code = -1;
317        }
318       
319        if( ( req->status_code >= 301 && req->status_code <= 303 ) && req->redir_ttl-- > 0 )
320        {
321                char *loc, *new_request, *new_host;
322                int error = 0, new_port, new_proto;
323               
324                /* We might fill it again, so let's not leak any memory. */
325                g_free( req->status_string );
326                req->status_string = NULL;
327               
328                loc = strstr( req->reply_headers, "\nLocation: " );
329                if( loc == NULL ) /* We can't handle this redirect... */
330                {
331                        req->status_string = g_strdup( "Can't locate Location: header" );
332                        goto cleanup;
333                }
334               
335                loc += 11;
336                while( *loc == ' ' )
337                        loc ++;
338               
339                /* TODO/FIXME: Possibly have to handle relative redirections,
340                   and rewrite Host: headers. Not necessary for now, it's
341                   enough for passport authentication like this. */
342               
343                if( *loc == '/' )
344                {
345                        /* Just a different pathname... */
346                       
347                        /* Since we don't cache the servername, and since we
348                           don't need this yet anyway, I won't implement it. */
349                       
350                        req->status_string = g_strdup( "Can't handle recursive redirects" );
351                       
352                        goto cleanup;
353                }
354                else
355                {
356                        /* A whole URL */
357                        url_t *url;
358                        char *s;
359                        const char *new_method;
360                       
361                        s = strstr( loc, "\r\n" );
362                        if( s == NULL )
363                                goto cleanup;
364                       
365                        url = g_new0( url_t, 1 );
366                        *s = 0;
367                       
368                        if( !url_set( url, loc ) )
369                        {
370                                req->status_string = g_strdup( "Malformed redirect URL" );
371                                g_free( url );
372                                goto cleanup;
373                        }
374                       
375                        /* Find all headers and, if necessary, the POST request contents.
376                           Skip the old Host: header though. This crappy code here means
377                           anything using this http_client MUST put the Host: header at
378                           the top. */
379                        if( !( ( s = strstr( req->request, "\r\nHost: " ) ) &&
380                               ( s = strstr( s + strlen( "\r\nHost: " ), "\r\n" ) ) ) )
381                        {
382                                req->status_string = g_strdup( "Error while rebuilding request string" );
383                                g_free( url );
384                                goto cleanup;
385                        }
386                       
387                        /* More or less HTTP/1.0 compliant, from my reading of RFC 2616.
388                           Always perform a GET request unless we received a 301. 303 was
389                           meant for this but it's HTTP/1.1-only and we're specifically
390                           speaking HTTP/1.0. */
391                        new_method = req->status_code != 301 || req->request[0] == 'G' ? "GET" : "POST";
392                       
393                        /* Okay, this isn't fun! We have to rebuild the request... :-( */
394                        new_request = g_strdup_printf( "%s %s HTTP/1.0\r\nHost: %s%s",
395                                                       new_method, url->file, url->host, s );
396                       
397                        new_host = g_strdup( url->host );
398                        new_port = url->port;
399                        new_proto = url->proto;
400                       
401                        /* If we went from POST to GET, truncate the request content. */
402                        if( new_request[0] != req->request[0] && new_request[0] == 'G' &&
403                            ( s = strstr( new_request, "\r\n\r\n" ) ) )
404                                s[4] = '\0';
405                       
406                        g_free( url );
407                }
408               
409                if( req->ssl )
410                        ssl_disconnect( req->ssl );
411                else
412                        closesocket( req->fd );
413               
414                req->fd = -1;
415                req->ssl = NULL;
416               
417                if( new_proto == PROTO_HTTPS )
418                {
419                        req->ssl = ssl_connect( new_host, new_port, http_ssl_connected, req );
420                        if( req->ssl == NULL )
421                                error = 1;
422                }
423                else
424                {
425                        req->fd = proxy_connect( new_host, new_port, http_connected, req );
426                        if( req->fd < 0 )
427                                error = 1;
428                }
429                g_free( new_host );
430               
431                if( error )
432                {
433                        req->status_string = g_strdup( "Connection problem during redirect" );
434                        g_free( new_request );
435                        goto cleanup;
436                }
437               
438                g_free( req->request );
439                g_free( req->reply_headers );
440                req->request = new_request;
441                req->request_length = strlen( new_request );
442                req->bytes_read = req->bytes_written = req->inpa = 0;
443                req->reply_headers = req->reply_body = NULL;
444               
445                return FALSE;
446        }
447       
448        /* Assume that a closed connection means we're finished, this indeed
449           breaks with keep-alive connections and faulty connections. */
450        req->finished = 1;
451
452cleanup:
453        if( req->ssl )
454                ssl_disconnect( req->ssl );
455        else
456                closesocket( req->fd );
457       
458        req->func( req );
459        http_free( req );
460        return FALSE;
461}
462
463static void http_free( struct http_request *req )
464{
465        g_free( req->request );
466        g_free( req->reply_headers );
467        g_free( req->status_string );
468        g_free( req );
469}
470
Note: See TracBrowser for help on using the repository browser.