source: lib/http_client.c @ aa9f1ac

Last change on this file since aa9f1ac was 2423c93, checked in by Wilmer van der Gaast <wilmer@…>, at 2011-04-18T14:14:28Z

Send Connection: close headers so webservers won't try keepalive connections
which http_client really can't deal with.

  • Property mode set to 100644
File size: 10.6 KB
Line 
1  /********************************************************************\
2  * BitlBee -- An IRC to other IM-networks gateway                     *
3  *                                                                    *
4  * Copyright 2002-2005 Wilmer van der Gaast and others                *
5  \********************************************************************/
6
7/* HTTP(S) module                                                       */
8
9/*
10  This program is free software; you can redistribute it and/or modify
11  it under the terms of the GNU General Public License as published by
12  the Free Software Foundation; either version 2 of the License, or
13  (at your option) any later version.
14
15  This program is distributed in the hope that it will be useful,
16  but WITHOUT ANY WARRANTY; without even the implied warranty of
17  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
18  GNU General Public License for more details.
19
20  You should have received a copy of the GNU General Public License with
21  the Debian GNU/Linux distribution in /usr/share/common-licenses/GPL;
22  if not, write to the Free Software Foundation, Inc., 59 Temple Place,
23  Suite 330, Boston, MA  02111-1307  USA
24*/
25
26#include <string.h>
27#include <stdio.h>
28
29#include "http_client.h"
30#include "url.h"
31#include "sock.h"
32
33
34static gboolean http_connected( gpointer data, int source, b_input_condition cond );
35static gboolean http_ssl_connected( gpointer data, void *source, b_input_condition cond );
36static gboolean http_incoming_data( gpointer data, int source, b_input_condition cond );
37static void http_free( struct http_request *req );
38
39
40struct http_request *http_dorequest( char *host, int port, int ssl, char *request, http_input_function func, gpointer data )
41{
42        struct http_request *req;
43        int error = 0;
44       
45        req = g_new0( struct http_request, 1 );
46       
47        if( ssl )
48        {
49                req->ssl = ssl_connect( host, port, http_ssl_connected, req );
50                if( req->ssl == NULL )
51                        error = 1;
52        }
53        else
54        {
55                req->fd = proxy_connect( host, port, http_connected, req );
56                if( req->fd < 0 )
57                        error = 1;
58        }
59       
60        if( error )
61        {
62                http_free( req );
63                return NULL;
64        }
65       
66        req->func = func;
67        req->data = data;
68        req->request = g_strdup( request );
69        req->request_length = strlen( request );
70        req->redir_ttl = 3;
71       
72        return( req );
73}
74
75struct http_request *http_dorequest_url( char *url_string, http_input_function func, gpointer data )
76{
77        url_t *url = g_new0( url_t, 1 );
78        char *request;
79        void *ret;
80       
81        if( !url_set( url, url_string ) )
82        {
83                g_free( url );
84                return NULL;
85        }
86       
87        if( url->proto != PROTO_HTTP && url->proto != PROTO_HTTPS )
88        {
89                g_free( url );
90                return NULL;
91        }
92       
93        request = g_strdup_printf( "GET %s HTTP/1.0\r\n"
94                                   "Host: %s\r\n"
95                                   "Connection: close\r\n"
96                                   "User-Agent: BitlBee " BITLBEE_VERSION " " ARCH "/" CPU "\r\n"
97                                   "\r\n", url->file, url->host );
98       
99        ret = http_dorequest( url->host, url->port,
100                              url->proto == PROTO_HTTPS, request, func, data );
101       
102        g_free( url );
103        g_free( request );
104        return ret;
105}
106
107/* This one is actually pretty simple... Might get more calls if we can't write
108   the whole request at once. */
109static gboolean http_connected( gpointer data, int source, b_input_condition cond )
110{
111        struct http_request *req = data;
112        int st;
113       
114        if( source < 0 )
115                goto error;
116       
117        if( req->inpa > 0 )
118                b_event_remove( req->inpa );
119       
120        sock_make_nonblocking( req->fd );
121       
122        if( req->ssl )
123        {
124                st = ssl_write( req->ssl, req->request + req->bytes_written,
125                                req->request_length - req->bytes_written );
126                if( st < 0 )
127                {
128                        if( ssl_errno != SSL_AGAIN )
129                        {
130                                ssl_disconnect( req->ssl );
131                                goto error;
132                        }
133                }
134        }
135        else
136        {
137                st = write( source, req->request + req->bytes_written,
138                                    req->request_length - req->bytes_written );
139                if( st < 0 )
140                {
141                        if( !sockerr_again() )
142                        {
143                                closesocket( req->fd );
144                                goto error;
145                        }
146                }
147        }
148       
149        if( st > 0 )
150                req->bytes_written += st;
151       
152        if( req->bytes_written < req->request_length )
153                req->inpa = b_input_add( source,
154                                         req->ssl ? ssl_getdirection( req->ssl ) : B_EV_IO_WRITE,
155                                         http_connected, req );
156        else
157                req->inpa = b_input_add( source, B_EV_IO_READ, http_incoming_data, req );
158       
159        return FALSE;
160       
161error:
162        req->status_string = g_strdup( "Error while writing HTTP request" );
163       
164        req->func( req );
165        http_free( req );
166        return FALSE;
167}
168
169static gboolean http_ssl_connected( gpointer data, void *source, b_input_condition cond )
170{
171        struct http_request *req = data;
172       
173        if( source == NULL )
174                return http_connected( data, -1, cond );
175       
176        req->fd = ssl_getfd( source );
177       
178        return http_connected( data, req->fd, cond );
179}
180
181static gboolean http_incoming_data( gpointer data, int source, b_input_condition cond )
182{
183        struct http_request *req = data;
184        int evil_server = 0;
185        char buffer[2048];
186        char *end1, *end2;
187        int st;
188       
189        if( req->inpa > 0 )
190                b_event_remove( req->inpa );
191       
192        if( req->ssl )
193        {
194                st = ssl_read( req->ssl, buffer, sizeof( buffer ) );
195                if( st < 0 )
196                {
197                        if( ssl_errno != SSL_AGAIN )
198                        {
199                                /* goto cleanup; */
200                               
201                                /* YAY! We have to deal with crappy Microsoft
202                                   servers that LOVE to send invalid TLS
203                                   packets that abort connections! \o/ */
204                               
205                                goto got_reply;
206                        }
207                }
208                else if( st == 0 )
209                {
210                        goto got_reply;
211                }
212        }
213        else
214        {
215                st = read( req->fd, buffer, sizeof( buffer ) );
216                if( st < 0 )
217                {
218                        if( !sockerr_again() )
219                        {
220                                req->status_string = g_strdup( strerror( errno ) );
221                                goto cleanup;
222                        }
223                }
224                else if( st == 0 )
225                {
226                        goto got_reply;
227                }
228        }
229       
230        if( st > 0 )
231        {
232                req->reply_headers = g_realloc( req->reply_headers, req->bytes_read + st + 1 );
233                memcpy( req->reply_headers + req->bytes_read, buffer, st );
234                req->bytes_read += st;
235        }
236       
237        /* There will be more! */
238        req->inpa = b_input_add( req->fd,
239                                 req->ssl ? ssl_getdirection( req->ssl ) : B_EV_IO_READ,
240                                 http_incoming_data, req );
241       
242        return FALSE;
243
244got_reply:
245        /* Maybe if the webserver is overloaded, or when there's bad SSL
246           support... */
247        if( req->bytes_read == 0 )
248        {
249                req->status_string = g_strdup( "Empty HTTP reply" );
250                goto cleanup;
251        }
252       
253        /* Zero termination is very convenient. */
254        req->reply_headers[req->bytes_read] = 0;
255       
256        /* Find the separation between headers and body, and keep stupid
257           webservers in mind. */
258        end1 = strstr( req->reply_headers, "\r\n\r\n" );
259        end2 = strstr( req->reply_headers, "\n\n" );
260       
261        if( end2 && end2 < end1 )
262        {
263                end1 = end2 + 1;
264                evil_server = 1;
265        }
266        else if( end1 )
267        {
268                end1 += 2;
269        }
270        else
271        {
272                req->status_string = g_strdup( "Malformed HTTP reply" );
273                goto cleanup;
274        }
275       
276        *end1 = 0;
277       
278        if( evil_server )
279                req->reply_body = end1 + 1;
280        else
281                req->reply_body = end1 + 2;
282       
283        req->body_size = req->reply_headers + req->bytes_read - req->reply_body;
284       
285        if( ( end1 = strchr( req->reply_headers, ' ' ) ) != NULL )
286        {
287                if( sscanf( end1 + 1, "%d", &req->status_code ) != 1 )
288                {
289                        req->status_string = g_strdup( "Can't parse status code" );
290                        req->status_code = -1;
291                }
292                else
293                {
294                        char *eol;
295                       
296                        if( evil_server )
297                                eol = strchr( end1, '\n' );
298                        else
299                                eol = strchr( end1, '\r' );
300                       
301                        req->status_string = g_strndup( end1 + 1, eol - end1 - 1 );
302                       
303                        /* Just to be sure... */
304                        if( ( eol = strchr( req->status_string, '\r' ) ) )
305                                *eol = 0;
306                        if( ( eol = strchr( req->status_string, '\n' ) ) )
307                                *eol = 0;
308                }
309        }
310        else
311        {
312                req->status_string = g_strdup( "Can't locate status code" );
313                req->status_code = -1;
314        }
315       
316        if( ( req->status_code == 301 || req->status_code == 302 ) && req->redir_ttl-- > 0 )
317        {
318                char *loc, *new_request, *new_host;
319                int error = 0, new_port, new_proto;
320               
321                /* We might fill it again, so let's not leak any memory. */
322                g_free( req->status_string );
323                req->status_string = NULL;
324               
325                loc = strstr( req->reply_headers, "\nLocation: " );
326                if( loc == NULL ) /* We can't handle this redirect... */
327                {
328                        req->status_string = g_strdup( "Can't locate Location: header" );
329                        goto cleanup;
330                }
331               
332                loc += 11;
333                while( *loc == ' ' )
334                        loc ++;
335               
336                /* TODO/FIXME: Possibly have to handle relative redirections,
337                   and rewrite Host: headers. Not necessary for now, it's
338                   enough for passport authentication like this. */
339               
340                if( *loc == '/' )
341                {
342                        /* Just a different pathname... */
343                       
344                        /* Since we don't cache the servername, and since we
345                           don't need this yet anyway, I won't implement it. */
346                       
347                        req->status_string = g_strdup( "Can't handle recursive redirects" );
348                       
349                        goto cleanup;
350                }
351                else
352                {
353                        /* A whole URL */
354                        url_t *url;
355                        char *s;
356                       
357                        s = strstr( loc, "\r\n" );
358                        if( s == NULL )
359                                goto cleanup;
360                       
361                        url = g_new0( url_t, 1 );
362                        *s = 0;
363                       
364                        if( !url_set( url, loc ) )
365                        {
366                                req->status_string = g_strdup( "Malformed redirect URL" );
367                                g_free( url );
368                                goto cleanup;
369                        }
370                       
371                        /* Okay, this isn't fun! We have to rebuild the request... :-( */
372                        new_request = g_malloc( req->request_length + strlen( url->file ) );
373                       
374                        /* So, now I just allocated enough memory, so I'm
375                           going to use strcat(), whether you like it or not. :-) */
376                       
377                        sprintf( new_request, "GET %s HTTP/1.0", url->file );
378                       
379                        s = strstr( req->request, "\r\n" );
380                        if( s == NULL )
381                        {
382                                req->status_string = g_strdup( "Error while rebuilding request string" );
383                                g_free( new_request );
384                                g_free( url );
385                                goto cleanup;
386                        }
387                       
388                        strcat( new_request, s );
389                        new_host = g_strdup( url->host );
390                        new_port = url->port;
391                        new_proto = url->proto;
392                       
393                        g_free( url );
394                }
395               
396                if( req->ssl )
397                        ssl_disconnect( req->ssl );
398                else
399                        closesocket( req->fd );
400               
401                req->fd = -1;
402                req->ssl = NULL;
403               
404                if( new_proto == PROTO_HTTPS )
405                {
406                        req->ssl = ssl_connect( new_host, new_port, http_ssl_connected, req );
407                        if( req->ssl == NULL )
408                                error = 1;
409                }
410                else
411                {
412                        req->fd = proxy_connect( new_host, new_port, http_connected, req );
413                        if( req->fd < 0 )
414                                error = 1;
415                }
416                g_free( new_host );
417               
418                if( error )
419                {
420                        req->status_string = g_strdup( "Connection problem during redirect" );
421                        g_free( new_request );
422                        goto cleanup;
423                }
424               
425                g_free( req->request );
426                g_free( req->reply_headers );
427                req->request = new_request;
428                req->request_length = strlen( new_request );
429                req->bytes_read = req->bytes_written = req->inpa = 0;
430                req->reply_headers = req->reply_body = NULL;
431               
432                return FALSE;
433        }
434       
435        /* Assume that a closed connection means we're finished, this indeed
436           breaks with keep-alive connections and faulty connections. */
437        req->finished = 1;
438
439cleanup:
440        if( req->ssl )
441                ssl_disconnect( req->ssl );
442        else
443                closesocket( req->fd );
444       
445        req->func( req );
446        http_free( req );
447        return FALSE;
448}
449
450static void http_free( struct http_request *req )
451{
452        g_free( req->request );
453        g_free( req->reply_headers );
454        g_free( req->status_string );
455        g_free( req );
456}
457
Note: See TracBrowser for help on using the repository browser.