source: protocols/twitter/twitter_lib.c @ 0d581bd

Last change on this file since 0d581bd was 0d581bd, checked in by Flexo <nick@…>, at 2016-03-31T22:25:49Z

Receive mute/unmute notifications from the stream.

  • Property mode set to 100644
File size: 45.4 KB
RevLine 
[1b221e0]1/***************************************************************************\
2*                                                                           *
3*  BitlBee - An IRC to IM gateway                                           *
4*  Simple module to facilitate twitter functionality.                       *
5*                                                                           *
[199fea6]6*  Copyright 2009-2010 Geert Mulders <g.c.w.m.mulders@gmail.com>            *
[0e788f5]7*  Copyright 2010-2013 Wilmer van der Gaast <wilmer@gaast.net>              *
[1b221e0]8*                                                                           *
9*  This library is free software; you can redistribute it and/or            *
10*  modify it under the terms of the GNU Lesser General Public               *
11*  License as published by the Free Software Foundation, version            *
12*  2.1.                                                                     *
13*                                                                           *
14*  This library is distributed in the hope that it will be useful,          *
15*  but WITHOUT ANY WARRANTY; without even the implied warranty of           *
16*  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU        *
17*  Lesser General Public License for more details.                          *
18*                                                                           *
19*  You should have received a copy of the GNU Lesser General Public License *
20*  along with this library; if not, write to the Free Software Foundation,  *
21*  Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA           *
22*                                                                           *
23****************************************************************************/
24
[08579a1]25/* For strptime(): */
[5ebff60]26#if (__sun)
[daae10f]27#else
[08579a1]28#define _XOPEN_SOURCE
[daae10f]29#endif
[08579a1]30
[1b221e0]31#include "twitter_http.h"
32#include "twitter.h"
33#include "bitlbee.h"
34#include "url.h"
35#include "misc.h"
36#include "base64.h"
37#include "twitter_lib.h"
[e08ae0c]38#include "json_util.h"
[1b221e0]39#include <ctype.h>
40#include <errno.h>
41
42#define TXL_STATUS 1
[62d2cfb]43#define TXL_USER 2
44#define TXL_ID 3
45
[1b221e0]46struct twitter_xml_list {
[62d2cfb]47        int type;
[8203da9]48        gint64 next_cursor;
[1b221e0]49        GSList *list;
50};
51
52struct twitter_xml_user {
[73ee390]53        guint64 uid;
[1b221e0]54        char *name;
55        char *screen_name;
56};
57
58struct twitter_xml_status {
[08579a1]59        time_t created_at;
[1b221e0]60        char *text;
61        struct twitter_xml_user *user;
[67f6828]62        guint64 id, rt_id; /* Usually equal, with RTs id == *original* id */
63        guint64 reply_to;
[73ee390]64        gboolean from_filter;
[1b221e0]65};
66
[62d2cfb]67/**
68 * Frees a twitter_xml_user struct.
69 */
70static void txu_free(struct twitter_xml_user *txu)
71{
[5ebff60]72        if (txu == NULL) {
[a26af5c]73                return;
[5ebff60]74        }
[2322a9f]75
[62d2cfb]76        g_free(txu->name);
77        g_free(txu->screen_name);
[2abceca]78        g_free(txu);
[62d2cfb]79}
80
81/**
82 * Frees a twitter_xml_status struct.
83 */
84static void txs_free(struct twitter_xml_status *txs)
85{
[5ebff60]86        if (txs == NULL) {
[2322a9f]87                return;
[5ebff60]88        }
[2322a9f]89
[62d2cfb]90        g_free(txs->text);
91        txu_free(txs->user);
[2abceca]92        g_free(txs);
[62d2cfb]93}
94
95/**
96 * Free a twitter_xml_list struct.
97 * type is the type of list the struct holds.
98 */
99static void txl_free(struct twitter_xml_list *txl)
100{
101        GSList *l;
[5ebff60]102
103        if (txl == NULL) {
[a26af5c]104                return;
[5ebff60]105        }
[2322a9f]106
107        for (l = txl->list; l; l = g_slist_next(l)) {
108                if (txl->type == TXL_STATUS) {
[5983eca]109                        txs_free((struct twitter_xml_status *) l->data);
[2322a9f]110                } else if (txl->type == TXL_ID) {
[62d2cfb]111                        g_free(l->data);
[2322a9f]112                } else if (txl->type == TXL_USER) {
[de923d5]113                        txu_free(l->data);
[2322a9f]114                }
115        }
116
[62d2cfb]117        g_slist_free(txl->list);
[fd65edb]118        g_free(txl);
[62d2cfb]119}
120
121/**
[2322a9f]122 * Compare status elements
123 */
124static gint twitter_compare_elements(gconstpointer a, gconstpointer b)
125{
126        struct twitter_xml_status *a_status = (struct twitter_xml_status *) a;
127        struct twitter_xml_status *b_status = (struct twitter_xml_status *) b;
128
129        if (a_status->created_at < b_status->created_at) {
130                return -1;
131        } else if (a_status->created_at > b_status->created_at) {
132                return 1;
133        } else {
134                return 0;
135        }
136}
137
138/**
139 * Add a buddy if it is not already added, set the status to logged in.
[62d2cfb]140 */
[3e69802]141static void twitter_add_buddy(struct im_connection *ic, char *name, const char *fullname)
[62d2cfb]142{
[1014cab]143        struct twitter_data *td = ic->proto_data;
144
[de923d5]145        // Check if the buddy is already in the buddy list.
[5983eca]146        if (!bee_user_by_handle(ic->bee, ic, name)) {
[62d2cfb]147                // The buddy is not in the list, add the buddy and set the status to logged in.
[5983eca]148                imcb_add_buddy(ic, name, NULL);
149                imcb_rename_buddy(ic, name, fullname);
[631ec80]150                if (td->flags & TWITTER_MODE_CHAT) {
[5c18a76]151                        /* Necessary so that nicks always get translated to the
152                           exact Twitter username. */
[5983eca]153                        imcb_buddy_nick_hint(ic, name, name);
[5ebff60]154                        if (td->timeline_gc) {
[7f557d5]155                                imcb_chat_add_buddy(td->timeline_gc, name);
[5ebff60]156                        }
157                } else if (td->flags & TWITTER_MODE_MANY) {
[5983eca]158                        imcb_buddy_status(ic, name, OPT_LOGGED_IN, NULL, NULL);
[5ebff60]159                }
[62d2cfb]160        }
161}
[1b221e0]162
[a7b9ec7]163/* Warning: May return a malloc()ed value, which will be free()d on the next
[de923d5]164   call. Only for short-term use. NOT THREADSAFE!  */
[6eca2eb]165char *twitter_parse_error(struct http_request *req)
[a7b9ec7]166{
167        static char *ret = NULL;
[5246133]168        json_value *root, *err;
[5983eca]169
[a7b9ec7]170        g_free(ret);
171        ret = NULL;
[5983eca]172
173        if (req->body_size > 0) {
[7a80925]174                root = json_parse(req->reply_body, req->body_size);
[5246133]175                err = json_o_get(root, "errors");
[dff0e0b]176                if (err && err->type == json_array && (err = err->u.array.values[0]) &&
[5246133]177                    err->type == json_object) {
178                        const char *msg = json_o_str(err, "message");
[5ebff60]179                        if (msg) {
[5246133]180                                ret = g_strdup_printf("%s (%s)", req->status_string, msg);
[5ebff60]181                        }
[5246133]182                }
183                json_value_free(root);
[a7b9ec7]184        }
[5983eca]185
[6eca2eb]186        return ret ? ret : req->status_string;
[a7b9ec7]187}
188
[fb351ce]189/* WATCH OUT: This function might or might not destroy your connection.
190   Sub-optimal indeed, but just be careful when this returns NULL! */
[e08ae0c]191static json_value *twitter_parse_response(struct im_connection *ic, struct http_request *req)
[2a6da96]192{
193        gboolean logging_in = !(ic->flags & OPT_LOGGED_IN);
194        gboolean periodic;
195        struct twitter_data *td = ic->proto_data;
[e08ae0c]196        json_value *ret;
[2a6da96]197        char path[64] = "", *s;
[5ebff60]198
[2a6da96]199        if ((s = strchr(req->request, ' '))) {
[5ebff60]200                path[sizeof(path) - 1] = '\0';
[2a6da96]201                strncpy(path, s + 1, sizeof(path) - 1);
[5ebff60]202                if ((s = strchr(path, '?')) || (s = strchr(path, ' '))) {
[2a6da96]203                        *s = '\0';
[5ebff60]204                }
[2a6da96]205        }
[5ebff60]206
[2a6da96]207        /* Kinda nasty. :-( Trying to suppress error messages, but only
208           for periodic (i.e. mentions/timeline) queries. */
209        periodic = strstr(path, "timeline") || strstr(path, "mentions");
[5ebff60]210
[2a6da96]211        if (req->status_code == 401 && logging_in) {
212                /* IIRC Twitter once had an outage where they were randomly
213                   throwing 401s so I'll keep treating this one as fatal
214                   only during login. */
[5246133]215                imcb_error(ic, "Authentication failure (%s)",
[5ebff60]216                           twitter_parse_error(req));
[2a6da96]217                imc_logout(ic, FALSE);
218                return NULL;
219        } else if (req->status_code != 200) {
220                // It didn't go well, output the error and return.
[5ebff60]221                if (!periodic || logging_in || ++td->http_fails >= 5) {
[96dd574]222                        twitter_log(ic, "Error: Could not retrieve %s: %s",
[5ebff60]223                                    path, twitter_parse_error(req));
224                }
225
226                if (logging_in) {
[2a6da96]227                        imc_logout(ic, TRUE);
[5ebff60]228                }
[2a6da96]229                return NULL;
230        } else {
231                td->http_fails = 0;
232        }
233
[7a80925]234        if ((ret = json_parse(req->reply_body, req->body_size)) == NULL) {
[2a6da96]235                imcb_error(ic, "Could not retrieve %s: %s",
[5ebff60]236                           path, "XML parse error");
[2a6da96]237        }
238        return ret;
239}
240
[1b221e0]241static void twitter_http_get_friends_ids(struct http_request *req);
[fb62f132]242static void twitter_http_get_mutes_ids(struct http_request *req);
243static void twitter_http_get_noretweets_ids(struct http_request *req);
[1b221e0]244
245/**
246 * Get the friends ids.
247 */
[8203da9]248void twitter_get_friends_ids(struct im_connection *ic, gint64 next_cursor)
[1b221e0]249{
[85c3004]250        // Primitive, but hey! It works...
[5983eca]251        char *args[2];
[5ebff60]252
[1b221e0]253        args[0] = "cursor";
[85c3004]254        args[1] = g_strdup_printf("%" G_GINT64_FORMAT, next_cursor);
[bb5ce4d1]255        twitter_http(ic, TWITTER_FRIENDS_IDS_URL, twitter_http_get_friends_ids, ic, 0, args, 2);
[1b221e0]256
257        g_free(args[1]);
258}
259
[fb62f132]260/**
261 * Get the muted users ids.
262 */
263void twitter_get_mutes_ids(struct im_connection *ic, gint64 next_cursor)
264{
265        char *args[2];
266
267        args[0] = "cursor";
268        args[1] = g_strdup_printf("%" G_GINT64_FORMAT, next_cursor);
269        twitter_http(ic, TWITTER_MUTES_IDS_URL, twitter_http_get_mutes_ids, ic, 0, args, 2);
270
271        g_free(args[1]);
272}
273
274/**
275 * Get the ids for users from whom we should ignore retweets.
276 */
277void twitter_get_noretweets_ids(struct im_connection *ic, gint64 next_cursor)
278{
279        char *args[2];
280
281        args[0] = "cursor";
282        args[1] = g_strdup_printf("%" G_GINT64_FORMAT, next_cursor);
283        twitter_http(ic, TWITTER_NORETWEETS_IDS_URL, twitter_http_get_noretweets_ids, ic, 0, args, 2);
284
285        g_free(args[1]);
286}
287
[1b221e0]288/**
289 * Fill a list of ids.
290 */
[9e8c945]291static gboolean twitter_xt_get_friends_id_list(json_value *node, struct twitter_xml_list *txl)
[1b221e0]292{
[e08ae0c]293        json_value *c;
294        int i;
[5983eca]295
[62d2cfb]296        // Set the list type.
297        txl->type = TXL_ID;
[1b221e0]298
[e08ae0c]299        c = json_o_get(node, "ids");
[5ebff60]300        if (!c || c->type != json_array) {
[9e8c945]301                return FALSE;
[5ebff60]302        }
[1b221e0]303
[5ebff60]304        for (i = 0; i < c->u.array.length; i++) {
305                if (c->u.array.values[i]->type != json_integer) {
[0688e99]306                        continue;
[5ebff60]307                }
308
[e08ae0c]309                txl->list = g_slist_prepend(txl->list,
[5ebff60]310                                            g_strdup_printf("%" PRIu64, c->u.array.values[i]->u.integer));
[e08ae0c]311        }
[5ebff60]312
[e08ae0c]313        c = json_o_get(node, "next_cursor");
[5ebff60]314        if (c && c->type == json_integer) {
[e08ae0c]315                txl->next_cursor = c->u.integer;
[5ebff60]316        } else {
[e08ae0c]317                txl->next_cursor = -1;
[5ebff60]318        }
319
[9e8c945]320        return TRUE;
[1b221e0]321}
322
[de923d5]323static void twitter_get_users_lookup(struct im_connection *ic);
324
[1b221e0]325/**
326 * Callback for getting the friends ids.
327 */
328static void twitter_http_get_friends_ids(struct http_request *req)
329{
330        struct im_connection *ic;
[e08ae0c]331        json_value *parsed;
[1b221e0]332        struct twitter_xml_list *txl;
[3bd4a93]333        struct twitter_data *td;
[1b221e0]334
335        ic = req->data;
336
[62d2cfb]337        // Check if the connection is still active.
[5ebff60]338        if (!g_slist_find(twitter_connections, ic)) {
[62d2cfb]339                return;
[5ebff60]340        }
[5983eca]341
[37aa317]342        td = ic->proto_data;
[62d2cfb]343
[1b221e0]344        // Parse the data.
[5ebff60]345        if (!(parsed = twitter_parse_response(ic, req))) {
[2a6da96]346                return;
[5ebff60]347        }
348
[bbff22d]349        txl = g_new0(struct twitter_xml_list, 1);
350        txl->list = td->follow_ids;
351
[d0752e8]352        twitter_xt_get_friends_id_list(parsed, txl);
[e08ae0c]353        json_value_free(parsed);
[1b221e0]354
[de923d5]355        td->follow_ids = txl->list;
[5ebff60]356        if (txl->next_cursor) {
[de923d5]357                /* These were just numbers. Up to 4000 in a response AFAIK so if we get here
358                   we may be using a spammer account. \o/ */
[1b221e0]359                twitter_get_friends_ids(ic, txl->next_cursor);
[5ebff60]360        } else {
[de923d5]361                /* Now to convert all those numbers into names.. */
362                twitter_get_users_lookup(ic);
[5ebff60]363        }
[de923d5]364
365        txl->list = NULL;
366        txl_free(txl);
367}
368
[fb62f132]369/**
370 * Callback for getting the mutes ids.
371 */
372static void twitter_http_get_mutes_ids(struct http_request *req)
373{
374        struct im_connection *ic = req->data;
375        json_value *parsed;
376        struct twitter_xml_list *txl;
377        struct twitter_data *td;
378
379        // Check if the connection is stil active
380        if (!g_slist_find(twitter_connections, ic)) {
381                return;
382        }
383
384        td = ic->proto_data;
385
386        // Parse the data.
387        if (!(parsed = twitter_parse_response(ic, req))) {
388                return;
389        }
390
391        txl = g_new0(struct twitter_xml_list, 1);
392        txl->list = td->mutes_ids;
393
394        /* mute ids API response is similar enough to friends response
395           to reuse this method */
396        twitter_xt_get_friends_id_list(parsed, txl);
397        json_value_free(parsed);
398
399        td->mutes_ids = txl->list;
400        if (txl->next_cursor) {
401                /* Recurse while there are still more pages */
402                twitter_get_mutes_ids(ic, txl->next_cursor);
403        }
404
405        txl->list = NULL;
406        txl_free(txl);
407}
408
409/**
410 * Callback for getting the no-retweets ids.
411 */
412static void twitter_http_get_noretweets_ids(struct http_request *req)
413{
414        struct im_connection *ic = req->data;
415        json_value *parsed;
416        struct twitter_xml_list *txl;
417        struct twitter_data *td;
418
419        // Check if the connection is stil active
420        if (!g_slist_find(twitter_connections, ic)) {
421                return;
422        }
423
424        td = ic->proto_data;
425
426        // Parse the data.
427        if (!(parsed = twitter_parse_response(ic, req))) {
428                return;
429        }
430
431        txl = g_new0(struct twitter_xml_list, 1);
432        txl->list = td->noretweets_ids;
433       
434        // Process the retweet ids
435        txl->type = TXL_ID;
436        if (parsed->type == json_array) {
437                unsigned int i;
438                for (i = 0; i < parsed->u.array.length; i++) {
439                        json_value *c = parsed->u.array.values[i];
440                        if (c->type != json_integer) {
441                                continue;
442                        }
443                        txl->list = g_slist_prepend(txl->list,
444                                                    g_strdup_printf("%"PRIu64, c->u.integer));
445                }
446        }
447
448        json_value_free(parsed);
449        td->noretweets_ids = txl->list;
450
451        txl->list = NULL;
452        txl_free(txl);
453}
454
[9e8c945]455static gboolean twitter_xt_get_users(json_value *node, struct twitter_xml_list *txl);
[de923d5]456static void twitter_http_get_users_lookup(struct http_request *req);
457
458static void twitter_get_users_lookup(struct im_connection *ic)
459{
460        struct twitter_data *td = ic->proto_data;
461        char *args[2] = {
462                "user_id",
463                NULL,
464        };
465        GString *ids = g_string_new("");
466        int i;
[5ebff60]467
[de923d5]468        /* We can request up to 100 users at a time. */
[5ebff60]469        for (i = 0; i < 100 && td->follow_ids; i++) {
470                g_string_append_printf(ids, ",%s", (char *) td->follow_ids->data);
[de923d5]471                g_free(td->follow_ids->data);
472                td->follow_ids = g_slist_remove(td->follow_ids, td->follow_ids->data);
473        }
474        if (ids->len > 0) {
475                args[1] = ids->str + 1;
476                /* POST, because I think ids can be up to 1KB long. */
477                twitter_http(ic, TWITTER_USERS_LOOKUP_URL, twitter_http_get_users_lookup, ic, 1, args, 2);
478        } else {
479                /* We have all users. Continue with login. (Get statuses.) */
480                td->flags |= TWITTER_HAVE_FRIENDS;
481                twitter_login_finish(ic);
482        }
483        g_string_free(ids, TRUE);
484}
485
486/**
487 * Callback for getting (twitter)friends...
488 *
[5ebff60]489 * Be afraid, be very afraid! This function will potentially add hundreds of "friends". "Who has
490 * hundreds of friends?" you wonder? You probably not, since you are reading the source of
[de923d5]491 * BitlBee... Get a life and meet new people!
492 */
493static void twitter_http_get_users_lookup(struct http_request *req)
494{
495        struct im_connection *ic = req->data;
[e08ae0c]496        json_value *parsed;
[de923d5]497        struct twitter_xml_list *txl;
498        GSList *l = NULL;
499        struct twitter_xml_user *user;
500
501        // Check if the connection is still active.
[5ebff60]502        if (!g_slist_find(twitter_connections, ic)) {
[de923d5]503                return;
[5ebff60]504        }
[de923d5]505
506        // Get the user list from the parsed xml feed.
[5ebff60]507        if (!(parsed = twitter_parse_response(ic, req))) {
[2a6da96]508                return;
[5ebff60]509        }
[bbff22d]510
511        txl = g_new0(struct twitter_xml_list, 1);
512        txl->list = NULL;
513
[d0752e8]514        twitter_xt_get_users(parsed, txl);
[e08ae0c]515        json_value_free(parsed);
[de923d5]516
517        // Add the users as buddies.
518        for (l = txl->list; l; l = g_slist_next(l)) {
519                user = l->data;
520                twitter_add_buddy(ic, user->screen_name, user->name);
521        }
522
523        // Free the structure.
[62d2cfb]524        txl_free(txl);
[de923d5]525
526        twitter_get_users_lookup(ic);
[1b221e0]527}
528
[8e3b7ac]529struct twitter_xml_user *twitter_xt_get_user(const json_value *node)
530{
531        struct twitter_xml_user *txu;
[73ee390]532        json_value *jv;
[5ebff60]533
[8e3b7ac]534        txu = g_new0(struct twitter_xml_user, 1);
535        txu->name = g_strdup(json_o_str(node, "name"));
536        txu->screen_name = g_strdup(json_o_str(node, "screen_name"));
[5ebff60]537
[73ee390]538        jv = json_o_get(node, "id");
539        txu->uid = jv->u.integer;
[5ebff60]540
[8e3b7ac]541        return txu;
542}
543
[62d2cfb]544/**
545 * Function to fill a twitter_xml_list struct.
546 * It sets:
547 *  - all <user>s from the <users> element.
548 */
[9e8c945]549static gboolean twitter_xt_get_users(json_value *node, struct twitter_xml_list *txl)
[62d2cfb]550{
551        struct twitter_xml_user *txu;
[e08ae0c]552        int i;
[62d2cfb]553
554        // Set the type of the list.
555        txl->type = TXL_USER;
556
[5ebff60]557        if (!node || node->type != json_array) {
[9e8c945]558                return FALSE;
[5ebff60]559        }
[e08ae0c]560
[62d2cfb]561        // The root <users> node should hold the list of users <user>
562        // Walk over the nodes children.
[5ebff60]563        for (i = 0; i < node->u.array.length; i++) {
[8e3b7ac]564                txu = twitter_xt_get_user(node->u.array.values[i]);
[5ebff60]565                if (txu) {
[8e3b7ac]566                        txl->list = g_slist_prepend(txl->list, txu);
[5ebff60]567                }
[62d2cfb]568        }
569
[9e8c945]570        return TRUE;
[62d2cfb]571}
572
[2b02617]573#ifdef __GLIBC__
574#define TWITTER_TIME_FORMAT "%a %b %d %H:%M:%S %z %Y"
575#else
576#define TWITTER_TIME_FORMAT "%a %b %d %H:%M:%S +0000 %Y"
577#endif
[62d2cfb]578
[cd60710]579static void expand_entities(char **text, const json_value *node);
[d1356cb]580
[1b221e0]581/**
582 * Function to fill a twitter_xml_status struct.
583 * It sets:
584 *  - the status text and
585 *  - the created_at timestamp and
586 *  - the status id and
587 *  - the user in a twitter_xml_user struct.
588 */
[c9b5817]589static struct twitter_xml_status *twitter_xt_get_status(const json_value *node)
[1b221e0]590{
[c9b5817]591        struct twitter_xml_status *txs;
[cd60710]592        const json_value *rt = NULL;
[5ebff60]593
594        if (node->type != json_object) {
[9e8c945]595                return FALSE;
[5ebff60]596        }
[c9b5817]597        txs = g_new0(struct twitter_xml_status, 1);
[1b221e0]598
[5ebff60]599        JSON_O_FOREACH(node, k, v) {
[8e3b7ac]600                if (strcmp("text", k) == 0 && v->type == json_string) {
[fb351ce]601                        txs->text = g_memdup(v->u.string.ptr, v->u.string.length + 1);
[29f72b7]602                        strip_html(txs->text);
[8e3b7ac]603                } else if (strcmp("retweeted_status", k) == 0 && v->type == json_object) {
604                        rt = v;
605                } else if (strcmp("created_at", k) == 0 && v->type == json_string) {
[08579a1]606                        struct tm parsed;
[5983eca]607
[08579a1]608                        /* Very sensitive to changes to the formatting of
609                           this field. :-( Also assumes the timezone used
610                           is UTC since C time handling functions suck. */
[5ebff60]611                        if (strptime(v->u.string.ptr, TWITTER_TIME_FORMAT, &parsed) != NULL) {
[5983eca]612                                txs->created_at = mktime_utc(&parsed);
[5ebff60]613                        }
[8e3b7ac]614                } else if (strcmp("user", k) == 0 && v->type == json_object) {
615                        txs->user = twitter_xt_get_user(v);
616                } else if (strcmp("id", k) == 0 && v->type == json_integer) {
[573e274]617                        txs->rt_id = txs->id = v->u.integer;
[8e3b7ac]618                } else if (strcmp("in_reply_to_status_id", k) == 0 && v->type == json_integer) {
619                        txs->reply_to = v->u.integer;
[ce81acd]620                }
[1b221e0]621        }
[5983eca]622
[0fff0b2]623        /* If it's a (truncated) retweet, get the original. Even if the API claims it
624           wasn't truncated because it may be lying. */
625        if (rt) {
[c9b5817]626                struct twitter_xml_status *rtxs = twitter_xt_get_status(rt);
627                if (rtxs) {
628                        g_free(txs->text);
[0ca1d79]629                        txs->text = g_strdup_printf("RT @%s: %s", rtxs->user->screen_name, rtxs->text);
[c9b5817]630                        txs->id = rtxs->id;
[0ca1d79]631                        txs_free(rtxs);
[e193aeb]632                }
[cd60710]633        } else {
634                expand_entities(&txs->text, node);
[d1356cb]635        }
636
[5ebff60]637        if (txs->text && txs->user && txs->id) {
[c9b5817]638                return txs;
[5ebff60]639        }
640
[c9b5817]641        txs_free(txs);
642        return NULL;
[d1356cb]643}
644
645/**
646 * Function to fill a twitter_xml_status struct (DM variant).
647 */
[2cd8540]648static struct twitter_xml_status *twitter_xt_get_dm(const json_value *node)
[d1356cb]649{
[2cd8540]650        struct twitter_xml_status *txs;
[5ebff60]651
652        if (node->type != json_object) {
[d1356cb]653                return FALSE;
[5ebff60]654        }
[2cd8540]655        txs = g_new0(struct twitter_xml_status, 1);
[d1356cb]656
[5ebff60]657        JSON_O_FOREACH(node, k, v) {
[d1356cb]658                if (strcmp("text", k) == 0 && v->type == json_string) {
659                        txs->text = g_memdup(v->u.string.ptr, v->u.string.length + 1);
[29f72b7]660                        strip_html(txs->text);
[d1356cb]661                } else if (strcmp("created_at", k) == 0 && v->type == json_string) {
662                        struct tm parsed;
663
664                        /* Very sensitive to changes to the formatting of
665                           this field. :-( Also assumes the timezone used
666                           is UTC since C time handling functions suck. */
[5ebff60]667                        if (strptime(v->u.string.ptr, TWITTER_TIME_FORMAT, &parsed) != NULL) {
[d1356cb]668                                txs->created_at = mktime_utc(&parsed);
[5ebff60]669                        }
[d1356cb]670                } else if (strcmp("sender", k) == 0 && v->type == json_object) {
671                        txs->user = twitter_xt_get_user(v);
672                } else if (strcmp("id", k) == 0 && v->type == json_integer) {
673                        txs->id = v->u.integer;
674                }
675        }
676
[cd60710]677        expand_entities(&txs->text, node);
[d1356cb]678
[5ebff60]679        if (txs->text && txs->user && txs->id) {
[2cd8540]680                return txs;
[5ebff60]681        }
682
[2cd8540]683        txs_free(txs);
684        return NULL;
[d1356cb]685}
686
[cd60710]687static void expand_entities(char **text, const json_value *node)
[5ebff60]688{
[cd60710]689        json_value *entities, *quoted;
690        char *quote_url = NULL, *quote_text = NULL;
691
692        if (!((entities = json_o_get(node, "entities")) && entities->type == json_object))
693                return;
694        if ((quoted = json_o_get(node, "quoted_status")) && quoted->type == json_object) {
695                /* New "retweets with comments" feature. Note that this info
696                 * seems to be included in the streaming API only! Grab the
697                 * full message and try to insert it when we run into the
698                 * Tweet entity. */
699                struct twitter_xml_status *txs = twitter_xt_get_status(quoted);
700                quote_text = g_strdup_printf("@%s: %s", txs->user->screen_name, txs->text);
701                quote_url = g_strdup_printf("%s/status/%" G_GUINT64_FORMAT, txs->user->screen_name, txs->id);
702                txs_free(txs);
703        } else {
704                quoted = NULL;
705        }
706
[5ebff60]707        JSON_O_FOREACH(entities, k, v) {
[d1356cb]708                int i;
[5ebff60]709
710                if (v->type != json_array) {
[d1356cb]711                        continue;
[5ebff60]712                }
713                if (strcmp(k, "urls") != 0 && strcmp(k, "media") != 0) {
[d1356cb]714                        continue;
[5ebff60]715                }
716
717                for (i = 0; i < v->u.array.length; i++) {
[cd60710]718                        const char *format = "%s%s <%s>%s";
719
[5ebff60]720                        if (v->u.array.values[i]->type != json_object) {
[8e3b7ac]721                                continue;
[5ebff60]722                        }
723
[d1356cb]724                        const char *kort = json_o_str(v->u.array.values[i], "url");
725                        const char *disp = json_o_str(v->u.array.values[i], "display_url");
[cd60710]726                        const char *full = json_o_str(v->u.array.values[i], "expanded_url");
[d1356cb]727                        char *pos, *new;
[5ebff60]728
[cd60710]729                        if (!kort || !disp || !(pos = strstr(*text, kort))) {
[429a9b1]730                                continue;
[5ebff60]731                        }
[cd60710]732                        if (quote_url && strstr(full, quote_url)) {
733                                format = "%s<%s> [%s]%s";
734                                disp = quote_text;
735                        }
[5ebff60]736
[d1356cb]737                        *pos = '\0';
[cd60710]738                        new = g_strdup_printf(format, *text, kort,
[d1356cb]739                                              disp, pos + strlen(kort));
[5ebff60]740
[cd60710]741                        g_free(*text);
742                        *text = new;
[429a9b1]743                }
[e193aeb]744        }
[cd60710]745        g_free(quote_text);
746        g_free(quote_url);
[1b221e0]747}
748
749/**
750 * Function to fill a twitter_xml_list struct.
751 * It sets:
752 *  - all <status>es within the <status> element and
753 *  - the next_cursor.
754 */
[9e8c945]755static gboolean twitter_xt_get_status_list(struct im_connection *ic, const json_value *node,
756                                           struct twitter_xml_list *txl)
[1b221e0]757{
758        struct twitter_xml_status *txs;
[8e3b7ac]759        int i;
[1b221e0]760
[62d2cfb]761        // Set the type of the list.
762        txl->type = TXL_STATUS;
[5ebff60]763
764        if (node->type != json_array) {
[9e8c945]765                return FALSE;
[5ebff60]766        }
[62d2cfb]767
[1b221e0]768        // The root <statuses> node should hold the list of statuses <status>
769        // Walk over the nodes children.
[5ebff60]770        for (i = 0; i < node->u.array.length; i++) {
[c9b5817]771                txs = twitter_xt_get_status(node->u.array.values[i]);
[5ebff60]772                if (!txs) {
[c9b5817]773                        continue;
[5ebff60]774                }
775
[8e3b7ac]776                txl->list = g_slist_prepend(txl->list, txs);
[1b221e0]777        }
778
[9e8c945]779        return TRUE;
[1b221e0]780}
781
[c9b5817]782/* Will log messages either way. Need to keep track of IDs for stream deduping.
783   Plus, show_ids is on by default and I don't see why anyone would disable it. */
[ce81acd]784static char *twitter_msg_add_id(struct im_connection *ic,
[5ebff60]785                                struct twitter_xml_status *txs, const char *prefix)
[ce81acd]786{
787        struct twitter_data *td = ic->proto_data;
[c9b5817]788        int reply_to = -1;
789        bee_user_t *bu;
[5983eca]790
791        if (txs->reply_to) {
[ce81acd]792                int i;
[5ebff60]793                for (i = 0; i < TWITTER_LOG_LENGTH; i++) {
[5983eca]794                        if (td->log[i].id == txs->reply_to) {
[c9b5817]795                                reply_to = i;
[ce81acd]796                                break;
797                        }
[5ebff60]798                }
[ce81acd]799        }
[5983eca]800
[c9b5817]801        if (txs->user && txs->user->screen_name &&
802            (bu = bee_user_by_handle(ic->bee, ic, txs->user->screen_name))) {
803                struct twitter_user_data *tud = bu->data;
804
805                if (txs->id > tud->last_id) {
806                        tud->last_id = txs->id;
807                        tud->last_time = txs->created_at;
808                }
809        }
[5ebff60]810
[c9b5817]811        td->log_id = (td->log_id + 1) % TWITTER_LOG_LENGTH;
812        td->log[td->log_id].id = txs->id;
813        td->log[td->log_id].bu = bee_user_by_handle(ic->bee, ic, txs->user->screen_name);
[5ebff60]814
[67f6828]815        /* This is all getting hairy. :-( If we RT'ed something ourselves,
816           remember OUR id instead so undo will work. In other cases, the
817           original tweet's id should be remembered for deduplicating. */
[5ebff60]818        if (g_strcasecmp(txs->user->screen_name, td->user) == 0) {
[67f6828]819                td->log[td->log_id].id = txs->rt_id;
[c43146d]820                /* More useful than NULL. */
821                td->log[td->log_id].bu = &twitter_log_local_user;
[5ebff60]822        }
823
[0ca1d79]824        if (set_getbool(&ic->acc->set, "show_ids")) {
[5ebff60]825                if (reply_to != -1) {
[0ca1d79]826                        return g_strdup_printf("\002[\002%02x->%02x\002]\002 %s%s",
827                                               td->log_id, reply_to, prefix, txs->text);
[5ebff60]828                } else {
[0ca1d79]829                        return g_strdup_printf("\002[\002%02x\002]\002 %s%s",
830                                               td->log_id, prefix, txs->text);
[5ebff60]831                }
[0ca1d79]832        } else {
[5ebff60]833                if (*prefix) {
[0ca1d79]834                        return g_strconcat(prefix, txs->text, NULL);
[5ebff60]835                } else {
[0ca1d79]836                        return NULL;
[5ebff60]837                }
[0ca1d79]838        }
[ce81acd]839}
840
[73ee390]841/**
842 * Function that is called to see the filter statuses in groupchat windows.
843 */
844static void twitter_status_show_filter(struct im_connection *ic, struct twitter_xml_status *status)
845{
846        struct twitter_data *td = ic->proto_data;
847        char *msg = twitter_msg_add_id(ic, status, "");
848        struct twitter_filter *tf;
849        GSList *f;
850        GSList *l;
851
852        for (f = td->filters; f; f = g_slist_next(f)) {
853                tf = f->data;
854
855                switch (tf->type) {
856                case TWITTER_FILTER_TYPE_FOLLOW:
[5ebff60]857                        if (status->user->uid != tf->uid) {
[73ee390]858                                continue;
[5ebff60]859                        }
[73ee390]860                        break;
861
862                case TWITTER_FILTER_TYPE_TRACK:
[5ebff60]863                        if (strcasestr(status->text, tf->text) == NULL) {
[73ee390]864                                continue;
[5ebff60]865                        }
[73ee390]866                        break;
867
868                default:
869                        continue;
870                }
871
872                for (l = tf->groupchats; l; l = g_slist_next(l)) {
873                        imcb_chat_msg(l->data, status->user->screen_name,
[5ebff60]874                                      msg ? msg : status->text, 0, 0);
[73ee390]875                }
876        }
877
878        g_free(msg);
879}
880
[62d2cfb]881/**
882 * Function that is called to see the statuses in a groupchat window.
883 */
[29f72b7]884static void twitter_status_show_chat(struct im_connection *ic, struct twitter_xml_status *status)
[62d2cfb]885{
886        struct twitter_data *td = ic->proto_data;
887        struct groupchat *gc;
[29f72b7]888        gboolean me = g_strcasecmp(td->user, status->user->screen_name) == 0;
889        char *msg;
[62d2cfb]890
891        // Create a new groupchat if it does not exsist.
[631ec80]892        gc = twitter_groupchat_init(ic);
[62d2cfb]893
[5ebff60]894        if (!me) {
[29f72b7]895                /* MUST be done before twitter_msg_add_id() to avoid #872. */
896                twitter_add_buddy(ic, status->user->screen_name, status->user->name);
[5ebff60]897        }
[29f72b7]898        msg = twitter_msg_add_id(ic, status, "");
[5ebff60]899
[29f72b7]900        // Say it!
901        if (me) {
902                imcb_chat_log(gc, "You: %s", msg ? msg : status->text);
903        } else {
904                imcb_chat_msg(gc, status->user->screen_name,
[5ebff60]905                              msg ? msg : status->text, 0, status->created_at);
[62d2cfb]906        }
[29f72b7]907
908        g_free(msg);
[62d2cfb]909}
910
911/**
912 * Function that is called to see statuses as private messages.
913 */
[29f72b7]914static void twitter_status_show_msg(struct im_connection *ic, struct twitter_xml_status *status)
[62d2cfb]915{
916        struct twitter_data *td = ic->proto_data;
[631ec80]917        char from[MAX_STRING] = "";
[29f72b7]918        char *prefix = NULL, *text = NULL;
919        gboolean me = g_strcasecmp(td->user, status->user->screen_name) == 0;
[62d2cfb]920
[631ec80]921        if (td->flags & TWITTER_MODE_ONE) {
[5983eca]922                g_snprintf(from, sizeof(from) - 1, "%s_%s", td->prefix, ic->acc->user);
923                from[MAX_STRING - 1] = '\0';
[e88fbe27]924        }
[5983eca]925
[5ebff60]926        if (td->flags & TWITTER_MODE_ONE) {
[29f72b7]927                prefix = g_strdup_printf("\002<\002%s\002>\002 ",
928                                         status->user->screen_name);
[5ebff60]929        } else if (!me) {
[29f72b7]930                twitter_add_buddy(ic, status->user->screen_name, status->user->name);
[5ebff60]931        } else {
[29f72b7]932                prefix = g_strdup("You: ");
[5ebff60]933        }
[5983eca]934
[29f72b7]935        text = twitter_msg_add_id(ic, status, prefix ? prefix : "");
[5983eca]936
[29f72b7]937        imcb_buddy_msg(ic,
938                       *from ? from : status->user->screen_name,
939                       text ? text : status->text, 0, status->created_at);
[5983eca]940
[29f72b7]941        g_free(text);
942        g_free(prefix);
943}
[5983eca]944
[29f72b7]945static void twitter_status_show(struct im_connection *ic, struct twitter_xml_status *status)
946{
947        struct twitter_data *td = ic->proto_data;
[7549d00]948        char *last_id_str;
[fb62f132]949        char *uid_str;
[5ebff60]950
951        if (status->user == NULL || status->text == NULL) {
[29f72b7]952                return;
[5ebff60]953        }
[fb62f132]954       
955        /* Check this is not a tweet that should be muted */
[0d581bd]956        uid_str = g_strdup_printf("%" G_GINT64_FORMAT, status->user->uid);
[fb62f132]957        if (g_slist_find_custom(td->mutes_ids, uid_str, (GCompareFunc)strcmp)) {
958                g_free(uid_str);
959                return;
960        }
961        if (status->id != status->rt_id && g_slist_find_custom(td->noretweets_ids, uid_str, (GCompareFunc)strcmp)) {
962                g_free(uid_str);
963                return;
964        }
[5ebff60]965
[29f72b7]966        /* Grrrr. Would like to do this during parsing, but can't access
967           settings from there. */
[5ebff60]968        if (set_getbool(&ic->acc->set, "strip_newlines")) {
[29f72b7]969                strip_newlines(status->text);
[5ebff60]970        }
971
972        if (status->from_filter) {
[73ee390]973                twitter_status_show_filter(ic, status);
[5ebff60]974        } else if (td->flags & TWITTER_MODE_CHAT) {
[29f72b7]975                twitter_status_show_chat(ic, status);
[5ebff60]976        } else {
[29f72b7]977                twitter_status_show_msg(ic, status);
[5ebff60]978        }
[5983eca]979
[29f72b7]980        // Update the timeline_id to hold the highest id, so that by the next request
981        // we won't pick up the updates already in the list.
[573e274]982        td->timeline_id = MAX(td->timeline_id, status->rt_id);
[7549d00]983
984        last_id_str = g_strdup_printf("%" G_GUINT64_FORMAT, td->timeline_id);
[fedc8f1]985        set_setstr(&ic->acc->set, "_last_tweet", last_id_str);
[7549d00]986        g_free(last_id_str);
[fb62f132]987        g_free(uid_str);
[62d2cfb]988}
989
[73ee390]990static gboolean twitter_stream_handle_object(struct im_connection *ic, json_value *o, gboolean from_filter);
[ddc2de5]991
992static void twitter_http_stream(struct http_request *req)
993{
[dff0e0b]994        struct im_connection *ic = req->data;
[dd672e2]995        struct twitter_data *td;
[dff0e0b]996        json_value *parsed;
[62f6b45]997        int len = 0;
998        char c, *nl;
[73ee390]999        gboolean from_filter;
[5ebff60]1000
1001        if (!g_slist_find(twitter_connections, ic)) {
[dff0e0b]1002                return;
[5ebff60]1003        }
1004
[e132b60]1005        ic->flags |= OPT_PONGED;
[dd672e2]1006        td = ic->proto_data;
[5ebff60]1007
[dd672e2]1008        if ((req->flags & HTTPC_EOF) || !req->reply_body) {
[5ebff60]1009                if (req == td->stream) {
[73ee390]1010                        td->stream = NULL;
[5ebff60]1011                } else if (req == td->filter_stream) {
[73ee390]1012                        td->filter_stream = NULL;
[5ebff60]1013                }
[73ee390]1014
[dd672e2]1015                imcb_error(ic, "Stream closed (%s)", req->status_string);
[7320610]1016                if (req->status_code == 401) {
1017                        imcb_error(ic, "Check your system clock.");
1018                }
[dd672e2]1019                imc_logout(ic, TRUE);
1020                return;
1021        }
[5ebff60]1022
[62f6b45]1023        /* MUST search for CRLF, not just LF:
1024           https://dev.twitter.com/docs/streaming-apis/processing#Parsing_responses */
[5ebff60]1025        if (!(nl = strstr(req->reply_body, "\r\n"))) {
[ddc2de5]1026                return;
[5ebff60]1027        }
1028
[62f6b45]1029        len = nl - req->reply_body;
1030        if (len > 0) {
1031                c = req->reply_body[len];
1032                req->reply_body[len] = '\0';
[5ebff60]1033
[7a80925]1034                if ((parsed = json_parse(req->reply_body, req->body_size))) {
[73ee390]1035                        from_filter = (req == td->filter_stream);
1036                        twitter_stream_handle_object(ic, parsed, from_filter);
[62f6b45]1037                }
1038                json_value_free(parsed);
1039                req->reply_body[len] = c;
[dff0e0b]1040        }
[5ebff60]1041
[62f6b45]1042        http_flush_bytes(req, len + 2);
[5ebff60]1043
[dff0e0b]1044        /* One notification might bring multiple events! */
[5ebff60]1045        if (req->body_size > 0) {
[dff0e0b]1046                twitter_http_stream(req);
[5ebff60]1047        }
[ddc2de5]1048}
[2322a9f]1049
[5aa96fc8]1050static gboolean twitter_stream_handle_event(struct im_connection *ic, json_value *o);
[c9b5817]1051static gboolean twitter_stream_handle_status(struct im_connection *ic, struct twitter_xml_status *txs);
[5aa96fc8]1052
[73ee390]1053static gboolean twitter_stream_handle_object(struct im_connection *ic, json_value *o, gboolean from_filter)
[dff0e0b]1054{
[5aa96fc8]1055        struct twitter_data *td = ic->proto_data;
[c9b5817]1056        struct twitter_xml_status *txs;
[d1356cb]1057        json_value *c;
[5ebff60]1058
[c9b5817]1059        if ((txs = twitter_xt_get_status(o))) {
[73ee390]1060                txs->from_filter = from_filter;
[2dcde94]1061                gboolean ret = twitter_stream_handle_status(ic, txs);
1062                txs_free(txs);
1063                return ret;
[d1356cb]1064        } else if ((c = json_o_get(o, "direct_message")) &&
[2cd8540]1065                   (txs = twitter_xt_get_dm(c))) {
[5ebff60]1066                if (g_strcasecmp(txs->user->screen_name, td->user) != 0) {
[2cd8540]1067                        imcb_buddy_msg(ic, txs->user->screen_name,
[5ebff60]1068                                       txs->text, 0, txs->created_at);
1069                }
[d1356cb]1070                txs_free(txs);
1071                return TRUE;
[5aa96fc8]1072        } else if ((c = json_o_get(o, "event")) && c->type == json_string) {
1073                twitter_stream_handle_event(ic, o);
1074                return TRUE;
1075        } else if ((c = json_o_get(o, "disconnect")) && c->type == json_object) {
1076                /* HACK: Because we're inside an event handler, we can't just
1077                   disconnect here. Instead, just change the HTTP status string
1078                   into a Twitter status string. */
1079                char *reason = json_o_strdup(c, "reason");
1080                if (reason) {
1081                        g_free(td->stream->status_string);
1082                        td->stream->status_string = reason;
1083                }
1084                return TRUE;
[dff0e0b]1085        }
1086        return FALSE;
1087}
1088
[c9b5817]1089static gboolean twitter_stream_handle_status(struct im_connection *ic, struct twitter_xml_status *txs)
1090{
1091        struct twitter_data *td = ic->proto_data;
1092        int i;
[5ebff60]1093
[c9b5817]1094        for (i = 0; i < TWITTER_LOG_LENGTH; i++) {
1095                if (td->log[i].id == txs->id) {
[29f72b7]1096                        /* Got a duplicate (RT, probably). Drop it. */
[c9b5817]1097                        return TRUE;
1098                }
1099        }
[5ebff60]1100
[9f8bb17]1101        if (!(g_strcasecmp(txs->user->screen_name, td->user) == 0 ||
[2dcde94]1102              set_getbool(&ic->acc->set, "fetch_mentions") ||
[c9b5817]1103              bee_user_by_handle(ic->bee, ic, txs->user->screen_name))) {
1104                /* Tweet is from an unknown person and the user does not want
1105                   to see @mentions, so drop it. twitter_stream_handle_event()
1106                   picks up new follows so this simple filter should be safe. */
1107                /* TODO: The streaming API seems to do poor @mention matching.
1108                   I.e. I'm getting mentions for @WilmerSomething, not just for
1109                   @Wilmer. But meh. You want spam, you get spam. */
1110                return TRUE;
1111        }
[5ebff60]1112
[29f72b7]1113        twitter_status_show(ic, txs);
[5ebff60]1114
[c9b5817]1115        return TRUE;
1116}
1117
[5aa96fc8]1118static gboolean twitter_stream_handle_event(struct im_connection *ic, json_value *o)
1119{
1120        struct twitter_data *td = ic->proto_data;
1121        json_value *source = json_o_get(o, "source");
1122        json_value *target = json_o_get(o, "target");
1123        const char *type = json_o_str(o, "event");
[0d581bd]1124        struct twitter_xml_user *us = NULL;
1125        struct twitter_xml_user *ut = NULL;
[5ebff60]1126
[5aa96fc8]1127        if (!type || !source || source->type != json_object
[5ebff60]1128            || !target || target->type != json_object) {
[5aa96fc8]1129                return FALSE;
1130        }
[5ebff60]1131
[5aa96fc8]1132        if (strcmp(type, "follow") == 0) {
[0d581bd]1133                us = twitter_xt_get_user(source);
1134                ut = twitter_xt_get_user(target);
[9f8bb17]1135                if (g_strcasecmp(us->screen_name, td->user) == 0) {
[5aa96fc8]1136                        twitter_add_buddy(ic, ut->screen_name, ut->name);
1137                }
[0d581bd]1138        } else if (strcmp(type, "mute") == 0) {
1139                GSList *ids = td->mutes_ids;
1140                ut = twitter_xt_get_user(target);
1141                ids = g_slist_prepend(ids,
1142                                      g_strdup_printf("%" G_GINT64_FORMAT, ut->uid));
1143       
1144                td->mutes_ids = ids;
1145        } else if (strcmp(type, "unmute") == 0) {
1146                GSList *found;
1147                char *uid_str;
1148                ut = twitter_xt_get_user(target);
1149                uid_str = g_strdup_printf("%" G_GINT64_FORMAT, ut->uid);
1150                if ((found = g_slist_find_custom(td->mutes_ids, uid_str,
1151                                                (GCompareFunc)strcmp))) {
1152                        td->mutes_ids = g_slist_remove(td->mutes_ids, found);
1153                }
1154                g_free(uid_str);
[5aa96fc8]1155        }
[5ebff60]1156
[0d581bd]1157        txu_free(us);
1158        txu_free(ut);
1159
[5aa96fc8]1160        return TRUE;
1161}
1162
[dff0e0b]1163gboolean twitter_open_stream(struct im_connection *ic)
1164{
1165        struct twitter_data *td = ic->proto_data;
[5ebff60]1166        char *args[2] = { "with", "followings" };
1167
[dff0e0b]1168        if ((td->stream = twitter_http(ic, TWITTER_USER_STREAM_URL,
[62f6b45]1169                                       twitter_http_stream, ic, 0, args, 2))) {
[dff0e0b]1170                /* This flag must be enabled or we'll get no data until EOF
1171                   (which err, kind of, defeats the purpose of a streaming API). */
1172                td->stream->flags |= HTTPC_STREAMING;
1173                return TRUE;
1174        }
[5ebff60]1175
[dff0e0b]1176        return FALSE;
1177}
1178
[73ee390]1179static gboolean twitter_filter_stream(struct im_connection *ic)
1180{
1181        struct twitter_data *td = ic->proto_data;
[5ebff60]1182        char *args[4] = { "follow", NULL, "track", NULL };
[73ee390]1183        GString *followstr = g_string_new("");
1184        GString *trackstr = g_string_new("");
1185        gboolean ret = FALSE;
1186        struct twitter_filter *tf;
1187        GSList *l;
1188
1189        for (l = td->filters; l; l = g_slist_next(l)) {
1190                tf = l->data;
1191
1192                switch (tf->type) {
1193                case TWITTER_FILTER_TYPE_FOLLOW:
[5ebff60]1194                        if (followstr->len > 0) {
[73ee390]1195                                g_string_append_c(followstr, ',');
[5ebff60]1196                        }
[73ee390]1197
1198                        g_string_append_printf(followstr, "%" G_GUINT64_FORMAT,
[5ebff60]1199                                               tf->uid);
[73ee390]1200                        break;
1201
1202                case TWITTER_FILTER_TYPE_TRACK:
[5ebff60]1203                        if (trackstr->len > 0) {
[73ee390]1204                                g_string_append_c(trackstr, ',');
[5ebff60]1205                        }
[73ee390]1206
1207                        g_string_append(trackstr, tf->text);
1208                        break;
1209
1210                default:
1211                        continue;
1212                }
1213        }
1214
1215        args[1] = followstr->str;
1216        args[3] = trackstr->str;
1217
[5ebff60]1218        if (td->filter_stream) {
[73ee390]1219                http_close(td->filter_stream);
[5ebff60]1220        }
[73ee390]1221
1222        if ((td->filter_stream = twitter_http(ic, TWITTER_FILTER_STREAM_URL,
1223                                              twitter_http_stream, ic, 0,
[5ebff60]1224                                              args, 4))) {
[73ee390]1225                /* This flag must be enabled or we'll get no data until EOF
1226                   (which err, kind of, defeats the purpose of a streaming API). */
1227                td->filter_stream->flags |= HTTPC_STREAMING;
1228                ret = TRUE;
1229        }
1230
1231        g_string_free(followstr, TRUE);
1232        g_string_free(trackstr, TRUE);
1233
1234        return ret;
1235}
1236
1237static void twitter_filter_users_post(struct http_request *req)
1238{
1239        struct im_connection *ic = req->data;
1240        struct twitter_data *td;
1241        struct twitter_filter *tf;
1242        GList *users = NULL;
1243        json_value *parsed;
1244        json_value *id;
1245        const char *name;
1246        GString *fstr;
1247        GSList *l;
1248        GList *u;
1249        int i;
1250
1251        // Check if the connection is still active.
[5ebff60]1252        if (!g_slist_find(twitter_connections, ic)) {
[73ee390]1253                return;
[5ebff60]1254        }
[73ee390]1255
1256        td = ic->proto_data;
1257
[5ebff60]1258        if (!(parsed = twitter_parse_response(ic, req))) {
[73ee390]1259                return;
[5ebff60]1260        }
[73ee390]1261
1262        for (l = td->filters; l; l = g_slist_next(l)) {
1263                tf = l->data;
1264
[5ebff60]1265                if (tf->type == TWITTER_FILTER_TYPE_FOLLOW) {
[73ee390]1266                        users = g_list_prepend(users, tf);
[5ebff60]1267                }
[73ee390]1268        }
1269
[5ebff60]1270        if (parsed->type != json_array) {
[73ee390]1271                goto finish;
[5ebff60]1272        }
[73ee390]1273
1274        for (i = 0; i < parsed->u.array.length; i++) {
1275                id = json_o_get(parsed->u.array.values[i], "id");
1276                name = json_o_str(parsed->u.array.values[i], "screen_name");
1277
[5ebff60]1278                if (!name || !id || id->type != json_integer) {
[73ee390]1279                        continue;
[5ebff60]1280                }
[73ee390]1281
1282                for (u = users; u; u = g_list_next(u)) {
1283                        tf = u->data;
1284
1285                        if (g_strcasecmp(tf->text, name) == 0) {
1286                                tf->uid = id->u.integer;
1287                                users = g_list_delete_link(users, u);
1288                                break;
1289                        }
1290                }
1291        }
1292
1293finish:
1294        json_value_free(parsed);
1295        twitter_filter_stream(ic);
1296
[5ebff60]1297        if (!users) {
[73ee390]1298                return;
[5ebff60]1299        }
[73ee390]1300
1301        fstr = g_string_new("");
1302
1303        for (u = users; u; u = g_list_next(u)) {
[5ebff60]1304                if (fstr->len > 0) {
[73ee390]1305                        g_string_append(fstr, ", ");
[5ebff60]1306                }
[73ee390]1307
1308                g_string_append(fstr, tf->text);
1309        }
1310
1311        imcb_error(ic, "Failed UID acquisitions: %s", fstr->str);
1312
1313        g_string_free(fstr, TRUE);
1314        g_list_free(users);
1315}
1316
1317gboolean twitter_open_filter_stream(struct im_connection *ic)
1318{
1319        struct twitter_data *td = ic->proto_data;
[5ebff60]1320        char *args[2] = { "screen_name", NULL };
[73ee390]1321        GString *ustr = g_string_new("");
1322        struct twitter_filter *tf;
1323        struct http_request *req;
1324        GSList *l;
1325
1326        for (l = td->filters; l; l = g_slist_next(l)) {
1327                tf = l->data;
1328
[5ebff60]1329                if (tf->type != TWITTER_FILTER_TYPE_FOLLOW || tf->uid != 0) {
[73ee390]1330                        continue;
[5ebff60]1331                }
[73ee390]1332
[5ebff60]1333                if (ustr->len > 0) {
[73ee390]1334                        g_string_append_c(ustr, ',');
[5ebff60]1335                }
[73ee390]1336
1337                g_string_append(ustr, tf->text);
1338        }
1339
1340        if (ustr->len == 0) {
1341                g_string_free(ustr, TRUE);
1342                return twitter_filter_stream(ic);
1343        }
1344
1345        args[1] = ustr->str;
1346        req = twitter_http(ic, TWITTER_USERS_LOOKUP_URL,
[5ebff60]1347                           twitter_filter_users_post,
1348                           ic, 0, args, 2);
[73ee390]1349
1350        g_string_free(ustr, TRUE);
1351        return req != NULL;
1352}
1353
[dff0e0b]1354static void twitter_get_home_timeline(struct im_connection *ic, gint64 next_cursor);
1355static void twitter_get_mentions(struct im_connection *ic, gint64 next_cursor);
1356
[2322a9f]1357/**
1358 * Get the timeline with optionally mentions
1359 */
[2f9027c]1360gboolean twitter_get_timeline(struct im_connection *ic, gint64 next_cursor)
[2322a9f]1361{
1362        struct twitter_data *td = ic->proto_data;
1363        gboolean include_mentions = set_getbool(&ic->acc->set, "fetch_mentions");
1364
1365        if (td->flags & TWITTER_DOING_TIMELINE) {
[11ec078]1366                if (++td->http_fails >= 5) {
1367                        imcb_error(ic, "Fetch timeout (%d)", td->flags);
1368                        imc_logout(ic, TRUE);
[2f9027c]1369                        return FALSE;
[11ec078]1370                }
[2322a9f]1371        }
1372
1373        td->flags |= TWITTER_DOING_TIMELINE;
1374
1375        twitter_get_home_timeline(ic, next_cursor);
1376
1377        if (include_mentions) {
1378                twitter_get_mentions(ic, next_cursor);
1379        }
[5ebff60]1380
[2f9027c]1381        return TRUE;
[2322a9f]1382}
1383
1384/**
1385 * Call this one after receiving timeline/mentions. Show to user once we have
1386 * both.
1387 */
1388void twitter_flush_timeline(struct im_connection *ic)
1389{
1390        struct twitter_data *td = ic->proto_data;
1391        gboolean include_mentions = set_getbool(&ic->acc->set, "fetch_mentions");
[b5fe39b]1392        int show_old_mentions = set_getint(&ic->acc->set, "show_old_mentions");
[2322a9f]1393        struct twitter_xml_list *home_timeline = td->home_timeline_obj;
1394        struct twitter_xml_list *mentions = td->mentions_obj;
[29f72b7]1395        guint64 last_id = 0;
[2322a9f]1396        GSList *output = NULL;
1397        GSList *l;
1398
[29f72b7]1399        imcb_connected(ic);
[5ebff60]1400
[2322a9f]1401        if (!(td->flags & TWITTER_GOT_TIMELINE)) {
1402                return;
1403        }
1404
1405        if (include_mentions && !(td->flags & TWITTER_GOT_MENTIONS)) {
1406                return;
1407        }
1408
1409        if (home_timeline && home_timeline->list) {
1410                for (l = home_timeline->list; l; l = g_slist_next(l)) {
1411                        output = g_slist_insert_sorted(output, l->data, twitter_compare_elements);
1412                }
1413        }
1414
1415        if (include_mentions && mentions && mentions->list) {
1416                for (l = mentions->list; l; l = g_slist_next(l)) {
[b5fe39b]1417                        if (show_old_mentions < 1 && output && twitter_compare_elements(l->data, output->data) < 0) {
[2322a9f]1418                                continue;
1419                        }
1420
1421                        output = g_slist_insert_sorted(output, l->data, twitter_compare_elements);
1422                }
1423        }
1424
1425        // See if the user wants to see the messages in a groupchat window or as private messages.
[29f72b7]1426        while (output) {
1427                struct twitter_xml_status *txs = output->data;
[5ebff60]1428                if (txs->id != last_id) {
[29f72b7]1429                        twitter_status_show(ic, txs);
[5ebff60]1430                }
[29f72b7]1431                last_id = txs->id;
1432                output = g_slist_remove(output, txs);
1433        }
[2322a9f]1434
[199fea6]1435        txl_free(home_timeline);
1436        txl_free(mentions);
[2322a9f]1437
1438        td->flags &= ~(TWITTER_DOING_TIMELINE | TWITTER_GOT_TIMELINE | TWITTER_GOT_MENTIONS);
[199fea6]1439        td->home_timeline_obj = td->mentions_obj = NULL;
[2322a9f]1440}
1441
[ddc2de5]1442static void twitter_http_get_home_timeline(struct http_request *req);
1443static void twitter_http_get_mentions(struct http_request *req);
1444
[2322a9f]1445/**
1446 * Get the timeline.
1447 */
[ddc2de5]1448static void twitter_get_home_timeline(struct im_connection *ic, gint64 next_cursor)
[2322a9f]1449{
1450        struct twitter_data *td = ic->proto_data;
1451
[199fea6]1452        txl_free(td->home_timeline_obj);
[2322a9f]1453        td->home_timeline_obj = NULL;
1454        td->flags &= ~TWITTER_GOT_TIMELINE;
1455
[429a9b1]1456        char *args[6];
[2322a9f]1457        args[0] = "cursor";
[85c3004]1458        args[1] = g_strdup_printf("%" G_GINT64_FORMAT, next_cursor);
[429a9b1]1459        args[2] = "include_entities";
1460        args[3] = "true";
[2322a9f]1461        if (td->timeline_id) {
[429a9b1]1462                args[4] = "since_id";
[7549d00]1463                args[5] = g_strdup_printf("%" G_GUINT64_FORMAT, td->timeline_id);
[2322a9f]1464        }
1465
[90fc864]1466        if (twitter_http(ic, TWITTER_HOME_TIMELINE_URL, twitter_http_get_home_timeline, ic, 0, args,
[5ebff60]1467                         td->timeline_id ? 6 : 4) == NULL) {
1468                if (++td->http_fails >= 5) {
[90fc864]1469                        imcb_error(ic, "Could not retrieve %s: %s",
1470                                   TWITTER_HOME_TIMELINE_URL, "connection failed");
[5ebff60]1471                }
[90fc864]1472                td->flags |= TWITTER_GOT_TIMELINE;
1473                twitter_flush_timeline(ic);
1474        }
[2322a9f]1475
1476        g_free(args[1]);
1477        if (td->timeline_id) {
[429a9b1]1478                g_free(args[5]);
[2322a9f]1479        }
1480}
1481
1482/**
1483 * Get mentions.
1484 */
[ddc2de5]1485static void twitter_get_mentions(struct im_connection *ic, gint64 next_cursor)
[2322a9f]1486{
1487        struct twitter_data *td = ic->proto_data;
1488
[199fea6]1489        txl_free(td->mentions_obj);
[2322a9f]1490        td->mentions_obj = NULL;
1491        td->flags &= ~TWITTER_GOT_MENTIONS;
1492
[429a9b1]1493        char *args[6];
[2322a9f]1494        args[0] = "cursor";
[85c3004]1495        args[1] = g_strdup_printf("%" G_GINT64_FORMAT, next_cursor);
[429a9b1]1496        args[2] = "include_entities";
1497        args[3] = "true";
[2322a9f]1498        if (td->timeline_id) {
[429a9b1]1499                args[4] = "since_id";
[85c3004]1500                args[5] = g_strdup_printf("%" G_GUINT64_FORMAT, td->timeline_id);
[b5fe39b]1501        } else {
1502                args[4] = "count";
1503                args[5] = g_strdup_printf("%d", set_getint(&ic->acc->set, "show_old_mentions"));
[2322a9f]1504        }
1505
[b5fe39b]1506        if (twitter_http(ic, TWITTER_MENTIONS_URL, twitter_http_get_mentions,
1507                         ic, 0, args, 6) == NULL) {
[5ebff60]1508                if (++td->http_fails >= 5) {
[90fc864]1509                        imcb_error(ic, "Could not retrieve %s: %s",
1510                                   TWITTER_MENTIONS_URL, "connection failed");
[5ebff60]1511                }
[90fc864]1512                td->flags |= TWITTER_GOT_MENTIONS;
1513                twitter_flush_timeline(ic);
1514        }
[2322a9f]1515
1516        g_free(args[1]);
[2fb1262]1517        g_free(args[5]);
[2322a9f]1518}
1519
[1b221e0]1520/**
1521 * Callback for getting the home timeline.
1522 */
1523static void twitter_http_get_home_timeline(struct http_request *req)
1524{
[62d2cfb]1525        struct im_connection *ic = req->data;
[37aa317]1526        struct twitter_data *td;
[8e3b7ac]1527        json_value *parsed;
[1b221e0]1528        struct twitter_xml_list *txl;
[62d2cfb]1529
1530        // Check if the connection is still active.
[5ebff60]1531        if (!g_slist_find(twitter_connections, ic)) {
[62d2cfb]1532                return;
[5ebff60]1533        }
[5983eca]1534
[37aa317]1535        td = ic->proto_data;
[1b221e0]1536
[2322a9f]1537        // The root <statuses> node should hold the list of statuses <status>
[5ebff60]1538        if (!(parsed = twitter_parse_response(ic, req))) {
[2a6da96]1539                goto end;
[5ebff60]1540        }
[bbff22d]1541
1542        txl = g_new0(struct twitter_xml_list, 1);
1543        txl->list = NULL;
1544
[d0752e8]1545        twitter_xt_get_status_list(ic, parsed, txl);
[2fb1262]1546        json_value_free(parsed);
[2322a9f]1547
1548        td->home_timeline_obj = txl;
1549
[5ebff60]1550end:
1551        if (!g_slist_find(twitter_connections, ic)) {
[fb351ce]1552                return;
[5ebff60]1553        }
[fb351ce]1554
[2322a9f]1555        td->flags |= TWITTER_GOT_TIMELINE;
1556
1557        twitter_flush_timeline(ic);
1558}
1559
1560/**
1561 * Callback for getting mentions.
1562 */
1563static void twitter_http_get_mentions(struct http_request *req)
1564{
1565        struct im_connection *ic = req->data;
1566        struct twitter_data *td;
[8e3b7ac]1567        json_value *parsed;
[2322a9f]1568        struct twitter_xml_list *txl;
1569
1570        // Check if the connection is still active.
[5ebff60]1571        if (!g_slist_find(twitter_connections, ic)) {
[1b221e0]1572                return;
[5ebff60]1573        }
[2322a9f]1574
1575        td = ic->proto_data;
1576
[1b221e0]1577        // The root <statuses> node should hold the list of statuses <status>
[5ebff60]1578        if (!(parsed = twitter_parse_response(ic, req))) {
[2a6da96]1579                goto end;
[5ebff60]1580        }
[bbff22d]1581
1582        txl = g_new0(struct twitter_xml_list, 1);
1583        txl->list = NULL;
1584
[d0752e8]1585        twitter_xt_get_status_list(ic, parsed, txl);
[2fb1262]1586        json_value_free(parsed);
[1b221e0]1587
[2322a9f]1588        td->mentions_obj = txl;
[1b221e0]1589
[5ebff60]1590end:
1591        if (!g_slist_find(twitter_connections, ic)) {
[fb351ce]1592                return;
[5ebff60]1593        }
[fb351ce]1594
[2322a9f]1595        td->flags |= TWITTER_GOT_MENTIONS;
1596
1597        twitter_flush_timeline(ic);
[1b221e0]1598}
1599
1600/**
[de923d5]1601 * Callback to use after sending a POST request to twitter.
1602 * (Generic, used for a few kinds of queries.)
[1b221e0]1603 */
[7d53efb]1604static void twitter_http_post(struct http_request *req)
[1b221e0]1605{
1606        struct im_connection *ic = req->data;
[7b87539]1607        struct twitter_data *td;
[24132ec]1608        json_value *parsed, *id;
[1b221e0]1609
[62d2cfb]1610        // Check if the connection is still active.
[5ebff60]1611        if (!g_slist_find(twitter_connections, ic)) {
[62d2cfb]1612                return;
[5ebff60]1613        }
[62d2cfb]1614
[7b87539]1615        td = ic->proto_data;
1616        td->last_status_id = 0;
[5983eca]1617
[5ebff60]1618        if (!(parsed = twitter_parse_response(ic, req))) {
[1b221e0]1619                return;
[5ebff60]1620        }
1621
[67f6828]1622        if ((id = json_o_get(parsed, "id")) && id->type == json_integer) {
[24132ec]1623                td->last_status_id = id->u.integer;
[67f6828]1624        }
[5ebff60]1625
[c751e51]1626        json_value_free(parsed);
[5ebff60]1627
1628        if (req->flags & TWITTER_HTTP_USER_ACK) {
[b235228]1629                twitter_log(ic, "Command processed successfully");
[5ebff60]1630        }
[1b221e0]1631}
1632
1633/**
1634 * Function to POST a new status to twitter.
[5983eca]1635 */
[b890626]1636void twitter_post_status(struct im_connection *ic, char *msg, guint64 in_reply_to)
[1b221e0]1637{
[5983eca]1638        char *args[4] = {
[b890626]1639                "status", msg,
1640                "in_reply_to_status_id",
[85c3004]1641                g_strdup_printf("%" G_GUINT64_FORMAT, in_reply_to)
[b890626]1642        };
[5ebff60]1643
[b890626]1644        twitter_http(ic, TWITTER_STATUS_UPDATE_URL, twitter_http_post, ic, 1,
[5ebff60]1645                     args, in_reply_to ? 4 : 2);
[b890626]1646        g_free(args[3]);
[1b221e0]1647}
1648
1649
[62d2cfb]1650/**
1651 * Function to POST a new message to twitter.
1652 */
1653void twitter_direct_messages_new(struct im_connection *ic, char *who, char *msg)
1654{
[5983eca]1655        char *args[4];
[5ebff60]1656
[62d2cfb]1657        args[0] = "screen_name";
1658        args[1] = who;
1659        args[2] = "text";
1660        args[3] = msg;
1661        // Use the same callback as for twitter_post_status, since it does basically the same.
[ba3233c]1662        twitter_http(ic, TWITTER_DIRECT_MESSAGES_NEW_URL, twitter_http_post, ic, 1, args, 4);
[62d2cfb]1663}
[7d53efb]1664
1665void twitter_friendships_create_destroy(struct im_connection *ic, char *who, int create)
1666{
[5983eca]1667        char *args[2];
[5ebff60]1668
[7d53efb]1669        args[0] = "screen_name";
1670        args[1] = who;
[5983eca]1671        twitter_http(ic, create ? TWITTER_FRIENDSHIPS_CREATE_URL : TWITTER_FRIENDSHIPS_DESTROY_URL,
[5ebff60]1672                     twitter_http_post, ic, 1, args, 2);
[a26af5c]1673}
[7b87539]1674
[9cf63ac]1675/**
1676 * Mute or unmute a user
1677 */
1678void twitter_mute_create_destroy(struct im_connection *ic, char *who, int create)
1679{
1680        char *args[2];
1681
1682        args[0] = "screen_name";
1683        args[1] = who;
1684        twitter_http(ic, create ? TWITTER_MUTES_CREATE_URL : TWITTER_MUTES_DESTROY_URL,
1685                     twitter_http_post, ic, 1, args, 2);
1686}
1687
[7b87539]1688void twitter_status_destroy(struct im_connection *ic, guint64 id)
1689{
1690        char *url;
[5ebff60]1691
[85c3004]1692        url = g_strdup_printf("%s%" G_GUINT64_FORMAT "%s",
1693                              TWITTER_STATUS_DESTROY_URL, id, ".json");
[b235228]1694        twitter_http_f(ic, url, twitter_http_post, ic, 1, NULL, 0,
1695                       TWITTER_HTTP_USER_ACK);
[7b87539]1696        g_free(url);
1697}
[b890626]1698
1699void twitter_status_retweet(struct im_connection *ic, guint64 id)
1700{
1701        char *url;
[5ebff60]1702
[85c3004]1703        url = g_strdup_printf("%s%" G_GUINT64_FORMAT "%s",
1704                              TWITTER_STATUS_RETWEET_URL, id, ".json");
[b235228]1705        twitter_http_f(ic, url, twitter_http_post, ic, 1, NULL, 0,
1706                       TWITTER_HTTP_USER_ACK);
[b890626]1707        g_free(url);
1708}
[d18dee42]1709
1710/**
1711 * Report a user for sending spam.
1712 */
1713void twitter_report_spam(struct im_connection *ic, char *screen_name)
1714{
1715        char *args[2] = {
1716                "screen_name",
1717                NULL,
1718        };
[5ebff60]1719
[d18dee42]1720        args[1] = screen_name;
[b235228]1721        twitter_http_f(ic, TWITTER_REPORT_SPAM_URL, twitter_http_post,
1722                       ic, 1, args, 2, TWITTER_HTTP_USER_ACK);
[d18dee42]1723}
[b61c74c]1724
1725/**
1726 * Favourite a tweet.
1727 */
1728void twitter_favourite_tweet(struct im_connection *ic, guint64 id)
1729{
[75bda8b]1730        char *args[2] = {
1731                "id",
1732                NULL,
1733        };
[5ebff60]1734
[85c3004]1735        args[1] = g_strdup_printf("%" G_GUINT64_FORMAT, id);
[75bda8b]1736        twitter_http_f(ic, TWITTER_FAVORITE_CREATE_URL, twitter_http_post,
1737                       ic, 1, args, 2, TWITTER_HTTP_USER_ACK);
1738        g_free(args[1]);
[b61c74c]1739}
[1201fcb]1740
1741static void twitter_http_status_show_url(struct http_request *req)
1742{
1743        struct im_connection *ic = req->data;
1744        json_value *parsed, *id;
1745        const char *name;
1746
1747        // Check if the connection is still active.
1748        if (!g_slist_find(twitter_connections, ic)) {
1749                return;
1750        }
1751
1752        if (!(parsed = twitter_parse_response(ic, req))) {
1753                return;
1754        }
1755
1756        /* for the parson branch:
1757        name = json_object_dotget_string(json_object(parsed), "user.screen_name");
1758        id = json_object_get_integer(json_object(parsed), "id");
1759        */
1760
1761        name = json_o_str(json_o_get(parsed, "user"), "screen_name");
1762        id = json_o_get(parsed, "id");
1763
1764        if (name && id && id->type == json_integer) {
1765                twitter_log(ic, "https://twitter.com/%s/status/%" G_GUINT64_FORMAT, name, id->u.integer);
1766        } else {
1767                twitter_log(ic, "Error: could not fetch tweet url.");
1768        }
1769
1770        json_value_free(parsed);
1771}
1772
1773void twitter_status_show_url(struct im_connection *ic, guint64 id)
1774{
1775        char *url = g_strdup_printf("%s%" G_GUINT64_FORMAT "%s", TWITTER_STATUS_SHOW_URL, id, ".json");
1776        twitter_http(ic, url, twitter_http_status_show_url, ic, 0, NULL, 0);
1777        g_free(url);
1778}
Note: See TracBrowser for help on using the repository browser.