Как-то раз задумался над тем, как получить список всех сайтов сервиса LiveJournal.

Поиск в интернете ничего не дал, единого списка/реестра я не нашел. Тогда мне стало интересно — можно ли собрать список LiveJournal-овских  сайтов анализируя сами сайты изнутри (точнее кто у кого в друзьях)?

Написал программу (чисто ради интереса), для того что бы было с чего начинать работать — добавил в программу первоначальный небольшой список LJ-cайтов и возможность парсинга произвольного поста на предмет комментариев от других LJ-сайтов.

После этого, имея стартовую базу в несколько тысяч уникальных адресов, дописал функционал ,что бы идти по списку и анализировать профиль, тут же добавляя новые адреса в список. Проход по списку пришлось делать с задержкой, т.к. выяснилось, что если дергать LJ чаще, чем раз в две секунды — то за это банят на срок не меньше суток. Хотя и это не проблема, прокси ведь никто не отменял. Дописал функционал по параллельной обработке (с регулируемым количеством потоков) через список прокси.

В общем, не спеша обработав меньшую часть списка удалось при помощи самописного парсера удалось получить 2 миллиона LJ-сайтов:

 

Для себя сделал вывод, что при желании можно собрать достаточное количество адресов анализируя кто кого добавил в друзья.

Понятное дело, что будут такие LJ-сайты, на которые никто не ссылается + будут сайты-пустышки,  которые были созданы только ради аккаунта для возможности комментирования на других LJ-ресурсах/сайтах и которые не попадут в выброку.