schegloff ([info]schegloff) wrote,
@ 2006-11-26 22:26:00


56 replies, 26 authors
Entry tags:СГО

Р-р-разоблачение яндекс-рейтинга
В свое время мне очень понравилось, как [info]galkovsky р-р-разоблачил [info]pioneer_lj - дескать, посмотрите на календарь его записей, они же все по рабочим дням делаются, сразу видно исполнительного клерка из соответствующей службы!

Так вот, я тоже немножко Галковский: я яндекс-рейтинг разоблачил. Вышло все совершенно случайно. Сперва я написал программку, считывающую первые 20 страниц (по 50 юзеров на каждой) этого рейтинга (обновляющегося, по описанию составителей, ежедневно) - и сохраняющую результаты в бэкап-файл типа yandrate_YYYYMMDD.txt. Потом стал ее ежедневно запускать, чтобы по итогам месяца составить список "настоящих тысячников" (юзеров, попавших хоть раз в первую 1000), и их потом всячески проанализировать. А вчера вдруг заметил, что пятничный и субботний результирующие файлы совпадают до последнего байта. Сегодняшний бэкап - опять 1:1 пятничный.

Что отсюда следует? А то, что нифига не робот этот рейтинг составляет. Роботу зачем выходные? Сидит там какой-нибудь клерк (почем я знаю, может быть - сам [info]pioneer_lj!), смотрит собранную статистику, чешет беспроводной мышкой в затылке и расставляет нужных юзеров по нужным местам. Кому надо, может френдов добавить, а кому не надо, наоборот, убрать - как, например, [info]el_cambio (данные на 26 ноября 2006 года, позже, естественно, поменяются):
155, el_cambio, 8261, 45 - всего 45 френдов бедняге оставили, тысячнику-то :)

Так что пиарьтесь, пиарьтесь. Вам зачтется :)



[info]banguerski_alex
2006-11-26 05:37 pm UTC (link)
Я не провокатор, но на Вашем месте непременно разослал бы эту информацию:
А. Всем тысячникам
Б. В крупнейшие СМИ - как сетевые, так и бумажные. Это ж сенсация!

(Reply to this) (Thread)


[info]banguerski_alex
2006-11-26 05:40 pm UTC (link)
Только сначала сохранил бы доказательства. А то они вполне могут быстренько задним числом уничтожить их. Собственно, наверное и сейчас уже проверить невозможно: вряд ли есть возможность заглянуть в рейтинги хоть на несколько дней назад.

(Reply to this) (Parent) (Thread)

Надеюсь, до полония дело не дойдет,
[info]schegloff
2006-11-26 05:52 pm UTC (link)
в смысле до суда :)

Однако когда [info]breqwas начал подобные исследования (бэкапить весь рейтинг, а потом обещать по нему какие-то графики построить), ему быстренько прислали письмо, что он нарушает пользовательское соглашение, а потом еще и в яндекс на работу взяли. Последнее мне не угрожает, а вот к первому вполне готов, повышу юридическую квалификацию.

(Reply to this) (Parent) (Thread)

Re: Надеюсь, до полония дело не дойдет,
[info]banguerski_alex
2006-11-26 06:02 pm UTC (link)
Если Вы уже сохранили доказательства, и если Вы не возражаете, я продублирую Ваш пост в своем блоге. Не так уж много людей меня читает, но, следуя принципу СГО "делай, что можешь", полагаю, что вреда от этого не будет.

(Reply to this) (Parent) (Thread)

Продублируйте
[info]schegloff
2006-11-26 06:09 pm UTC (link)
Доказательства у меня - пятничный и сегодняшний файлы, плюс программка на питоне. Плюс существуют всякие ресурректы и машины времени, думаю, что-то можно будет восстановить. Только просьба - подайте это как небрежность яндекса, а не как злобное искажение информации, поскольку последнего скорее всего не было.

(Reply to this) (Parent) (Thread)

Re: Продублируйте
[info]banguerski_alex
2006-11-26 06:20 pm UTC (link)
ОК

(Reply to this) (Parent)

Надо Рыкову послать,
[info]schegloff
2006-11-26 05:45 pm UTC (link)
а то ему вместо обещанных 5000 френдов всего 683 нарисовали. И вообще, "тигру недокладывают мяса" :)))

На самом деле, любое рейтингование по PageRank все равно требует ручной доработки, иначе слишком легко делать дутые рейтинги, и разработчики яндекс.топа стараются как лучше. Но про эту ручную доработку можно и в открытую сказать. А вот что число френдов считается неправильно, это уже безобразие, поэтому я решил немножко их потормошить. Посмотрим, как быстро прореагируют.

(Reply to this) (Parent)


[info]paulus
2006-11-26 05:43 pm UTC (link)
Меня вообще не включили в рейтинг

(Reply to this) (Thread)

Ну, это Вы напраслину возводите -
[info]schegloff
2006-11-26 05:53 pm UTC (link)
Вы у нас аж 66717-ый в ЖЖ - http://blogs.yandex.ru/top/lj/?username=paulus#paulus_by

(Reply to this) (Parent) (Thread)

Э, нет, это я чушь спорол!
[info]schegloff
2006-11-26 05:58 pm UTC (link)
Ищешь по [info]paulus, а находишь [info]paulus_by.

Спасибо, что откликнулись, еще одна плюха разработчиков. Надо бы [info]anton намекнуть, что вместо чтобы [info]toster'ом прикидываться, лучше бы в консерватории кой-чего подправил. Кто у него во френдах, подмигните, а?

(Reply to this) (Parent) (Thread)

Re: Э, нет, это я чушь спорол!
[info]illyn
2006-11-27 01:28 am UTC (link)
Он зайдёт сюда. Записи о Яндексе, а уж тем более топовые, весящие в рейтинге высоко — сотрудники читают, как можно заметить.

(Reply to this) (Parent) (Thread)

Re: Э, нет, это я чушь спорол!
[info]breqwas
2006-11-27 05:40 am UTC (link)
+1 :)

(Reply to this) (Parent)

Re: Ну, это Вы напраслину возводите -
[info]paulus
2006-11-26 06:10 pm UTC (link)
Это не я это беларус какой то

(Reply to this) (Parent)


[info]rykun
2006-11-27 04:49 am UTC (link)
А галки "минимизировать попадания в поисковые системы" не стоит?
У кого стоит - в рейтинге не участвуют...

(Reply to this) (Parent) (Thread)


[info]paulus
2006-11-27 09:09 am UTC (link)
Нет, там галки нет. Так что это чисто заморочка Яндекса

(Reply to this) (Parent)


[info]chele_sta
2006-11-26 06:26 pm UTC (link)
Извините за наивный вопрос, но какая разница, у кого какой рейтинг? На что это влияет и какое имеет значение? Я и вправду не понимаю.

(Reply to this) (Thread)


[info]second_sign
2006-11-27 12:46 am UTC (link)
Многие люди используют страницу рейтингов Яндекса как "портал" в мир Живого Журнала - читая наиболее популярные записи и дискуссии.

(Reply to this) (Parent)


[info]antalex
2006-11-27 02:16 am UTC (link)
Господа жж-юзеры меряются э-э-э-э нефритовыми жезлами, не обращайте внимания.

(Reply to this) (Parent)


[info]readership
2006-11-26 06:54 pm UTC (link)
? юзеры то местами меняются. поэтому совпадение три дня подряд ни о чем не говорит, на мой взгляд, кроме как о тех. сбое. где-то :)

гораздо серьезнее, что обсчет у них неравномерный, например пространство lj.rossia.org практически не обсчитывается. А они об этом не указывают.

френды у многих считаются неправильно. опять же, неправильно _у всех_ на lj.rossia.org.
но про френдов они как раз объясняли.

(Reply to this)


[info]kroopkin
2006-11-26 07:31 pm UTC (link)
>А то, что нифига не робот этот рейтинг составляет.
===================================
Сотни тысяч записей? Не смешите... Одна из гипотез: робот вылетел из автозапуска, и пока программер не придет... Максимум, что можно допустить - робот запускается вручную.

(Reply to this) (Thread)


[info]annutka
2006-11-27 12:36 am UTC (link)
10 студентов посадить
дам им по банану за час работы

(Reply to this) (Parent) (Thread)


[info]antalex
2006-11-27 02:17 am UTC (link)
А на хуа? Бананов на всех не напосешься! С роботом проще.

(Reply to this) (Parent)


[info]kroopkin
2006-11-27 08:53 am UTC (link)
Тогда уж 100. Обновлять можно чаще :-)))))))

(Reply to this) (Parent)


[info]_skipp_
2006-11-26 07:32 pm UTC (link)
это действительно так важно? )))
что не камент - то лысый дядька. и в очках. прям очень все серьезно, да?

(Reply to this)


[info]vadim_i_z
2006-11-26 09:24 pm UTC (link)
http://vadim-i-z.livejournal.com/597248.html

(Reply to this) (Thread)

Спасибо, любопытно
[info]schegloff
2006-11-27 03:27 am UTC (link)
Правда, в моем вчерашнем файле Вы как были на 432 месте, так и остались.
Возможно дело в том, что ведется два разных рейтинга - чисто ЖЖ-шный и общий по всем блогам. Я мониторю ЖЖ-шный, т.к. только здесь можно легко картографировать френд-связи (RSS-агрегаторы вроде как сведения кто кого агрегирует не дают). Но все равно, есть чего дорабатывать.

(Reply to this) (Parent)


[info]notacritic
2006-11-26 10:50 pm UTC (link)
гы
еще один лохотрон

(Reply to this)


[info]annutka
2006-11-27 12:23 am UTC (link)
а как насчет воскресного?

(Reply to this)


[info]vasionok
2006-11-27 01:03 am UTC (link)
всё может быть проще — по выходным мало пишут и коментят

(Reply to this) (Thread)


[info]annutka
2006-11-27 09:08 am UTC (link)
судя по статистиске от того же яндекса изменения не большие
может скатится от 80000 постов в 50000 постов

(Reply to this) (Parent)


[info]apazhe.net
2006-11-27 02:15 am UTC (link)
В ночь с субботы на воскресенье, тем не менее, изменения точно были (в пятницу не смотрел). Так что не надо конспирологии.

(Reply to this) (Thread)


[info]antalex
2006-11-27 02:18 am UTC (link)
Дык, скучно людям, вот и ищут сенсации.

(Reply to this) (Parent)

Я уже писал выше,
[info]schegloff
2006-11-27 03:31 am UTC (link)
(и в ссылке оно есть), что речь шла только о чисто-ЖЖ-рейтиге, который blogs.yandex.ru/top/lj/.
Насчет рейтинга всех блогов ничего не скажу, там похоже все "нормально" (см. комментарий [info]vadim_i_z).

Интересно, а ведет кто-то похожую накопительную статистику по общим рейтингам (мне лениво парсер дописывать)? Динамика там всякая, в привязке к новостям, и т.п.?

(Reply to this) (Parent)


[info]antalex
2006-11-27 02:20 am UTC (link)
Просто все изменения были внутри тысячи. Ага. Кто-то потерял пару очков, кто-то наоборот набрал. ВОт и совпадают файлы до байта.

(Reply to this)


[info]blogrov
2006-11-27 03:56 am UTC (link)
ну вот. теперь неробота заставят работать и по выходным. :)

(Reply to this)


[info]exper
2006-11-27 04:52 am UTC (link)
а на двери комнаты с сервером обсчета статистики висит табличка: "Уходя, выключайте электроприборы, а то вы уже зае..." :)

(Reply to this)


[info]dobriy_cheburek
2006-11-27 09:16 am UTC (link)
программа на чем написана?
можно код?

(Reply to this) (Thread)

Python
[info]schegloff
2006-11-27 01:15 pm UTC (link)
Код выложу на днях, когда обновление странички сделаю. Но там ничего сложного - тупо читаются ?page=... с рейтинга, и парсятся на предмет livejournal-user'ов. Даже не регэкспы, поэтому как только яндекс чего-то меняет в выдаче, приходится править исходник.

(Reply to this) (Parent) (Thread)

Re: Python
[info]dobriy_cheburek
2006-11-27 01:17 pm UTC (link)
А, питон... а он с сервера выполняется, насколько я понимаю?

Ну далее: тупо читаются страницы, парсятся имеа юзеров. А далее что?

(Reply to this) (Parent)

Открытие только в собственных незнаниях
[info]esprute
2006-11-27 10:12 am UTC (link)
Любой мало-мальски осведомленный в алгоритмах поисковых машин знает, что обновления базы данных происходят не постоянно, а ПО РАСПИСАНИЮ (как правило, в часы меньшей активности пользователей). Если эта работа с пятницы по субботу не проводится, то и никаких изменений в рейтингах за это время не случится. И никаких "ручек"!

(Reply to this)

Поздравляю с открытием Америки
(Anonymous)
2006-11-27 11:52 am UTC (link)
Это было ясно еще с того времени, когда Яндекс отбирал вопросы для Путина и впорос про отношение к Медведу и вопрос про отношение к Култху выбились в лидеры, что позволило Путину проигнорировать вопрос про бесправие русских как такой же надуманный.

(Reply to this)

Бугага!
[info]yurayu
2006-11-27 11:59 am UTC (link)
Они еще и ночью делаются! Человек днюет и ночует на службе???

(Reply to this)


[info]superglaz
2006-11-27 01:32 pm UTC (link)
У меня 292 френда. А если смотреть по рейтингу, то 305. Самое смешное что ещё вчера у меня там же было 296, и место в рейтинге на 140 пунктов выше. А теперь и френдов прибавилось и опустили меня сразу на столько единиц! Этот рейтинг подстава страшая! Он обслуживает и политические интересы. Один из таких интересов отделить правильных руских пользователей от живущих за границей. КАк СУП вступил в права оффициально, практически сразу стали "опускать" журналы всех израильтян и американцев, причём очень заметно и неприкрыто.

(Reply to this) (Thread)


[info]quappa
2006-11-27 02:15 pm UTC (link)
Рейтинг показывает читателей, а не френдов.

(Reply to this) (Parent) (Thread)


[info]superglaz
2006-11-27 02:30 pm UTC (link)
Хорошо, но как же так, читателей у чменя число повысилось. а рейтинг упал? И авторитетность. Это как? И что такое читатель? Как это выясняется? А если ко мне заходят и не оставляют комменты? Просто фотографиисмотрят и молчат, например? Как э
то фиксируется?

(Reply to this) (Parent) (Thread)


[info]quappa
2006-11-27 02:51 pm UTC (link)
Рейтинг зависит от кучи параметров, которые они не раскрывают. Он может устареть, например, от того, что раньше на вас ссылались, а теперь нет. Читатель -- это френд или подписчик через яндекс-ленту, насколько я знаю.

В общем, вы http://company.yandex.ru/blog/?msg=100234&month=11&year=2006 прочтите, а вопросы задайте в саппорт Яндекса. Это простые вопросы как раз.

(Reply to this) (Parent) (Thread)


[info]superglaz
2006-11-27 04:31 pm UTC (link)
Весело! Ничего не понял. Всё это притянуто за уши!

(Reply to this) (Parent) (Thread)


[info]miky_m
2006-11-27 08:11 pm UTC (link)
А чего не понял? ))
Все доступно объяснили. Поробуй сделать эксперимент. Если хочешь, вместе сделаем. На протяжении нескольких дней ссылаться друг на друга. Рейтинги у нас должны быть похожи, вроде. Оба должны после ссылок подняться в этом рейтинге.
Если на тебя ссылается тысячник с очень высоким рейтингом, то подняться должен намного больше. Количество френдов может быть при этом и относительно небольшим. Так я думаю.

(Reply to this) (Parent) (Thread)


[info]superglaz
2006-11-27 08:39 pm UTC (link)
да это как раз я усвоил. Кстати. давай поссылаемся друг на друга!

(Reply to this) (Parent) (Thread)


[info]miky_m
2006-11-27 08:56 pm UTC (link)
Щас запощу, хотя ЖЖ сегодня вечером страшно глючит. ))
Я у себя последнее время ссылочку на музыку разную как раз давал.

Суперглаз, а ты Шломо Бара обещал. Был бы у меня, сам бы залил. ))

(Reply to this) (Parent) (Thread)


[info]superglaz
2006-11-27 09:04 pm UTC (link)
Завтра с утра посталю на заливку. Начну с первого альбома.

(Reply to this) (Parent) (Thread)


[info]miky_m
2006-11-27 09:31 pm UTC (link)
Уже проанонсировал у себя. ))

Извинения автору журнала за этот флуд.

(Reply to this) (Parent) (Thread)


[info]superglaz
2006-11-27 10:17 pm UTC (link)
Флуд - тоже полезная вещь! Почитай Сатанова. Вот флудер! так уж флудер. только флуд тоже может быть позитивным. Главное флудить с мозгами!

(Reply to this) (Parent)


[info]apazhe.net
2006-11-27 08:43 pm UTC (link)
Вы шутите, надеюсЬ?

(Reply to this) (Parent) (Thread)


[info]superglaz
2006-11-27 09:17 pm UTC (link)
Не совсем. Иначе как объяснить тот факт, что вдруг все заграничные журналы так стремительно стали падать с начала месяца - "Ноябрь"

(Reply to this) (Parent) (Thread)


[info]apazhe.net
2006-11-28 03:17 am UTC (link)
Ну разумеется, подлый Носик скручивает по ночам гайки с рельс рейтинг иностранцам. При этом всех их помнит поимённо.

(Reply to this) (Parent)