schegloff ([info]schegloff) wrote,
@ 2006-11-20 18:50:00


20 replies, 12 authors
Entry tags:f2f

Kademlia - это наше фсе :)
Раскопал в Сети новые (для меня) подробности из истории пиринговых сетей 21 века, и хочу поделиться впечатлением.

Во-первых, как раз в текущем 2006-м году держатели авторских прав добились выдающихся успехов в борьбе с крупнейшей пиринговой сетью - eD2K (eDonkey/eMule). В феврале бельгийская полиция закрыла крупнейший (на тот момент) сервер eD2K Razorback2. Аргументация "у меня на сервере только ссылки, а нелегального контента вовсе нет" перестала работать - за ссылки теперь тоже сажают. В мае был прикрыт крупнейший сервер другой файлообменной сети - bitTorrent. Наконец, в сентябре RIAA дожала MetaMachine Inc., прекратив работу ее файлообменного сайта eDonkey - вот, полюбуйтесь на надгробье знаменитого "ослика". По меткому выражению с одного из форумов, По-моему все здравомыслящие люди, после событий с Razorback, перешли на kademlia, а ed2k серваки отрубили нафиг.

Таким образом, пока мы тут сравнивали преимущества и недостатки серверно-бессерверных сетей, в мировом масштабе уже совершилась очередная революция - серверные системы файлообмена оказались слишком уязвимыми, и фактически проиграли конкуренцию своим бессерверным конкурентам.

Во-вторых, мне стало немного понятнее, что же за зверь эта самая Kademlia, и почему она так популярна. Вот здесь лежит рекомендованное разработчиками eMule pdf-описание этого протокола (с картинками). Объяснить на пальцах, как он работает, я пока не могу (но видимо придется, если не я, то кто?), а поэтому ограничусь текущими личными впечатлениями на тему "Почему Kademlia":

1) Протокол уже реализован в сети Kad, встроенной в самый популярный пиринговый клиент eMule и являющейся там действующей альтернативой умирающей серверной сети eD2K;

2) Протокол, судя по статье Eric Ries (разработчика одной из его python-реализаций), Kenosis and the World Free Web, оказался куда более устойчив к увеличению масштаба сети, чем его предшественники вроде Freenet;

3) Протокол (опять же судя по проекту Kenosis) позволяет реализовать bitTorrent-обмен файлами, причем написав соответствующий клиент на самом что ни на есть pure python.

Тут я хотел написать, почему я всему этому обрадовался - но потом одумался. Скажу лишь, что на мой субъективный взгляд, протокол Kademlia - хорошее приближение к требованиям ТЗ на топологию f2f сети. Его можно брать за основу и приступать уже к практическим экспериментам типа "найди f2f машину в Сети".



[info]net_kot
2006-11-20 02:01 pm UTC (link)
Хм. А Вы не знакомы с системой DC++?

(Reply to this) (Thread)

Познакомился
[info]schegloff
2006-11-20 03:20 pm UTC (link)
ИМХО, хороша для домашних сетей, а F2F - задумка мирового масштаба. Плюс (точнее минус), насколько я понял, требует фиксированного IP.

(Reply to this) (Parent) (Thread)

Re: Познакомился
[info]vitus_wagner
2006-11-20 03:48 pm UTC (link)
Идея создания F2F сети, на мой взгляд, мертворожденная. Распределенная блог-сеть хороша легкой доступностью для внешних читателей. Т.е. следует в первую очередь рассчитывать на то, чтобы удобно было читать людям, которые не озаботились установкой никакого специального ПО, а пользуются обычными браузерами, в том числе со всяких мобильных устройств. Иначе - нет никаких преимуществ перед уже отработанными технологиями FIDO и Usenet. Тем более, что у последних есть сайты, предоставляющие доступ к архивам через браузер.

Что касается постоянного IP, то в случае с session-less протоколом, каким является HTTP, его вполне заменяет
постоянное DNS-имя. А технологии Dynamic DNS весьма развиты.

(Reply to this) (Parent) (Thread)

Dynamic DNS - хорошее решение
[info]schegloff
2006-11-20 04:20 pm UTC (link)
Но это уже другой уровень протокола :) Дойдет и до него...

(Reply to this) (Parent)

Re: Познакомился
[info]kr214
2006-11-21 05:52 am UTC (link)
Вот, кстати, зря. (а) После каждого потрясения, типа истории со словом "суп" (о которой не пишет только ленивый), экзальтированным тысячникам нужно будет хлопать дверью и куда-то уходить. Вот как раз как вариант -- F2F. (б) рядового пользователя тоже никто не заставляет скачивать emule. Захотят -- найдут как.

(Reply to this) (Parent)


[info]sushilshik
2006-11-20 02:42 pm UTC (link)
eD2K пока не подает признаков умирания =)

Мой клиент показывает, что число пользователей eD2K в два-три раза больше пользователей Kademlia (20/10 млн). Хотя помню времена когда разница была более чем в 10 раз.

(Reply to this)


[info]dmi2130
2006-11-20 04:15 pm UTC (link)
В сети существуют два вида машин -- одни работают всегда, а другие переодически. Делать ставку на машины которые работают переодически -- безперспективно...

(Reply to this) (Thread)

Создатели Kademlia думали по-другому :)
[info]schegloff
2006-11-20 04:25 pm UTC (link)
Бесперспективно, как показал опыт 2006 года, надеяться, что нелегальный контент, лежащий в одном месте, будет лежать там сколько влезет, и хозяину за это ничего не будет. При достижении некоей критической массы - обязательно будет.

Напомню феномен "безмасштабности" в некоторых социальных сетях. Он возникает оттого, что все начинают "френдить тысячников", или цепляться к популярным серверам. Таким образом, если изначально не заложить в протокол подавление "звездных" серверов, они в Сети неминуемо появятся - и тем самым сделают ее уязвимой.

(Reply to this) (Parent) (Thread)

Re: Создатели Kademlia думали по-другому :)
[info]karmike
2006-11-20 04:52 pm UTC (link)
А как насчет распределения Парето? 20% людей выпивают 80% пива? Там есть такое "самоподобие" - если отправить эти 20% в Антарктиду, то из оставшихся опять выделится группа в 20% котороя по-прежнему выпивает 80% пива. (или получает 80% кликов).

Правда, скорее всего, потребление пива в целом значительно сократится.

(Reply to this) (Parent) (Thread)

Распределение Парето, ИМХО, другое
[info]schegloff
2006-11-20 04:59 pm UTC (link)
Специфика безмасштабных сетей - в потенциально ничем не ограниченном "рейтинге" у "звезд". Ну если бы существовало 5 человек, выпивающих 10% всего производимого пива. Паретовское распределение все же имеет дело с ограниченными сверху показателями. Кстати, надо будет посмотреть топ-100 самых богатых людей, какое там у них распределение.

(Reply to this) (Parent)

Re: Создатели Kademlia думали по-другому :)
[info]dmi2130
2006-11-20 04:55 pm UTC (link)
Я не являюсь поклонником нелегальности. Не сильно обращаю внимание на легальность тоже, как получается так и пользуюсь -- контентом :)...

Чистое имхо, но я считаю, что заниматься созданием платформы для Ф2Ф на основе "техник уклонения от легальности" -- безперспективно и вообще вредно. В частности вредно для СГО. Ненужно сводить ситуацию к виду, когда в СГО почувствуют конкурента и попытаются "зажать" каким либо образом. Это стратегически неверно. Любые действия приводящие к сужению спектра возможных решений ведут в тупик.

(Reply to this) (Parent)


[info]its_probably_me
2006-11-20 04:15 pm UTC (link)
e2k-шный хост The Pirate Bay продолжает свое существование, несмотря ни на что.

Так что рано еще переползать куда-либо.

(Reply to this)


[info]neo_der_tall
2006-11-20 07:24 pm UTC (link)
ну при технологии f2f (сам себе и другим сервер) то же риски не слабые. Раз инфа публикуется, а ее гос-во или еще кто-то считает нелегальной, то вычисляются отдельные юзеры и делается им бяка. 10% думаю будет убедительным примером.

Почему например не так: набор серверов, легко устанавливаемых по ПО, синхронизирующихся друг с другом. возможно, обладающие неким коэффициентом доверия. Любой может поднять сервер на какой-либо машине и поставить его в протокол синхронизации. Раскидываем сервера по бесплатным/дешевым хостингам разных стран. Вуаля!
1. Проще. Быстрее. Доступнее.
2. Очень может быть что надежнее.

(Reply to this) (Thread)

Считать надо
[info]schegloff
2006-11-21 04:01 am UTC (link)
Сейчас пиринговые сервера существуют только и исключительно из-за разницы в закононах отдельных стран и законов "остального мира", но тенденция уже понятна. То есть "бесплатные/дешевые" хостинги окажутся вскоре либо закрытыми, либо весьма недешевыми. То есть заложившись при проектировании на гипотезу "есть дешевый хостинг типа Х", можно после 1-2 лет работы над проектом обнаружить, что его и след простыл. Нафиг надо.

Впрочем, меня тут уже практически убедили, что вообще нафиг надо :)

(Reply to this) (Parent) (Thread)

Re: Считать надо
[info]neo_der_tall
2006-11-21 04:26 am UTC (link)
ну закладываясь на отсутствие бесплатного/дешевого хостинга, стоит тогда закладываться и на полный контроль за коммуникациями (см. китай). Т.е. и инет обкарнают. А это уже мало подьемно.

Сервера свободной установки в протокол синхронизации и отдельные клиенты ничем принципиально от f2f не отличается. Ставим серверное и клиенское ПО на одну и ту же машину - вот тебе и ура. Разве, что машина нужна пожирнее и канал потолще и доступ по постояннее.

(Reply to this) (Parent) (Thread)

смотрим Китай :)
[info]viy_
2006-11-21 04:40 pm UTC (link)
Интернет Мифы о китае :)

(Reply to this) (Parent)

ПРИВЕТ ИЗ МИР-КРИЗИСА
(Anonymous)
2006-11-20 10:38 pm UTC (link)
Щеглов, как насчет WWG?
Прочитал в Эксперте, сходил к гугловским партнерам и получил ответ - все более чем реально/

Я к тому, что все Ваши проблемы и заморочки там решаются автоматически. То есть - приложение в WWG-сети (некий аналог ЖЖ) запускается как распределенная задача и сама динамически решает вопросы размещения и хранения данных. Копий приложения в сети WWG можут быть неограниченное количество.

(Reply to this) (Thread)

Пусть расцветают сто цветов :)
[info]schegloff
2006-11-21 03:53 am UTC (link)
Пока что лучшей похвалой всем моим писаниям по поводу F2F стала реакция [info]iss_shoo - "а не запретить ли Skype в корпоративной сети?". Потому как пиво по утрам не только полезно, но и вредно :)

То есть как идея все эти "semantic web" да "world wide grid" всегда выглядят крайне привлекательно. На уровне протокола возникают разнообразные проблемы, а уж на уровне конкретного клиента - и вовсе поводы для holy war. Пока что эволюция в Сети идет как в первобытном супе (не путать с СУПом) - не успеет какая-нибудь хрень зародится, как уже монополизировалась и издохла. Что меня, например, больше всего поразило в обсуждениях F2F - что никто даже не заикнулся про Web2.0. А ведь казалось бы, что может быть проще распределенного xml-сервера на динамическом DNS?.. и тема еще недавно была моднее Дома-2...

(Reply to this) (Parent) (Thread)

Re: Пусть расцветают сто цветов :)
[info]sanches
2006-11-21 05:08 pm UTC (link)
Если правда про эти 4000 контейнеров с шлюзами в глобальную сеть, а мои агенты говорят, что правда, то гугль затеял всерьез, а это мощнейшая интеллектуальная сила. Не понял ничего про проблемы на уровне протокола их вообще в сети WWG нет в принципе, это не задача сети. То есть есть свои WWG-протоколы, но они общие для всех приложений и есть забота только самих WWG программистов. Точно также, как у Вам нет никакого дела до протоколов обмена с жестким диском. WWG - это операционная система доступа к объединенным мировым вычислительным ресурсам.

Главное, что нужно признать - это то что иного пути нет и не будет, а силы сюда брошены и будут брошены мощнейшие.

Я к тому, что Вы можете просто опоздать и все усилия будут потрачены совершенно впустую. Вместо того, чтобы заниматься концептуальными проблемами сетей и сетевых систем, Вы пытаетесь решать технологические проблемы, которые будут решены массированными армиями.

(Reply to this) (Parent) (Thread)

Re: Пусть расцветают сто цветов :)
[info]karmike
2006-11-23 08:35 am UTC (link)
Согласен, думаю, что важнее общая идея, а реализовать нейросоц можно на разных протоколах и сетях. Но техническое решение немаловажно, и Щеглов молодец, что упорно этим занимается.

Важно соотношение "цена-полезность", скажем, разные народы пытались создать информационные сети на основе там-тамов, вышек с сигнальщиками, дымовых сигналов и прочего. Но в этих "сетях" цена за слово была слишком большая; вот когда придумали телефон, тогда "поперло".

О технологиях F2F. Государство наше любимое все еще колеблется - не запретить ли нах свободу трепа? А то каждый интеллигентишко смеет обсуждать членов элиты, всех оптом и по отдельности.

Но государство тоже учитывает цену вопроса. Одно дело провайдерам по сусалам надовать - это не дорого. Достаточно звонка из "компетентных органов" - и крамольный ресурс банится.

Применение технологий типа F2F делает цену вопроса много больше - не запрещать же телефон, в конце концов? На это и широкие массы с психологией "была бы среда питательной и футбол" могут обидеться.

(Reply to this) (Parent)