Список IP адресов Роскомнадзора

P

patron

Разработчик
Обновил пост выше.
Там не просто с разных машин, но еще и с разных мест.
То есть скрипт выше позволяет получить данные о машине, месте и т.п. А куда потом полученные данные вставлять?

Для просмотра содержимого вам необходимо авторизоваться.
 
B

biohacker01

Разработчик
Сначало надо собрать в базу достаточно много отпечатков что бы и пользователей не заблокировать.
Подключитьбы для этого еще какой нить ИИ, который бы мог анализировать находить подозрения
 
moder

moder

Администратор
Команда форума
А куда потом полученные данные вставлять?
Я не пишу тут готовых инструкций как куда и что вставлять, возможно выложу базовый инструментарий, а как с ним работать решайте сами.
Сначало надо собрать в базу достаточно много отпечатков
Для просмотра содержимого вам необходимо авторизоваться.
 
P

patron

Разработчик
Я не пишу тут готовых инструкций как куда и что вставлять, возможно выложу базовый инструментарий, а как с ним работать решайте сами.


[Скрытый контент]
Вы не пишете ТУТ инструкций, с этим разобрались. А где пишете?) Интересен обмен опытом все таки. Логично что не на всеобщее обозрение.
 
moder

moder

Администратор
Команда форума
Давайте посотрудничаем. Создал группу для разработчиков.

Для просмотра содержимого вам необходимо авторизоваться.



Для начала выложу слепки ботов. Это "крутые" боты, которые прогрузили все джава скрипты, подвигали мышкой и т.д.
Для просмотра содержимого вам необходимо авторизоваться.


Вот для сравнения слепок легитимного пользователя.


Для просмотра содержимого вам необходимо авторизоваться.
 
B

biohacker01

Разработчик
Сейчас домашние проблемы решу, и займусь написанием одно скрипта.

Для просмотра содержимого вам необходимо авторизоваться.
 
P

patron

Разработчик
Я тоже разработчик и хотел бы поучаствовать. Тоже периодически сайт блокирует РКН. Могу присоединится?
Ну сначала надо доказать как то, что разработчик) Поучаствовать в обсуждениях, где нужно блеснуть идеями, опытом, чтобы было понятно, что разбираетесь.
 
B

biohacker01

Разработчик
В идеале хорошая защита ,если бы конкуренты перестали бы друг на друга кидать жалобы =D
 
moder

moder

Администратор
Команда форума
Создал общедоступный репозиторий.

Туда буду закидывать полезные скрипты и списки.
 
P

patron

Разработчик
B

biohacker01

Разработчик
Тогда какой в этом смысл вообще? Разработчикам урезанное ничего не даст.
А зачем полный список, у каждой категории свои проверялшики, +- они будут меняться. Цель не получит все ип.Цель разобратся как жить что делать, как дольше сайту не быть в офлайне)
 
D

Dan Balan

Member
Ну сначала надо доказать как то, что разработчик) Поучаствовать в обсуждениях, где нужно блеснуть идеями, опытом, чтобы было понятно, что разбираетесь.
Я замечал что переход проверяющего идет с поиска по запросу "site.com". Заход на одну страницу сайта и дальше прилетает бан.
проблема в том что отследнить ключевое слово по которому зашел проверяющий невозможно, поскольку яндекс скрывает эту ифнормацию в реферере.

Раньше эффективность баз ip была выше, но сейчас такое впечатление что проверяющие стали умнее и все пользуются прокси. Возможно fingerprint действительно можно посчитать и найти пересечение.

Как вариант можно сделать скрипт который будет сохранять fingerprint всех кто заходил на сайт. Дальше получить несколько банов и анализировать пересечения fingerprint.

Что скажете?
 
P

patron

Разработчик
Я замечал что переход проверяющего идет с поиска по запросу "site.com". Заход на одну страницу сайта и дальше прилетает бан.
проблема в том что отследнить ключевое слово по которому зашел проверяющий невозможно, поскольку яндекс скрывает эту ифнормацию в реферере.

Раньше эффективность баз ip была выше, но сейчас такое впечатление что проверяющие стали умнее и все пользуются прокси. Возможно fingerprint действительно можно посчитать и найти пересечение.

Как вариант можно сделать скрипт который будет сохранять fingerprint всех кто заходил на сайт. Дальше получить несколько банов и анализировать пересечения fingerprint.

Что скажете?
имеет место быть данное решение
готов тестировать скрипт на специально созданном сайте, который у меня ведет сбор IP сейчас
 
D

Dan Balan

Member
готов тестировать скрипт на специально созданном сайте, который у меня ведет сбор IP сейчас
Каким образом можем синхронизировать усилия? Я разрабатываю на php, когда последний раз тестил у меня были траблы с fingerprint библиотекой. Можем сделать какой-то закрытый чат в телеге например?
 
P

patron

Разработчик
Каким образом можем синхронизировать усилия? Я разрабатываю на php, когда последний раз тестил у меня были траблы с fingerprint библиотекой. Можем сделать какой-то закрытый чат в телеге например?
а тут нечего синхро по сути
вам нужно написать скрипт, проверить его, потом я ставлю его на спец сайт, проверяю и дальше уже пойдет сбор отпечатков, который в последующем будет выкладываться в закрытом от лишних глаз виде
 
moder

moder

Администратор
Команда форума
Я замечал что переход проверяющего идет с поиска по запросу "site.com". Заход на одну страницу сайта и дальше прилетает бан.
проблема в том что отследнить ключевое слово по которому зашел проверяющий невозможно, поскольку яндекс скрывает эту ифнормацию в реферере.
Да, точно по конкретному запросу не отследить. Правда я не проверял, на одни и те же запросы строка шифруется по разному. Скорее всего да. Но в Яндекс Метрике вы можете посмотреть по каким именно запросам переходили. Если Вебвизор подключить то можно сопоставить примерно.
 
moder

moder

Администратор
Команда форума
Тогда какой в этом смысл вообще? Разработчикам урезанное ничего не даст.
Разработчикам как раз даст. У меня удобный принцип: проверка идет только по запросу file_exists и база данных не нужна, что позволяет легко внедрять скрипт в любые сайты без потерь производительности. А списки вы можете создавать какие угодно, хоть с масками. Например, если маска 24, то скрипт создаст файл вида 255.255.255 и проверка будет такая file_exists('255.255.255'). Если маска короче, соответственно, он создат несколько файлов IP. Плюс скрипт осуществляет сбор поисковых и прочих ботов, что весьма полезно. А расширенный функционал с отпечатками и сложной базой (IP проверяльщиков, а не те, которые любой может получить по абузе) возможно будет распространяться на платной основе для финансирования исследований.
 
B

biohacker01

Разработчик
Разработчикам как раз даст. У меня удобный принцип: проверка идет только по запросу file_exists и база данных не нужна, что позволяет легко внедрять скрипт в любые сайты без потерь производительности. А списки вы можете создавать какие угодно, хоть с масками. Например, если маска 24, то скрипт создаст файл вида 255.255.255 и проверка будет такая file_exists('255.255.255'). Если маска короче, соответственно, он создат несколько файлов IP. Плюс скрипт осуществляет сбор поисковых и прочих ботов, что весьма полезно. А расширенный функционал с отпечатками и сложной базой (IP проверяльщиков, а не те, которые любой может получить по абузе) возможно будет распространяться на платной основе для финансирования исследований.
На качестве скорости загрузки сайта не сказывается ? пробывал rdns и заддержка начиналась на 1-2 сек.
 
D

Dan Balan

Member
Разработчикам как раз даст. У меня удобный принцип: проверка идет только по запросу file_exists и база данных не нужна, что позволяет легко внедрять скрипт в любые сайты без потерь производительности. А списки вы можете создавать какие угодно, хоть с масками. Например, если маска 24, то скрипт создаст файл вида 255.255.255 и проверка будет такая file_exists('255.255.255'). Если маска короче, соответственно, он создат несколько файлов IP. Плюс скрипт осуществляет сбор поисковых и прочих ботов, что весьма полезно. А расширенный функционал с отпечатками и сложной базой (IP проверяльщиков, а не те, которые любой может получить по абузе) возможно будет распространяться на платной основе для финансирования исследований.
а где можно увидеть исходный код?
 
Сверху