Направляется уведомление о признании сайта в сети «Интернет» копией заблокированного сайта.

zloymudvin

zloymudvin

Member
Как бороться с таким? РКН отвечает что мол это не они а Мин. цифры банят, а они только исплнители.
Изначально забанили по суду, чет там за неоднократное бла, бла, бла.
Они меня уже одолели своими банами за зеркала. Я даже им заяву кинул, они только через полгода ответили стандартной отпиской.

Пока 301 редиректом переезжа. на новый домен и в webmaset yandex переезд делаю
 
moder

moder

Администратор
Команда форума
У них есть бот, который регулярно проверяет заблокированный сайт на наличие 301 редиректа.
Как бороться? Отлавливать этих ботов и давать им ошибку 404.

Расписывать механизм пока не буду, но могу дать наводку.

Например, так можно определить поискового бота.
Код:
function isSearchBot()
{
  $bots = array('Google'=>array('.googlebot.com', '.google.com'), 'Yandex'=>array('.yandex.com', '.yandex.ru', '.yandex.net'), 'mail.ru'=>array('.mail.ru'), 'msn.com'=>array('.msn.com'), 'bing.com'=>array('.msn.com'));

  $iphost=gethostbyaddr($_SERVER['REMOTE_ADDR']);

  foreach($bots as $u=>$h)
  {
      if( strpos($_SERVER['HTTP_USER_AGENT'], $u) == true )
      {

         foreach($h as $host)
         {
             if (substr($iphost, -strlen($host) )==$host) return true;
         }

         return false;
     }
  }

  return false;
}
 
Последнее редактирование:
zloymudvin

zloymudvin

Member
У них есть бот, который регулярно проверяет заблокированный сайт на наличие 301 редиректа.
Как бороться? Отлавливать этих ботов и давать им ошибку 404.

Расписывать механизм пока не буду, но могу дать наводку.

Например, так можно определить поискового бота.
Код:
function isSearchBot()
{
  $bots = array('Google'=>array('.googlebot.com', '.google.com'), 'Yandex'=>array('.yandex.com', '.yandex.ru', '.yandex.net'), 'mail.ru'=>array('.mail.ru'), 'msn.com'=>array('.msn.com'), 'bing.com'=>array('.msn.com'));

  $iphost=gethostbyaddr($_SERVER['REMOTE_ADDR']);

  foreach($bots as $u=>$h)
  {
      if( strpos($_SERVER['HTTP_USER_AGENT'], $u) == true )
      {

         foreach($h as $host)
         {
             if (substr($iphost, -strlen($host) )==$host) return true;
         }

         return false;
     }
  }

  return false;
}
к сожалению тоже не работает(
остаются только постояннно делать редиректы на новый домен/поддомен
 
Master

Master

Модератор
А как вы определяете бота? )
Только поискового бота можно определить средствами PHP (и то не со 100% гарантией). Остальных ботов можно определить только средствами JS.
То есть редирект надо кидать через JS.
 
zloymudvin

zloymudvin

Member
я на CDN настроил правила, весь траффик у которого в user_agent есть https: или http: заблокировал
и сделал исключение для ботов поисковиков
 
Master

Master

Модератор
Так можно заблокировать только тех ботов, которые представляются. Еще строку "curl" внесите.
Но роскомнадзоровские боты косят под обычных пользователей.
 
zloymudvin

zloymudvin

Member
Так можно заблокировать только тех ботов, которые представляются. Еще строку "curl" внесите.
Но роскомнадзоровские боты косят под обычных пользователей.
а дургих вариантов то и нет, если они как пользователи то их и не отличишь никак
 
Master

Master

Модератор
Отличишь, но только через JS скрипт.
Вот, например.
Для просмотра содержимого вам необходимо авторизоваться.
 
Сверху