Общий знаменатель опасных типов интернет-ботов – автоматические атаки. Однако вы можете распознать активность ботов в своем веб-приложении и защитить его, выполнив несколько шагов. Мы покажем вам, как это сделать.
Интернет-боты выполняют простые операции с большей частотой, чем обычно может произвести человек. Поэтому они законно используются, например, для индексации интернет-контента в поисковых системах (так называемые «хорошие» боты). Однако их способность также может быть очень хорошо использована для поиска уязвимостей приложений, распространения фейковых новостей или наводнения серверов большим количеством запросов. Такую активность проявляют «плохие» боты.
Количество интернет-ботов растет, и мы должны рассчитывать на их определенный трафик в приложении. Однако важно обращать внимание на необычные действия и хорошо знать поведение реальных пользователей, чтобы мы могли идентифицировать опасных ботов.
Виды плохих ботов и их активность
Плохие боты чаще всего атакуют веб-приложения в разных отраслях. Они ищут личные данные, которые мы вводим в больших объемах как на мобильные устройства, так и на устройства Интернета. В последнем случае, кроме того, часто используется устройство с низким уровнем защиты. Мы также забываем в достаточной степени защитить интерфейс API и, таким образом, предоставляем злоумышленникам простой способ доступа – например, к банковским данным и базам данных.
Углубленный анализ и защита приложений
Radware Bot Manager – это инструмент, который можно развернуть за считанные минуты. Он будет отслеживать посещаемость вашего сайта, оценивать его и распознавать даже очень сложные типы ботов. Кроме того, он включает частичную защиту API и инструмент для защиты от DDoS-атак.
Radware, как и некоторые другие, в этом году выпустил относительно большой отчет, отражающий проблему плохой загрузки в Интернет-трафике. Из своих наблюдений она выделила четыре поколения плохих ботов:
- 1-е поколение (скриптовые боты) – это наиболее примитивный тип ботов, который обычно использует 1-2 IP-адреса и пытается загрузить как можно больше контента из приложения или создать спам.
Как их распознать: образец атаки часто повторяется и исходит от небольшого количества IP-адресов. - 2-е поколение (безголовые браузеры) – они используют инструменты, которые используются для разработки и тестирования веб-приложений. Он может запускать JavaScript и хранить файлы cookie.
- 3-е поколение (одиночное взаимодействие) – более продвинутый тип загрузки из Интернета может прокручивать, перемещать мышь и щелкать по веб-презентации.
Как их распознать: движения мыши бывают жесткими, прямыми. - 4-е поколение (распределенные, мутирующие боты) – очень сложные боты по своему поведению практически неотличимы от людей. Они записывают поведение реальных пользователей (смахивание, касание экрана), чтобы максимально точно имитировать человеческие движения.
Как их распознать: они делают всего несколько ударов с каждого устройства и всего несколько движений мыши. Наиболее эффективно изучать поведение реальных пользователей в конкретном приложении и обращать внимание на детали.
Для DDoS-атак, создания случайно сгенерированных сообщений или создания поддельных учетных записей и распространения спама (спам-ботов) наиболее эффективным является создание ботнета. Это сеть взломанных устройств конечных пользователей. Плохие боты используют различные типы вредоносных программ для создания такой сети. Благодаря ботнету боты могут незаметно выполнять масштабные атаки (аналогично тому, как это делают боты 4-го поколения).
Плохой бот в действии: как происходит атака
Представьте себе несуществующий веб-сайт www.imaginarniweb.ru, который работает, например, на WordPress. Плохой бот попытается получить доступ к форме заявки. Ему удается найти его, просканировав URL-адрес, например, на www.imaginarniweb.ru/wp-admin (один из наиболее вероятных URL-адресов).
Мы рекомендуем защитить такой URL-адрес – например, ограничить доступ к нему только для пользователей во внутренней сети. Запускает создание учетных данных и в конечном итоге также будет успешным в этом случае. Он выполняет SQL-инъекцию (взлом уровня базы данных, который часто связан с веб-приложением) через необработанную форму или файл cookie и получает доступ ко всем данным, хранящимся в базе данных.
Вовремя определять ботов, отслеживать посещаемость на сайте
Самый простой способ – наблюдать за происходящим в сети. Плохая ботовая активность чаще всего проявляется аномальным увеличением или уменьшением посещений в необычные периоды времени с высоким уровнем немедленного отказа. Это связано с внезапной сменой IP.
Следите за тем, откуда приходит пользователь, в первую очередь для плохих ботов это обычно прямое посещение веб-сайта (путем ввода URL-адреса в адресной строке). Также настораживает снижение производительности сервера, подозрительные IP-адреса или посещения с сайтов, которые обычно не отображаются в вашей статистике. Станьте еще умнее, если увидите огромное количество посещений с одного определенного IP. Реальные пользователи обычно посещают лишь несколько страниц на определенном сайте. Также обратите внимание на требования к языкам, которые ваши клиенты обычно не используют.
Сравните любую необычность со стандартной работой и поведением реальных пользователей.
4 совета по ограничению активности ботов в Интернете
- Поместите файл robots.txt в корневой каталог своего сайта и определите, каким ботам разрешен доступ к сайту. Таким образом, вы сможете заблокировать активность только некоторых легитимных роботов. Однако даже это может быть полезно во многих случаях. Мы рекомендуем вам максимально упростить доступ хороших поисковых роботов к вашему контенту. В противном случае ваш сайт перестанет появляться в результатах поиска.
- Добавьте CAPTCHA в регистрационные формы. Это тест, который автоматически отличает компьютер от реального пользователя. CAPTCHA исключает вмешательство третьего поколения ботов. Если для вас важно, чтобы веб-сайт был легко доступен для всех пользователей, в том числе для людей с ограниченными возможностями, оставьте CAPTCHA также доступной в звуковой форме.
- Установите предупреждение JavaScript, которое бот распознает и предотвратит или затруднит доступ к Интернету.
- Используйте Bot Manager. На самое продвинутое поколение ботов в основном влияет глубокий поведенческий анализ, которым управляют эти инструменты. При поведенческом подходе вы сможете выявить активность ботов 4-го поколения.
Чтобы продвинуть борьбу с онлайн-ботами в Интернете, попробуйте объединить хотя бы несколько из приведенных выше передовых практик. Это увеличит ваши шансы на успех. Но в первую очередь обратите внимание на хорошую безопасность. Для ботов это немного усложнит движение в приложении, и это именно то, что мы желаем добиться.