Ids системы обнаружения вторжений / хабр

1.3 Методы обнаружения аномалий

1) Статистический анализ: данная группа методов основана на построении статистического профиля поведения системы в течение некоторого периода «обучения», при котором поведение системы считается нормальным. Для каждого параметра функционирования системы строится интервал допустимых значений, с использованием некоторого известного закона распределения. Далее, в режиме обнаружения, система оценивает отклонения наблюдаемых значений от значений, полученных во время обучения. Если отклонения превышают некоторые заданные значения, то фиксируется факт аномалии (атаки). Для статистического анализа характерен высокий уровень ложных срабатываний при использовании в локальных сетях, где поведение объектов не имеет гладкого, усреднённого характера. Кроме того, данный метод устойчив только в пределах конкретной системы, то есть построенные статистические профили нельзя использовать на других аналогичных системах.

2) Кластерный анализ: суть данной группы методов состоит в разбиении множества наблюдаемых векторов-свойств системы на кластеры, среди которых выделяют кластеры нормального поведения. В каждом конкретном методе кластерного анализа используется своя метрика, которая позволяет оценивать принадлежность наблюдаемого вектора свойств системы одному из кластеров или выход за границы известных кластеров. Кластерный анализ является адаптивным, но не верифицируемым и устойчивым в пределах конкретной системы, в которой собирались данные для построения кластеров.

3) Нейронные сети: нейронные сети для обнаружения аномалий обучаются в течение некоторого периода времени, когда всё наблюдаемое поведение считается нормальным. После обучения нейронная сеть запускается в режиме распознавания. В ситуации, когда во входном потоке не удается распознать нормальное поведение, фиксируется факт атаки. В случае использования репрезентативной обучающей выборки нейронные сети дают хорошую устойчивость в пределах заданной системы; но составление подобной выборки является серьёзной и сложной задачей. Классические нейронные сети имеют высокую вычислительную сложность обучения, что затрудняет их применение на больших потоках данных.

4) Иммунные сети: обнаружение аномалий является одним из возможных приложений иммунных методов. Так как количество примеров нормального поведения обычно на порядки превышает число примеров атак, использование иммунных сетей для обнаружения аномалий имеет большую вычислительную сложность.

6) Поведенческая биометрия: включает в себя методы, не требующие специального оборудования (сканеров сетчатки, отпечатков пальцев), т.е. методы обнаружения атак, основанные на наблюдения клавиатурного почерка и использования мыши. В основе методов лежит гипотеза о различии «почерка» работы с интерфейсами ввода-вывода для различных пользователей. На базе построенного профиля нормального поведения для данного пользователя обнаруживаются отклонения от этого профиля, вызванные попытками других лиц работать с клавиатурой или другими физическими устройствами ввода. Поведенческая биометрия имеет строго локальную устойчивость (в пределах одной сети) и слабо верифицируема. Support vector machines (SVM): SVM применим как для обнаружения злоупотреблений, так и для обнаружения аномалий, при этом метод имеет достоинства и недостатки, аналогичные нейронным сетям.

Архитектура IDS

Обычно IDS включает:

Сенсорную подсистему, предназначенную для сбора событий, связанных с безопасностью защищаемой сети или системы;
Подсистему анализа, предназначенную для выявления сетевых атак и подозрительных действий;
Хранилище, в котором накапливаются первичные события и результаты анализа;
Консоль управления, позволяющая конфигурировать IDS, наблюдать за состоянием защищаемой системы и IDS, просматривать выявленные подсистемой анализа инциденты.

По способам мониторинга IDS системы подразделяются на network-based (NIDS) и host-based (HIDS).

NIDS

Основными коммерческими IDS являются network-based. Эти IDS определяют атаки, захватывая и анализируя сетевые пакеты. Слушая сетевой сегмент, NIDS может просматривать сетевой трафик от нескольких хостов, которые присоединены к сетевому сегменту, и таким образом защищать эти хосты.

Преимущества NIDS

Большое покрытие для мониторинга и в связи с этим централизованное управление;
Несколько оптимально расположенных NIDS могут просматривать большую сеть.
Не влияют на производительность и топологию сети.
NIDS обычно являются пассивными устройствами, которые прослушивают сегменты сети без воздействия на её нормальное функционирование. Таким образом, обычно бывает легко модифицировать топологию сети для размещения таких IDS.

Недостатки NIDS

Обладают высокой ресурсоёмкостью; Для NIDS может быть трудно обрабатывать все пакеты в большой или занятой сети, и, следовательно, они могут пропустить распознавание атаки, которая началась при большом трафике.
Требуют дополнительной настройки и функциональности сетевых устройств; Например, многие коммутаторы, на которых построены сети, не предоставляют универсального мониторинга портов, и это ограничивает диапазон мониторинга сенсора NIDS только одним хостом. Даже когда коммутаторы предоставляют такой мониторинг портов, часто единственный порт не может охватить весь трафик, передаваемый коммутатором.
Не могут анализировать зашифрованную информацию; Эта проблема возрастает, чем больше организации (и атакующие) используют VPN.
Не могут распознать результат атаки; NIDS не могут сказать была ли атака успешной, они могут только определить, что атака была начата. Это означает, что после того как NIDS определит атаку, администратор должен вручную исследовать каждый атакованный хост для определения, происходило ли реальное проникновение.
Некоторые NIDS имеют проблемы с определением сетевых атак, которые включают фрагментированные пакеты. Такие фрагментированные пакеты могут привести к тому, что IDS будет функционировать нестабильно.

HIDS

Host-based IDS имеют дело с информацией, собранной внутри единственного компьютера. Такое выгодное расположение позволяет HIDS анализировать деятельность с большой достоверностью и точностью, определяя только те процессы и пользователей, которые имеют отношение к конкретной атаке в ОС. НIDS обычно используют информационные источники двух типов: результаты аудита ОС и системные логи.

Преимущества HIDS

Имеют возможностью следить за событиями локально относительно хоста, могут определять атаки, которые не могут видеть NIDS;
Могут функционировать в окружении, в котором сетевой трафик зашифрован; Это становится возможным, когда host-based источники информации создаются до того, как данные шифруются, и/или после того, как данные расшифровываются на хосте назначения.
Не требуют дополнительной функциональности сетевых устройств. Например, на функционирование HIDS не влияет наличие в сети коммутаторов.

Недостатки HIDS

Не имеют централизованного управления; HIDS более трудны в управлении, так как они должны быть сконфигурированы и управляться для каждого целевого хоста.
Могут быть блокированы некоторыми DoS-атаками или даже запрещены; Так как по крайней мере источники информации (сенсоры) или часть средств анализа для HIDS расположены на том же хосте, который является целью атаки, то, как составная часть атаки, IDS может быть атакована и запрещена.
Обладают высокой ресурсоёмкостью; HIDS используют вычислительные ресурсы хостов, за которыми они наблюдают, что влияет на производительность наблюдаемой системы.
Малое покрытие для мониторинга. HIDS не полностью соответствуют возможности определения сканирования сети или других аналогичных исследований, когда целью является вся сеть, так как IDS наблюдает только за сетевыми пакетами, получаемыми конкретным хостом.

Когда применяются системы обнаружения сетевых атак?

Как показывает практика — сетевые системы обнаружения вторжений должны работать непрерывно. Те компании, которые пренебрегают решениями для детектирования и подавления атак, несут максимальные убытки. Вспомним нашумевшие вирусы-шифровальщики Petya и Wanna Cry — они вскрыли все «болевые» точки и буквально парализовали деятельность организаций. Так как уровень атак с каждым годом только возрастает — решения по их обнаружению должны быть на шаг впереди, чтобы иметь возможность не только расследовать инциденты, но и предотвратить их уже по первым признакам в режиме реального времени.

Suricata

Разработчик: OISF (Open Information Security Foundation).
Web: www.openinfosecfoundation.org.
Платформа: программная.
ОС: Linux, *BSD, Mac OS X, Solaris, Windows/Cygwin.
Лицензия: GNU GPL.

Бета-версия этой IDS/IPS была представлена на суд общественности в январе 2010-го после трех лет разработок. Одна из главных целей проекта — создание и обкатка совершенно новых технологий обнаружения атак. За Suricata стоит объединение OISF, которое пользуется поддержкой серьезных партнеров, включая ребят из US Department of Homeland Security. Актуальным на сегодня является релиз под номером 1.1, вышедший в ноябре 2011 года. Код проекта распространяется под лицензией GPLv2, но финансовые партнеры имеют доступ к не GPL-версии движка, которую они могут использовать в своих продуктах. Для достижения максимального результата к работе привлекается сообщество, что позволяет достигнуть очень высокого темпа разработки. Например, по сравнению с предыдущей версией 1.0, объем кода в 1.1 вырос на 70%. Некоторые современные IDS с длинной историей, в том числе и Snort, не совсем эффективно используют многопроцессорные/многоядерные системы, что приводит к проблемам при обработке большого объема данных. Suricata изначально работает в многопоточном режиме. Тесты показывают, что она шестикратно превосходит Snort в скорости (на системе с 24 CPU и 128 ГБ ОЗУ). При сборке с параметром ‘—enable-cuda’ появляется возможность аппаратного ускорения на стороне GPU. Изначально поддерживается IPv6 (в Snort активируется ключом ‘—enable-ipv6’), для перехвата трафика используются стандартные интерфейсы: LibPcap, NFQueue, IPFRing, IPFW. Вообще, модульная компоновка позволяет быстро подключить нужный элемент для захвата, декодирования, анализа или обработки пакетов. Блокировка производится средствами штатного пакетного фильтра ОС (в Linux для активации режима IPS необходимо установить библиотеки netlink-queue и libnfnetlink). Движок автоматически определяет и парсит протоколы (IP, TCP, UDP, ICMP, HTTP, TLS, FTP, SMB, SMTP и SCTP), поэтому в правилах необязательно привязываться к номеру порта (как это делает Snort), достаточно лишь задать действие для нужного протокола. Ivan Ristic, автор Mod_security, создал специальную библиотеку HTP, применяемую в Suricata для анализа HTTP-трафика. Разработчики прежде всего стремятся добиться точности обнаружения и повышения скорости проверки правил.

С Suricata можно использовать все наработки к Snort, например Snorby

Вывод результатов унифицирован, поэтому можно использовать стандартные утилиты для их анализа. Собственно, все бэк-энды, интерфейсы и анализаторы, написанные для Snort (Barnyard, Snortsnarf, Sguil и т. д.), без доработок работают и с Suricata. Это тоже большой плюс. Обмен по HTTP подробно журналируется в файле стандартного формата Apache.

Основу механизма детектирования в Suricata составляют правила (rules). Здесь разработчики не стали пока ничего изобретать, а позволили подключать рулсеты, созданные для других проектов: Sourcefire VRT (можно обновлять через Oinkmaster), OpenSource Emerging Threats и Emerging Threats Pro. В первых релизах поддержка была лишь частичной, и движок не распознавал и не загружал некоторые правила, но сейчас эта проблема решена. Реализован и собственный формат rules, внешне напоминающий снортовский. Правило состоит из трех компонентов: действие (pass, drop, reject или alert), заголовок (IP/порт источника и назначения) и описание (что искать). В настройках используются переменные (механизм flowint), позволяющие, например, создавать счетчики. При этом информацию из потока можно сохранять для последующего использования. Такой подход, применяемый для отслеживания попыток подбора пароля, более эффективен, чем используемый в Snort метод, который оперирует пороговым значением срабатывания. Планируется создание механизма IP Reputation (вроде SensorBase Cisco, см. статью «Потрогай Cisco» в ][_07_2011).

Резюмируя, отмечу, что Suricata — это более быстрый движок, чем Snort, полностью совместимый с ним по правилам и бэк-эндам и способный проверять большие сетевые потоки. Единственный недостаток проекта — скудная документация, хотя опытному админу ничего не стоит разобраться с настройками. В репозиториях дистрибутивов уже появились пакеты для установки, а на сайте проекта доступны внятные инструкции по самостоятельной сборке из исходников. Есть и готовый дистрибутив Smooth-sec, построенный на базе Suricata.

Конфигурационный файл Suricata понятен тем, кто возился с настройками Snort

Open WIPS-NG

Open WIPS-NG — это проект с открытым исходным кодом, который помогает вам контролировать беспроводные сети. Инструмент можно использовать как простой анализатор пакетов Wi-Fi или как систему обнаружения вторжений. Утилита была разработана той же командой, которая создала Aircrack-NG — очень известный инструмент для взлома сети, используемый хакерами. Таким образом, пока вы используете Open WIPS-NG для защиты своей сети, хакеры, которых вы обнаружите, будут собирать ваши беспроводные сигналы с помощью родственного пакета.

Это бесплатный инструмент, который устанавливается в Linux. Программный комплекс включает в себя три компонента. Это датчик, сервер и интерфейс. Open WIPS-NG предлагает ряд инструментов исправления, поэтому датчик выступает в качестве вашего интерфейса с беспроводным приемопередатчиком как для сбора данных, так и для отправки команд.

Возможности систем

IPS и IDS-системы имеют ряд полезных возможностей:

Обнаружение по сигнатурам — трафик проверяется на соответствие профилю известных атак (шаблонов). Это позволяет выявить атаки, вредоносные коды, движение ложного трафика и другие риски. Подходит для обнаружения и блокирования известных атак.
Обнаружение на основе аномального поведения в данных — системы могут использовать не только шаблоны, но и распознавать новые (нешаблонные) варианты атак. Как правило, для этого задействуется искусственный интеллект и модели машинного обучения.
Наблюдение за пользователями в реальном времени — алгоритмы собирают данные о трафике и комплексно анализируют его. Это позволяет не только находить проблемы, но и точно идентифицировать их: откуда была угроза, когда и каким способом.

Splunk

Splunk — популярный анализатор сетевого трафика, который также имеет возможности NIDS и HIDS. Инструмент можно установить в Windows и Linux. Утилита доступна в трех редакциях. Это Splunk Free, Splunk Light, Splunk Enterprise и Splunk Cloud. Вы можете получить 15-дневную пробную версию облачной версии инструмента и 60-дневную бесплатную пробную версию Splunk Enterprise. Splunk Light доступен в 30-дневной бесплатной пробной версии. Все эти версии включают возможности сбора данных и обнаружения аномалий.

Функции безопасности Splunk можно улучшить с помощью надстройки под названием Splunk Enterprise Security. Доступна 7-дневная бесплатная пробная версия. Этот инструмент повышает точность обнаружения аномалий и снижает количество ложных срабатываний за счет использования ИИ. Степень оповещения можно настроить с помощью уровня серьезности предупреждения, чтобы ваша команда системных администраторов не была завалена чрезмерно усердным модулем отчетности.

Splunk интегрирует ссылку на файл журнала, чтобы вы могли получить историческую перспективу событий. Вы можете определить закономерности атак и вторжений, наблюдая за частотой злонамеренных действий с течением времени.

История разработок СОВ

Первая концепция СОВ появилась благодаря Джеймсу Андерсону и статье . В 1984 Фред Коэн (см. Обнаружение вторжений) сделал заявление о том, что каждое вторжение обнаружить невозможно и ресурсы, необходимые для обнаружения вторжений, будут расти вместе с степенью использования компьютерных технологий.

Дороти Деннинг, при содействии Питера Неймана, опубликовали модель СОВ в 1986, сформировавшую основу для большинства современных систем. Её модель использовала статистические методы для обнаружения вторжений и называлась IDES (Intrusion detection expert system — экспертная система обнаружения вторжений). Система работала на рабочих станциях Sun и проверяла как сетевой трафик, так и данные пользовательских приложений.

IDES использовала два подхода к обнаружению вторжений: в ней использовалась экспертная система для определения известных видов вторжений и компонент обнаружения, основанный на статистических методах и профилях пользователей и систем охраняемой сети. Тереза Лунт предложила использовать искусственную нейронную сеть как третий компонент для повышения эффективности обнаружения. Вслед за IDES в 1993 вышла NIDES (Next-generation Intrusion Detection Expert System — экспертная система обнаружения вторжений нового поколения).

MIDAS (Multics intrusion detection and alerting system), экспертная система, использующая P-BEST и LISP, была разработана в 1988 году на основе работы Деннинга и Неймана. В этом же году была разработана система Haystack, основанная на статистических методах.

W&S (Wisdom & Sense — мудрость и чувство), основанный на статистических методах детектор аномалий, был разработан в 1989 году в Лос-Аламосской Национальной лаборатории. W&S создавал правила на основе статистического анализа и затем использовал эти правила для обнаружения аномалий.

В 1990, в TIM (Time-based inductive machine) было реализовано обнаружение аномалий с использованием индуктивного обучения на основе последовательных паттернов пользователя на языке Common LISP. Программа была разработана для VAX 3500. Примерно в то же время был разработан NSM (Network Security Monitor — монитор сетевой безопасности), сравнивающий матрицы доступа для обнаружения аномалий на рабочих станциях Sun-3/50. В том же 1990 году был разработан ISOA (Information Security Officer’s Assistant), содержащий в себе множество стратегий обнаружения, включая статистику, проверку профиля и экспертную систему. ComputerWatch, разработанный в AT&T Bell Labs, использовал статистические методы и правила для проверки данных и обнаружения вторжений.

Далее, в 1991, разработчики Университета Калифорнии разработали прототип распределенной системы DIDS (Distributed intrusion detection system), которая также являлась экспертной системой. Также в 1991 сотрудниками Национальной Лаборатории Встроенных Вычислительных Сетей (ICN) была разработана система NADIR (Network anomaly detection and intrusion reporter). На создание этой системы оказала большое влияние работа Деннинга и Люнт. NADIR использовала основанный на статистике детектор аномалий и экспертную систему.

В 1998 году Национальная лаборатория им. Лоуренса в Беркли представила Bro, использующий собственный язык правил для анализа данных libpcap. NFR (Network Flight Recorder), разработанный в 1999, также работал на основе libpcap. В ноябре 1998 был разработан APE, сниффер пакетов, тоже использующий libpcap. Спустя месяц APE был переименован в Snort.

В 2001 году была разработана система ADAM IDS (Audit data analysis and mining IDS). Система использовала данные tcpdump для создания правил.

IBM QRadar

Этот инструмент IBM SIEM платный, но вы можете получить 14-дневную бесплатную пробную версию. Это облачный сервис, поэтому к нему можно получить доступ из любого места. Система охватывает все аспекты обнаружения вторжений, включая действия HIDS, основанные на журналах, а также проверку данных о трафике в реальном времени, что также делает ее NIDS. Сетевая инфраструктура, которую QRadar может отслеживать, распространяется на облачные сервисы. Политики обнаружения, которые выделяют возможное вторжение, встроены в пакет.

Очень приятной особенностью этого инструмента является утилита моделирования атак, которая поможет вам проверить вашу систему на наличие уязвимостей. IBM QRadar использует ИИ для облегчения обнаружения вторжений на основе аномалий и имеет очень полную панель инструментов, которая объединяет данные и визуализацию событий. Если вы не хотите использовать службу в облаке, вы можете выбрать локальную версию, которая работает в Windows.

Как происходит обнаружение вредоносных атак

Технологии IPS используют методы, основанные на сигнатурах — шаблонах, с которыми связывают соответствующие инциденты. В качестве сигнатур могут выступать соединения, входящие электронные письма, логи операционной системы и т.п. Такой способ детекции крайне эффективен при работе с известными угрозами, но очень слаб при атаках, не имеющих сигнатур.

Еще один метод обнаружения несанкционированного доступа, называемый HIPS, заключается в статистическом сравнении уровня активности происходящих событий с нормальным, значения которого были получены во время так называемого «обучающего периода». Средство обнаружения вторжений может дополнять сигнатурную фильтрацию и блокировать хакерские атаки, которые смогли ее обойти.

Резюмируя функции и принципы работы IDS и IPS систем предотвращения вторжений, можно сказать, что они решают две крупные задачи:

анализ компонентов информационных сетей;
адекватное реагирование на результаты данного анализа.

Заключение

Платформа Bro предоставляет богатейший набор возможностей для анализа трафика. Помимо обычного анализа заголовков пакетов (о котором даже не имело смысла упоминать — это базовое свойство подобных систем), здесь имеются и регулярные выражения, и сохранение состояния высокоуровневых соединений, и даже статистический анализ (последний явно указывает на академическое происхождение Bro).

Однако за подобный функционал нужно платить. У Bro очень высок порог вхождения. Требуется, во-первых, досконально разбираться в протоколах как низкого уровня, так и того уровня, который необходимо обрабатывать. Во-вторых, требуется достаточно долго изучать скриптовый язык и фреймворки, которые данная платформа предоставляет, поскольку имеющихся скриптов для нужд, более специфичных, чем общее выявление подозрительной активности, явно не хватит. В-третьих, для промышленного использования Bro, скорее всего, потребуется использовать кластер, что влечет за собой дополнительные усилия на изучение.

Есть у Bro и еще минусы, один из которых — недостаток хоть какого-нибудь GUI. В недрах LBNL он, судя по одной из презентаций, имеется — хотя и предоставляет, по сути, лишь удобный доступ к логам. Второй же минус — отсутствие до недавнего времени поддержки баз данных. Все сообщения писались в текстовые файлы, что для промышленных объемов трафика сейчас не очень-то удобно. Однако дело сдвинулось с мертвой точки — в последних версиях Bro появилась экспериментальная поддержка ElasticSearch.

Заключение

Проведенный обзор и сравнительный анализ методов и систем обнаружения атак позволяют сделать вывод о том, что в настоящий момент не существует открытой общедоступной системы обнаружения, которая обладала бы адаптивностью к неизвестным атакам. Несмотря на наличие большого числа методов обнаружения аномалий, существенное количество ложных срабатываний, слабая устойчивость и неверифицируемость не позволяет их использовать в системах общего назначения. Кроме того, до сих пор использование методов обнаружения аномалий ограничено исследовательскими и узкоспециализированными системами. Например, делаются попытки использовать методы классификации данных, такие как кластерный анализ и нейронные/иммунные сети. Главный недостаток этих методов, в сравнении с экспертными методами и анализом систем переходов, в принципиальной невозможности верификации результата (выхода) – классы поведения строятся на основе обучения и не представляется возможным аналитически рассчитать уровень ошибок I и II рода для таких методов, а также проанализировать корректность принимаемых решений. Для решения данной проблемы необходимо разработать адаптивный метод обнаружения атак, который при низке (линейной) вычислительной сложности, устойчивости и верифицируемой будет иметь низкий уровень ложных срабатываний. Также можно сделать вывод о том, что в области защиты от атак наблюдается переход от обнаружения атак к предотвращению атак: все рассмотренные открытые СОА уже включают в себя средства реагирования на атаки, которые в обязательном порядке включают в себя разрыв соединений и взаимодействие с внешними средствами защиты – межсетевыми экранами и т.п. Данная тенденция, в сочетании с постоянным повышением пропускной способности каналов передачи данных, предъявляет повышенные требования к вычислительной сложности алгоритмов обнаружения атак. При этом большинство методов обнаружения аномалий имеет высокую вычислительную сложность по сравнению с наиболее распространенным сигнатурным методом. В свете вышеизложенного представляется перспективным разработать гибридный метод обнаружения атак, который объединит сигнатурный метод и метод анализа систем переходов для обнаружения отклонений от нормального поведения. Объединение этих методов поможет сохранить верифицируемость, устойчивость и низкую вычислительную сложность при обнаружении злоупотреблений и дополнить их свойством адаптивности к неизвестным атакам. Наличие данных свойств позволит использовать метод в системах обнаружения атак общего назначения, а также в автономных системах, для которых все перечисленные выше свойства являются критичными.