Анализ сетевого трафика — 10 лучших бесплатных анализаторов и коллекторов

NetFlow Record is Created

There are hundreds of thousands flows recorded in the NetFlow cache. Obviously, flows do not live in cache forever, instead they are exported from the cache to a flow collector on a regular basis. A flow is exported when it is inactive for a certain time e. g. no new packets are received for the flow. By default, the inactive flow timer is set to 15 seconds. The flow is also exported when it is long lived (active) and lasts longer than the active timer.  By default, the active timer is set to 30 minutes. For instance, a large file download that lasts longer than 30 minutes may be broken into multiple flows. It is a role of the flow collector to combine these flows showing the total download.

NetFlow versus sFlow

SFlow has an ability to monitor L2-L7 headers, the ability to monitor L2 headers (MAC, VLAN ID) has been added to NetFlow v9.

Packet sampling is hardware based and is performed by switching ASICs, achieving wire speed performance. It makes sFlow a scalable technology which is able to monitor the links with the speed of up to 10 GBps.

sFlow datagrams are continuously sent across the network in real-time, while the export of NetFlow records depends on active/inactive timers. It may take up to 30 minutes to export flow when NetFlow is used. Obviously, sFlow is better in traffic visibility than NetFlow. It makes sFlow good at massive DoS attacks detection, as the sampled network patterns are sent on the fly to the sFlow collector.

Nevertheless, measurements provided by sFlow are only an approximation of the real traffic because sampled packets do not reflect all network traffic. As a result, sFlow lacks accuracy provided by NetFlow as it cannot track every network communication. The accuracy, however is highly required in digital forensics so sFlow cannot fully qualify for forensic investigation.

В чем поможет «Защита от DDoS-атак»

Как минимум, справиться со следующим списком неприятностей:

• Memcached Attack

• Sentinel Amplification Attack

• RIPV1 Amplification Attack

• Microsoft SQL Resolution Service Amplification

• Portmapper Amplification

• Steam Amplification

• Quake Network Protocol

• QOTD Amplification

• NetBIOS Amplification

• TFTP Amplification

• SNMP Amplification

• Chargen Amplification

• HTTP Flooding

• XMAS- DDoS

• SSDP Amplification Attack

• NTP Amplification

• TCP FIN Flooding

• TCP SYN-RST Flooding

• TCP SYN-FIN Flooding

• Trojan.Heloag

• DNS Amplification

• TCP Port Scan

• Host TCP Traffic

• IPv4 Dark IP

Можно настроить и быстрый алертинг — ответственный специалист сразу же получит уведомление о начавшейся DDoS-атаке с помощью emal, СМС или телефонного звонка.

Анализ уровня атаки происходит за полминуты: специфика работы Radware в том, что оборудование обновляет статистику раз в 15 секунд, поэтому, чтобы точно детектировать превышение полосы канала, нужно два таких срабатывания.

Кроме основного способа подключения, есть и другие: ведь один клиент может поставить оборудование у себя, а другой по ряду причин — нет.

Flexible NetFlow configuration example

Here is an example of configuration I used to export netflow datas to ManageEngine Netflow Analyser. This configuration was made on a 6500/SUP2T.

flow exporter EXPORTER
 description --- To NetFlow Analyser Software ---
 destination 10.10.10.10
 source Loopback0
 transport udp 9996
 template data timeout 60
!
flow record NETFLOW-RECORD
match ipv4 protocol
match ipv4 source address
match ipv4 destination address
match transport source-port
match transport destination-port
match interface input
collect routing source as
collect routing destination as
collect routing next-hop address ipv4
collect ipv4 source mask
collect ipv4 destination mask
collect transport tcp flags
collect counter bytes long
collect counter packets long
collect timestamp sys-uptime first
collect timestamp sys-uptime last
!
flow monitor NETFLOW-MONITOR
 exporter EXPORTER
 cache timeout active 60
 cache timeout inactive 15
 record NETFLOW-RECORD
!
int ten1/2/3
ip flow monitor NETFLOW-MONITOR input
!

How are the Flows Created?

NetFlow enabled devices (NetFlow exporters) create NetFlow records aggregating packets into flows based on the criteria below:

• IP Source Address
• IP Destination Address
• Source Layer 4 port
• Destination Layer 4 port
• Class of Service
• IP Protocol
• Source Interface

Each packet that is going to be forwarded is examined for the above parameters. The first unique packet creates a flow as an entry in the NetFlow cache (flow record). The packet is then forwarded out of the router. The other packets matching the same parameters are aggregated to this flow and the bytes counter for the flow increases. If any of the parameters is not matched, a new flow is created in the cache.

Защитить удаленку (и не только) с помощью Netflow +13

• 21.09.20 08:22

•
Bee_brightside
•
#519958
•
Хабрахабр

•

•

1600

Информационная безопасность, Сетевые технологии, Блог компании Билайн Бизнес
Рекомендация: подборка платных и бесплатных курсов 3D max — https://katalog-kursov.ru/

Если бы каждый DDoS выглядел так. Но нет

Если даже у вас средний бизнес, а не магазин с тысячами товаров, DDoS все равно штука не очень приятная, которую хорошо бы предотвращать. Да и, кроме DDoS, общий уровень информационной безопасности стоит поддерживать. Особенно сейчас, когда многие компании перешли на удаленку, и часть сотрудников работает не только с корпоративных ноутбуков, но и с личных.

Мы в Билайн.Бизнес начинаем предоставлять услугу под названием «Защита от DDoS-атак». В этом посте мы расскажем, что это и как работает.

Мы решили сделать защиту не только качественной, но и доступной. В 2018 году (помните, было время, когда на футболе были зрители?) решение, обеспечивающее нашу защиту от DDoS на время чемпионата мира по футболу, было построено на платформе анализа сети и выявления аномалий компании Genie Networks. Сегодня де-факто почти вся Азия использует Genie.

Сейчас же мы предоставляем это решение для остальных. 

Как понятно из названия, мы собираем по протоколу NetFlow данные о трафике клиентов на сетевом уровне. Базово архитектура NetFLow описывается вот такой схемой (Википедия).

Если коротко, то услуга работает вот так:

1. Клиент подключается к нам, система собирает и подробно анализировать данные о его трафике по протоколу NetFlow.

2. У NetFlow есть анализатор (вот та прекрасная иконка ПК на картинке выше). На основе его анализа генерируется сообщение нашему Центру Очистки — зафиксирована атака. Сразу после этого маршрутизатору приходит команда о переключении клиентского трафика на Центр Очистки (у нас собственный центр на Radware, это мировой лидер в области обеспечения информационной безопасности). Не позднее чем через 18 секунд после этого начинается отражение атаки.

3. Просто отразить атаку — мало. Поэтому после этого мы формируем для конкретного клиента политику трафика, всё это тоже на основании данных из Центра Очистки.

4. Бывает, что на предыдущем этапе по каким-то причинам не получается определить профиль трафика в автоматическом режиме. В таком случае наши технологические партнеры в области информационной безопасности (“ЭКОН Технологии”) настраивают этот профиль вручную, и в случае необходимости переключают трафик клиента на наш Центр Очистки тоже вручную.

5. После прохождения Центра Очистки на ресурсы клиента направляется правильный трафик, уже без элементов DDoS.

Допустим, на ресурсы клиента начинают DDoS-атаку. Если её значение составляет примерно 80-95% от пропускной возможности сети клиента, то да, с защитой справится и установленное нами оборудование. Но если злобные дудосеры решают поднапрячься и забивают почти всю клиентскую полосу, более 80-95%, то здесь в автоматическом режиме мы переводим трафик клиента на наш Центр Очистки.

А теперь подробнее.

Кратко о NetFlow

Netflow позволяет анализировать сетевой трафик на уровне сеансов, делая запись о каждой транзакции TCP/IP, что предоставляет довольно подробную статистику. На текущий момент существуют две версии Netflow – 5 и 9. На основе версии 9 был разработан открытый стандарт под названием IPFIX. Также в этой версии поддерживаются дополнительные поля, такие как заголовки IPv6, метки потоков MPLS и адрес шлюза BGP.

Для использования протокола NetFlow необходимы следующие компоненты:

• Сенсор – собирает статистику по проходящему через него трафику. Обычно это L3-коммутатор или маршрутизатор, хотя можно использовать и отдельно стоящие сенсоры, получающие данные путем зеркалирования порта коммутатора.
• Коллектор – собирает получаемые от сенсора данные и помещает их в хранилище.
• Анализатор – выполняет анализ собранных коллектором данных и формирует пригодные для чтения человеком отчеты (часто в виде графиков).

Сенсор выделяет из трафика наборы пакетов, проходящие в одном направлении, – потоки. В коллектор отправляются завершенные или текущие потоки с настроенной периодичностью.

Собранная информация имеет вид записей, содержащих следующие параметры (для версии 5):

• номер версии протокола
• номер записи
• входящий и исходящий сетевой интерфейс
• время начала и конца потока
• количество байт и пакетов в потоке
• адрес источника и назначения
• порт источника и назначения
• номер протокола IP
• значение Type of Service
• для TCP-соединений – все наблюдаемые в течение соединения флаги
• адрес шлюза
• маски подсети источника и назначения.

Из коллектора данные поступают на анализатор (систему обработки и визуализации), который должен понимать формат входящего файла от коллектора и показывать содержащуюся в нем информацию в виде отчетов и графиков.

Definition

The network traffic component offers a reliable and convenient traffic analysis solution that monitors network-wide traffic in real time and provides multi-dimensional top N traffic analysis reports. With this component, users can promptly detect abnormal traffic on the network and keep abreast of the network bandwidth usage.

The network traffic component consists of two functional modules: NTC and NTA.

• NTC

  Receives NetStream packets reported by network devices, aggregates the packets into data files by dimensions such as host and application, and sends the data files to the NTA.

• NTA

  Imports data files into the database and monitors network traffic in real time.

Network devices that can be monitored by the network traffic component are as follows:

• Huawei S-series switches, including S77, S93, and S97-series switches
• Huawei CE switches, including CE5850, CE5810, CE6850, and CE12800
• Huawei NE routers, including NE16, NE20, NE40, and NE80
• Huawei AR routers, including AR160, AR200, AR1200, AR2200, and AR3200
• Huawei USG firewalls, including USG6510E
• Huawei wireless ACs, including ACU2, AC6605, and AC6005

Основы Протокола

Netflow состоит из двух компонентов:

NetFlow Cache (иногда называемый источником данных или потоковым кэшем) — хранит информацию о потоке IP.

Механизм экспорта или транспорта Netflow — это отправляет данные в коллекционер для дальнейшей отчетности и анализа данных.

Когда пакет входит в интерфейс, который ранее не видел маршрутизатор / коммутатор, он будет решать, следует ли маршрутизировать датаграмму, и если он переадресует дейтаграмму, он сделает запись в потоковом кэше (в маршрутизаторе или коммутаторе) на основе критериев соответствия в пакете.

Каждый пакет в переадресованном коммутаторе / маршрутизаторе проверяется на определенный набор атрибутов IP-пакетов, которые идентифицируют пакет и другие. (Вы можете думать об этом как о отпечатках пальцев.) Ip Flow состоит из набора из 5 атрибутов и может иметь до 7 баллов.

Атрибуты 1 каждого IP-пакета следующие:

• IP-адрес источника
• IP-адрес назначения
• Порт источника
• Порт назначения
• Тип протокола 3-го уровня
• Класс обслуживания
• Интерфейс маршрутизатора или коммутатора

Пакеты имеют следующие атрибуты, которые являются САМЫМИ, сгруппированы в так называемые FLOW, которые затем подсчитываются: IP-адрес источника / получателя, порты источника / адресата, интерфейс протокола и класс обслуживания.

Определение потока масштабируется, поскольку эти данные и информация организованы в базу данных Netflow, называемую Netflow Cache, или Flow Cache.

Миф 1. Flow-данные – выборочные и неточные

Это утверждение действительно верно для стандартов sFlow или NetFlow Lite, поддерживаемых на устаревших устройствах и используемых клиентами малого и среднего бизнеса. Все крупные поставщики сетевого оборудования для предприятий предоставляют маршрутизаторы и коммутаторы, способные экспортировать высокоточную статистику трафика. В последнее время общая доступность flow-данных резко возросла. Все крупные поставщики брандмауэров поддерживают экспорт flow-потоков, а платформы виртуализации обеспечивают их видимость. Даже экономичные устройства, такие как маршрутизаторы Mikrotik, могут предоставить точную статистику.

Кэш потока

Элемент Flow Cache содержит информацию о потоке, включающую следующее:

1. IP-адреса назначения
2. Исходные IP-адреса
3. Номер порта назначения
4. Номер исходного порта
5. Исходный интерфейс,
6. Тип протокола уровня 3,
7. ToS Byte — (означает байт типа обслуживания и учитывает приоритет, скорость, пропускную способность и надежность
8. Входной логический интерфейс (ifIndex) (интерфейс маршрутизатора или коммутатора)

Затем пакет маршрутизируется через интерфейс назначения. Поскольку в маршрутизатор входят следующие пакеты, которые соответствуют существующей записи потока, счетчики байтов и пакетов продолжают увеличиваться через каждый дополнительный грамм данных до тех пор, пока соединение между хостом, участвующим в потоке, не будет снесено.

Таким образом, пакеты, которые вводят маршрутизатор, у которого нет соответствующей записи потока, сначала определяются как маршрутизируемые, и если они приняты, они затем отправляются после записи потока потока. Кэш потока может содержать сотни тысяч записей, а в некоторых случаях — в миллионы записей. Когда потоки истекают, они экспортируются в сборщик Netflow , который будет постоянно анализировать и архивировать потоки для дальнейшего использования. Затем сборщик Netflow может предоставить подробную информацию о таких вещах, как обнаруженные угрозы, топология сети, верхние интерфейсы и график этих тенденций. Netflow используется для поиска полосчатых свиней, поиска сетевых угроз, изоляции проблем медленности приложений и даже для биллинга на основе использования некоторыми провайдерами.

Netflow версии 9, которая теперь является стандартом IETF, известным как IP Information Export (IPFIX), является новым стандартом для транспортировки информации от коммутаторов и маршрутизаторов в коллектор . Многие поставщики оборудования теперь используют IPFIX, который является официальным стандартом для всех технологий потока. Как Netflow, так и IPFIX могут выполняться на аппаратном или программном обеспечении, они могут использоваться для экспорта информации в режиме реального времени, вплоть до второго, и они могут использоваться как для выборки потока, так и для пакетов, подобно SFLOW.

NetFlow для DPI

С систем DPI достаточно экспортировать статистику по протоколам и направлениям в формате NetFlow 5, так как он наиболее распространен и поддерживается большинством бесплатных и коммерческих средств для сбора и анализа статистики.

Передача DPI-информации в формате NetFlow 5 имеет ряд особенностей:

• Для передачи информации об используемом протоколе используется поле dstport (номер порта). Когда это возможно, используется номер порта, закрепленный за протоколом ассоциацией IANA, но для протоколов со свободным номером (торренты, скайп и т. п.) выделен специальный номер в верхнем диапазоне (49152–65534), зарезервированном IANA для приватных портов. Если протокол определить не удалось, ему назначается номер порта 65535.
• Статистика по протоколам передается в агрегированном виде, то есть DPI накапливает статистику по протоколу, объединяя информацию по разным сессиям, а потом с заданной периодичностью передает ее на коллектор. Это позволяет существенно снизить объем передаваемой информации.
• Информация о направлениях передается в поле dst_as (номер автономной системы).
• Статистика по направлениям передается в агрегированном виде, то есть DPI накапливает статистику по направлению (номеру AS), объединяя информацию по разным сессиям, а потом с заданной периодичностью передает ее на коллектор. Это позволяет существенно снизить объем передаваемой информации.

Система контроля и анализа сетевого трафика

Узнать больше

Одним из наиболее популярных способов получать и анализировать информацию с платформы DPI является связка:

1. демон-коллектор, который слушает порт, собирает данные и пишет в файлы
2. дамп, который читает и выводит собранные nfcapd-данные
3. визуализатор, который является графическим интерфейсом для данных nfdump.

Настройка DPI сводится к указанию следующих параметров:

1. Включение системы сбора и экспорта статистики (по протоколам, по направлениям, для биллинга, полная статистика по сессиям).
2. Сетевой интерфейс, через который будет отправляться netflow со статистикой.
3. Периодичность экспорта данных.
4. IP-адрес и номер порта коллектора (или нескольких коллекторов для разных типов данных).

Чтобы иметь возможность построить отчеты по трафику посещения сайтов, по абонентам системы с динамической выдачей адресов, связать данные по сессиям и объемам с метаданными, переданными в рамках сессии, необходимо использовать протокол IPFIX (дальнейшее развитие NetFlow-протокола версии 9). Для сбора информации в формате IPFIX подойдет любой универсальный IPFIX-коллектор, который понимает шаблоны, или утилита IPFIX Receiver.

Для установки NfSen потребуется компьютер с установленной CentOS 6 или выше. Требуемое место на диске – от 250 МБ до 1,5 ГБ на каждый день хранения в зависимости от настроек. Объем оперативной памяти от 1G. Однако NfSen не рекомендуется ставить на сервер с DPI-платформой: подготовка отчетов требовательна к ресурсам CPU, что может негативно отразиться на производительности DPI-платформы. Установка NfSen приводит к установке веб-сервера Apache, а ее настройка сводится к включению автозапуска и открытию портов на firewall.

После накопления данных хотя бы за одни сутки NfSen позволит строить графики по протоколам, объему трафика и другие, основанные на полученных сведениях с системы DPI.

Помимо графиков с помощью NfSen можно строить отчеты за произвольные периоды, по протоколам и направлениям.

Анализ информации о трафике – это первый шаг на пути оптимизации и улучшения качества услуг, предоставляемых операторами связи. Отчеты и графики показывают реальное потребление полосы пропускания, самые загруженные направления и самых «жадных» потребителей. Данные сведения позволяют производить грамотные настройки приоритетов, заранее выявить приложение или пользователя с наибольшей нагрузкой на полосу пропускания, увидеть тренды и защитить сеть от перегрузки, ограничив скорость.

Подпишитесь на нашу рассылку и будьте в курсе последних событий и специальных предложений.

Миф 3. Flow-данные не используют показатели сетевой эффективности

До этого мы говорили о поиске неисправностей. Другая часть головоломки – это мониторинг производительности сети. Мониторинг сети не обеспечивается исключительно за счет захвата пакетов. Показатели производительности сети могут быть легко извлечены из пакетных данных и экспортированы как часть статистики потока. Индикаторы производительности, такие как RTT, SRT, jitter или количество повторных передач, прозрачно доступны для всего сетевого трафика, независимо от протокола приложения. Учитывая его преимущества, такой подход был принят рядом крупных вендоров, которые предоставляют эти показатели как часть своего расширения AVC (видимость и контроль приложений) ART (время отклика приложений). Это означает, что вы можете измерить производительность всех приложений, работающих в локальной среде, в частном облаке, а также в общедоступной облачной среде.

What is Flexible Netflow?

NetFlow is a protocol developed by Cisco to monitor and analyze network traffic flows. And now there is an enhanced version. This is Flexible NetFlow. Basically, Flexible NetFlow is an extension of Traditional NetFlow. In other words, it is advanced and next generation NetFlow technology. In another lesson, we will see How to Configure Flexible Netflow on Cisco Routers.

Flexible NetFlow is Cisco ‘s one of the Next Generation Technologies that provides detailed analyze and more information than the previous version. Flexible Netflow provides the ability to monitor a wide range of packet information as expansion of Traditional Netflow. It uses Deep Packet Inspection to achieve this.

So, what is Deep Packet Inspection?

Deep Packet Inspection

Deep Packet Inspection or shortly DPI is basically a network packet filtering. It is an advanced method of managing network traffic. DPI is a method that inspects not only the packet’s multiple headers, but also the data content of the packet. So, you can learn the network traffic deeply. You can identify different application data like youtube, facebook, Skype etc.

Especially in the Packet Core Networks of Mobile Operators, Deep Packet Inspection is very important. Here, with DPI, the user traffic is analyzed and classified. So, a specific policy can be used for a specific traffic. For example, only facebook traffic or youtube traffic of the users can be blocked or the speed of the data transfers of these applications can be limited.

What is New in Flexible Netflow?

In traditional Netflow, the flow analyze is not too much detailed. With Flexible Netflow and Deep Packet Inspection, the traffic flow analyze can be done detailly. Even the application traffics can be classified with Deep Packet Inspection.

With Deep Packet Inspection, different layer data can be anazled from layer 2 to layer 7. For this analze Cisco NBAR is also used together.

Another difference between Traditional Netflow and Flexible Netflow is about cache usage. Traditional Netflow uses one cache for all the tracked information. But Flexible Netflow uses different caches for different purposes. For example, billing information can use a cache and security analyze information can use another. Both of this traffic analyzes can be done simultaneously.

Beside Flexible Netflow can export interface data like name, descriptions etc. and this eliminates the usage of SNMP (Simple Network Management Protocol).

Another difference is about additional tracking information. Flexible Netflow allows additional IP information in IPv4, IPv6 header fields, TCP flags etc. For security and malicious behavior analyze, this is very important.

In Flexible Netflow, there are three types of flows. In Traditional Netflow, there was only one flow. So, what are these Flexible Netflow flows? These are:

• Normal Cache
• Permanent Cache
• Immediate Cache

The Normal Cache is the same as in Traditional Netflow. Normal Cache uses flow timers to expire/age flows and export to the Netflow Collector.

The Permanent Cache is a configurable cache that helps accounting and security monitoring.

The Immediate Cache, allows end user to export a flow on demand.

Flexible Netflow Components

There are different Netflow Components. These are:

• Flow Record
• Flow Monitor
• Flow Exporter
• Flow Sampler

Flows are defined by different flow information. These are called Flow Records. The parameters used to define a flow are given below:

• Source IP Address
• Destination IP Address
• Source Port Number
• Destination Port Number
• Layer 3 Protocol Type
• Type of service
• Interface

The traffic that has the same parameters are defined as flow. These parameters can also used to define more specific flows.

Flow Monitors are the components used to monitor network traffic. They are applied to interfaces. After this application, a flow monitor cache is created. There are different modes of flow monitor cache can be used with each flow. These flow monitor cache modes are given below:

• Layer 3
• Immediate
• Permanent

Layer 3 mode is the default mode. In this mode the cache entries are aged out according to the timeout parameters.

Immediate mode is the mode with which the cache entries are aged out immediately when they are created. We use this mode for the traffic information is needed immediately at the other end.

Permanent mode is the mode with which the newer cache entries are aged out. This mode is used when we need long term statistics on the device and for low number flow.

The flow data must be transferred for analyze. Flow Exporter is used for the transfer of Netflow Cache from the source to the remote system. There can be multiple Flow Exporters.

There can be a high traffic to analyze and this can affect the performance of the monitored device. To avoid this performance problem, Flow Sampler is used to limit the number of monitored packets by the Flow Monitor.

Миф 4. Flow не является комплексным инструментом для мониторинга и диагностики эффективности сети

Согласно Gartner, основной целью инструментов NPDM является предоставление показателей производительности путем использования полных пакетных данных и возможности исследовать проблемы сети методом анализа полных трассировок пакетов. Но действительно ли нам нужно решение для захвата пакетов? Нет. Расширенные flow-данные обеспечивают точную статистику трафика, видимость в L7 (протоколы приложений) и метрики производительности сети, что позволяет полностью использовать сценарии использования NPMD.

На самом деле с ростом зашифрованного трафика, разнородных сред и с увеличением скорости сети неизбежно, что flow станет преобладающим подходом в области NPMD. Увеличение пропускной способности бросает значимый вызов устаревшим пакетным решениям. Давайте посмотрим на простой пример. Магистраль сети емкостью 10G потребует до 108 Тбайт хранилища данных для отслеживания всего сетевого трафика в течение 24 часов. Это огромный объем данных, которые необходимо собирать, хранить и анализировать, что делает весь процесс чрезвычайно дорогим.

В действительности вам понадобится только часть их. Для потоковых данных в той же ситуации потребуется около 250 Гбайт емкости, что позволяет хранить 30-дневную историю на коллекторе, оснащенном 8 Тбайт памяти.

Представим, что вам нужно устранить очень специфическую проблему с неподдерживаемым протоколом приложения, когда в flow-данных отсутствует видимость. В таком случае нужен инструмент на основе захвата пакетов, верно? На самом деле, не совсем. Наличие зонда означает, что у вас есть доступ к полному пакету данных в любом случае. Таким образом, вместо того, чтобы просто извлекать все метаданные из пакетов, вы задаете Probe задачу запустить захват пакетов. Эта задача будет ограничена во времени и строго сфокусирована на записи пакетов, имеющих отношение к вашему исследованию. Таким образом, выборочный захват пакетов по требованию легко обрабатывается даже в 10G-среде без необходимости в большой емкости хранилища.