Файл pcap чем открыть

Практические приёмы работы в Wireshark

Джулия Эванс, автор материала, перевод которого мы сегодня публикуем, решила рассказать об одном из своих любимых сетевых инструментов, который называется Wireshark. Это — мощная и сложная программа, оснащённая графическим интерфейсом, предназначенная для анализа трафика в компьютерных сетях. Джулия говорит, что на практике пользуется лишь немногими возможностями Wireshark, но они обычно оказываются очень кстати. Здесь она хочет поделиться со всеми желающими рассказом о самых полезных приёмах работы с программой и надеется, что они пригодятся не только ей, но и всем, кому приходится решать сетевые проблемы.

Установка Wireshark

Вот как выглядит интерфейс программы.

На первый взгляд всё это может показаться слишком сложным: длинный список пакетов, таинственное поле для ввода каких-то запросов… Как же работать с Wireshark?

Анализ pcap-файлов

Обычно я использую Wireshark для выяснения причин сетевых неполадок. Последовательность действий, выполняемая в ходе решения подобных задач, выглядит так:

Анализ TCP-соединений

Часто, когда я анализирую в Wireshark некую ситуацию, мне нужно проверить какое-то конкретное TCP-соединение, с которым, по какой-то причине, что-то не так. Благодаря Wireshark можно проанализировать весь жизненный цикл отдельного TCP-соединения и выяснить причины неправильного поведения системы.

Начало анализа TCP-соединения

Выше описана весьма типичная для меня схема работы с Wireshark. Обычно в соединении участвуют клиент и сервер, и что-то идёт не так либо на клиенте, либо на сервере. Это может быть, например, какой-нибудь сбой или ошибка в настройках системы. В результате Wireshark оказывает мне просто бесценную помощь в деле определения виновника проблем, помогая выяснить — клиент это или сервер.

Команда Decode as

Для того чтобы понять, чем именно является конкретный пакет, Wireshark использует номера портов, и обычно этот подход срабатывает. Например, если программа видит некий трафик на порте 80, она решает, что это HTTP-трафик и обычно так оно и есть.

Просмотр содержимого пакетов

В Wireshark имеется просто восхитительный режим просмотра подробных сведений о пакете, с помощью которого можно разобраться в содержимом любого пакета. Возьмём, например, пакет с сообщением client hello из предыдущего примера. Это — первый пакет SSL-соединения, клиент с его помощью как бы говорит: «Привет! Вот он я!».

Wireshark даёт сетевому администратору два невероятно полезных инструмента для исследования содержимого пакетов. Первый — это режим просмотра, в котором можно раскрывать заголовки, имеющиеся у пакета (например — Ethernet-заголовок, IP-заголовок, TCP-заголовок) и просматривать их содержимое.

Анализ заголовков пакета

Второй режим просмотра пакетов — это настоящее чудо. Здесь можно видеть необработанные данные пакета в виде последовательности байтов. И, что особенно приятно, если навести мышь на какой-нибудь байт (например, на рисунке ниже указатель наведён на байт, входящий в tiles.services.mozilla.com ), программа, в строке состояния, сообщит о том, к какому полю относится этот байт (в данном случае это — поле Server Name ), и о кодовом имени, используемом Wireshark для этого поля (в данном случае — ssl.handshake.extensions_server_name )

Анализ необработанных данных пакета

Поиск пакетов

Wireshark поддерживает мощный язык запросов. Это значительно упрощает поиск конкретных пакетов в списках. Обычно я, при работе с программой, использую очень простые запросы. Вот несколько примеров:

Просмотр сведений о продолжительности TCP-соединений

Иногда мне нужно обратить особое внимание на исследование медленных TCP-соединений. Как это сделать, при условии, что в имеющемся у меня файле есть записи о тысячах пакетов? Как найти медленные TCP-соединения?

Обновление Wireshark

Если вы давно не обновляли Wireshark — это стоит сделать. Например, недавно я, на рабочем ноутбуке, занималась исследованием HTTP/2-пакетов. Мне тогда пришлось нелегко, и я решила посмотреть документацию. Как оказалось, у меня была старая версия программы. В установленном мной обновлении была серьёзно улучшена поддержка HTTP/2, то есть, там было как раз то, что мне было тогда нужно.

Использование Wireshark для изучения сетевых протоколов

В этом материале встречаются некоторые термины, которые можно отнести к чему-то вроде жаргона сетевых специалистов. Например — кадр (frame), TCP-порт (TCP port), DNS-ответ (DNS response), IP-адрес источника (source IP address), пакет client hello SSL-соединения (SSL client hello). Одной из причин их использования является тот факт, что Wireshark, определённо, не пытается оградить пользователя от тонкостей внутреннего устройства сетевых технологий. Новичка такое положение дел может, поначалу, заставить задуматься о том, что Wireshark — это программа не для него, а лишь для опытных сетевых специалистов.

Итоги

Wireshark имеет огромнейшие возможности. Здесь мы рассказали лишь о некоторых из них. Однако, те приёмы работы, которые здесь рассмотрены, по словам автора материала, используются примерно в 95% ситуаций, когда возникает необходимость в Wireshark. Поэтому мы надеемся, что даже то немногое, о чём вы сегодня узнали, вам пригодится.

Уважаемые читатели! Пользуетесь ли вы Wireshark?

Источник

PCAP: захват пакетов, что это такое и что вам нужно знать

Почему мне нужно использовать PCAP?

PCAP является ценным ресурсом для анализа файлов и мониторинга сетевого трафика. Инструменты сбора пакетов, такие как Wireshark, позволяют собирать сетевой трафик и переводить его в удобочитаемый формат. Существует множество причин, по которым PCAP используется для мониторинга сетей. Некоторые из наиболее распространенных включают мониторинг использования полосы пропускания, выявление мошеннических серверов DHCP, обнаружение вредоносных программ, разрешение DNS и реагирование на инциденты..

Для сетевых администраторов и исследователей безопасности анализ файлов пакетов является хорошим способом обнаружения сетевых вторжений и других подозрительных действий. Например, если источник отправляет в сеть большое количество вредоносного трафика, вы можете определить его с помощью программного агента и затем предпринять действия для устранения атаки..

Как работает Packet Sniffer?

Для захвата файлов PCAP вам нужно использовать анализатор пакетов. Анализатор пакетов захватывает пакеты и представляет их так, чтобы их было легко понять. При использовании анализатора PCAP первое, что вам нужно сделать, это определить, какой интерфейс вы хотите прослушивать. Если вы используете устройство Linux, это может быть eth0 или wlan0. Вы можете выбрать интерфейс с команда ifconfig.

Как только вы узнаете, какой интерфейс вы хотите прослушать, вы можете выбрать, какой тип трафика вы хотите отслеживать. Например, если вы хотите отслеживать только пакеты TCP / IP, вы можете создать правила для этого. Многие инструменты предлагают фильтры, которые позволяют вам контролировать, какой трафик вы собираете.

Например, Wireshark позволяет фильтровать тип трафика, который вы видите, с помощью фильтров захвата и фильтров отображения. Фильтры захвата позволяют фильтровать трафик, который вы захватываете, а фильтры отображения позволяют фильтровать трафик, который вы видите. Например, вы можете фильтровать протоколы, потоки или хосты.

Собрав отфильтрованный трафик, вы можете начать искать проблемы с производительностью. Для более целенаправленного анализа вы также можете фильтровать на основе портов источника и портов назначения для тестирования определенных элементов сети. Вся собранная информация может затем использоваться для устранения проблем производительности сети.

Версии PCAP

Как упоминалось выше, существует множество различных типов файлов PCAP, в том числе:

Такие инструменты, как Wireshark, используют PCAPng, потому что он может записывать больше информации, чем PCAP. Однако проблема с PCAPng заключается в том, что он не совместим с таким количеством инструментов, как PCAPng..

Преимущества захвата пакетов и PCAP

Самым большим преимуществом захвата пакетов является то, что он обеспечивает видимость. Вы можете использовать пакетные данные, чтобы точно определить причину сетевых проблем. Вы можете отслеживать источники трафика и определять данные об использовании приложений и устройств. Данные PCAP предоставляют вам информацию в реальном времени, необходимую для поиска и устранения проблем с производительностью, чтобы поддерживать работу сети после события безопасности.

Например, вы можете определить, где вредоносная программа проникла в сеть, отслеживая поток вредоносного трафика и другие вредоносные сообщения. Без PCAP и инструмента захвата пакетов было бы сложнее отслеживать пакеты и управлять рисками безопасности.

Как простой формат файла, PCAP обладает тем преимуществом, что он совместим практически с любой программой, которая вам нужна, с диапазоном версий для Windows, Linux и Mac OS. Захват пакетов может быть развернут практически в любой среде.

Недостатки захвата пакетов и PCAP

Хотя захват пакетов является ценным методом мониторинга, он имеет свои ограничения. Анализ пакетов позволяет вам отслеживать сетевой трафик, но не контролирует все. Существует много кибератак, которые не запускаются через сетевой трафик, поэтому вам нужно принять другие меры безопасности.

Например, некоторые злоумышленники используют USB и другие аппаратные атаки. Как следствие, анализ файлов PCAP должен составлять часть вашей стратегии сетевой безопасности, но он не должен быть вашей единственной линией защиты.

Другим существенным препятствием для захвата пакетов является шифрование. Многие злоумышленники используют зашифрованные соединения для запуска атак в сетях. Шифрование не позволяет вашему анализатору пакетов получать доступ к данным трафика и выявлять атаки. Это означает, что зашифрованные атаки будут незаметны, если вы полагаетесь на PCAP.

Существует также проблема с тем, где находится анализатор пакетов. Если перехватчик пакетов размещен на границе сети, это ограничит степень видимости пользователя. Например, пользователь может не определить начало атаки DDoS или вредоносного ПО. Кроме того, даже если вы собираете данные в центре сети, важно убедиться, что вы собираете целые разговоры, а не сводные данные.

Инструмент анализа пакетов с открытым исходным кодом: как Wireshark использует файлы PCAP?

Другими словами, файл PCAP создает запись сетевых данных, которые вы можете просматривать через Wireshark. Затем вы можете оценить состояние сети и определить, есть ли какие-либо проблемы с обслуживанием, на которые вам нужно ответить.

Пример проприетарного инструмента анализа пакетов

Монитор производительности сети SolarWinds (БЕСПЛАТНАЯ ПРОБНАЯ ВЕРСИЯ)

Монитор производительности сети SolarWinds пример инструмента мониторинга сети, который может собирать данные PCAP. Вы можете установить программное обеспечение на устройстве, а затем отслеживать пакетные данные, извлекаемые из всей сети. Пакетные данные позволят вам измерить время отклика сети и диагностировать атаки..

Пользователь может просматривать пакетные данные через Панель управления качеством опыта, который включает в себя сводку производительности сети. Графические дисплеи упрощают определение всплесков трафика или вредоносного трафика, которые могут указывать на кибератаку.

Компоновка программы также позволяет пользователю дифференцировать приложения по объему трафика, который они обрабатывают. Факторы, такие как Среднее время отклика сети, Среднее время отклика приложения, Общий объем данных, и Общее количество транзакций помочь пользователю быть в курсе изменений, происходящих в сети в реальном времени. Существует также 30-дневная бесплатная пробная версия для загрузки.

Монитор производительности сети SolarWindsСкачать 30-дневную бесплатную пробную версию

Анализ файла PCAP: перехват атак в сетевом трафике

Инструменты захвата пакетов с открытым исходным кодом, такие как Wireshark и tcpdump, предоставляют сетевым администраторам инструменты для исправления низкой производительности сети, не тратя целое состояние. Существует также целый ряд фирменных инструментов для компаний, которые хотят более продвинутый опыт анализа пакетов.

С помощью файлов PCAP пользователь может войти в анализатор пакетов, собирать данные о трафике и видеть, где используются сетевые ресурсы. Использование правильных фильтров также значительно облегчит устранение белого шума и оттачивает самые важные данные..

Источник

Расширение файла PCAP

Что это за файл — PCAP?

PCAP is a file format used by Wireshark, a network sniffer tool. Wireshark uses Libpcap or WinPcap network package capturing libraries for capturing and analysing network traffic.

PCAP files store captured data for further network traffic analysis. Wireshark is commonly used yb system or network administrators as well as by hackers or special service units. Wireshark is a free software available for various system platforms.

Программа(ы), умеющие открыть файл .PCAP

Windows

Linux

Как открыть PCAP файлы

В дальнейшей части этой страницы Вы найдете другие возможные причины, вызывающие проблемы с файлами PCAP.

Возможные проблемы с файлами в формате PCAP

Отсутствие возможности открытия и работы с файлом PCAP, совсем не должен значить, что мы не имеем установленного на своем компьютере соответствующего программного обеспечения. Могут выступать другие проблемы, которые также блокируют нам возможность работы с файлом Packet Capture Data Format. Ниже находится список возможных проблем.

Если Вы уверены, что все перечисленные поводы отсутствуют в Вашем случае (или были уже исключены), файл PCAP должен сотрудничать с Вашими программами без каких либо проблем. Если проблема с файлом PCAP все-таки не решена, это может значить, что в этом случае появилась другая, редкая проблема с файлом PCAP. В таком случае остается только помощь специалиста.

Похожие расширения

Как связать файл с установленной программой?

Есть ли универсальный метод открытия неизвестных файлов?

Многие файлы содержат данные в виде текста или чисел. Возможно, что во время открытия неизвестных файлов (напр. PCAP) популярный в системе Windows простой редактор текста, которым является Notatnik позволит нам увидеть часть данных, закодированных в файле. Этот метод позволяет просмотреть содержимое многих файлов, однако не в такой форме, как программа, предназначенная для их обслуживания.

Источник

Расширение файла PCAP

Packet Capture Data

Что такое файл PCAP?

Что такое сниффер?

Программное приложение Wireshark

Программы, которые поддерживают PCAP расширение файла

Ниже вы найдете указатель программ, которые можно использовать для открытия файлов PCAP, разделенных на категории 2 в соответствии с поддерживаемой системной платформой. Файлы с суффиксом PCAP могут быть скопированы на любое мобильное устройство или системную платформу, но может быть невозможно открыть их должным образом в целевой системе.

Программы, обслуживающие файл PCAP

Как открыть файл PCAP?

Причин, по которым у вас возникают проблемы с открытием файлов PCAP в данной системе, может быть несколько. Что важно, все распространенные проблемы, связанные с файлами с расширением PCAP, могут решать сами пользователи. Процесс быстрый и не требует участия ИТ-специалиста. Приведенный ниже список проведет вас через процесс решения возникшей проблемы.

Шаг 1. Получить Wireshark

Проблемы с открытием и работой с файлами PCAP, скорее всего, связаны с отсутствием надлежащего программного обеспечения, совместимого с файлами PCAP на вашем компьютере. Эта проблема может быть решена путем загрузки и установки # РЕКОМЕНДОВАННОЙ # или другой совместимой программы, такой как WinDump, NetworkMiner, tcpdump. В верхней части страницы находится список всех программ, сгруппированных по поддерживаемым операционным системам. Одним из наиболее безопасных способов загрузки программного обеспечения является использование ссылок официальных дистрибьюторов. Посетите сайт Wireshark и загрузите установщик.

Шаг 2. Обновите Wireshark до последней версии

Если у вас уже установлен Wireshark в ваших системах и файлы PCAP по-прежнему не открываются должным образом, проверьте, установлена ли у вас последняя версия программного обеспечения. Разработчики программного обеспечения могут реализовать поддержку более современных форматов файлов в обновленных версиях своих продуктов. Причиной того, что Wireshark не может обрабатывать файлы с PCAP, может быть то, что программное обеспечение устарело. Все форматы файлов, которые прекрасно обрабатывались предыдущими версиями данной программы, также должны быть открыты с помощью Wireshark.

Шаг 3. Свяжите файлы Packet Capture Data с Wireshark

Если у вас установлена последняя версия Wireshark и проблема сохраняется, выберите ее в качестве программы по умолчанию, которая будет использоваться для управления PCAP на вашем устройстве. Метод довольно прост и мало меняется в разных операционных системах.

Выбор приложения первого выбора в Windows

Выбор приложения первого выбора в Mac OS

Шаг 4. Проверьте PCAP на наличие ошибок

Вы внимательно следили за шагами, перечисленными в пунктах 1-3, но проблема все еще присутствует? Вы должны проверить, является ли файл правильным PCAP файлом. Вероятно, файл поврежден и, следовательно, недоступен.

1. Проверьте PCAP файл на наличие вирусов или вредоносных программ.

Если файл заражен, вредоносная программа, находящаяся в файле PCAP, препятствует попыткам открыть его. Рекомендуется как можно скорее сканировать систему на наличие вирусов и вредоносных программ или использовать онлайн-антивирусный сканер. Если сканер обнаружил, что файл PCAP небезопасен, действуйте в соответствии с инструкциями антивирусной программы для нейтрализации угрозы.

2. Убедитесь, что структура файла PCAP не повреждена

Если файл PCAP был отправлен вам кем-то другим, попросите этого человека отправить вам файл. Возможно, файл был ошибочно скопирован, а данные потеряли целостность, что исключает доступ к файлу. При загрузке файла с расширением PCAP из Интернета может произойти ошибка, приводящая к неполному файлу. Попробуйте загрузить файл еще раз.

3. Проверьте, есть ли у пользователя, вошедшего в систему, права администратора.

Существует вероятность того, что данный файл может быть доступен только пользователям с достаточными системными привилегиями. Выйдите из своей текущей учетной записи и войдите в учетную запись с достаточными правами доступа. Затем откройте файл Packet Capture Data.

4. Убедитесь, что ваше устройство соответствует требованиям для возможности открытия Wireshark

Операционные системы могут иметь достаточно свободных ресурсов для запуска приложения, поддерживающего файлы PCAP. Закройте все работающие программы и попробуйте открыть файл PCAP.

5. Проверьте, есть ли у вас последние обновления операционной системы и драйверов

Современная система и драйверы не только делают ваш компьютер более безопасным, но также могут решить проблемы с файлом Packet Capture Data. Возможно, что одно из доступных обновлений системы или драйверов может решить проблемы с файлами PCAP, влияющими на более старые версии данного программного обеспечения.

Вы хотите помочь?

Если у Вас есть дополнительная информация о расширение файла PCAP мы будем признательны, если Вы поделитесь ею с пользователями нашего сайта. Воспользуйтесь формуляром, находящимся здесь и отправьте нам свою информацию о файле PCAP.

Источник

Network: работа с pcap – сбор и анализ (Wireshark/tshark, tcpdump, packetdump, capinfos), редактирование (hex editor, tcprewrite, bittwiste, editcap, mergecap, wireedit), воспроизведение (tcpreplay, bittwist), анонимизация, комплексные продукты (moloch, observer)

СБОР и АНАЛИЗ

Разное

Wireshark по умолчанию кладет весь дамп в оперативку. Дамп 6GB – будет 6GB занято в оперативке.

НО такие объемные дампы лучше не делать, а использовать функционал по созданию каждые N-пакетов/секунд/байт нового файла в Output настройках Wireshark (настраивается перед стартом захвата).

Wireshark показывает Checksum Ethernet только в случае, если его сохранила сетевая карта, а это редко. Пример дампа с наличием CRC/FCS – eth-crc-fcs.pcap. Поэтому, смотря в дамп трафика Wireshark:

WIRESHARK

Wireshark не только с точки зрения удобства использования лучше tcpdump, он считается и намного более мощным инструментом в сравнении с ним, особенно когда идет вопрос в анализе уровня приложений (поддержка более 2к протоколов, даже таких как USB/Bluetooth/Zigbee). Так же использует libpcap. Кроме того у Wireshark есть консольная утилита tshark (terminal-shark), которая часто позволяет обойтись без tcpdump вовсе (сори, tcpdump), но при больших нагрузках (гигабит и более фреймами 64 байта) нужно учитывать, что tshark хуже по производительности в сравнении с tcpdump. Например, можно использовать фильтры, аналогичные wireshark в консоли.

Фильтры

Фильтры бывают двух видов:

Очень полезная вещь, которая позволяет не знать синтаксис:

Профили (profiles)

Можно создать разные профили под разные задачи – default_with_time_diff, Multicast, VOIP, RIP/OSPF/BGP/etc. В профилях будут уникальные настройки интерфейса – zoom, расположение панелей, шрифты (размер, цвета), можно добавить уникальные столбцы (тот же timediff только в отдельном профиле).

VoIP

Заходим в контекст Telephony, выбираем VoIP Calls. Видим звонки успешные и не очень. Так же видим и активные звонки.

Выбрав звонок и нажав на Flow Sequence можно посмотреть наглядно весь процесс согласования.

А по Play Streams можно даже прослушать звонок (если он успешен и поддерживается кодек, как тут G.711A), через встроенный в акулу RTP player. Круто!

Разговор в VoIP состоит из двух unicast RTP потоков – один от src до dst, второй от dst до src. По analyse можно посмотреть детальные данные (max jitter, RTP packets, lost, etc) по каждому потоку.

Пример дампа с разговором (из курса GNS3 Wireshark: Packet Analysis and Ethical Hacking: Core Skills). Для прослушивания RTP потока нужно сделать decode as по одному из UDP пакетов разговора и выбрать протокол RTP для интерпретирования.

Время

В настройках просмотра можно выбрать формат времени – например, не на основе старта снятия дампа, а реальное время с датой.

Статистика

В разделе statistics можно узнать кучу разных вещей (только часть):

tcpdump

tcpdump (да и wireshark) может дропать трафик при большом объеме. Главное узкое место – скорость ЖД. Сделал несколько генераций одного трафика. В первом pcap меньше данных и нет всех пакетов если открыть в Wireshark. При этом все пакеты пришли по назначению во все итерации.

tcpdump использует open source libpcap библиотеку. Показывает (STDOUT) по умолчанию данные в terminal. Может писать в файл дамп или читать из файла. По умолчанию показывает brief информацию в удобном для человека формате – IP адреса там например через точку или по умолчанию он даже делает reverse lookup (PTR) или номера портов подменит на сервисы, но конечно все равно не так удобно как Wireshark.

Опции (подробнее в man tcpdump):

Есть поддержка фильтров, как базовых, так и довольно сложных (напр. L4). Возможна комбинация фильтров (см. usage).

packetdump

Читаем последние логи для интерфейса:

Python + pyshark

Редактирование

PYTHON + SCAPy

Самый удобный способ когда нужно сделать более чем одно действие по изменению сетевых дампов. Легко можно сделать даже непростые операции, например, заменить все сетевые (MAC, IP, PORT) адреса в дампе на другие, IPv6 header на IPv4. Замена IPv6 header на IPv4 подразумевает извлечение payload, создание IPv4 header, добавление в него payload, пересчет checksum и length (см. в HEX EDITORS).

Подробнее в python поиском по scapy.

HEX READER and WIRESHARK

Извлекаем из записанных byte файлов вывод для сопоставления с Wireshark.

hex editors

Самый хардкорный 🙂 способ изменения дампов. Подразумевает и пересчет checksum, тут может помочь tcprewrite.

К примеру, c помощью hex editor ipv6 header заменить на ipv4 не так просто (особенно, в сравнении со python + scapy):

1) изменяем hex строку. Много разных способов, хорошо с gif описано тут.

2) после изменения нужно использовать pcapfix (причина однозначно непонятна, возможно, разрушается структура при экспорте)

3) IPv6 header меняется от пакета к пакету, даже с учетом совпадения адресов SRC/DST – flow label в пакетах дампа зачастую разный, payload length так же разный; поэтому при массовой замене нужно заменять в HEX с помощью regexp

4) IPv4 header должен иметь корректный total length от IPv4 header + payload; т.е. при каждой замене нужно корректировать total length для каждого пакета, иначе пакет будет отбрасываться еще на уровне ядра ОС (Linux, Windows)

5) Checksum может не пересчитываться tcprewrite с segmentation fault (помог запуск tcprewrite на другой VM)

И все это нужно делать для всех пакетов в дампе.

tcprewrite

Хороший, хотя и базовый, редактор дампов.

Change MAC

Change IP

bittwist/bittwiste

Хорошие, но старые утилиты для воспроизведения/генерации трафика (bittwist) и редактирования pcap (bittwiste). Bittwiste не поддерживает IPv6.

Может помочь удалить лишние инкапсуляции

dsniff

старая хакер-утилита, по сути “wireshark” который показывает только payload открытых протоколов в перехваченном трафике и вычленяет оттуда явки-пароли.

WireEdit

Хороший продукт для редактирования pcap. У самого Wireshark была beta с возможностью edit, но видимо дальше беты не зашло.

С помощью WireEdit в пару кликов можно поменять любые поля (в том числе массовые замены) и пересчитать checksum. Требует лицензию (высылают на почту при регистрации, сейчас с этим стало сложнее).

Продукт развивается, пример добавлений в новом релизе:

SPLIT PCAP

Разбиваем крупный pcap на несколько дампов по 100 MB (tcpdump).

Разбиваем крупный pcap на несколько дампов по миллиону пакетов (editcap).

editcap + mergecap

Поменять order пакетов можно с помощью editcap + mergecap. Сначала с помощью edit создаем pcap с отдельными пакетами из необходимого дампа, потом merge’им с помощью mergecap.

Воспроизведение

pfsend

pfsend позволяет создавать большую нагрузку в сравнении с tcpreplay без кастомизаций (netmap, preload). Основан не на netmap/DPDK, а на pfring.

Tcpreplay

Tcpreplay по умолчанию стремится повторить pcap с точки зрения задержек между пакетами и уложить все за время снятия дампа!

performance tuning results

dump size

Не только preload/nemap помогают увеличить создаваемую нагрузку, но даже простое уменьшение дампа. Причем прирост после уменьшения может быть больше чем прирост от использования preload. К примеру – уменьшил дамп с 3GB до 300MB (аналогично и для 100MB) – прирост нагрузки в 5 раз. Добавил preload-pcap – прирост в 6 раз (по сравнению с первоначальной нагрузкой).

объем памяти

Причем на множество файлов tcpreplay открывает их все сразу – для preload в таком случае нужен большой объем оперативной памяти. Прирост при этом в генерируемой нагрузке не факт, что будет высокий.

taskset

Из интересного так же – Taskset двух процессов tcpreplay по разным интерфейсам не увеличивал суммарную нагрузку.

tcpreplay-edit с fuzzing

Может падать с segmentation fault (segfault) на какие-то дампы/каких-то сборках, так же как tcprewrite.

Запуск простейший, поддерживаются те же опции, что в “обычном” tcpreplay и дополнительные, например нужные нам fuzz-seed и fuzz-factor.

tcpreplay с netmap

Для high performance можно использовать tcpreplay с netmap. Производительность в таком случае до line rate, что делает инструмент сопоставимым с commercial traffic generators на “обычных” сетевых картах.

По практике netmap дает вполне ощутимый прирост в генерации на 20-30% на 10G сетевых картах – напр. с 6 GBPS до 8-9. На 1G NIC может быть даже деградация, поэтому зачастую нет смысла на них использовать netmap.

Сборка netmap.

Запуск tcpreplay с netmap.

Для запуска требуются установленные в ядро драйвера netmap (netmap.ko) и сетевой карты (напр. ixgbe.ko, igb.ko, igb_uio.ko, e1000e), иначе будет ошибка. Загружаем в ядро драйвер с помощью insmod.

Можно так же проверить lsmod, ls /dev/netmap. Просмотреть путь до всех модулей ядра/драйверов можно используя awk + xargs.

Выгрузить драйвер можно с помощью rmmod и modprobe.

Анонимизация

Комплексные продукты

Moloch – система сбора/анализа/хранения/индексации дампов в формате pcap. Идея – не замена IDS, а максимальная видимость сети (network visibility). Сайт moloch. Использует elasticsearch для поиска в дампах. Может быть использован в Big Data, Forensics. Имеет api. Доступ к дампам на сенсорах может быть через WEB HTTPS или API, есть поддержка шифрования дампов. Проект активно развивается (last release буквально за месяц до написания этого текста). Использует java environment, могут быть проблемы с установкой и работой (удаление файлов).

Источник