Обзор — Mozilla Enterprise Defense Platform (MozDef)

Что такое MozDef?

Проще всего описать Mozilla Defense Platform (MozDef) как набор микросервисов, которые вы можете использовать в качестве открытой платформы управления информацией о безопасности и событиями (SIEM) поверх Elasticsearch.

Почему?

Цели

Высокий уровень

• Предоставить платформу для использования защитниками для быстрого обнаружения и реагирования на инциденты безопасности
• Автоматизировать интерфейсы к другим системам, таким как брандмауэры, облачные системы защиты и все, что имеет API.
• Предоставление метрик для событий и инцидентов безопасности
• Облегчение сотрудничества в режиме реального времени между специалистами по обработке инцидентов
• Обеспечение повторяемости и предсказуемости процессов обработки инцидентов.
• Выйти за рамки традиционных SIEM-систем в автоматизации обработки инцидентов, обмена информацией, рабочего процесса, метрик и автоматизации реагирования.

Техника

• Предложите микросервисы, которые составляют систему управления информацией и событиями безопасности с открытым исходным кодом (SIEM)
• Масштабируемый, должен быть способен обрабатывать тысячи событий в секунду, обеспечивать быстрый поиск, оповещение, корреляцию и обрабатывать взаимодействие между командами обработчиков инцидентов

MozDef призван обеспечить традиционную функциональность SIEM, включая:

• Прием событий/журналов из различных систем.
• Хранение событий/журналов.
• Облегчение поиска.
• Облегчение оповещения.
• Облегчение управления журналами (архивирование, восстановление).

Он является нетрадиционным в том смысле, что он:

• Принимает только входные данные в формате JSON.
• Предоставляет открытый доступ к данным.
• Интегрируется с различными отправителями логов, включая logstash, beaver, nxlog, syslog-ng и любой другой отправитель, который может отправлять JSON либо в rabbit-mq, либо в конечную точку HTTP(s).
• Обеспечивает простую интеграцию с облачными источниками данных, такими как CloudTrail или GuardDuty.
• Предоставляет простые плагины python для манипулирования вашими данными в пути.
• Предоставляет широкие возможности для настройки потока обогащения событий, рабочего процесса оповещения и т.д.
• Обеспечивает доступ в режиме реального времени для групп специалистов по реагированию на инциденты, позволяя друг другу видеть их работу одновременно.

Архитектура

MozDef основан на технологиях с открытым исходным кодом, включая:

• Nginx (ввод журналов на основе http(s)-файлов)
• RabbitMQ (очередь сообщений и amqp(s)-ориентированный ввод журнала)
• uWSGI (диспетчерское управление рабочими станциями на базе python)
• bottle.py (простой интерфейс python для обработки веб-запросов)
• Elasticsearch (масштабируемая индексация и поиск документов JSON)
• Meteor (отзывчивый фреймворк для Node.js, позволяющий обмениваться данными в реальном времени)
• MongoDB (масштабируемое хранилище данных, тесно интегрированное с Meteor)
• VERIS от verizon (таксономия категоризации инцидентов безопасности с открытым исходным кодом)
• d3 (библиотека javascript для создания документов, управляемых данными)
• Firefox (маленький быстрый веб-браузер)

Обработка фронтенда

Обработка фронтенда в MozDef заключается в получении события/лога (в формате json) по HTTP(S), AMQP(S) или SQS, преобразовании данных, включая нормализацию, добавление метаданных и т.д., и отправке данных в Elasticsearch.

Внутри MozDef использует RabbitMQ для постановки в очередь событий, которые еще предстоит обработать. На диаграмме ниже показано взаимодействие между скриптами python (управляемыми uWSGI), обменами RabbitMQ и индексами Elasticsearch.

Статус

MozDef находится в производстве в Mozilla с 2014 года, где мы используем его для обработки более 300 миллионов событий в день.