3 changed files with 238 additions and 1 deletions
@ -0,0 +1,128 @@ |
|||||||
|
--- |
||||||
|
title: Отчёт о ходе разработки f2b |
||||||
|
tags: devel, f2b |
||||||
|
--- |
||||||
|
|
||||||
|
Sep 9 23:06:55 f2b[10753]: jail 'asterisk': new ip found -- 89.163.146.93 |
||||||
|
Sep 9 23:09:50 f2b[10753]: jail 'asterisk': new ip match -- 89.163.146.93 (2/3) |
||||||
|
Sep 9 23:12:43 f2b[10753]: jail 'asterisk': new ip match -- 89.163.146.93 (2/3) |
||||||
|
Sep 9 23:15:35 f2b[10753]: jail 'asterisk': new ip match -- 89.163.146.93 (2/3) |
||||||
|
Sep 9 23:18:40 f2b[10753]: jail 'asterisk': banned ip 89.163.146.93 for 1.0hrs |
||||||
|
# ... попался, ублюдок! |
||||||
|
|
||||||
|
Продолжаем неспешно пилить чудо-программу. |
||||||
|
|
||||||
|
С момента [предыдущего](/blog/2016/03/17/f2b/) поста темпы пиления упали, т.к. сказывается "эффект УМВР", |
||||||
|
но тем не менее сделано следующее: |
||||||
|
|
||||||
|
--- |
||||||
|
|
||||||
|
Control socket для демона |
||||||
|
------------------------- |
||||||
|
|
||||||
|
Над реализацией пришлось изрядно посидеть и поэкспериментировать. |
||||||
|
|
||||||
|
Изначально я хотел использовать ``SOCK_STREAM`` и обычный текстовый протокол. |
||||||
|
Посидел, написал свою реализацию getline для сокета, |
||||||
|
простенький аналог bison'а для разбора команд |
||||||
|
и стало мне грустно от осознания объёма кода, который будет это всё обслуживать. |
||||||
|
|
||||||
|
Плюсы: |
||||||
|
|
||||||
|
* с этим может работать любая утилита с помощью netcat/telnet |
||||||
|
|
||||||
|
Минусы, навскидку: |
||||||
|
|
||||||
|
* разбор текстовых команд в виде нескольких токенов - достаточно сложное занятие. |
||||||
|
Нужно вычленить строку (в экстремальном случае она может приходить по байту за раз), |
||||||
|
побить её на токены, проверить синтаксис, количество аргументов. |
||||||
|
Нужно достаточно сложное управление входным буфером: |
||||||
|
если не распарсилось полностью - дождаться недостающего, осталось лишнее - хранить. |
||||||
|
* перечисленное выше - работает с недоверенными данными из сети -> всё это надо выписывать с упором на безопасность. |
||||||
|
* открывается дорога всем нашим любимым сетевым шалостям: |
||||||
|
типа открытия 500 соединенений разом и заливки в каждое из них мегабайтной строки, |
||||||
|
без малейших признаков "\r" или "\n" -> скажите "здравствуй" исчерпанию памяти или fd. |
||||||
|
* ну и такой мелкий штрих: если мы хотим встроенный хелп - из-за тупости клиента, |
||||||
|
будьте любезны тащить описание команд на серверную сторону. |
||||||
|
|
||||||
|
...ну и не стоит забывать, что ломание кривонаписанного парсера текстового протокола - это |
||||||
|
старая-добрая традиция, ещё начиная со времён sendmail'а и irc. |
||||||
|
А уж как народ с самой почтой развлекается, это просто песня. |
||||||
|
|
||||||
|
Поэтому плюнул я на это дело и взял ``SOCK_DGRAM``. |
||||||
|
|
||||||
|
Минусы: |
||||||
|
|
||||||
|
* нужен спецклиент |
||||||
|
* негарантированная доставка |
||||||
|
|
||||||
|
Но плюсов в моём случае - много: |
||||||
|
|
||||||
|
* разом снимется проблема с разбором сообщений: readv + проверка длинны пакета. |
||||||
|
* никаких висящих соединений: пришёл пакет - обработал, опционально ответил. |
||||||
|
* бесплатно получаем управление несколькими инстансами в пределах локальной сети (udp+igmp)[^fn1]. |
||||||
|
* возможность использовать тот же код в качестве source/backend: |
||||||
|
если один хост в сети засёк пидараса - делается рассылка через тот же igmp и все остальные его дружно банят |
||||||
|
ещё до того, как он полезет сканить порты на следующий узел. |
||||||
|
|
||||||
|
Простенький клиент |
||||||
|
------------------ |
||||||
|
|
||||||
|
Появился в силу предыдущего пункта. |
||||||
|
|
||||||
|
Сейчас он умеет все базовые операции: показать статистику, забанить/разбанить, перечитать конфиг, завершиться. |
||||||
|
|
||||||
|
Есть задел и на больше - точная настройка конкретного jail'а, добавление регэкспов "на лету". |
||||||
|
|
||||||
|
redis-backend |
||||||
|
------------- |
||||||
|
|
||||||
|
Написан черновик, но пока не тестировался: чтобы его использовать, нужен парный ему source, |
||||||
|
а source у нас сейчас прибит гвоздями к файлам. |
||||||
|
|
||||||
|
Растущее время поиска/бана для конкретного ip |
||||||
|
--------------------------------------------- |
||||||
|
|
||||||
|
Думаю, кто пробовал настроить fail2ban видел в логах "умных" ботов, |
||||||
|
после первого бана подстраивающих частоту запросов так, чтоб не попасть под раздачу. |
||||||
|
|
||||||
|
Это работает, но только до той поры, пока период обнаружения фиксирован. |
||||||
|
Если он уменьшается по мере того, как растёт число запросов - к ним приходит песец. |
||||||
|
|
||||||
|
На примере: допустим у нас настроено ограничение 5 неправильных запросов в 5 минут. |
||||||
|
При фиксированном времени обнаружения бот может сделать 4 запроса, и пойти покурить, |
||||||
|
передав эстафету другому боту. |
||||||
|
|
||||||
|
При динамическом времени обнаружения, на эти 4 запроса в первый раз боту придётся |
||||||
|
так же подождать 5 минут, а вот в следующий раз - уже 5,5 минут, и т.д. |
||||||
|
|
||||||
|
Вторая идея, логически продолжающая первую - увеличение времени бана при рецидивах. |
||||||
|
Это тоже сделано, потому что важно не просто забанить бота, но и порвать ему шаблон. |
||||||
|
|
||||||
|
Третья идея в этом плане - смотреть на "соседей" забаненного ip, |
||||||
|
и расширять бан до подсети при необходимости. Этого у меня пока не реализовано. |
||||||
|
|
||||||
|
CMake |
||||||
|
----- |
||||||
|
|
||||||
|
* добавлена поддержка GNUInstallDirs |
||||||
|
* наведён порядок с путями конфигов, постараюсь больше не менять. |
||||||
|
|
||||||
|
Багфиксы |
||||||
|
-------- |
||||||
|
|
||||||
|
Без них - никуда. Исправлена пара сегфолтов в коде фильтров. |
||||||
|
После этого были сделаны оргвыводы, и притащен strlcpy() |
||||||
|
на замену snprintf()/strncpy() из директории уровнем выше. |
||||||
|
|
||||||
|
Обеспечена сборка и работа под бзд. Там же был пойман забавный баг: |
||||||
|
|
||||||
|
fgets(buf, bufsize, file->fd); |
||||||
|
|
||||||
|
...это не работает, если у ``file->fd`` выставлен EOF, даже если файл после этого прибавил пару гигабайт. |
||||||
|
Решение - сбрасывать руками перед каждым вызовом через clearerr(). |
||||||
|
Допускаю, что это ``implementation-defined`` поведение. |
||||||
|
|
||||||
|
Ну и кое-что по мелочи, типа выключения буферизации у логфайла. |
||||||
|
|
||||||
|
[^fn1]: Это планируется, пока играюсь с point-to-point через unix-сокет. |
||||||
@ -0,0 +1,105 @@ |
|||||||
|
--- |
||||||
|
title: Отчёт о ходе разработки f2b |
||||||
|
tags: devel, f2b |
||||||
|
--- |
||||||
|
|
||||||
|
Jan 4 19:52:33 f2b[4090]: jail 'portknock': restored ban of ip 85.121.165.15 (23.9hrs remain) |
||||||
|
Jan 4 19:52:33 f2b[4090]: jail 'portknock': restored ban of ip 95.154.82.19 (23.9hrs remain) |
||||||
|
Jan 4 19:52:33 f2b[4090]: jail 'portknock': restored ban of ip 78.171.148.130 (24.0hrs remain) |
||||||
|
Jan 4 19:52:33 f2b[4090]: jail 'portknock': restored ban of ip 221.194.47.224 (24.0hrs remain) |
||||||
|
# ... сидеть, обезьяны, срок ещё не вышел! |
||||||
|
|
||||||
|
С момента предыдущего [отчёта](/blog/2016/09/11/f2b-devel-status/) сделано следующее: |
||||||
|
|
||||||
|
--- |
||||||
|
|
||||||
|
source сделан загружаемым модулем |
||||||
|
---------------------------------- |
||||||
|
|
||||||
|
... по аналогии с фильтром и бакендом. Ранее было прибито к файлам. |
||||||
|
|
||||||
|
Тоже через libdl, интерфейс смотреть в sources/source.h, примеры реализации - в том же каталоге, любой /*.c/ |
||||||
|
|
||||||
|
redis source/backend |
||||||
|
-------------------- |
||||||
|
|
||||||
|
Предыдущий пункт позволил реализовать source для redis. |
||||||
|
|
||||||
|
Это позволило "делиться" банами с другими хостами. |
||||||
|
Сейчас оно работает уже пару месяцев без перерыва, 4 хоста с f2b + 1 redis-сервер. |
||||||
|
|
||||||
|
mcast source/backend |
||||||
|
-------------------- |
||||||
|
|
||||||
|
Также добавлен аналог предыдущего модуля, но работающий через multicast, |
||||||
|
что позволяет обойтись без redis-сервера, но ограничивает расположение |
||||||
|
хостов одним multicast-доменом (т.е. одна и та же сеть, если не применять |
||||||
|
костыль в виде igmpproxy и подобного). |
||||||
|
|
||||||
|
Пока недостаточно оттестировано. |
||||||
|
|
||||||
|
portknock source |
||||||
|
---------------- |
||||||
|
|
||||||
|
Для выявления заведомых ботов. Позволяет повесить, например, /типа/ открытый telnet, |
||||||
|
а по коннекту -- банить подключившегося, ибо нехер. |
||||||
|
|
||||||
|
Если скомбинировать с вышеупомянутым redis'ом - получим распределённый honeypot. |
||||||
|
Любой пидорас, спаленный за сканированием этого "telnet"'а будет немедленно забанен на всех хостах с f2b |
||||||
|
(а то и во всей защищаемой сети в случае граничного роутера). |
||||||
|
|
||||||
|
Приготовьтесь сразу юзать ipset или нечто подобное, хостов будет много. |
||||||
|
За три часа часа работы в таком режиме набегает под две сотни, а за сутки - тысяча-полторы хостов (при бане на сутки). |
||||||
|
|
||||||
|
doxygen и прочая документация |
||||||
|
----------------------------- |
||||||
|
|
||||||
|
В всех заголовках добавлены doxygen'овы комментарии для структур, дефайнов и функций. |
||||||
|
Вобщем, задокументировано всё, на что оно ругалось при генерации доков. |
||||||
|
|
||||||
|
Также, существенно расширены доки по установке и настройке, добавлены примеры конфигов. |
||||||
|
|
||||||
|
state |
||||||
|
----- |
||||||
|
|
||||||
|
Добавлена возможность хранить и восстанавливать список банов при рестарте. |
||||||
|
Сделано тупо через файлик с записямии, когда какой ip был забанен и когда его выпускать. |
||||||
|
|
||||||
|
Особой производительности там не требуется, файлик переписывается только при очередном бане. |
||||||
|
Если будет тормозить - тогда будем думать. |
||||||
|
|
||||||
|
Клиент / управление |
||||||
|
------------------- |
||||||
|
|
||||||
|
Реализована команда set для jail'ов. Теперь порог срабатывания и прочие параметры можно поменять без рестарта. |
||||||
|
Реализована перезагрузка списка regexp'ов для фильтра (аналогично). |
||||||
|
|
||||||
|
Для пришедшего пакета теперь проверяется количество аргументов. |
||||||
|
Сделано с прицелом на будущую реализацию управления по igmp. |
||||||
|
|
||||||
|
Утилиты |
||||||
|
------- |
||||||
|
|
||||||
|
Переработаны утилитки для тестов различных компонентов. |
||||||
|
Также, они переименованы для приведения к одному виду /f2b-*-test/. |
||||||
|
Все утилиты сейчас могут использовать тот же кусок конфига, |
||||||
|
что и сам демон (с минимальными исправлениями, вроде пути к библиотеке). |
||||||
|
|
||||||
|
Переименованы некоторые команды, в частности: |
||||||
|
|
||||||
|
* ban -> ip ban |
||||||
|
* show -> ip status |
||||||
|
* release -> ip release |
||||||
|
* regex stats -> filter stats |
||||||
|
* regex add -> regex reload |
||||||
|
|
||||||
|
TODO |
||||||
|
---- |
||||||
|
|
||||||
|
Что ещё надо будет в ближайшее время. |
||||||
|
|
||||||
|
* select() вместо sleep() -- при большом списке файлов плывёт время обработки. |
||||||
|
* белый список для подсетей (реализация ipv4-only сложности не представляет, но хотелось бы её сделать и для ipv6 тоже) |
||||||
|
* реорганизовать имена загружаемых модулей (сложности с cmake, оно очень сильно хочет сделать именование вида libFOO.so) |
||||||
|
* reload для конкретного jail'а |
||||||
|
* добавить возможность использовать как просто udp, так и udp multicast для клиента (сейчас - только unix-сокет) |
||||||
Loading…
Reference in new issue