по поводу ipset - если ему канал перенасыщают, или машина в активный тупик входит, то не спасёт. только фильтрующие сервисы, да...
Активный тупик
Выше определенного количества кадров в секунду машина перестает реагировать, так как всё процессорное время уходит на обработку вектора прерывания приема на шине, и перестает выполнять другие задачи или обрабатывать другие прерывания. Иногда такое состояние называют «активным тупиком», и оно не может быть исправлено до тех пор, пока количество пакетов в единицу времени не понизится.
2 TopicStarter.
Вы самостоятельно, судя по заявленному в топике уровню знаний о сетях, брандмауэрах и типах атак, отбиться не сможете. Обратитесь к профессионалам, их достаточно много в наше время.
А первичная подсказка, откуда копать, у вас есть.
Можете, конечно, записать некоторое количество трафика на атакуемом интерфейсе, и показать тут, но маловероятно, что кто то будет бесплатно вам помогать. Разве что там примитивщина какая-нить
Если бы в Java работал GC, большинство программ удаляли бы сами себя при первом же запуске