выдели больше памяти на процесс явы если ты стартуешь с полной геодатой.
хотя бы 3 гига (но для полноценной работы с l2pheonix требуется от 4 Гб)
-Xms3080m -Xmx3080m
(гиг у тебя останется на дальнейшие "растраты" )
Зависания происходит от нехватки памяти и процесс явы уходит в swap или как это называется в винде файл подкачки - то есть приложение начинает юзать не шуструю ОЗУ а "уходить" на винт , а как мы знаем в современных PC это самое медленное устройство чтения записи перезаписи данных.
Скачки памяти которые ты видишь в админке это работа
GC - то есть это нормально