Buradan oyun motorlarına bakıp java kullanılanları araştırabilirsin;
https://en.wikipedia.org/wiki/List_of_game_engines
Ayrıca her ne kadar oyun motoru olmasa da Minecraft'ın yazıldığı LWJGL (Lightweight Java Game Library) java kütüphanesine bir göz atabilirsin.