Çekirdek uygulamanız (hesap yapan kısım); Java.
Bunun yanında .NET gibi bir ekosistem daha eklemek yerine, Java tarafında kalmanız bence daha pratik olur.
Arkadaşlar zaten önde gelen framework'lerden önermişler, onları inceleyebilirsiniz.
Spring Boot'a da bakmanızı öneririm.
Uygulamanızı, bu şekilde yazmanızın bir diğer avantajı daha var:
Spring ile REST servisi oluşturup bu servisi istediğiniz frontend teknolojisi ile kullanabilirsiniz. Hatta sadece kendiniz kullancaksanız frontend ile uğraşmadan Postman gibi araçlarla servisinizi kullanabilirsiniz.
Backend geliştirirken, Postman ile kullanabilirsiniz.
İleride, bu katman üzerine, bir JavaScript ile frontend katmanı ekleyebilirsiniz, örneğin Vue.js (örnek olarak söylüyorum, geçerli başka alternatifler de var.)
HTML ve CSS'e zaten gireceksiniz.
Bu yapıda, request/response, HTTP verb, HTTP status, REST gibi kavramlarda da ilerleyebilirsiniz.