Evet bu güzel çözüm. 3 tane duvara box collider eklersin kapının olduğu duvarda da kapının sağına soluna üstüne box collider eklersin, sorun çözülür.
Büyük Collider'lar problem olabilir, biraz performans kaybı olur diye düşündüm, o yüzden bölümü parçalamasını tavsiye ettim.