Frame rate'e değil de Delta Time'a bağımlı yaparsanız bahsettiğiniz sorun ortadan kalkar.
Tüm vektörlerin Delta Time'a bağımlı olması lazım. Eğer Delta Time kullandığınız halde yavaşlama oluyorsa kodunuzun bazı yerleri hala frame rate üzerinden yenilenerek çalışıyor demektir.
void Update
ilk şüphelenmeniz gereken method.