Sürücü güncellemeleri performans düşüşüne sebep olmaz genelde. Sanırım, burada başka bir problem var.
Sürücüleri elinizden geldiğince kurmaya çalışın. Sadece grafik sürücüsü de değil, çipset sürücüsünden PCIe denetleyicisine kadar her donanımın sürücüsünü güncel tutmak iyidir.
Sürücülerin stabil olması da büyük önem taşıyor tabii ki.