Bu belki Mouse Acceleration ile ilgilidir. Kullandığınız distroyu hiç kullanmadım. Mouse Acceleration açısından bir değerlendirip Windows ile aklınızdan bir kıyaslama yapın bence.
Xfce masaüstü ortamını kullanıyorsan, işletim sisteminin mouse ayarlarında Mouse Acceleration kapatma butonu bulunmadığını belirteyim. (Kapatmak için kolay bir yöntemi var yine de.)