DOS atak gibi saldırılar deneyebilir. Güvenli bir ağ hizmetiniz varsa bir şey olmaz. Statik IP yoksa zaten arkadaşların dediği gibi modeme reset atarsanız yeni IP alırsınız.
Sadece IP adresinizi biliyorsa pek bir şey olmaz fakat internet şifrenizi bulduysa IP adresinizi tarama motoruna yazıp şifrenizi girer ve internetinize kötü şeyler yapabilir.
Bulan kişiyle nasıl bir ilişkin var pek bilmiyorum ama boş bir sebepten ise endişelenmene gerek yok. Modemi resetlersen IP adresin zaten yenilenir. Eğer dediğin kadar bilgiliyse ağına veya modemine erişebilir. En fazla bunları yapabilir veya dos atabilir.