Elinizdeki dosya gerçekten bir ISO ise içindeki DMG'nin WinRAR ile klasöre çıkart dediğinizde çıkması lazım. Ancak bozuk ise DMG çıkmaz. Ayrıca ISO içinde DMG olması bana zaten garip geldi.
Her neyse, High Sierra DMG dosyasını başka kaynaklardan da bulabilirsiniz. Mesela...