Bir API olmadan yapay zeka yapmak

OpenAI API'leri çok sınırlı ve paralı. OpenAI API'sı kullanmadan nasıl yapay zeka yaparım? Programlama dili fark etmez ama Python veya C# daha iyi olur benim için. Bilen biri yardım edebilirse.

Hangi alan için yapay zeka yapmak istiyorsunuz?

Bulursanız bana da söyleyin birkaç milyon lira veririm.

özgün deniz dedi:

Bulursanız bana da söyleyin birkaç milyon lira veririm.

Genişletmek için tıkla...

Yolu yok değil var, milyon tane de algoritma var. Fakat bunları implemente edecek, çıkacak hataları çözecek, ve gerekli amaç için data seti hazırlayabilecek derecede bilgi, emek ve tecrübe gerekiyor. API olmadan bazı öğrenciler grup projesi olarak daha küçük yapay zekalar yazıyorlar. Train etmek imkansız da değil. Ama birkaç ayda sıfır bilgiyle yapılacak bir şey de değil. Sonuçta API kullanırken kullanıcıdan gelen sorguyu AI'a iletip, gönderilen cevabı kullanıcıya yönlendiriyorsun. Fakat diğer durumda yapay zekayı senin eğitmen gerekiyor ve eğitim sürecinde kullanacağın algoritmadan, datadan sen sorumlusun.

Benim okulum konuyla ilgili yetersiz eğitim veriyor. Ara ara ML için proje yapmak isteyen çıkıyor öğrenciler içinden ama başarılı olan sayısı bir elin parmağını geçmiyor. ODTÜ'de bilgisayar mühendisliği okuyan arkadaşlarım daha ilkel şeyler yapmışlardı mezuniyet projesi için.

OpenAI seviyesinde olacak bir yapay zeka yazabilmek için, OpenAI seviyesinde makinelere ve dataya ihtiyaç var, e OpenAI bünyesinde çalışan mühendislerin tecrübesini de hesaba katmak gerek.

Aşağıdaki video bir yapay zekanın Trackmania oyunundaki bir harita için eğitilişini açıklayıcı bir dille anlatıyor. Kullanılan yapay zeka hazır, çoktan trainingi tamamlanmış bir model değil. Neural Network'ü en başından kendin yazmıyorsun ama kalkıp OpenAI benzeri herhangi bir API'ya da ücret vermene gerek kalmıyor. Implemente etmek daha mı zor? E tabii ki. Kalkıp API'ya sorgu iletip, sorgu yanıtlarını geri kullanıcıya döndürmekten çok daha zor kesinlikle.

Bu içeriği görüntülemek için üçüncü taraf çerezlerini yerleştirmek için izninize ihtiyacımız olacak.
Daha detaylı bilgi için, çerezler sayfamıza bakınız.

Üçüncü taraf çerezlerini kabul et

O kadar yazı yazmışsın, tek bir probleme odaklanan AI Train'i örnek atmışsın.

Sence Google'ın OpenAI kadar trainde kullanacak datası yok mu? Bard neden GPT'den birkaç milyon kat daha salak?

Adam diyor ki ChatGPT'ye yakın bir yapay zeka yapmak istiyorum ki OpenAI API'lerini kullanmayayım. Google da Microsoft da Facebook da Twitter da tamamen aynı şeyi istiyor. Ancak görüyorsun ki birkaç yüz/bin mühendisi olan çok büyük şirketler bunlar.

İş sadece algoritma ve tensorflow falan kullanıp birkaç milyon data'yı trainlemek ile bitmiyor. İstediğin kadar makinen, datan olsun. Mühendis gücün, kafası çalışan birkaç adamın yoksa ve artı olarak paran ve birkaç on yılın yoksa istersen Microsoft ol istersen Elon Musk GPT ile kapışacak bir yapay zeka (?) yazamazsın yazamıyorsun.

İşte ondan diyorum bulursa bana söylesin birkaç milyon dolar veririm. Mesela OpenAI buldu Microsoft birkaç milyon değil birkaç milyar fonladı. Problem para ve zaman anlamam güç olmamalı.

Ana problemi para olan bir konuda aslında mümkün ama zor demek sadece mühendislik becerisiyle bu işin yapılabileceğini söylemek gibi bir şey. Tekrar tekrarlıyorum, Google mühendisleri salak mı da önlerindeki problem sadece algoritmayı kullanmaksa (data, makina, mühendis hazır) zoru başarmadılar.




Mesela sonunda = olmamasına rağmen OpenAI'ın GPT'si Base64 olduğunu anladı. Decode edemedi orası ayrı çünkü kod yanlış. Ama farkettiysen decode edebildiğini iddia da etmedi. Bu sadece veri seti ile olacak iş değil. Bunu başaran mühendislik ama mühendisliği başaran da para ve zaman.



Ana problem = Para
İstenen Çözüm = Beleş mantıkla yukarıdaki sonucu elde etmek.
İkisini topla = 0 çıkar. Bu kadar yani.

özgün deniz dedi:

Adam diyor ki ChatGPT'ye yakın bir yapay zeka yapmak istiyorum ki OpenAI API'lerini kullanmayayım. Google da Microsoft da Facebook da Twitter da tamamen aynı şeyi istiyor. Ancak görüyorsun ki birkaç yüz/bin mühendisi olan çok büyük şirketler bunlar.

Genişletmek için tıkla...

Adamın tek başına böyle bir şey yapamayacağını söyledim zaten. Ama bir kaç yüz/bin mühendisi olmakla, tamamı buna odaklanmış bir şirket olmak arasında fark var. OpenAI seviyesinde mühendisi olmak diye bu yüzden diyorum. Sence Microsoft'un parası mı yok? Sence Google'ın parası mı yok? OpenAI'ı yüzlerce kez sıfırdan kuracak parası var Google'ın. Microsoft zaten OpenAI'ın 49% ile en yüksek hissesine sahip şirket ve yönetim kurulunun söz hakkı onda.

Google'ın Bard üzerinde ne kadar süredir çalıştığını da bilmiyoruz. GPT 2 ortalıktayken, GPT'nin adını bilmiyordun. Şimdi 3. versiyon ile yaptıkları atılım sayesinde adını biliyorsun. OpenAI'ın 770 çalışanı var. Bunların hadi sadece yarısı AI üstüne çalışıyor olsun, Google'da LLM üstüne araştırma ve çalışma yapan kaç mühendis var bilmiyoruz. Belki on kişi, belki yüz kişi. Belki de OpenAI'dan daha fazla. LLM için ne kadar süredir çalışma yürütülüyor bilmiyoruz. OpenAI 8 sene önce kuruldu, ilkel yapay zekaları GPT 1 ise 2017 yılında çıktı. Bugüne gelmeleri için 2017'yi taban alırsak 6 sene geçmesi gerekti. Hala GPT (GPT 3.5'tan bahsediyorum) kusursuz tepkiler vermiyor. "Salak" oluyor.

özgün deniz dedi:

Ana problem = Para
İstenen Çözüm = Beleş mantıkla yukarıdaki sonucu elde etmek.
İkisini topla = 0 çıkar. Bu kadar yani.

Genişletmek için tıkla...

Beleş mantıkla yukarıdaki sonucun elde edilemeyeceğini söyledim zaten? Alooooo? Ama yeterli zaman, ekipmanla yapılması imkansız değil dedim.

özgün deniz dedi:

O kadar yazı yazmışsın, tek bir probleme odaklanan AI Train'i örnek atmışsın.

Genişletmek için tıkla...

LLM'de tek bir problem. Farklı sorulara yanıt verebiliyor olması elindeki datanın genişliğinden kaynaklı.

TheAny dedi:

Google'ın Bard üzerinde ne kadar süredir çalıştığını da bilmiyoruz. GPT 2 ortalıktayken, GPT'nin adını bilmiyordun.

Genişletmek için tıkla...

GPT2 ortalıktayken ben GPT'nin adını biliyordum. Orada bir anlaşalım.

TheAny dedi:

Adamın tek başına böyle bir şey yapamayacağını söyledim zaten.

Genişletmek için tıkla...

İşte ben de dedim ki eğer böyle bir şey yapabilirse birkaç milyon dolar veririm. Yapılamayacağını söylediğini biliyorum zaten. Ama cümleye öyle bir başlıyorsun ki sanki yapılabilitesi varmış gibi. Bunu savunmak için giriş yapıyorsun konuya. Yapılamayacağını geliştirme kısmında anlatıyorsun. Sonuç kısmında sanki yapılabilirmiş gibi örnek sunuyorsun. Savunduğun tarafa giriş şeklin yanlış.

Mühendislik becerisine odaklanıyorsun ama en büyük etken bu da değil. Sonuçta mühendislerin de beceriyi kazanması için zaman lazım zaman da para demek. Senin bunları bildiğini zaten biliyorum. Ancak yazdığın yazıyı başlangıç cümleni objektif şekilde bir tart.

Bilgi, emek ve tecrübe gerekiyor. Ancak bunlar için de birkaç milyar dolar gerekiyor. Problemin para olduğu bir konuda bu cümleyle başlamak insanlarda yapabilirsin ama zor izlenimi uyandırır.

Ama imkansız diye bir şey de var bu dünyada. Belirli yapıyı karşılamadığı sürece Gold Class mühendis de olsa, tomarla parası da olsa, dünyanın en büyük dataseti onda da olsa hiçbir şirket OpenAI seviyesine 3-5 algoritmayı kullanabiliyor diye gelmez.

Ben senin bilginin ve tecrübenin bunları bilecek kadar yerinde olduğunu biliyorum. Az çok forumda gördüğüm kadar seni tanıyorum.

Biraz tekrara düşmüş gibi olacak ama konu asıl olarak maddiyata odaklanıyor değil mi? Senin yazdığın paragrafta makine ve mühendis tecrübesinden artı datasetten bahsediyor. Paradan hiçbir şekilde bahsetmiyorsun sıkıntı bu. Son cümlende bile şunu şunu yapsak OpenAI'a para vermeye gerek kalmıyor sadece zor diyorsun. Ama yaptıklarının belki binlerce katını arka planda yapan Microsoft kalkıp yapılmış olan OpenAI'dan hisse alıyor. Çünkü adamlar biliyor ki ne kadar yaparsa yapsın istediği zamanda o seviyeye gelemeyecek ama ürününde o API'yi kullanması lazım.

Bence ortada ne bilgisizlik var ne de bir art niyet. Hatta benden daha da bilgilisindir bu konuda belki. Ancak şu soruyu soran adama bu şekilde yazı yazarsan adam yapamam değil yaparım der. Ancak yapamayacağını ikimiz de biliyoruz. Değil mi?

özgün deniz dedi:

Bence ortada ne bilgisizlik var ne de bir art niyet. Hatta benden daha da bilgilisindir bu konuda belki. Ancak şu soruyu soran adama bu şekilde yazı yazarsan adam yapamam değil yaparım der. Ancak yapamayacağını ikimiz de biliyoruz. Değil mi?

Genişletmek için tıkla...

Anlatmaya çalıştığım şey LLM yapamayacağı ama ufak bir problemle başlayabileceğiydi. İlkel şeyler yapmadan konu üzerinde gelişim sağlanmaz. OpenAI seviyesinde bir ürün üretemez ama daha basit şeyler için bir şeylerde yapılabilir demeye çalışmıştım. Fakat sonrasında da ekledim API kullanmak kadar basit olmayacağını, o kadarının bile çok vakit ve emek istediğini.

Kendi modelinizi eğiteceksiniz. Modeli eğittikten sonra parametreleri h5 gibi bir formatta çıktı alıp kullanabilirsiniz. C# için ML.NET kullanabilirsiniz.

Model train etmek icin neden openAI API ina muhtac oldugunu dusunuyorsun ben o kisma takildim.
Al BERT ile NLP yap -> GitHub - google-research/bert: TensorFlow code and pre-trained models for BERT