Yerel olarak çalıştırılabilen modellerin bulut tabanlı yapay zekalarla kıyaslandığında elbette daha sınırlı kaldığı bir gerçek. GPT-5 ya da Claude gibi modellerle aynı performansı beklemek gerçekçi olmaz. Ancak indireceğiniz modelleri küçümsemek de büyük bir hata olur. 2 milyar veya 4 milyar parametreli modeller günümüzde pek çok orta seviye bilgisayarda sorunsuz çalışabiliyor ve temel düzeyde oldukça tatmin edici sonuçlar verebiliyor. Güncel eğitilmiş modelleri tercih etmek asıl önemli olan şey. Modelin eğitim tarihi ne kadar yeniyse sahip olduğu bilgi birikimi de o kadar güncel oluyor. Bu yüzden bir model indirmeye karar verdiğinizde mümkün olduğunca yeni bir sürümü tercih etmek doğru bir karar olacaktır

Peki, ne işimize yarayacak bir model indirip bilgisayarımızda tutmak?

Cevap basit: İnternete erişimimiz olmadığında bilgilerden mahrum kalmamak. Bunu abartılı bir senaryo olarak görmek kolay. Sonuçta artık neredeyse her yerde internet var, değil mi? Peki ya sinyal çekmeyen bir dağ köyüne gittiğinizde, uzun bir uçuş sırasında ya da bir doğal afet sonrasında internet altyapısının devre dışı kaldığı anlarda? Mesela, başka bir ülkede internetsiz kalan küçük bir köyde yerel dili hiç bilmeden iletişim kurmaya çalıştığınızı hayal edin. Telefonunuzda çalışan 4 milyar parametreli bir model size temel çevirileri, günlük ifadeleri ve pratik dil bilgisini anında sunabilir. Bu, sıfır bilgiyle iletişim kurmaya çalışmaktan çok çok daha iyi bir durum.

Bir artısı daha: Abliterated modeller.

Yerel LLM kullanmanın bir diğer dikkat çekici yönü, abliterated yani kısıtlamaları ve sınırlandırmaları kaldırılmış modeller. Çevrimiçi büyük yapay zeka websiteleri olabildiğince güvenli sularda yüzebilmek için aşırı kısıtlı modelleri kullanıma sunarlar. Bu kısıtlamalar kimi zaman meşru güvenlik kaygılarından, kimi zaman ise şirket politikalarından kaynaklanabilir. Yerel olarak çalıştırılan kısıtlanmamış modeller ise bu sınırların dışında kalıyor. Normalde yapay zekaların tartışmaktan çekindiği konuları böylece özgürce ele alabilir ve tartışabilirsiniz. 

_{Bu metnin yazılmasında hiçbir yapay zeka kullanılmamıştır, yazım/imla hataları ve anlamsız cümleler denk gelmiş olabilir.}