Üretici Yapay Zekâ, Temel Modeller ve Büyük Dil Modelleri
Üretici Yapay Zekâ
Üretici Yapay Zekâ (GenAI), insanlar tarafından oluşturulan içeriğe benzeyen metin, resim, ses veya video dâhil olmak üzere sentetik içerik oluşturmak için tasarlanmış yapay zeka (YZ) modellerini ifade eder [1]. Son zamanlarda, çok sayıda GenAI modeli geliştirildi ve piyasaya sürüldü. GenAI modelleri, kalıpları, ilişkileri tanımlayarak ve bunları olasılıksal olarak çoğaltarak içeriği tahmin etmek ve oluşturmak için kapsamlı veri analizi kullanır; bu da mevcut kalıplarla benzerlikler sergileyebilen veya sağlanan girdiye (komut istemlerine) dayalı yeni öğeleri sergileyebilen sentetik içeriğin üretilmesiyle sonuçlanır [1 ].
.png)
Norveç Tüketici Konseyi, GenAI'ların ortaya çıkardığı bazı zararları ve zorlukları belirledi:
- GenAI’ın yapısal zorlukları: Teknolojik çözümcülük, büyük teknoloji şirketlerinde gücün yoğunlaşması ve sistemlerin opaklığı ve hesap verebilirlik eksikliği;
- Manipülasyon: Hatalar ve doğru olmayan çıktılar, derin sahte ve yanlış dezenformasyon, sohbet botlarının kişisel verileri toplamak için kullanımı;
- Önyargı, ayrımcılık ve içerik denetimi: İçerik denetimi için bir engel olarak kültürel bağlam ve açık kaynak modelleri ve içeriğin sınırları;
- Gizlilik ve veri koruması;
- Güvenlik açıkları ve dolandırıcılık;
- Tüketiciye dönük uygulamalarda insanların tamamen veya kısmen üretici yapay zeka ile değiştirilmesi: Otomatik sistemlerin çıktılarına aşırı güvenme, az güvenme ve insan muhataplar açısından kararları tersine çevirmenin algılanan riskleri gibi insan ve otomatik karar vermeyi birleştirmeyle ilgili zorluklar;
- Çevresel etki: İklim etkisi, su ayak izi ve yeşil yıkama;
- İş gücüne etki: İş gücü sömürüsü ve hayalet çalışma, iş otomasyonu ve işlere yönelik tehditler;
- Fikri mülkiyet: Telif sahiplerinin izni olmadan GenAI'ların eğitilmesi ve GenAI’ların çıktılarının telif haklarının kimlere verileceği [1].
Dikkatli inceleme gerektiren bir başka önemli teknoloji de temel modeldir. Şu anda piyasada bulunan birçok GenAI aynı zamanda temel model olarak kabul edilmektedir.
Temel Modeller
Temel modeller terimi, Bommasani ve diğerleri tarafından [2] "(genellikle ölçekte öz-denetim kullanarak) geniş veri üzerinde eğitilen ve geniş bir yelpazede alt görevlere adapte edilebilen (örneğin, ince ayar) herhangi bir modeli" ifade etmek için kullanılmıştır. Transfer öğrenme ve ölçek, temel modeller için özellikle önemlidir. Bir görevden elde edilen bilginin farklı bir göreve uygulanması süreci olan transfer öğrenme, temel modelleri mümkün kılarken; bilgisayar donanımındaki ilerlemeleri, transformatör model mimarisinin gelişimini ve daha fazla miktarda mevcut eğitim verisini kapsayan ölçek temel modellerin gücünü arttırır [2].
Transfer öğrenme, iki aşamadan oluşur: bir veya birden fazla kaynak görevden bilgi edinilen ön eğitim aşaması ve edinilen bilginin hedef görevlere aktarıldığı ince ayarlama aşaması [3]. Bu şekilde, alt görevler, sıfırdan modelleri eğitmeden önceden eğitilmiş modellerin ince ayarlanmasıyla gerçekleştirilir. Önceden eğilmiş modellerle transfer öğrenme, görüntü sınıflandırma, nesne algılama ve doğal dil işleme gibi farklı görevlere uygulanabilir. Bir temel modeli uygulayarak, belirli bir amaca sahip YZ sistemleri veya genel amaçlı YZ sistemleri geliştirilebilir [4].
Temel modellerle ilişkili etik, yasal ve sosyal sonuçlara ilişkin genel bir anlayış olsa da, temel modellerin risklerini ve faydalarını belirlemek zor olabilir çünkü etkileri, kullanıldıkları veya uygulandıkları bağlama bağlı olarak değişiklik gösterebilir. Temel modeller, farklı uygulamalarda, endüstrilerde veya toplumsal bağlamlarda farklı riskler, zorluklar ve potansiyel zararlar doğurabilir. Bir temel modelin kullanıldığı her bağlam, kullanımının olası risklerini ve faydalarını belirlemek için dikkatle değerlendirilmelidir.
Büyük Dil Modelleri
Son zamanlarda oldukça popüler olan büyük dil modelleri, temel modeller kategorisine girer ve bir tür GenAI olarak kabul edilir. Büyük dil modelleri, doğal dil işleme görevleri için tasarlanmış derin öğrenme sinir ağlarıdır. Bu modeller çok sayıda parametreden oluşur ve öz-denetimli öğrenme tekniği ile çok miktarda etiketlenmemiş metin verisi [5] üzerinde eğitilir. Öz-denetimli öğrenme, modeli büyük ölçekli denetimsiz (etiketlenmemiş veya açıklama eklenmemiş) veriler üzerinde önceden eğitmeyi sağlar [3]. Model önceden eğitildikten sonra, ince ayar yoluyla daha az miktarda etiketlenmiş veriyle belirli görevlere adapte etmek için eğitilir. Büyük dil modelleri içerik oluşturma, metin özetleme ve kod oluşturma gibi farklı görevler için kullanılabilir. Bazı büyük dil modelleri örnekleri BERT, PaLM ve GPT-4'tür.
Temel modellerin bir kategorisi olarak büyük dil modelleri, uygulandıkları farklı bağlamlarda farklı ve belki de beklenmedik zararlar ve zorluklar ortaya çıkarabilir. Büyük dil modellerinin etik çıkarımlarını ve potansiyel sonuçlarını değerlendirirken belirli kullanım durumunu ve bağlamı dikkate almak önemlidir. Ayrıca, yukarıda belirtilen zorluklar ve zararlar, bir tür GenAI oldukları için büyük dil modelleri için geçerlidir.
Weidinger ve diğerleri [6] büyük dil modelleriyle ilişkili riskleri altı başlıkta sınıflandırmaktadır. Bu risk alanları geniş kapsamlıdır, farklı alt riskleri içerir ve daha fazla araştırma ve derinlemesine analiz gerektirir. Belirtilen altı risk alanı şunlardır:
1) Ayrımcılık, Nefret Söylemi ve Dışlama: “sosyal stereotipler ve haksız ayrımcılık”, “nefret söylemi ve saldırgan dil”, “dışlayıcı normlar” ve “bazı diller ve sosyal gruplar için düşük performans”;
2) Bilgi Tehlikeleri: "hassas bilgileri sızdırarak mahremiyeti tehlikeye atmak" ve "hassas bilgileri doğru şekilde çıkarsayarak mahremiyeti veya güvenliği tehlikeye atmak";
3) Yanlış Bilgilendirme Zararları: “yanlış veya yanıltıcı bilgi yaymak” ve “yanlış veya yetersiz bilgi yayarak maddi zarara yol açmak”;
4) Kötü Amaçlı Kullanımlar: "dezenformasyonu daha ucuz ve daha etkili hale getirme", "siber güvenlik tehditleri için kod üretimine yardımcı olma", "dolandırıcılık ve hedefli manipülasyonu kolaylaştırma" ve "yasadışı gözetleme ve sansür";
5) İnsan-Bilgisayar Etkileşimi Zararları: “cinsiyet veya etnik kimliği ima ederek zararlı stereotipleri teşvik etmek”, "aşırı güvenmeye veya güvenli olmayan kullanıma yol açabilen antropomorfize edilmiş sistemler", "kullanıcı güvenini istismar etme ve daha fazla özel bilgiye erişim sağlama imkânları” ve "kullanıcıyı yönlendirme/dürtme, aldatma veya manipüle etme fırsatlarını artırabilen insan benzeri etkileşimler”;
6) Çevresel ve Sosyoekonomik Zararlar: "dil modellerinin işletilmesinden kaynaklanan çevresel zararlar", "eşitsizliği artırma ve iş kalitesi üzerinde olumsuz etkiler", "yaratıcı ekonomileri zayıflatma" ve "donanım, yazılım, beceri kısıtlamaları nedeniyle faydalara farklı erişim"
Referans
[1] Ghost in the Machine. (n.d.-b). https://www.adiconsum.it/wp-content/uploads/2023/06/Report_AI_2023.pdf
[2] Bommasani, R., Hudson, D. A., Adeli, E., Altman, R., Arora, S., von Arx, S., Bernstein, M. S., Bohg, J., Bosselut, A., Brunskill, E., Brynjolfsson, E., Buch, S., Card, D., Castellon, R., Chatterji, N., Chen, A., Creel, K., Davis, J. Q., Demszky, D., … Liang, P. (2022, July 12). On the opportunities and risks of Foundation models. arXiv.org. https://arxiv.org/abs/2108.07258
[3] Han, X., Zhang, Z., Ding, N., Gu, Y., Liu, X., Huo, Y., Qiu, J., Yao, Y., Zhang, A., Zhang, L., Han, W., Huang, M., Jin, Q., Lan, Y., Liu, Y., Liu, Z., Lu, Z., Qiu, X., Song, R., … Zhu, J. (2021, August 11). Pre-trained models: Past, present and future. arXiv.org. https://arxiv.org/abs/2106.07139
[4] European Parliament. (n.d.-a). https://www.europarl.europa.eu/doceo/document/TA-9-2023-0236_EN.pdf
[5] Zhao, W. X., Zhou, K., Li, J., Tang, T., Wang, X., Hou, Y., Min, Y., Zhang, B., Zhang, J., Dong, Z., Du, Y., Yang, C., Chen, Y., Chen, Z., Jiang, J., Ren, R., Li, Y., Tang, X., Liu, Z., … Wen, J.-R. (2023, May 7). A survey of large language models. arXiv.org. https://arxiv.org/abs/2303.18223
[6] DeepMind, L. W., Weidinger, L., DeepMind, DeepMind, J. U., Uesato, J., DeepMind, M. R., Rauh, M., DeepMind, C. G., Griffin, C., DeepMind, P.-S. H., Huang, P.-S., DeepMind, J. M., Mellor, J., DeepMind, A. G., Glaese, A., DeepMind, M. C., Cheng, M., DeepMind, B. B., Balle, B., … Metrics, O. M. A. (2022, June 1). Taxonomy of risks posed by language models: Proceedings of the 2022 ACM conference on fairness, accountability, and transparency. ACM Other conferences. https://dl.acm.org/doi/10.1145/3531146.3533088
Yazan : Gamze Büşra Kaya