Günümüzde büyük dil modellerinin (LLM) eğitimi için devasa miktarda veriye ihtiyaç duyuluyor. Ancak bu veriler çoğunlukla internetten toplandığı için, kullanıcıların kişisel bilgileri de farkında olmadan eğitim verisine dahil olabiliyor. Bu da yapay zeka modellerinin hassas bilgileri “ezberleyerek” daha sonra çıktılarında istem dışı şekilde kullanmasına neden olabiliyor.
VaultGemma, bu riski azaltmak için yapay zeka dünyasında uzun süredir bilinen ancak bu ölçekte ilk kez kapsamlı şekilde uygulanan “Farklılaştırılmış Gizlilik” (Differential Privacy – DP) tekniğini temel alıyor. Bu yöntem sayesinde model eğitimine dijital gürültü ekleniyor; böylece model, verileri ezberleyip aynen tekrar edemiyor.
Modelin dikkat çeken bir başka özelliği, token dizisi seviyesinde gizliliği garanti etmesi. Örneğin bir bilgi sadece bir cümlede yer alıyorsa, model o bilgiyi hiç görmemiş gibi davranıyor ve cevaplarında bunu yansıtmıyor. Google, bu sayede VaultGemma’nın, istatistiksel olarak “bilgiye sahip olmayan” bir model gibi davrandığını vurguluyor.
Bu gizlilik odaklı yaklaşımın doğal bir dezavantajı da var: Gürültü miktarı arttıkça modelin doğruluğu düşüyor. Ancak Google bu sorunu dengelemek için “differential privacy ölçekleme yasaları” adını verdiği yeni bir matematiksel çerçeve geliştirdi. Bu çerçeve; işlem gücü (FLOPs), veri miktarı (token sayısı) ve gizlilik seviyesi arasındaki dengeyi optimize etmeye yardımcı oluyor.
1 milyar parametreye sahip VaultGemma, görece küçük bir model olsa da benzer boyuttaki modellere kıyasla daha yüksek işlem gücüyle eğitildi. Bu sayede eklenen gürültüye rağmen modelin performansında belirgin bir düşüş yaşanmadı. Uzmanlar, VaultGemma’nın kabaca OpenAI’ın GPT-2 modeliyle benzer düzeyde olduğunu belirtiyor.
Google’ın Gemma 2 model ailesine dayanan VaultGemma, açık ağırlıklı (open-weight) olarak sunuldu. Bu, geliştiricilerin modelin eğitilmiş ağırlıklarını (yani öğrendiği sayısal değerler) indirip çalıştırabilmesi, hatta kendi verileriyle yeniden eğitebilmesi anlamına geliyor. Modelin ağırlıkları Hugging Face ve Kaggle üzerinden erişime açık durumda.
Google, VaultGemma’nın yapay zeka geliştirme sürecinde veri gizliliği ile model kalitesi arasındaki hassas dengeyi kurmaya yönelik önemli bir adım olduğunu belirtiyor. Şirket, bu çalışmayla yapay zeka topluluğuna sistematik bir yol haritası sunduğunu ifade ediyor. Uzmanlara göre bu yöntem, özellikle hassas verilerin işlendiği sektörlerde gelecekte standart haline gelebilir.
