OpenAI 开始在生成文本中加隐形水印 textGrain
为符合欧盟 AI 法案,ChatGPT 与 Codex 将在欧盟自动开启统计式水印,API 全球可选,检测工具暂不公开。
Anthropic'ten sonra OpenAI da ürettiği metinlere görünmez bir filigran eklemeye başlıyor. Sebep AB Yapay Zeka Yasası: üretilen metnin makine tarafından tanınabilir olması zorunlu hale geliyor. Arada önemli bir fark var: Anthropic bunu tüm dünyada uygulayacak, OpenAI sadece AB'de. Filigran metne bir işaret ya da gizli karakter eklemiyor. textGrain adını verdikleri sistem, modelin kelime seçimlerine istatistiksel bir iz bırakıyor. Okurken hiçbir fark görmüyoruz. → Önümüzdeki haftalarda AB'deki tüm ChatGPT ve Codex planlarında filigran otomatik açılacak. AB dışında, yani Türkiye'den kullanırken şimdilik bir şey değişmiyor. → API'de bugünden itibaren dünya genelinde isteğe bağlı açabiliyoruz, varsayılan kapalı. → Tespit aracı herkese açık değil. Şimdilik sadece onaylı araştırmacılar ve uzman kurumlar başvurabiliyor. Testler %1'lik bir yanlış alarm payıyla yapılmış. Yani öğrencilerin kendi yazdığı her 100 ödevden 1'i zan altında kalabilir. → 400 tokenlık (yaklaşık 300 kelime) bir psikoloji metninde filigranı %95 civarında yakalıyormuş, aynı uzunlukta bir matematik metninde bu oran %61'e düşüyormuş. Kelime seçme esnekliği azaldıkça iz de zayıflıyor. → Aklınızda bulunsun :)) kelimelerin %10'unu eş anlamlısıyla değiştirince tespit %92'den %66'ya iniyormuş. %25'i değişince %17'ye. → Kısa bir metinde (200 token) %25 düzenleme sonrası oran %7 civarına kadar düşüyormuş. Kendi testlerine göre textGrain, Google'ın SynthID'si dahil denedikleri yöntemlerle aynı ya da daha iyi sonuç vermiş. Filigranın model kalitesini düşürmediğini de GPT-6 Astra benchmarklarıyla göstermişler. İkisi de OpenAI'ın kendi ölçümü, bağımsız bir doğrulama henüz yok. Filigrandan alamadıklarımız; → Metni kimin yazdığını, hangi hesaptan çıktığını göstermiyor. → İnsanın metne ne kadar katkı verdiğini ölçmüyor. → Metnin doğru olup olmadığını söylemiyor. → Filigran çıkmaması metni bir insanın yazdığını kanıtlamıyor. Çeviri, düzenleme ya da başka bir şirketin modeli izi tamamen kaybettirebiliyor. Özetle okulların, editörlerin beklediği "bu metni yapay zeka mı yazdı" dedektörü bu değil. Birkaç eş anlamlı kelimeyle büyük ölçüde silinen bir iz ve onu okuyabilen sınırlı sayıda araştırmacı var. OpenAI da bunu saklamıyor zaten. Bence beyhude bir çaba. Metin mi kaldı, ajanlar artık komple iş yapıyor. Bugün yüzlerce ajana iş yaptırıyoruz, birbirinin çıktısını düzenleyip devam ediyorlar. Hangi satırı insan yazdı, hangisini ajan, kim ne ekledi, bunu takip etmek mümkün değil, takip etmenin bir anlamı da yok. Bırakın milletin yakasını ya, kim nerede isterse kullansın. AB de bayılıyor zabıtalığa :)
这条是引用着另一条写的:「OpenAI 为 ChatGPT 和 Codex 文本加水印」