Bilgisayar bilimi
Programlama hakkında düşünme biçiminizi değiştirmeyen bir dil, öğrenmeye değmez.
— (1982)
Deneyimli geliştiriciler AI ile daha hızlı hissetti ama ölçüldüğünde daha yavaş çalıştı — gerçek bulgu ve bunun AI kodlama hakkında olmadığı hüküm
METR'nin randomize kontrollü çalışmasında on altı deneyimli açık kaynak geliştiricisi, iyi bildikleri kod tabanlarında 246 gerçek görev yaptı; görevlerin rastgele yarısında 2025 başı AI araçlarına (Cursor Pro + Claude 3.5/3.7 Sonnet) izin verildi. AI'ın görev süresini yaklaşık %24 azaltmasını beklediler; bunun yerine süre %19 arttı — ve sonrasında bile AI'ın kendilerini yaklaşık %20 hızlandırdığına inanıyorlardı. Bu algı boşluğu çalışmanın keskin ve sağlam çekirdeği. Ama bu on altı geliştirici, dar bir ortam ve 2025 başına ait sabit bir anlık görüntü: yazarlar bunun AI'ın geliştiricilerin çoğuna yardım etmediğini göstermediğini açıkça söylüyor ve kendi 2026 takipleri de, kendi uyarılarıyla birlikte, şimdiden hızlanma yönüne eğiliyor.
Bir kriptografik kanıt, eksik simülatörün yokluğunu kanıtlamayı zorlaştırarak sırrını gizleyebilir
Sıfır bilgi kanıtları bir ifadenin tanığı açıklanmadan kanıtlanmasını sağlar. Klasik teori bunun tam anlamıyla tek mesaj, güvenilir kurulum olmadan ve kusursuz sağlamlıkla birlikte elde edilemeyeceğini söyler. Rahul Ilango’nun makalesi bu imkânsızlığı ortadan kaldırmıyor. Hedefi değiştiriyor: bir simülatörün gerçekten var olmasını istemek yerine, seçilmiş hiçbir kanıt sisteminin simülatörün var olmadığını verimli biçimde kanıtlayamamasını istiyor. Kanıt karmaşıklığı ve kriptografideki büyük varsayımlar altında bu, sıfır bilginin yanlışlanabilir, oyun-temelli sonuçlarını özellik özellik geri kazanmak için yeterli oluyor. Nokta internete takılıp kullanılacak hazır bir ilkel değil. Matematiksel kanıtlanamazlığı kriptografik örtüye dönüştürmenin kanıt-kuramsal bir yolu.
Bir tıbbi yapay zekâ ortalamada mahrem görünüp belirli hastaları yine de açıkta bırakabilir — özellikle az temsil edilenleri
‘Mahremiyeti koruyan’ denilen bir tıbbi yapay zekâ modeli genellikle tek bir ortalama sayıya dayanır. Bu çalışma o sayının yanlış test olduğunu savunuyor. Belirli bir kişinin kaydının modelin eğitim verisinde olup olmadığını açığa çıkaran ve dolayısıyla kişinin belirli bir hastalığa sahip olduğunu ele verebilen üyelik çıkarım saldırılarını inceleyen yazarlar, yedi tıbbi veri setinde (görüntüleme, EKG, elektronik kayıtlar) ve her birinde birçok modelde riski toplu değil hasta başına ölçtü. Örüntü şu: ortalamada güvenli görünen modeller, belirli kişileri neredeyse kusursuz biçimde tanımlamaya izin verebilir (saldırı AUC ≥ 0,95); açıkta kalanlar sistematik olarak az temsil edilen gruplardan gelir (etnik azınlık, nadir hastalık, alışılmadık görüntüleme); model büyüdükçe sorun ağırlaşır. Yazarlar tıbbi yapay zekâyı bırakın demiyor — mahremiyeti hasta başına ölçün, model erişimini kontrol edin ve differential privacy kullanın diyor. Rahatsız edici öz: ‘ortalamada mahrem’ bir mahremiyet garantisi değildir ve zaten en az korunan hastalarda başarısız olur.
Çizim yapan bir yapay zekâya sayfaya bakmayı öğretmek
Vektör grafik üreten dil modelleri bunu körlemesine yapar — sonucu hiç görmeden çizim komutlarını yazar. Yeni bir yöntem, modelin kendi tuvalinin çizgi çizgi dolmasını izlemesine izin veriyor; dürüst sürpriz ise şu: yalnızca göz vermek işleri kötüleştiriyor, modeli bu gözleri kullanmak üzere yeniden eğitmek gerekiyor. Sonuç, yirmi kata kadar daha fazla veriyle eğitilmiş rakiplerle başa baş kalan veya onları az farkla geçen bir model — tek bir benchmark'ta gerçek ve dikkatli bir sonuç, devrim değil.
Bir yapay zekâ ajanı hasta vakalarını baştan sona kendi başına yürüttü — ama simülatörde, geçmiş kayıtlar üzerinde
MIRA yeni bir tıbbi yapay zekâ türü: tek bir soruyu yanıtlamak yerine simüle edilmiş bir hastane kaydında tüm vakayı yürütüyor — öykü alıyor, test isteyip sonuçlarını okuyor, tanıya ulaşıyor ve istemleri yazıyor. Kamuya açık bir veritabanından alınan, önceden seçilmiş sekiz tanıyı kapsayan 574 geriye dönük vakada yazarlar, tanı doğruluğunda hekimlerden daha iyi sonuç verdiğini ve kararlarının büyük ölçüde kılavuzlarla uyumlu ve ilaç açısından güvenli olduğunu bildiriyor. Bu cümlenin her nitelemesi önemli: sistem geçmiş kayıtlarda, yalnızca metinle çalışan bir sandbox'ta test edildi; avantajının büyük kısmı net test sonuçları olan hastalıklardan geldi; doktorların yaklaşık iki katı kadar kan testi kullandı; bazı çıktılar da orijinal dosyada kaydedilenlere göre puanlandı. Gerçek ilerleme, bütün iş akışı boyunca eylem alan bir ajan — makinenin artık doktordan daha iyi tanı koyduğunun kanıtı değil. Yazarlar da bunu söylüyor: genellenebilirlik, güvenlik ve yönetişim için hâlâ ileriye dönük gerçek dünya çalışmalarına ihtiyaç var.
Büyük robot “foundation modelleri” gerçekten daha mı iyi çalışıyor? Dikkatli cevap: ölçülü biçimde evet — ve çoğu çalışma bunu ayırt edemeyebilir
Toyota Research Institute, yaklaşık 1.700 saatlik çeşitli manipülasyon verisiyle ön-eğitilmiş “large behavior model” robot politikalarını sıfırdan tek-görev politikalarına karşı alışılmadık titizlikle test etti: kör, randomize, büyük örneklemli (~1.800 gerçek dünya, 47.000+ simülasyon) ve gerçek istatistik kullanan denemeler. Görev başına fine-tuning sonrasında büyük modeller ortalamada daha iyi performans gösterdi, yaklaşık 3–5× daha az göreve özgü veri gerektirdi ve koşullar değiştiğinde daha dayanıklıydı; daha fazla pretraining verisiyle performans düzgün biçimde yükseldi. Fakat fine-tuning olmadan tek-görev modellerini tutarlı biçimde geçmediler, bazı etkiler ancak büyük örneklemle görülecek kadar küçüktü ve sıradan bir veri-normalizasyon tercihi mimariden daha fazla önem taşıdı. Robot-foundation-model yönü için ölçülü destek — genel amaçlı robot değil, zero-shot genelci değil, “emergent sıçrama” değil — ve robotik çalışmalarının önemli bölümünün gürültü ölçüyor olabileceğine dair açık bir uyarı.
Dil modelleri neden halüsinasyon görüyor — ve onları puanlama biçimimiz neden bunu sürdürüyor?
“Halüsinasyon” dediğimiz kendinden emin yanlışlar gizemli bir arıza değil: bazıları eğitimin istatistiksel bir yan ürünü ve kalıcı olmalarının bir nedeni de ana akım benchmark'ların dürüst bir “bilmiyorum” yerine kendinden emin tahmini ödüllendirmesi. Dört frontier model üzerinde yapılan bir vaka çalışması, puanlama kurallarını istemin içinde açıkça belirtmenin (“open rubrics”) bu teşviki tersine çevirdiğini gösteriyor.