Компютърни науки
Език, който не влияе върху начина, по който мислите за програмирането, не си струва да бъде изучаван.
— (1982)
Опитни разработчици се чувствали по-бързи с AI, докато измеримо работели по-бавно — истинският резултат и присъдата за AI програмирането, която той не е
В рандомизирано контролирано изпитване на METR шестнадесет опитни разработчици на софтуер с отворен код изпълняват 246 реални задачи в кодови бази, които познават добре, като при случайно избрана половина от задачите могат да използват AI инструменти от началото на 2025 г. (Cursor Pro плюс Claude 3.5/3.7 Sonnet). Те очакват AI да намали времето за задача с около 24%; вместо това времето за изпълнение се увеличава с 19% — а след експеримента те продължават да вярват, че AI ги е ускорил с около 20%. Тази разлика между усещане и измерване е най-ясният и устойчив резултат от изследването. Но става дума за шестнадесет разработчици, тесен контекст и фиксирана снимка на началото на 2025 г.: авторите изрично казват, че това не показва, че AI не помага на повечето разработчици, а собственото им проследяване от 2026 г. вече клони към ускорение, макар и със свои уговорки.
Криптографско доказателство може да скрие тайната си, като направи липсващия симулатор труден за опровергаване
Доказателствата с нулево знание позволяват да се докаже твърдение, без да се разкрива свидетелят. Класическата теория казва, че в пълния смисъл това не може да стане с едно съобщение, без доверена настройка и със съвършена коректност. Статията на Рахул Иланго не премахва тази невъзможност. Тя променя целта: вместо да изисква симулатор наистина да съществува, пита дали избрана доказателствена система може ефективно да докаже, че симулаторът не съществува. При големи допускания от сложността на доказателствата и криптографията това е достатъчно, за да се възстановят фалсифицируеми, основани на игри последствия на нулевото знание, свойство по свойство. Това не е готов за включване интернет примитив. То е доказателствено-теоретичен начин математическата недоказуемост да се превърне в криптографско прикритие.
Медицински AI може да е поверителен средно и въпреки това да излага конкретни пациенти — най-вече недостатъчно представените
Медицински AI модел, наречен „privacy-preserving“, обикновено се опира на едно средно число. Това изследване твърди, че това е грешният тест. Изучавайки membership inference attacks — които разкриват дали записът на конкретен човек е бил в тренировъчните данни и така могат да издадат, че той е имал дадено заболяване — авторите измерват риска по пациент, а не агрегирано, в седем медицински набора данни (образна диагностика, ECG, електронни досиета) и множество модели във всеки. Модели, които изглеждат безопасни средно, все пак могат да позволят почти перфектно идентифициране на конкретни хора (attack AUC ≥ 0,95); изложените систематично са от недостатъчно представени групи (етнически малцинства, редки заболявания, необичайни образни характеристики); и проблемът се влошава с увеличаването на моделите. Авторите не казват да се изостави медицинският AI — казват да се измерва поверителността по пациент, да се контролира достъпът до моделите и да се използва differential privacy. Неприятното ядро: „поверително средно“ не е гаранция за поверителност и се проваля точно за пациентите, които вече са най-слабо защитени.
Да научиш рисуващ AI да гледа листа
Езиковите модели, които генерират векторна графика, го правят на сляпо — изписват командите за рисуване, без изобщо да виждат резултата. Нов метод позволява на модела да наблюдава как платното се запълва щрих по щрих, а честният обрат е, че самото даване на „очи“ влошава резултатите: моделът трябва да бъде дообучен да ги използва. Наградата е модел, който изравнява или леко превъзхожда съперници, обучени с до двадесет пъти повече данни — реален и внимателен резултат на един benchmark, не революция.
ИИ агент обработи цели пациентски случаи самостоятелно — в симулатор, върху стари записи
MIRA е нов тип медицински ИИ: вместо да отговаря на един въпрос, той обработва целия случай в симулирано болнично досие — снема анамнеза, назначава и разчита изследвания, стига до диагноза и оформя назначенията. При 574 ретроспективни случая от публична база данни, обхващащи осем предварително избрани диагнози, авторите съобщават, че той е постигнал по-висока диагностична точност от лекарите и е вземал решения, които до голяма степен съответстват на клиничните препоръки и са били безопасни по отношение на лекарствата. Всяко уточнение в това изречение има значение: системата е работила в sandbox върху стари записи, само с текст; голяма част от преднината ѝ е дошла при състояния с ясни резултати от изследвания; назначавала е около два пъти повече кръвни показатели от лекарите; а няколко изхода са били оценявани спрямо това, което е било записано в оригиналното досие. Истинският напредък е агент, който действа по целия работен процес — не доказателство, че машина вече диагностицира по-добре от лекар. Самите автори го казват: обобщимостта, безопасността и управлението все още изискват проспективни проучвания в реална среда.
Работят ли големите роботни „foundation models“ по-добре? Внимателният отговор е: умерено да — и повечето изследвания не могат да разберат
Toyota Research Institute обучи „large behavior models“ — роботни политики, предварително обучени върху ~1 700 часа разнообразни манипулационни данни — и ги сравни с еднозадачни политики, обучени от нулата, с необичайна строгост: слепи, рандомизирани, мащабни изпитвания (~1 800 реални и над 47 000 симулационни) с истинска статистика. След дообучаване за конкретна задача големите модели средно се справят по-добре, нуждаят се от около 3–5× по-малко специфични данни и са по-устойчиви при промяна на условията; производителността нараства плавно с повече предварителни данни. Но без дообучаване не превъзхождат последователно еднозадачните модели, някои ефекти са толкова малки, че се виждат само при големите извадки, а обикновен избор за нормализация на данните има по-голям ефект от архитектурата. Това е измерена подкрепа за посоката на robot foundation models — не общ робот, не zero-shot generalist и не „емергентен скок“ — плюс ясно предупреждение, че голяма част от роботиката може да измерва шум.
Защо езиковите модели халюцинират — и защо начинът, по който ги оценяваме, поддържа проблема
Уверените неверни твърдения, които наричаме „халюцинации“, не са мистериозен дефект: част от тях са статистически страничен продукт на обучението и продължават да се появяват, защото масовите benchmarks награждават уверено предположение повече от честно „не знам“. Case study върху четири frontier модела показва, че изписването на правилата за оценяване в самия prompt („open rubrics“) обръща този стимул.