Комп’ютерні науки
Мову, яка не впливає на те, як ви думаєте про програмування, не варто вивчати.
— (1982)
Досвідченим розробникам здавалося, що з ШІ вони працюють швидше, хоча вимірювання показали протилежне — ось справжній результат, а не вирок ШІ-програмуванню
У рандомізованому контрольованому дослідженні METR шістнадцять досвідчених розробників відкритого ПЗ виконували 246 реальних завдань у добре знайомих їм кодових базах; для випадкової половини завдань були дозволені інструменти ШІ початку 2025 року (Cursor Pro разом із Claude 3.5/3.7 Sonnet). Вони очікували, що ШІ скоротить час виконання приблизно на 24%; натомість він збільшив його на 19%, а після роботи розробники все одно вважали, що ШІ прискорив їх приблизно на 20%. Саме цей розрив у сприйнятті — найчіткіше й найстійкіше ядро дослідження. Але це шістнадцять розробників, одне вузьке середовище та фіксований знімок початку 2025 року: автори прямо кажуть, що результат не показує, ніби ШІ не допомагає більшості розробників, а їхнє власне продовження 2026 року вже схиляється до прискорення — зі своїми застереженнями.
Криптографічний доказ може приховувати секрет, роблячи відсутність симулятора важкою для доведення
Докази з нульовим розголошенням дозволяють довести твердження, не розкриваючи witness. Класична теорія каже, що в повному сенсі це неможливо одночасно з одним повідомленням, відсутністю довіреного setup і perfect soundness. Стаття Рахула Іланго не скасовує цю неможливість. Вона змінює ціль: замість вимагати, щоб симулятор справді існував, достатньо, щоб жодна вибрана система доказів не могла ефективно довести, що симулятора не існує. За великих припущень із теорії складності доказів і криптографії цього вистачає, щоб по одній властивості за раз відновити фальсифіковані, ігрові наслідки zero-knowledge. Це не готовий інтернет-примітив, а теоретико-доказовий спосіб перетворити математичну недовідність на криптографічне прикриття.
Медичний ШІ може бути приватним у середньому й водночас викривати окремих пацієнтів — найбільше недопредставлених
Коли медичну модель ШІ називають такою, що «зберігає приватність», це зазвичай спирається на один середній показник. Це дослідження показує, що така перевірка неправильна. Вивчаючи атаки на визначення належності до навчальної вибірки — вони дозволяють з'ясувати, чи був запис конкретної людини в навчальних даних моделі й тим самим можуть розкрити, що людина мала певну хворобу, — автори вимірювали ризик не в сукупності, а для кожного пацієнта окремо, на семи медичних датасетах (зображення, ЕКГ, електронні записи) і багатьох моделях. Картина така: моделі, безпечні за середнім показником, іноді дозволяють майже безпомилково ідентифікувати конкретних людей (AUC атаки ≥ 0,95); серед викритих систематично переважають недопредставлені групи — етнічні меншини, рідкісні хвороби, незвичайні зображення; і зі збільшенням моделей проблема посилюється. Автори не закликають відмовитися від медичного ШІ — вони пропонують вимірювати приватність для кожного пацієнта, контролювати доступ до моделей і застосовувати диференційну приватність. Незручна суть: «приватна в середньому» — не гарантія приватності, і найчастіше вона підводить тих пацієнтів, які вже захищені найменше.
Навчити AI-художника дивитися на сторінку
Мовні моделі, що генерують векторну графіку, роблять це наосліп — пишуть команди малювання, жодного разу не бачачи результату. Новий метод дозволяє моделі спостерігати, як її полотно заповнюється штрих за штрихом, і чесний поворот у тому, що просто дати їй очі робить результат гіршим: модель треба перенавчити ними користуватися. У підсумку вона дорівнює або трохи випереджає конкурентів, навчених на даних до двадцяти разів більшого обсягу, — реальний і обережний результат одного бенчмарку, а не революція.
ШІ-агент самостійно вів цілі клінічні випадки — у симуляторі, на минулих медичних записах
MIRA — новий тип медичного ШІ: замість відповіді на одне запитання система веде весь випадок усередині симульованої лікарняної картки — збирає анамнез, призначає й читає тести, доходить до діагнозу та формує призначення. На 574 ретроспективних випадках із публічної бази, що охоплювали вісім наперед обраних діагнозів, автори повідомляють про вищу за лікарів точність діагнозу та переважно безпечні, узгоджені з настановами рішення. Але кожне уточнення тут важливе: система працювала в пісочниці на минулих записах і лише в тексті; значна частина переваги припала на стани з однозначними тестами; вона використовувала приблизно вдвічі більше аналізів крові, ніж лікарі; а кілька результатів оцінювали відносно того, що було записано в оригінальній картці. Справжній поступ — агент, який діє в межах усього робочого процесу, а не доказ того, що машина тепер діагностує краще за лікаря. Самі автори наголошують: узагальнюваність, безпека та управління ще потребують проспективних досліджень у реальному світі.
Чи справді великі «фундаментальні моделі» роботів працюють краще? Обережна відповідь: помірно так — і більшість досліджень не здатні цього надійно побачити
Toyota Research Institute навчив «великі моделі поведінки» — роботизовані політики з попереднім навчанням на ~1 700 годинах різноманітних маніпуляцій — і порівняв їх із моделями для однієї задачі, навченими з нуля, з незвичною суворістю: засліплені рандомізовані випробування великого масштабу (~1 800 реальних і 47 000+ симуляційних) зі справжньою статистикою. Після донавчання на конкретній задачі великі моделі в середньому працювали краще, потребували приблизно у 3–5 разів менше специфічних даних і були стійкішими до зміни умов; продуктивність плавно зростала з обсягом pretraining-даних. Але без донавчання вони не мали стабільної переваги над моделями для однієї задачі, деякі ефекти були настільки малі, що їх було видно лише у великих вибірках, а звичайний вибір нормалізації даних важив більше за архітектуру. Це стримана підтримка напряму фундаментальних моделей для роботів — не універсальний робот, не zero-shot універсал і не «емерджентний стрибок» — плюс гостре попередження, що значна частина робототехніки може вимірювати шум.
Чому мовні моделі галюцинують — і чому наше оцінювання допомагає цьому тривати
Впевнені хибні твердження, які ми називаємо «галюцинаціями», не є загадковим збоєм: частина з них — статистичний побічний ефект навчання, а зберігаються вони ще й тому, що головні бенчмарки винагороджують упевнену здогадку більше за чесне «я не знаю». Case study на чотирьох frontier-моделях показує, що явне формулювання правил оцінювання в самому запиті — «open rubrics» — перевертає цей стимул.