Камп’ютарныя навукі
Мову, якая не ўплывае на тое, як вы думаеце пра праграмаванне, не варта вывучаць.
— (1982)
Дасведчаным распрацоўшчыкам здавалася, што з ШІ яны працуюць хутчэй, хоць вымярэнні паказалі адваротнае — вось сапраўдны вынік, а не прысуд праграмаванню з ШІ
У рандомізаваным кантраляваным даследаванні METR шаснаццаць дасведчаных распрацоўшчыкаў адкрытага ПЗ выканалі 246 рэальных задач у добра знаёмых ім кодавых базах; для выпадковай паловы задач дазваляліся інструменты ШІ пачатку 2025 года (Cursor Pro разам з Claude 3.5/3.7 Sonnet). Яны чакалі, што ШІ скароціць час выканання прыкладна на 24%; замест гэтага ён павялічыў яго на 19%, а пасля працы распрацоўшчыкі ўсё роўна лічылі, што ШІ паскорыў іх прыкладна на 20%. Менавіта гэты разрыў ва ўспрыманні — самае яснае і ўстойлівае ядро даследавання. Але гэта шаснаццаць распрацоўшчыкаў, адно вузкае асяроддзе і фіксаваны здымак пачатку 2025 года: аўтары наўпрост кажуць, што вынік не паказвае, нібы ШІ не дапамагае большасці распрацоўшчыкаў, а іх уласны працяг 2026 года ўжо схіляецца ў бок паскарэння — са сваімі агаворкамі.
Крыптаграфічны доказ можа хаваць сакрэт, робячы адсутнасць сімулятара цяжкай для доказу
Доказы з нулявым разгалошваннем дазваляюць даказаць сцвярджэнне, не раскрываючы witness. Класічная тэорыя кажа, што ў поўным сэнсе гэта немагчыма адначасова з адным паведамленнем, адсутнасцю даверанага setup і perfect soundness. Артыкул Рахула Іланга не адмяняе гэтую немагчымасць. Ён змяняе мэту: замест патрабавання, каб сімулятар сапраўды існаваў, дастаткова, каб ніякая выбраная сістэма доказаў не магла эфектыўна даказаць, што сімулятара не існуе. Пры моцных дапушчэннях з тэорыі складанасці доказаў і крыптаграфіі гэтага хапае, каб па адной уласцівасці за раз аднавіць фальсіфікаваныя, гульнявыя наступствы zero-knowledge. Гэта не гатовы інтэрнэт-прымітыў, а тэарэтыка-доказавы спосаб ператварыць матэматычную недаказальнасць у крыптаграфічнае прыкрыццё.
Медыцынскі ШІ можа быць прыватным у сярэднім і адначасова раскрываць асобных пацыентаў — асабліва недапрадстаўленых
Калі медыцынскую мадэль ШІ называюць «той, што захоўвае прыватнасць», гэта звычайна заснавана на адным сярэднім паказчыку. Гэтае даследаванне паказвае, што такая праверка няправільная. Вывучаючы атакі на вызначэнне прыналежнасці да навучальнай выбаркі — яны дазваляюць высветліць, ці быў запіс канкрэтнага чалавека ў навучальных даных мадэлі і тым самым могуць раскрыць, што ў чалавека было пэўнае захворванне, — аўтары вымяралі рызыку не ў сукупнасці, а для кожнага пацыента асобна, на сямі медыцынскіх наборах даных (выявы, ЭКГ, электронныя запісы) і мностве мадэляў. Карціна такая: мадэлі, бяспечныя паводле сярэдняга паказчыка, часам дазваляюць амаль беспамылкова ідэнтыфікаваць канкрэтных людзей (AUC атакі ≥ 0,95); сярод раскрываемых сістэматычна пераважаюць недапрадстаўленыя групы — этнічныя меншасці, рэдкія хваробы, незвычайныя выявы; а з павелічэннем мадэляў праблема ўзмацняецца. Аўтары не заклікаюць адмовіцца ад медыцынскага ШІ — яны прапануюць вымяраць прыватнасць для кожнага пацыента, кантраляваць доступ да мадэляў і ўжываць дыферэнцыяльную прыватнасць. Нязручная сутнасць: «прыватная ў сярэднім» — не гарантыя прыватнасці, і найчасцей яна падводзіць тых пацыентаў, якія і без таго абаронены найгорш.
Навучыць AI-мастака глядзець на старонку
Моўныя мадэлі, якія генеруюць вектарную графіку, звычайна робяць гэта ўсляпую — пішуць каманды малявання, ні разу не ўбачыўшы вынік. Новы метад дазваляе мадэлі назіраць, як палатно запаўняецца штрых за штрыхом, і сумленны паварот у тым, што проста даць ёй вочы робіць вынік горшым: мадэль трэба перанавучыць імі карыстацца. У выніку яна параўноўваецца або крыху пераўзыходзіць канкурэнтаў, навучаных на даных аб’ёмам да дваццаці разоў большым, — рэальны, але асцярожны вынік аднаго бенчмарку, а не рэвалюцыя.
ШІ-агент самастойна вёў цэлыя клінічныя выпадкі — у сімулятары, на мінулых медыцынскіх запісах
MIRA — новы тып медыцынскага ШІ: замест адказу на адно пытанне сістэма вядзе ўвесь выпадак унутры сімуляванай бальнічнай карты — збірае анамнез, прызначае і чытае даследаванні, прыходзіць да дыягназу і фармуе прызначэнні. На 574 рэтраспектыўных выпадках з публічнай базы, якія ахоплівалі восем загадзя выбраных дыягназаў, аўтары паведамляюць пра вышэйшую, чым у лекараў, дакладнасць дыягназу і пераважна бяспечныя рашэнні, узгодненыя з рэкамендацыямі. Але кожнае ўдакладненне тут важнае: сістэма працавала ў пясочніцы на мінулых запісах і толькі з тэкстам; значная частка перавагі прыпала на станы з адназначнымі тэстамі; яна выкарыстоўвала прыкладна ўдвая больш аналізаў крыві, чым лекары; а некалькі вынікаў ацэньвалі адносна таго, што было запісана ў зыходнай карце. Сапраўдны крок наперад — агент, які дзейнічае ў межах усяго працоўнага працэсу, а не доказ таго, што машына цяпер дыягнастуе лепш за лекара. Самі аўтары падкрэсліваюць: абагульняльнасць, бяспека і кіраванне яшчэ патрабуюць праспектыўных даследаванняў у рэальным свеце.
Ці сапраўды вялікія «фундаментальныя мадэлі» робатаў працуюць лепш? Асцярожны адказ: умерана так — і большасць даследаванняў не здольная надзейна гэта ўбачыць
Toyota Research Institute навучыла «вялікія мадэлі паводзін» — робатызаваныя палітыкі з папярэднім навучаннем прыкладна на 1 700 гадзінах разнастайных маніпуляцый — і параўнала іх з мадэлямі адной задачы, навучанымі з нуля, з незвычайнай строгасцю: сляпыя рандомізаваныя выпрабаванні вялікага маштабу (~1 800 рэальных і 47 000+ сімуляцыйных) з сапраўднай статыстыкай. Пасля данавучання на канкрэтнай задачы вялікія мадэлі ў сярэднім працавалі лепш, патрабавалі прыкладна ў 3–5 разоў менш спецыфічных даных і былі больш устойлівымі да змены ўмоў; прадукцыйнасць плаўна расла з аб’ёмам pretraining-даных. Але без данавучання яны не мелі стабільнай перавагі над мадэлямі адной задачы, некаторыя эфекты былі настолькі малыя, што станавіліся бачнымі толькі ў вялікіх выбарках, а звычайны выбар нармалізацыі даных значыў больш за архітэктуру. Гэта стрыманая падтрымка кірунку фундаментальных мадэляў для робатаў — не ўніверсальны робат, не zero-shot універсал і не «эмерджэнтны скачок» — плюс вострае папярэджанне, што значная частка робататэхнікі можа вымяраць шум.
Чаму моўныя мадэлі галюцынуюць — і чаму наша сістэма ацэнкі дапамагае гэтаму працягвацца
Упэўненыя ілжывыя сцвярджэнні, якія мы называем «галюцынацыямі», не з’яўляюцца загадкавым збоем: частка з іх — статыстычны пабочны эфект навучання, а захоўваюцца яны яшчэ і таму, што галоўныя бенчмаркі ўзнагароджваюць упэўненую здагадку мацней за сумленнае «я не ведаю». Дэманстрацыйнае даследаванне на чатырох frontier-мадэлях паказвае, што яўнае фармуляванне правілаў ацэнкі ў самім запыце — «open rubrics» — пераварочвае гэты стымул.