Tietojenkäsittelytiede
Kieli, joka ei vaikuta tapaasi ajatella ohjelmointia, ei ole oppimisen arvoinen.
— (1982)
Kokeneet kehittäjät tunsivat olevansa tekoälyn kanssa nopeampia, vaikka työ hidastui mitattavasti — todellinen tulos ja mitä se ei kerro tekoälykoodauksesta
METR:n satunnaistetussa kontrolloidussa kokeessa kuusitoista kokenutta avoimen lähdekoodin kehittäjää teki 246 todellista tehtävää hyvin tuntemissaan koodikannoissa. Satunnaisesti puolessa tehtävistä sai käyttää vuoden 2025 alun tekoälytyökaluja (Cursor Pro sekä Claude 3.5/3.7 Sonnet). Kehittäjät odottivat tekoälyn lyhentävän tehtäväaikaa noin 24 %, mutta se pidensi sitä 19 % — ja kokeen jälkeenkin he uskoivat tekoälyn nopeuttaneen työtä noin 20 %. Tämä koetun ja mitatun tuottavuuden välinen kuilu on tutkimuksen terävin ja vankin tulos. Aineisto koostuu kuitenkin vain kuudestatoista kehittäjästä, yhdestä kapeasta asetelmasta ja vuoden 2025 alun työkalutilanteesta. Kirjoittajat korostavat, ettei tutkimus osoita tekoälyn olevan useimmille kehittäjille hyödytön, ja heidän oma vuoden 2026 jatkotutkimuksensa viittaa jo nopeutumiseen — omine varauksineen.
Kryptografinen todistus voi peittää salaisuutensa tekemällä simulaattorin puuttumisen vaikeaksi todistaa
Nollatietotodistuksissa väitteen voi todistaa paljastamatta sen todistajaa (*witness*). Klassinen teoria sanoo, ettei tätä voida täydessä merkityksessä yhdistää yhteen viestiin, luotetun alkuasetelman puuttumiseen ja täydelliseen luotettavuuteen (*perfect soundness*). Rahul Ilangon tutkimus ei poista tätä mahdottomuutta. Se muuttaa tavoitetta: sen sijaan että vaadittaisiin simulaattorin todella olevan olemassa, valittu todistusjärjestelmä ei saa pystyä tehokkaasti todistamaan, ettei simulaattoria ole. Merkittävien todistuskompleksisuuteen ja kryptografiaan liittyvien oletusten vallitessa tämä riittää palauttamaan nollatiedon falsifioitavissa olevia, pelipohjaisia seurauksia ominaisuus kerrallaan. Kyse ei ole suoraan käyttöön otettavasta internet-primitiivistä vaan todistusteoreettisesta tavasta käyttää matemaattista todistamattomuutta kryptografisena suojana.
Lääketieteellinen tekoäly voi olla keskimäärin yksityinen ja silti paljastaa tiettyjä potilaita — etenkin aliedustettuja
Kun lääketieteellistä tekoälymallia kutsutaan 'yksityisyyttä säilyttäväksi', väite nojaa yleensä yhteen keskimääräiseen lukuun. Tämä tutkimus väittää, että se on väärä testi. Tutkiessaan membership inference -hyökkäyksiä — joilla päätellään, kuuluiko tietyn henkilön tieto mallin koulutusdataan ja voidaan siten paljastaa esimerkiksi että hänellä oli tietty sairaus — tutkijat mittasivat riskin potilaskohtaisesti eivätkä vain aggregaattina, seitsemässä lääketieteellisessä aineistossa (kuvantaminen, EKG, sähköiset potilastiedot) ja useissa malleissa. Kuvio oli selvä: keskimäärin turvallisilta näyttävät mallit voivat silti tehdä yksittäisistä henkilöistä lähes täydellisesti tunnistettavia (attack AUC ≥ 0.95); altistuneet kuuluvat järjestelmällisesti aliedustettuihin ryhmiin, kuten etnisiin vähemmistöihin, harvinaissairaisiin ja poikkeavan kuvantamisen potilaisiin; ja ongelma pahenee mallien kasvaessa. Tutkijat eivät sano, että lääketieteellinen tekoäly pitäisi hylätä — he sanovat, että yksityisyyttä pitää mitata potilaskohtaisesti, mallien käyttöoikeuksia rajoittaa ja differentiaalista yksityisyyttä käyttää. Epämukava ydin on tämä: 'keskimäärin yksityinen' ei ole yksityisyystakuu, ja se pettää juuri ne potilaat, joilla on muutenkin vähiten suojaa.
Piirtävä tekoäly opetettiin katsomaan omaa kuvaansa
Vektorigrafiikkaa tuottavat kielimallit piirtävät käytännössä sokkona: ne kirjoittavat piirto-ohjeet näkemättä koskaan lopputulosta. Uusi menetelmä antaa mallin seurata, miten kangas täyttyy veto vedolta. Rehellinen käänne on, että pelkkä näkökyvyn lisääminen heikentää tulosta — malli täytyy kouluttaa uudelleen käyttämään näkemäänsä. Lopputuloksena malli yltää samalle tasolle tai hieman ohi kilpailijoista, joiden koulutuksessa käytettiin jopa kaksikymmentä kertaa enemmän dataa. Se on aito ja huolellinen tulos yhdellä vertailutestillä, ei vallankumous.
Tekoälyagentti hoiti kokonaisia potilastapauksia itsenäisesti — simulaattorissa, aiempien potilastietojen perusteella
MIRA on uudenlainen lääketieteellinen tekoäly: yhden kysymyksen vastaamisen sijaan se käy läpi kokonaisen potilastapauksen simuloidussa sairaalan potilastietojärjestelmässä — ottaa anamneesin, määrää ja tulkitsee tutkimuksia, päätyy diagnoosiin ja laatii määräykset. Julkisesta tietokannasta poimituissa 574 retrospektiivisessä tapauksessa, jotka kattoivat kahdeksan ennalta valittua diagnoosia, kirjoittajat raportoivat sen päihittäneen lääkärit diagnostisessa tarkkuudessa ja tehneen suurelta osin hoitosuositusten mukaisia ja lääkitysturvallisia päätöksiä. Jokainen tämän virkkeen rajaus on tärkeä: järjestelmä toimi tekstipohjaisessa hiekkalaatikossa menneillä potilastiedoilla; suuri osa sen etumatkasta tuli sairauksista, joissa tutkimustulokset olivat yksiselitteisiä; se hyödynsi noin kaksi kertaa enemmän verikokeita kuin lääkärit; ja useita tuloksia pisteytettiin sen mukaan, mitä alkuperäiseen potilaskertomukseen oli kirjattu. Todellinen edistysaskel on agentti, joka toimii koko työnkulun läpi — ei todiste siitä, että kone diagnosoisi nyt lääkäriä paremmin. Kirjoittajat sanovat tämän itse: yleistettävyyttä, turvallisuutta ja hallintaa on vielä tutkittava prospektiivisesti todellisessa kliinisessä ympäristössä.
Toimivatko suuret robottien ”perusmallit” oikeasti paremmin? Huolellinen vastaus: hieman kyllä, eikä useimmista tutkimuksista voi päätellä sitä
Toyota Research Institute koulutti ”large behavior models” -malleja — robottipolitiikkoja, jotka esikoulutettiin noin 1,700 tunnilla monipuolista manipulaatiodataa — ja vertasi niitä alusta koulutettuihin yhden tehtävän politiikkoihin poikkeuksellisen huolellisesti: sokkoutetuilla, satunnaistetuilla, suurten otosten kokeilla (noin 1,800 todellista ja yli 47,000 simuloitua suoritusta) sekä oikeilla tilastollisilla testeillä. Tehtäväkohtaisen hienosäädön jälkeen suuret mallit pärjäsivät keskimäärin paremmin, tarvitsivat noin 3–5× vähemmän tehtäväkohtaista dataa ja olivat kestävämpiä olosuhteiden muuttuessa; suorituskyky parani tasaisesti esikoulutusdatan määrän kasvaessa. Ilman hienosäätöä ne eivät kuitenkaan johdonmukaisesti päihittäneet yhden tehtävän malleja, useat vaikutukset olivat niin pieniä, että ne näkyivät vasta suurilla otoksilla, ja arkinen datan normalisointivalinta vaikutti enemmän kuin arkkitehtuuri. Tulos on mitattua tukea robottien perusmallien suuntaukselle — ei yleiskäyttöinen robotti, ei zero-shot-generalisti eikä ”emergentti loikka” — sekä terävä varoitus siitä, että suuri osa robotiikasta saattaa mitata kohinaa.
Miksi kielimallit hallusinoivat — ja miksi pisteytystapamme pitää ilmiötä yllä
Itsevarmat väärät väitteet, joita kutsumme ”hallusinaatioiksi”, eivät ole mystinen toimintahäiriö: osa on koulutuksen tilastollinen sivutuote, ja ne säilyvät, koska tavalliset vertailut palkitsevat itsevarman arvauksen rehellisen ”en tiedä” -vastauksen sijaan. Neljällä frontier-mallilla tehty tapaustutkimus osoittaa, että pisteytyssääntöjen kertominen itse kehotteessa (”open rubrics”) kääntää tämän kannustimen.