კომპიუტერული მეცნიერება
არ ღირს იმ ენის სწავლა, რომელიც პროგრამირებაზე აზროვნების წესს არ გიცვლის.
— (1982)
გამოცდილ დეველოპერებს AI-სთან მუშაობისას თავი უფრო სწრაფად ეჩვენებოდათ, თუმცა გაზომვით უფრო ნელა მუშაობდნენ — ეს არის ნამდვილი შედეგი და არა განაჩენი AI-კოდირებაზე
METR-ის რანდომიზებულ კონტროლირებად კვლევაში 16 გამოცდილმა ღია კოდის დეველოპერმა 246 რეალური დავალება შეასრულა მათთვის კარგად ნაცნობ კოდურ ბაზებში; დავალებების შემთხვევით ნახევარში 2025 წლის დასაწყისის AI-ინსტრუმენტები (Cursor Pro და Claude 3.5/3.7 Sonnet) ნებადართული იყო. ისინი ელოდნენ, რომ AI დროს დაახლოებით 24%-ით შეამცირებდა, მაგრამ რეალურად შესრულების დრო 19%-ით გაიზარდა — და შემდეგაც კი მონაწილეებს ეგონათ, რომ დაახლოებით 20%-ით დაჩქარდნენ. სწორედ აღქმასა და გაზომვას შორის სხვაობაა კვლევის გამძლე ბირთვი. თუმცა ეს მხოლოდ 16 დეველოპერია, ერთი ვიწრო გარემო და 2025 წლის დასაწყისის კონკრეტული ინსტრუმენტები: ავტორები პირდაპირ ამბობენ, რომ შედეგი არ ნიშნავს, თითქოს AI დეველოპერების უმრავლესობას ვერ ეხმარება, ხოლო მათი 2026 წლის შემდგომი მონაცემები უკვე აჩქარებისკენ იხრება — თავისი შეზღუდვებით.
კრიპტოგრაფიულ მტკიცებულებას საიდუმლოს დაფარვა შეუძლია, თუ სიმულატორის არარსებობის დამტკიცება რთულია
Zero-knowledge proofs საშუალებას იძლევა განცხადება witness-ის გამჟღავნების გარეშე დამტკიცდეს. კლასიკური თეორია ამბობს, რომ სრული მნიშვნელობით ამის ერთ შეტყობინებაში, სანდო setup-ის გარეშე და perfect soundness-ით მიღება შეუძლებელია. რაჰულ ილანგოს ნაშრომი ამ შეუძლებლობას არ აუქმებს; ის მიზანს ცვლის. რეალური სიმულატორის არსებობის ნაცვლად მოითხოვება, რომ არჩეულ proof system-ს არ შეეძლოს ეფექტურად დაამტკიცოს სიმულატორის არარსებობა. Proof complexity-ისა და კრიპტოგრაფიის მნიშვნელოვან დაშვებებზე დაყრდნობით, ეს საკმარისია zero-knowledge-ის falsifiable, game-based შედეგების თითო თვისების მიხედვით აღსადგენად. ეს ინტერნეტში დასანერგი მზა primitive არაა; ეს არის proof-theoretic გზა, რომელიც მათემატიკურ დაუმტკიცებლობას კრიპტოგრაფიულ საფარად იყენებს.
სამედიცინო AI შეიძლება საშუალოდ კონფიდენციალური იყოს და მაინც ამხელდეს კონკრეტულ პაციენტებს — განსაკუთრებით ნაკლებად წარმოდგენილ ჯგუფებს
„კონფიდენციალურობის დამცავი“ სამედიცინო AI-მოდელი ჩვეულებრივ ერთ საშუალო მაჩვენებელზე ფასდება. ეს კვლევა აჩვენებს, რომ ასეთი ტესტი საკმარისი არ არის. ავტორებმა membership inference attack-ის — შეტევის, რომელიც ადგენს, იყო თუ არა კონკრეტული ადამიანის ჩანაწერი მოდელის სასწავლო მონაცემებში — რისკი პაციენტის დონეზე გაზომეს შვიდ სამედიცინო მონაცემთა ნაკრებში (გამოსახულებები, ECG, ელექტრონული ჩანაწერები) და მრავალ მოდელში. შედეგი: საშუალოდ უსაფრთხოდ მოჩანებულ მოდელშიც ზოგი ადამიანი თითქმის სრულყოფილად იდენტიფიცირდება (attack AUC ≥ 0.95); ყველაზე დაუცველები სისტემატურად ნაკლებად წარმოდგენილი ჯგუფების წარმომადგენლები არიან; და რისკი მოდელის ზრდასთან ერთად მატულობს. ავტორები სამედიცინო AI-ის მიტოვებას არ ითხოვენ — ისინი მოითხოვენ კონფიდენციალურობის პაციენტის დონეზე შეფასებას, მოდელზე წვდომის კონტროლს და differential privacy-ის გამოყენებას. მთავარი აზრი: „საშუალოდ კონფიდენციალური“ ინდივიდუალური გარანტია არ არის.
როგორ ასწავლეს ხატვის AI-ს საკუთარ ტილოზე ყურება
ვექტორული გრაფიკის გენერირებული ენობრივი მოდელები აქამდე ბრმად წერდნენ ხატვის კოდს და შედეგს საერთოდ არ ხედავდნენ. ახალი მეთოდი მოდელს საშუალებას აძლევს თითოეული შტრიხის შემდეგ საკუთარ ტილოს შეხედოს. საინტერესო შემობრუნება ისაა, რომ მხოლოდ „თვალების“ მიცემა შედეგს აუარესებს — მოდელს მათი გამოყენებაც უნდა ასწავლო. გადამზადების შემდეგ ის ერთ ბენჩმარკზე უტოლდება ან ოდნავ უსწრებს კონკურენტებს, რომლებიც ოცჯერ მეტ მონაცემზე იყვნენ გაწვრთნილი: რეალური, ფრთხილი შედეგია და არა რევოლუცია.
AI-აგენტმა პაციენტის სრული შემთხვევები დამოუკიდებლად დაამუშავა — სიმულატორში, წარსულ ჩანაწერებზე
MIRA სამედიცინო AI-ის განსხვავებული ტიპია: ერთი კითხვის პასუხის ნაცვლად ის სიმულირებულ საავადმყოფოს ჩანაწერში მთელ შემთხვევას მართავს — იღებს ანამნეზს, ნიშნავს და კითხულობს კვლევებს, სვამს დიაგნოზს და წერს დანიშნულებებს. საჯარო მონაცემთა ბაზიდან აღებულ 574 წარსულ შემთხვევაზე, რვა წინასწარ შერჩეული დიაგნოზის ფარგლებში, ავტორები აღწერენ ექიმებზე მაღალ დიაგნოსტიკურ სიზუსტეს და მეტწილად გაიდლაინებთან შესაბამის, მედიკამენტურად უსაფრთხო გადაწყვეტილებებს. მაგრამ ყველა შეზღუდვა მნიშვნელოვანია: სისტემა მუშაობდა იზოლირებულ სიმულატორში, წარსულ ჩანაწერებზე და მხოლოდ ტექსტით; უპირატესობის დიდი ნაწილი მკაფიო კვლევითი შედეგების მქონე დაავადებებზე მოდიოდა; ის ექიმებზე დაახლოებით ორჯერ მეტ სისხლის მაჩვენებელს იყენებდა; რამდენიმე შედეგი ისტორიულ ჩანაწერთან შესაბამისობით ფასდებოდა. რეალური წინსვლა არის აგენტი, რომელიც მთელ სამუშაო პროცესში მოქმედებს — და არა მტკიცება, რომ მანქანა უკვე ექიმზე უკეთ სვამს დიაგნოზს. თავად ავტორები ამბობენ, რომ განზოგადებას, უსაფრთხოებას და მმართველობას ჯერ კიდევ სჭირდება პერსპექტიული რეალური კვლევები.
დიდი რობოტული „foundation model“-ები მართლა უკეთ მუშაობს? ფრთხილი პასუხი: ზომიერად კი — და ბევრი კვლევა ამას სანდოდ ვერ ზომავს
Toyota Research Institute-მა „large behavior models“ — დაახლოებით 1,700 საათის მრავალფეროვან manipulation მონაცემზე წინასწარ გაწვრთნილი რობოტული policy-ები — ნულიდან გაწვრთნილ ერთამოცანიან baseline-ებს უჩვეულო სიმკაცრით შეადარა: ბრმა, რანდომიზებული, დიდი ნიმუშის ცდები (~1,800 რეალური, 47,000+ სიმულაციური) ნამდვილი სტატისტიკით. თითო ამოცანაზე finetuning-ის შემდეგ დიდი მოდელები საშუალოდ უკეთ მუშაობდა, დაახლოებით 3–5-ჯერ ნაკლები ამოცანა-სპეციფიკური მონაცემი სჭირდებოდა და პირობების ცვლილებისას უფრო robust იყო; შესრულება pretraining მონაცემთან ერთად გლუვად იზრდებოდა. მაგრამ finetuning-ის გარეშე ისინი ერთამოცანიან მოდელებს თანმიმდევრულად არ აჯობებდა, რამდენიმე ეფექტი მხოლოდ დიდი ნიმუშით გამოჩნდა და ჩვეულებრივმა data-normalisation არჩევანმა არქიტექტურაზე მეტი გავლენა მოახდინა. ეს robot-foundation-model მიმართულების გაზომილი მხარდაჭერაა — არა ზოგადი რობოტი, zero-shot გენერალისტი ან „emergent ნახტომი“ — და გაფრთხილება, რომ რობოტიკის ნაწილი შესაძლოა ხმაურს ზომავდეს.
რატომ „ჰალუცინირებენ“ ენობრივი მოდელები — და რატომ უწყობს ამას ხელს ჩვენი შეფასების წესი
თავდაჯერებული სიცრუე, რომელსაც „hallucination“-ს ვუწოდებთ, იდუმალი ხარვეზი არ არის: მისი ნაწილი სწავლების სტატისტიკური შედეგია, ხოლო ნაწილი იმიტომ რჩება, რომ mainstream benchmark-ები თავდაჯერებულ გამოცნობას პატიოსან „არ ვიცი“-ზე მეტად აჯილდოებს. ოთხ frontier მოდელზე ჩატარებული case study აჩვენებს, რომ scoring-ის წესების prompt-ში ღიად ჩაწერა („open rubrics“) ამ სტიმულს აბრუნებს.