วิทยาการคอมพิวเตอร์
ภาษาที่ไม่ส่งผลต่อวิธีคิดเกี่ยวกับการเขียนโปรแกรมของคุณนั้นไม่คุ้มค่าที่จะรู้
— (1982)
นักพัฒนามากประสบการณ์รู้สึกว่า AI ทำให้เร็วขึ้น ทั้งที่วัดจริงแล้วช้าลง — นี่คือผลที่แท้จริง และไม่ใช่คำตัดสินเรื่อง AI coding
การทดลองแบบสุ่มมีกลุ่มควบคุมของ METR ให้นักพัฒนาโอเพนซอร์สมากประสบการณ์ 16 คนทำงานจริง 246 งานบน codebase ที่รู้จักดี โดยสุ่มอนุญาตเครื่องมือ AI ต้นปี 2025 (Cursor Pro ร่วมกับ Claude 3.5/3.7 Sonnet) ในครึ่งหนึ่งของงาน พวกเขาคาดว่า AI จะลดเวลาได้ราว 24%; แต่จริง ๆ เวลาทำงานเพิ่ม 19% — และหลังจบยังเชื่อว่า AI ทำให้เร็วขึ้นราว 20% ช่องว่างด้านการรับรู้นี้คือแก่นที่ชัดและแข็งแรงที่สุดของงาน แต่ตัวอย่างมีเพียง 16 คน บริบทแคบ และเป็นภาพถ่ายของต้นปี 2025: ผู้เขียนระบุชัดว่ามันไม่ได้แสดงว่า AI ช่วยนักพัฒนาส่วนใหญ่ไม่ได้ และงานติดตามปี 2026 ของทีมเดียวกันเริ่มเอนไปทางการเพิ่มความเร็ว พร้อมข้อจำกัดของมันเอง
หลักฐานทางคริปโทกราฟีซ่อนความลับได้ด้วยการทำให้การพิสูจน์ว่า simulator หายไปเป็นเรื่องยาก
Zero-knowledge proof ทำให้คนหนึ่งพิสูจน์ข้อความได้โดยไม่เปิดเผย witness ทฤษฎีคลาสสิกบอกว่าเราไม่สามารถมีสิ่งนี้ในความหมายเต็ม พร้อมข้อความเดียว ไม่มี trusted setup และ perfect soundness งานของ Rahul Ilango ไม่ได้ทำให้ความเป็นไปไม่ได้นั้นหายไป แต่เปลี่ยนเป้าหมาย: แทนที่จะเรียกร้องว่ามี simulator อยู่จริง มันถามว่า proof system ที่เลือกสามารถพิสูจน์อย่างมีประสิทธิภาพได้หรือไม่ว่า simulator ไม่มีอยู่ ภายใต้สมมติฐานสำคัญจาก proof complexity และคริปโทกราฟี นั่นเพียงพอที่จะกู้ผลของ zero-knowledge แบบ falsifiable และ game-based กลับมาทีละคุณสมบัติ ประเด็นไม่ใช่ primitive อินเทอร์เน็ตที่เสียบใช้งานได้ทันที แต่เป็นวิธีเชิง proof theory ที่เปลี่ยน unprovability ทางคณิตศาสตร์ให้เป็นฉากกำบังทางคริปโทกราฟี
Medical AI อาจดูเป็นส่วนตัวโดยเฉลี่ย แต่ยังเปิดเผยผู้ป่วยบางคน — โดยเฉพาะกลุ่มที่มีตัวแทนน้อย
คำว่า medical-AI 'privacy-preserving' มักตั้งอยู่บนค่าเฉลี่ยหนึ่งตัว งานนี้เสนอว่านั่นเป็นการทดสอบผิดแบบ ในการศึกษา membership inference attack — ซึ่งเผยว่า record ของบุคคลหนึ่งอยู่ในข้อมูลฝึกหรือไม่ และจึงอาจบอกใบ้ว่าเขามีโรคอะไร — ผู้เขียนวัดความเสี่ยงรายผู้ป่วยแทน aggregate ใน medical dataset 7 ชุด (imaging, ECG, electronic record) และหลายโมเดลต่อชุด รูปแบบที่พบคือ โมเดลที่ดูปลอดภัยโดยเฉลี่ยยังอาจให้ผู้โจมตีระบุบุคคลบางคนได้เกือบสมบูรณ์ (attack AUC ≥ 0.95); คนที่เปิดเผยเป็นกลุ่ม underrepresented อย่างเป็นระบบ (ชนกลุ่มน้อย โรคหายาก imaging ผิดปกติ); และแย่ลงเมื่อโมเดลโต ผู้เขียนไม่ได้บอกให้เลิก medical AI แต่ให้วัด privacy ต่อคน ควบคุม model access และใช้ differential privacy แก่นที่ไม่สบายใจ: 'private โดยเฉลี่ย' ไม่ใช่คำรับประกัน และมันล้มเหลวกับผู้ป่วยที่ถูกปกป้องน้อยที่สุดอยู่แล้ว
สอน AI วาดรูปให้มองหน้ากระดาษของตัวเอง
Language models ที่สร้าง vector graphics ทำแบบตาบอด — เขียน drawing commands โดยไม่เคยมองผล วิธีใหม่ให้โมเดลดู canvas ของตัวเองค่อย ๆ เต็มทีละ stroke และจุดหักที่ซื่อตรงคือแค่ให้มันมีตากลับทำให้แย่ลง: ต้อง retrain ให้รู้วิธีใช้สายตา ผลคือโมเดลที่สูสีหรือเฉือนคู่แข่งซึ่งฝึกด้วยข้อมูลมากถึง 20 เท่า — เป็นผลจริงและระวังบน benchmark หนึ่งชุด ไม่ใช่การปฏิวัติ
AI agent ทำเคสผู้ป่วยทั้งเคสได้เอง — แต่ในเครื่องจำลองและบนเวชระเบียนย้อนหลัง
MIRA เป็น AI ทางการแพทย์รูปแบบใหม่: แทนที่จะตอบคำถามเดียว มันทำทั้งเคสในเวชระเบียนโรงพยาบาลจำลอง — ซักประวัติ สั่งและอ่านผลตรวจ วินิจฉัย และเขียนคำสั่งรักษา บนเคสย้อนหลัง 574 เคสจากฐานข้อมูลสาธารณะ ครอบคลุมการวินิจฉัยที่เลือกไว้ล่วงหน้า 8 โรค ผู้เขียนรายงานว่ามันมีความแม่นยำวินิจฉัยสูงกว่าแพทย์ และการตัดสินใจส่วนใหญ่สอดคล้อง guideline และปลอดภัยด้านยา แต่ทุกข้อขยายในประโยคนั้นมีน้ำหนัก: มันทำงานใน sandbox บนข้อมูลเก่า ใช้ข้อความเท่านั้น; ความได้เปรียบจำนวนมากมาจากโรคที่มีผลตรวจชี้ชัด; มันสั่งตรวจเลือดประมาณสองเท่าของแพทย์; และ outcome หลายตัวให้คะแนนเทียบกับสิ่งที่ chart เดิมบันทึก ความก้าวหน้าจริงคือ agent ที่ลงมือทำตลอด workflow — ไม่ใช่หลักฐานว่าเครื่องจักรวินิจฉัยดีกว่าแพทย์แล้ว ผู้เขียนเองบอกว่า generalization ความปลอดภัย และ governance ยังต้องการการศึกษาล่วงหน้าในโลกจริง
Robot ‘foundation model’ ใหญ่ทำงานดีกว่าจริงไหม? คำตอบที่วัดดีคือ ใช่เล็กน้อย — และงานส่วนใหญ่แยกไม่ออก
Toyota Research Institute ฝึก ‘large behavior models’ — robot policy ที่ pretrain บนข้อมูล manipulation หลากหลาย ~1,700 ชั่วโมง — แล้วทดสอบกับ single-task policy from scratch ด้วยความเข้มงวดผิดปกติ: blind, randomized, sample ใหญ่ (~1,800 โลกจริง, 47,000+ simulation) พร้อมสถิติจริง หลัง finetune ต่อ task โมเดลใหญ่ทำดีกว่าโดยเฉลี่ย ใช้ข้อมูลเฉพาะ task น้อยกว่าราว 3–5× และ robust กว่าเมื่อเงื่อนไขเปลี่ยน; performance สูงขึ้นเรียบตามข้อมูล pretraining แต่เมื่อไม่ finetune มันไม่ได้ชนะ single-task model สม่ำเสมอ effect หลายอย่างเล็กจนต้อง sample ใหญ่จึงเห็น และตัวเลือก data-normalisation ธรรมดามีผลมากกว่า architecture นี่เป็นหลักฐานสนับสนุนทิศ robot-foundation-model แบบวัดได้ — ไม่ใช่หุ่นยนต์ทั่วไป ไม่ใช่ zero-shot generalist ไม่ใช่ ‘emergent leap’ — พร้อมคำเตือนว่างาน robotics จำนวนมากอาจวัด noise
เหตุใดโมเดลภาษาจึงหลอน — และเหตุใดวิธีที่เราให้คะแนนจึงทำให้มันยังคงเป็นเช่นนั้น
ข้อความเท็จที่ตอบอย่างมั่นใจซึ่งเราเรียกว่า “hallucination” ไม่ใช่ข้อบกพร่องลึกลับ: บางส่วนเป็นผลพลอยได้ทางสถิติของการฝึก และมันยังคงอยู่เพราะ benchmark กระแสหลักให้รางวัลแก่การเดาอย่างมั่นใจมากกว่าการยอมรับอย่างซื่อสัตย์ว่า “ฉันไม่รู้” กรณีศึกษากับ frontier model สี่รุ่นพบว่า การระบุกติกาคะแนนไว้ใน prompt (“open rubric”) สามารถพลิกแรงจูงใจนี้ได้