컴퓨터 과학
프로그래밍을 생각하는 방식에 영향을 주지 않는 언어는 배울 가치가 없다.
— (1982)
숙련 개발자들은 AI로 더 빨라졌다고 느꼈지만 실제로는 측정상 더 느렸다 — 진짜 발견과, AI 코딩에 대한 판결이 아닌 이유
METR의 무작위 대조시험에서 숙련 오픈소스 개발자 16명이 자신들이 잘 아는 코드베이스의 실제 작업 246개를 수행했고, 절반에는 2025년 초 AI 도구(Cursor Pro와 Claude 3.5/3.7 Sonnet) 사용이 무작위로 허용됐다. 개발자들은 AI가 작업 시간을 약 24% 줄일 것으로 예상했지만 실제로는 완료 시간이 19% 늘었다. 그런데도 이후에는 AI가 약 20% 빠르게 했다고 믿었다. 이 체감과 측정의 간극이 연구의 선명하고 견고한 핵심이다. 하지만 개발자 16명, 좁은 환경 하나, 2025년 초라는 고정된 시점이다. 저자들은 AI가 대부분의 개발자에게 도움이 되지 않는다는 뜻이 아니라고 명시하며, 같은 팀의 2026년 후속 결과는 자체적인 한계와 함께 이미 속도 향상 쪽을 가리킨다.
암호학적 증명은 “없는 시뮬레이터”를 증명하기 어렵게 만들어 비밀을 숨길 수 있다
영지식 증명은 증인을 공개하지 않고도 명제를 증명하게 한다. 고전 이론은 상호작용도 신뢰 설정도 없고 완전 건전한 한 메시지 증명에서는 완전한 의미의 영지식을 얻을 수 없다고 말한다. Rahul Ilango의 논문은 그 불가능성을 없애지 않는다. 대신 목표를 바꾼다. 시뮬레이터가 실제로 존재해야 한다고 요구하는 대신, 선택한 증명 체계가 시뮬레이터가 존재하지 않는다는 사실을 효율적으로 증명할 수 없어야 한다고 요구한다. 증명 복잡도와 암호학의 주요 가정 아래에서 이는 영지식의 반증 가능하고 게임 기반인 결과들을 속성별로 회복하기에 충분하다. 인터넷에 바로 꽂아 쓸 원시요소가 아니라, 수학적 비증명성을 암호학적 가림막으로 바꾸는 증명 이론적 방법이다.
의료 AI는 평균적으로 프라이빗해도 특정 환자를 노출할 수 있다 — 특히 과소대표된 환자를
‘프라이버시 보존형’ 의료 AI라는 평가는 보통 평균 숫자 하나에 기대지만, 이 연구는 그것이 잘못된 시험이라고 주장한다. 특정 개인의 기록이 학습 데이터에 들어 있었는지를 알아내는 멤버십 추론 공격을 7개 의료 데이터셋(영상, ECG, 전자의무기록)과 많은 모델에서 환자별로 측정한 결과, 평균적으로 안전해 보이는 모델에서도 일부 개인은 거의 완벽하게 식별될 수 있었다(공격 AUC ≥ 0.95). 노출은 소수 인종·민족, 희귀질환, 특이 영상 등 과소대표 집단에 체계적으로 집중됐고 모델이 커질수록 악화됐다. 저자들은 의료 AI를 포기하라고 하지 않는다. 환자별 프라이버시 평가, 모델 접근 통제, 차등 프라이버시를 요구한다. 불편한 핵심은 ‘평균적으로 프라이빗하다’는 것이 프라이버시 보장이 아니라는 것이다.
그림 그리는 AI에게 페이지를 보는 법 가르치기
벡터 그래픽을 생성하는 언어 모델은 결과를 보지 못한 채 그림 명령을 작성해 왔다. 새 방법은 획을 하나씩 추가할 때마다 자기 캔버스를 보게 한다. 그런데 솔직하고 중요한 반전은 단순히 눈을 달아주면 오히려 성능이 나빠진다는 것이다. 그 눈을 사용하는 법을 다시 학습해야 한다. 그렇게 한 모델은 최대 20배 많은 데이터로 학습한 경쟁 모델과 비슷하거나 조금 앞섰다. 하나의 벤치마크에서 나온 신중하고 실제적인 결과이지 혁명은 아니다.
AI 에이전트가 환자 사례 전체를 혼자 처리했다 — 과거 기록을 이용한 시뮬레이터 안에서
MIRA는 새로운 유형의 의료 AI다. 질문 하나에 답하는 대신 시뮬레이션 병원 기록 안에서 병력을 받고, 검사를 주문·판독하고, 진단하고, 오더를 작성하며 환자 사례 전체를 처리한다. 공개 데이터베이스의 과거 사례 574건과 미리 선택된 8개 진단에서 저자들은 MIRA가 진단 정확도에서 의사보다 높았고 대체로 지침에 부합하며 약물 안전성이 높은 결정을 했다고 보고한다. 하지만 모든 수식어가 중요하다. 과거 기록을 이용한 텍스트 전용 샌드박스였고, 우위의 상당 부분은 검사 결과가 명확한 질환에서 나왔으며, 의사보다 약 두 배 많은 혈액검사 항목을 사용했고, 여러 결과는 원래 차트 기록을 기준으로 채점됐다. 진짜 진전은 워크플로 전체에서 행동하는 에이전트이지 기계가 이제 의사보다 진단을 잘한다는 증명이 아니다. 저자들도 일반화·안전성·거버넌스에는 전향적 실제 임상 연구가 필요하다고 말한다.
큰 로봇 ‘파운데이션 모델’은 정말 더 잘 작동할까? 신중한 답은 ‘조금 그렇다’ — 그리고 대부분의 연구는 구분하기 어렵다
Toyota Research Institute는 약 1,700시간의 다양한 조작 데이터로 사전학습한 ‘대규모 행동 모델’을 만들고, 처음부터 학습한 단일작업 정책과 이례적으로 엄격하게 비교했다. 블라인드·무작위·대규모 시험(실제 약 1,800회, 시뮬레이션 47,000회 이상)과 통계를 사용한 결과, 작업별 미세조정 뒤 큰 모델은 평균적으로 더 잘했고 약 3~5배 적은 작업별 데이터가 필요했으며 조건 변화에도 더 강했다. 하지만 미세조정 없이는 일관된 우위가 없었고, 일부 효과는 큰 표본이 아니면 보이지 않을 만큼 작았으며, 평범한 데이터 정규화 선택이 아키텍처보다 중요하기도 했다. 로봇 파운데이션 모델 방향에 대한 절제된 지지이지 범용 로봇, 제로샷 일반화, ‘창발적 도약’은 아니다. 동시에 로봇공학의 상당 부분이 잡음을 측정하고 있을 수 있다는 경고다.
언어 모델은 왜 환각하는가 — 그리고 우리의 채점 방식은 왜 그 행동을 계속 부추기는가
우리가 ‘환각’이라고 부르는 자신만만한 거짓말은 수수께끼 같은 고장이 아니다. 일부는 훈련 과정에서 생기는 통계적 부산물이고, 주류 벤치마크가 정직한 ‘모르겠습니다’보다 자신 있는 추측을 더 보상하기 때문에 계속 남는다. 네 프런티어 모델을 대상으로 한 사례 연구에서는 프롬프트 안에 채점 규칙을 명시하는 ‘오픈 루브릭’이 이 인센티브를 뒤집었다.