#BCI · 하루글

뇌 데이터 추출 9편 - 뉴럴링크와 그다음

논문은 대개 해독기가 무엇을 해냈는지를 보고합니다. 이 논문은 대신 사람을 셉니다. 1998년부터 2023년 말까지 이식형 뇌-컴퓨터 장치를 받은 사람은 전 세계 67명이고, 승인된 기기는 하나도 없습니다.

사람이 스캐너에 누워 사진을 보면 거기서 그림이 나옵니다. 그 사진은 아니지만 같은 장면이라고 알아볼 만한 것이요. 확산 모델을 새로 학습하지 않고 빌려 쓰면서 선형 모델만 맞추는 설계, 초기 시각 피질에서 배치를 상위 시각 피질에서 내용을 뽑는 분업, 그리고…

앞의 결과들은 전부 수술이 필요했습니다. 이번에는 자르지도 넣지도 않습니다. 스캐너가 이야기의 내용을 복원하고, 자기 센서가 손이 칠 글자를 읽어 냅니다.

마비가 있는 네 사람이 소리 없이, 자기 자신에게만 단어를 말했습니다. 입을 움직이려는 시도조차 없이요. 운동 피질이 같은 패턴으로 반응했고, 거기서 어휘 제한 없는 문장이 실시간으로 해독됐습니다.

ALS를 앓는 남성이 말하려 시도하자 10밀리초 안에 스피커에서 목소리가 나왔습니다. 말하는 도중에요. 대화에서 사람이 주고받는 간격이 0.2초인데 기존 장치는 문장이 끝나야 소리를 냈습니다.

18년을 말없이 지낸 여성의 뇌에 253개 접점의 얇은 전극판을 얹고 소리 없이 말하려 시도하게 했습니다. 거기서 화면의 글자와 들리는 목소리, 함께 움직이는 얼굴이 동시에 나왔습니다. 분당 78.3단어, 단어 오류 25.5%, 사고 전 목소리로의 변환까지.

ALS를 앓는 여성이 말을 하려 시도하고, 같은 연구실이 그 시도를 읽습니다. 단어 통째가 아니라 음소 39개를 해독하자 어휘가 12만 5천 단어로 열리고 분당 62단어가 나왔습니다.

몇 년째 아무것도 쓰지 못한 손으로 펜을 쥐었다고 상상하며 글자를 쓰자, 신경망이 그 시도를 읽어 분당 90자를 찍었습니다. 보정 없이 글자의 94.1%, 언어 모델을 거치면 99%를 넘습니다.

칼에 찔려 척수가 끊긴 남성이 3년 뒤 뇌에 한 변 4mm 실리콘 조각을 심고, 손을 움직이려 시도하는 것만으로 화면의 포인터를 옮겼습니다. 손도 근육도 관여하지 않았습니다.