뇌 데이터 추출 2편 - 손글씨를 해독하다
몇 년간 쓰지 않은 정교한 기술도 운동 피질에 남아 있고, 빠르게 읽어낼 수 있습니다.
몇 년째 아무것도 쓰지 못한 손으로 펜을 쥐었다고 상상하며 글자를 쓰자, 신경망이 그 시도를 읽어 분당 90자를 찍었습니다. 보정 없이 글자의 94.1%, 언어 모델을 거치면 99%를 넘습니다. 왜 쓰기가 가리키기보다 읽기 쉬운지, 합성 문장과 잡음 증강이 왜 선택이 아닌지까지 봅니다.
다루는 논문
- Willett et al., High-performance brain-to-text communication via handwriting, Nature 593, 249-254 (2021)
- Pandarinath et al., High performance communication by people with paralysis using an intracortical BCI, eLife 6, e18554 (2017)
영상 26분 12초 · 장표 42장 · 무료 공개
들어가며
앞선 연구에서 한 사람이 손을 쓰려는 시도로 화면의 커서를 옮겼습니다. 오늘은 같은 임상 시험이 그에게 훨씬 어려운 것을 요구합니다. 글씨를 쓰는 일입니다. 그의 손은 몇 년째 아무것도 쓰지 못했고, 기껏해야 미세하게 떨릴 뿐입니다. 그래도 줄 노트에 펜을 쥐었다고 상상하며 글자를 써 보라는 요청을 받았습니다. 신경망이 그 시도를 읽어 분당 90자로 화면에 글을 찍었습니다. 그 전까지 어떤 이식형 장치도 낸 적 없는, 두 배가 넘는 속도입니다.
논문 전체가 한 문장에 들어가므로 먼저 그것부터 놓겠습니다
논문 전체가 한 문장에 들어가므로 먼저 그것부터 놓겠습니다. 몇 년간 쓰지 않은 정교한 기술도 운동 피질에 남아 있고, 빠르게 읽어낼 수 있다는 겁니다. 어떤 보정도 없이 글자의 94.1%를 맞혔습니다. 그 출력에 언어 모델을 한 번 돌리자 정확도가 99%를 넘었습니다. 논문은 왜 쓰기가 가리키기보다 읽기 쉬운지도 설명하는데, 그건 뒤에서 다루겠습니다.
두 논문 사이에서 무엇이 달라졌는지 짚을 필요가 있습니다
두 논문 사이에서 무엇이 달라졌는지 짚을 필요가 있습니다. 하드웨어는 그대로거든요. 같은 임상 시험, 같은 전극, 같은 수술, 같은 피질 부위입니다. 그 연구에서 동작은 표적을 향한 직선 이동이었고, 출력은 숫자 두 개였습니다. 여기서 동작은 펜 획이고, 시간에 걸쳐 펼쳐지는 경로 전체입니다. 그리고 비교를 유난히 깔끔하게 만드는 사실이 하나 있습니다. 참가자입니다. 이 논문의 남성은 앞선 커서 연구에서도 가장 빠른 사람이었습니다.
이 논문이 이기려는 방식부터 보겠습니다
이 논문이 이기려는 방식부터 보겠습니다. 그 한계가 흥미롭습니다. 커서로 타자를 치면 글자 하나마다 이동 한 번과 클릭 한 번이 듭니다. 커서를 더 빠르게 만들면 되지 않냐고 생각할 수 있고, 실제로 시도했습니다. 어느 속도를 넘으면 해독 오차가 증폭돼 커서를 통제할 수 없게 됩니다. 결국 커서 방식의 속도는 방향을 얼마나 정확히 읽느냐에 묶입니다. 사람에게서 나온 최고 기록은 분당 40자 언저리였습니다.
논문 그림 1
앞선 논문의 Figure 1입니다. 위쪽이 방금 설명한 구성입니다. 신경 신호가 해독기로 가고, 해독기가 커서를 움직이고, 커서가 글자를 누릅니다. 아래 막대는 한 참가자가 사흘 동안 열린 질문에 답한 기록입니다. 96분가량 치는 동안 분당 24.4자를 맞게 쳤습니다. 당시 이식형 장치의 자유 타자 최고 기록이었습니다.
논문 그림 2
그 논문의 Figure 2는 다른 참가자와 다른 자판을 더합니다. 세 명이 참여했고, 그중 둘은 서로 다른 배열 두 가지로 쳤습니다.
그림 2 읽기
Figure 2 윗줄에 자판 세 개가 있는데, 첫 번째는 QWERTY가 아닙니다. 자주 쓰는 글자를 가깝게 모아 이동 거리를 줄인 배열입니다. 그 아래 d는 한 번의 실험을 시간축에 그린 것이고, 글자가 클릭될 때마다 나타납니다. 1분쯤에 걸쳐 문장이 쌓이는 걸 볼 수 있어 속도 감각이 잡힙니다. 맨 아랫줄이 사람별 속도이고, 가운데가 T5입니다. 그는 분당 39.2자에 도달했고, 연구 전체에서 가장 좋은 수치입니다.
논문 표 1
그 논문의 Table 1을 보시면 좋겠습니다. 성적표거든요. 이전의 모든 의사소통 장치 시도가 타자 속도와 함께 나열돼 있습니다. 아래쪽 줄들이 두피 전극 스펠러인데, 수치가 아주 작습니다. 위쪽 줄들이 이식형 장치이고, 몇 배 빠릅니다. 이 연구 하나가 그 전과 비교해 얼마나 뛰었는지 보세요.
그 숫자들을 한 축에 올려 보겠습니다
그 숫자들을 한 축에 올려 보겠습니다. 간격이 중요하거든요. 두피 전극을 쓰는 점멸 스펠러는 분당 몇 자를 줍니다. 피질 안에서 커서를 모는 방식이 그걸 40 언저리로 올렸고, 진짜 도약이었습니다. 이 논문의 손글씨는 90에 닿는데, 마지막 막대가 저를 놀라게 했습니다. 같은 나이대 사람들이 휴대전화로 치는 속도가 평균 분당 115자 정도입니다. 이제 평범한 타자의 일부가 아니라, 거의 근처까지 온 겁니다.
이 비교를 좀 더 붙잡고 싶습니다
이 비교를 좀 더 붙잡고 싶습니다. 이 분야에서 드물게 깔끔하거든요. 보통은 사람도 전극도 연구실도 다른 두 연구를 비교하게 됩니다. 여기서는 한 사람, 같은 전극 두 개, 같은 임상 시험이고 몇 년 차이일 뿐입니다. 가리키고 누르는 방식으로 그는 최고 분당 39.2자에 도달했습니다. 글씨를 쓰려 하자 같은 피질에서 90이 나왔습니다. 약 2.3배 빠른 겁니다. 게다가 그 속도를 사기 위해 정확도를 내주지도 않았습니다. 이쪽이 더 놀랍습니다.
참가자를 잠깐 짚겠습니다
참가자를 잠깐 짚겠습니다. 이 세부가 결과의 의미를 좌우합니다. 65세 남성이고, 목 위쪽 척수 손상으로 그 아래가 마비됐습니다. 논문은 그의 손이 완전히 멎은 건 아니라고 분명히 적습니다. 떨림과 미세한 움직임은 있습니다. 그러나 기능은 전혀 없어서 그 움직임으로 무언가를 쓸 수는 없습니다. 96채널 전극 두 개가 손 담당 구역에 있어 모두 192채널입니다. 그곳은 전운동 영역이라 동작 자체보다 동작의 계획을 담습니다.
그가 받은 지시는 들리는 것보다 중요해서, 그 형태를 짚겠습니다
그가 받은 지시는 들리는 것보다 중요해서, 그 형태를 짚겠습니다. 손이 전혀 마비되지 않은 것처럼 실제로 써 보라는 지시였습니다. 머릿속에 글자를 그리는 것과 다르고, 그 차이가 피질에 나타납니다. 줄 노트 위에 펜이 놓였다고 상상하라는 말도 들었는데, 머릿속 설정을 고정하는 장치입니다. 상상한 설정이 흔들리면 글자의 신경 패턴도 흔들려 반복되지 않습니다. 또 줄을 따라 옮겨 가지 않고 앞 글자 위에 겹쳐 썼습니다. 덕분에 해독기는 그가 종이 어디에 있는지 추적할 필요가 없습니다.
논문 그림 1
이 논문의 Figure 1은 서로 다른 주장 네 개를 담고 있어 하나씩 보겠습니다. a는 과제입니다. 준비 신호, 지연, 그리고 시작 신호가 이어집니다. b는 여러 글자에 대해 반복 시도한 신경 활동의 상위 세 차원입니다. 활동은 강하고 반복되지만, 봉우리 위치가 시도마다 시간축에서 미끄러집니다. 쓰는 속도가 흔들린 탓으로 보여, 저자들은 c에서 시도들을 시간 정렬했습니다. 정렬하고 나니 글자마다 놀랍도록 일정하고 고유한 패턴이 드러납니다. 회의적인 사람에게는 d를 보여 주겠습니다. 피질에서 다시 그린 글자들이니까요. 펜 끝 속도를 선형으로 해독한 다음 적분해 모양으로 만들었습니다. e는 개별 시도를 2차원으로 펼친 것인데, 글자마다 뭉쳐 있습니다.
그 그림에서 숫자 셋이 나오고, 각각 다른 걱정에 답합니다
그 그림에서 숫자 셋이 나오고, 각각 다른 걱정에 답합니다. 펜 끝 속도를 담은 차원들이 전체 신경 변동의 30%를 차지합니다. 변수 하나치고 큰 몫이고, 이 부호가 정말 그리기에 관한 것임을 말합니다. 최근접 이웃 분류기가 개별 시도를 94.1% 정확도로 구분했습니다. 그리고 군집 그림에서 비슷하게 쓰는 글자끼리 이웃해 있습니다. 즉 뇌는 글자의 뜻이 아니라 글자를 어떻게 그리는지를 담고 있습니다.
이제 해독기입니다
이제 해독기입니다. 출력의 모양이 이해할 만한 지점입니다. 192채널의 스파이크 개수를 매끄럽게 만들고 20ms 칸으로 묶어 표준화합니다. 그것이 2층 순환 신경망에 들어가고, 매 단계 두 가지를 내보냅니다. 첫째는 그가 지금 쓰고 있을 수 있는 31개 글자 각각의 확률입니다. 둘째는 새 글자가 시작될 때마다 높아지는 숫자 하나입니다. 이 둘째 출력이 논문 전체의 조용한 묘수인데, 그냥 지나치기 쉽습니다. 그게 없으면 연속된 신호에서 글자가 어디서 끝나고 어디서 시작하는지 알 길이 없습니다.
논문 그림 2
Figure 2는 시스템 전체를 한 장에 담았으니 천천히 볼 만합니다. 왼쪽에 전극 신호가 회색 활동 덩어리로 신경망에 들어갑니다. 가운데에서 색색의 곡선이 오르내리는데, 곡선 하나가 글자 하나의 확률입니다. 그 아래 파란 곡선이 새 글자 신호이고, 글자 사이에서 솟습니다. 위쪽 경로가 실시간으로 돈 것이고, 확률이 충분히 높으면 글자를 내보냅니다. 아래쪽은 사후 경로이고, 같은 확률 위에서 언어 모델이 탐색합니다. b는 해독된 문장 두 개를 지시문 아래 보여 주는데, 힘들이지 않고 읽힙니다. c에는 평가 날짜가 지나며 오류율이 떨어지고 속도가 오르는 모습이 있습니다.
언어 모델을 정확히 짚겠습니다
언어 모델을 정확히 짚겠습니다. 여기서 과장하기 쉽거든요. 이것은 신경 활동을 건드리지 않고, 글자 확률만 봅니다. 즉 신경망 출력을 한 번 더 훑는 것이고, 휴대전화의 자동 수정과 똑같습니다. 확률과 평범한 영어 사이에서 가장 잘 맞는 문장을 찾습니다. 그리고 실시간으로는 못 돕니다. 결정하려면 문장 전체가 필요하니까요. 그러니 분당 90자는 날것 그대로의 성능이고, 자동 수정 수치는 모의 실험입니다.
그걸 학습시키기 전에, 치명적으로 들리는 문제가 하나 있었습니다
그걸 학습시키기 전에, 치명적으로 들리는 문제가 하나 있었습니다. 지도 학습은 어느 구간의 활동이 어느 글자인지 알아야 합니다. 그런데 손이 움직이지 않으니 볼 펜 획도, 기록할 타이밍도 없습니다. 가진 것은 그가 쓰라고 받은 문장뿐이고, 각 글자가 언제였는지는 모릅니다. 음성 인식도 소리에서 같은 문제를 겪고, 해법은 거기서 왔습니다.
The recipe, in four steps
학습 방법은 네 단계이고, 이 논문에서 가장 재활용하기 좋은 부분이라고 생각합니다. 먼저 글자 하나씩을 모읍니다. 신호음 덕분에 타이밍을 대략 알 수 있습니다. 그 시도들을 서로 시간 정렬해 평균 내면 글자마다 본보기 하나가 나옵니다. 둘째, 그 본보기로 은닉 마르코프 모델을 초기화해 문장 자료에 이름표를 붙입니다. 모델이 문장을 훑으며 각 글자가 어디에 있을지 가장 그럴듯한 위치를 정합니다. 셋째, 이름표가 붙은 조각들을 잘라 새로운 순서로 다시 붙입니다. 그러면 실제 문장 수백 개가 원하는 만큼의 합성 문장으로 불어납니다. 넷째, 신경망을 실제 자료와 합성 자료로 함께 학습시키되 잡음을 섞습니다.
저자들은 두 기법 중 하나를 빼도 되는지 격자 탐색으로 확인했습니다
저자들은 두 기법 중 하나를 빼도 되는지 격자 탐색으로 확인했습니다. 둘 다 뺄 수 없었고, 다른 쪽을 최적으로 두어도 마찬가지였습니다. 합성 문장은 학습할 자료가 하루치뿐일 때 특히 중요합니다. 입력에 섞는 백색 잡음은 표준편차 단위로 잽니다. 입력이 표준화돼 있으니까요. 세 번째가 영리한데, 채널 기준선에 가짜 흐름을 더하는 것입니다. 실제로 기준선은 실험 도중 떠다니므로, 그걸 학습하면 뒤쪽 구간도 버팁니다. 이미 본 구간 안의 시도에는 효과가 없는데, 그 설명과 정확히 맞아떨어집니다.
신경망 자체는 한 장에 다 적을 수 있을 만큼 작습니다
신경망 자체는 한 장에 다 적을 수 있을 만큼 작습니다. 게이트 순환 층 두 개이고, 위층은 아래층보다 다섯 배 느리게 돕니다. 위층을 늦추자 긴 구간을 기억하기 쉬워져 학습이 빨라졌습니다. 그래서 출력은 20ms가 아니라 100ms마다 갱신됩니다. 그래도 그가 글자를 마칠 때마다 화면에 떨어뜨리기에는 충분히 빠릅니다. 신경 자료와 학습 코드가 모두 공개돼 있습니다. 생각보다 드문 일입니다.
실제로 필요한 조각을 필요한 순서대로 모아 보겠습니다
실제로 필요한 조각을 필요한 순서대로 모아 보겠습니다. 입력은 전극별 문턱 통과 개수이고, 매끄럽게 만들어 칸으로 묶고 표준화합니다. 출력은 글자에 대한 소프트맥스와 글자 시작을 알리는 시그모이드 하나입니다. 이름표는 공짜로 주어지지 않고, 바로 거기서 본보기가 필요해집니다. 증강은 있으면 좋은 게 아닙니다. 없으면 실패한다는 걸 논문이 보여 줍니다. 손실은 두 출력에 대한 평범한 교차 엔트로피입니다.
이런 결과에 자료가 얼마나 드는지 물을 만하니 계산을 보여 드리겠습니다
이런 결과에 자료가 얼마나 드는지 물을 만하니 계산을 보여 드리겠습니다. 첫 실시간 시험 전에 예비 사흘에서 모은 문장 242개가 있었습니다. 마지막 시험 날에는 572개까지 쌓였고, 쓰기 시간으로 7.3시간입니다. 글자로는 3만 4백 자이고, 긴 잡지 기사 한 편 분량쯤 됩니다. 평가는 닷새 동안, 하루 네 구간, 구간마다 7~10문장이었습니다. 그 문장들은 학습에 한 번도 들어간 적이 없어서 암기 가능성을 배제합니다.
이제 대표 수치인데, 조건 셋을 모두 붙여 말하겠습니다
이제 대표 수치인데, 조건 셋을 모두 붙여 말하겠습니다. 분당 90자, 스스로 속도를 정하며, 글자의 5.9%가 틀렸습니다. 지우기 기능이 없어서 자기 오류를 그냥 지나쳐 계속 쓰라는 지시를 받았습니다. 덕분에 날것 수치가 정직합니다. 조용히 손본 것이 없으니까요. 언어 모델이 출력을 훑고 나면 글자 오류가 0.89%까지 떨어집니다. 단어 오류율 3.4%는 사람들이 매일 쓰는 음성 인식과 나란한 수준입니다.
논문 표 1
이 논문의 Table 1은 같은 출력을 세 가지 방식으로 채점합니다. 순서대로 읽으면 각 처리 단계가 얼마만큼의 값을 하는지 정확히 보입니다.
표 1 읽기
Table 1 첫 줄이 실제 실시간 결과이고, 글자 오류가 5.9%입니다. 같은 줄의 단어 오류는 25.1%인데, 이 간격에 늘 놀랍니다. 글자 하나가 틀리면 그 단어가 통째로 틀리니, 단어 오류가 훨씬 가혹합니다. 둘째 줄은 언어 모델을 거친 같은 출력이고 0.89%로 떨어집니다. 셋째 줄은 장치가 아니라 상한선입니다. 문장을 거꾸로도 읽는 신경망을 썼습니다. 0.17%는 남은 여지를 보여 주지만, 글자마다 화면에 띄워 줄 수는 없습니다.
그 세 줄을 막대로 그리면 표가 감추는 두 가지가 드러납니다
그 세 줄을 막대로 그리면 표가 감추는 두 가지가 드러납니다. 파란 막대가 단어 오류이고, 첫 쌍에서 파란 쪽이 금색을 압도합니다. 실시간 장치에 보정이 전혀 없을 때 치르는 대가입니다. 둘째 쌍에서 언어 모델이 글자 오류를 대략 여섯 배 줄입니다. 셋째 쌍은 작지만, 사람이 실시간으로 쓸 수 있는 것이 아니라는 점을 기억하세요.
지시문을 베끼는 건 직접 문장을 짓는 것보다 쉬워서, 그것도 시험했습니다
지시문을 베끼는 건 직접 문장을 짓는 것보다 쉬워서, 그것도 시험했습니다. 열린 질문을 받고 답하고 싶은 것을 자유롭게 쳤습니다. 속도는 분당 73.8자로 떨어졌는데, 제가 예상한 것보다 낙폭이 작습니다. 날것 글자 오류는 8.54%로 올랐고, 언어 모델이 2.25%까지 끌어내렸습니다. 비교하자면 이식형 장치의 자유 타자 최고 기록은 분당 24.4자였습니다. 그러니 더 어려운 과제로도 옛 기록을 세 배쯤 넘어선 셈입니다.
숫자를 떠나, 이걸 앞에 두고 앉으면 어떤 느낌일지 물어볼 만합니다
숫자를 떠나, 이걸 앞에 두고 앉으면 어떤 느낌일지 물어볼 만합니다. 글자를 마치고 0.4초에서 0.7초 사이에 화면에 글자가 나타납니다. 알아챌 만큼 느리고 계속 쓸 수 있을 만큼 빠릅니다. 쓸 만한 구간이죠. 깜빡이는 것도 카운트다운도 없어서 속도는 온전히 그의 것입니다. 점멸 표적을 쓰는 스펠러와 달리 눈이 내내 자유롭습니다. 빠진 것은 되돌아가는 기능 전부입니다. 지우기가 아예 없습니다.
이런 장치는 매일 아침 다시 학습시키는데, 사용자에게 실질적인 부담입니다
이런 장치는 매일 아침 다시 학습시키는데, 사용자에게 실질적인 부담입니다. 이 연구의 기본값은 평가 전에 보정 문장 50개를 쓰는 것이었습니다. 그래서 자료를 다시 훑어 그 수를 어디까지 줄일 수 있는지 물었습니다. 9분 정도 쓰는 10문장만으로도 날것 오류 8.5%가 나옵니다. 여기에 언어 모델을 얹으면 1.7%가 되고, 충분히 쓸 만합니다. 30문장이면 다시 학습한 해독기가 그날 실시간으로 돈 것과 같아집니다.
논문 그림 3
Figure 3이 그 재학습 수치가 나온 곳이고, 패널이 둘입니다.
그림 3 읽기
Figure 3 왼쪽에는 보정 문장이 늘수록 내려가는 곡선 두 개가 있습니다. 파란 곡선이 날것 출력이고, 빨간 곡선은 언어 모델을 적용한 것입니다. 둘 다 처음에 가파르게 떨어지다가 평평해지는데, 여기서 중요한 모양입니다. 얻을 것의 대부분이 첫 10문장에서 오고, 나머지는 미세 조정입니다. 오른쪽은 같은 분석을 실험 사이에 며칠이 지났는지로 나눕니다. 이틀에서 이레만 지났다면 재학습을 통째로 건너뛰어도 굴러갑니다.
이 대목의 마지막 아이디어가 제품에 넣고 싶은 것이고, 좋은 의미로 순환적입니다
이 대목의 마지막 아이디어가 제품에 넣고 싶은 것이고, 좋은 의미로 순환적입니다. 언어 모델이 해독기 출력을 고치고, 고쳐진 글이 학습 이름표가 됩니다. 그러면 장치가 평소 사용 중에 스스로 자료에 이름표를 붙입니다. 아무도 멈출 필요가 없죠. 실험 간격이 일주일 이하일 때 날것 오류 7.3%가 나왔습니다. 보정을 적용하면 0.84%로, 원래 실시간 장치보다 낫습니다. 저자들은 이 모두가 실시간 시연이 아니라 사후 모의 실험이라고 분명히 덧붙입니다. 신경 패턴은 일주일 안에서 0.85 가까운 상관을 유지하다가 일정한 속도로 변했습니다.
이제 속도 기록보다 오래 남을 거라고 보는 대목입니다
이제 속도 기록보다 오래 남을 거라고 보는 대목입니다. 저자들은 왜 쓰기가 가리키기보다 두 배 넘게 빠르게 읽히는지 묻습니다. 답은, 직선 이동은 모두 같은 모양에서 나와 끝점만 다르다는 것입니다. 글자는 경로 전체가 다르고, 경로의 각 부분이 언제 일어나는지도 다릅니다. 이를 확인하려고 직선 16개와 한 획으로 쓰는 글자 16개를 비교했습니다. 가장 가까운 다른 동작까지의 거리가 글자 쪽이 72% 더 컸습니다. 그다음 그 차이를 공간적 퍼짐과 시간적 변화로 나눠 봤습니다. 공간은 1.24배로 거의 그대로고 시간은 2.65배라, 시간이 일을 하고 있습니다.
논문 그림 4
Figure 4는 그 주장을 측정으로, 그다음 장난감 모형으로 밟아 갑니다.
그림 4 읽기
Figure 4의 a와 b가 직선과 한 획 글자의 비교를 세웁니다. c가 측정 자체이고, 글자 쪽 막대가 뚜렷하게 높습니다. d는 그 거리를 실제로 중요한 것으로 바꿉니다. 잡음 속 정확도입니다. f부터 h가 장난감 모형인데, 신경세포 둘과 동작 넷을 경로로 그렸습니다. 한 판에서는 경로가 직선이고, 다른 판에서는 시간에 따라 휘도록 허용합니다. 휘는 것만으로 서로 멀어지고, 옆의 혼동 행렬이 그것을 보여 줍니다.
같은 생각을 한 번 더 그리겠습니다
같은 생각을 한 번 더 그리겠습니다. 이 논문에서 재활용할 교훈이니까요. 왼쪽에서 직선 이동 넷은 경로 대부분을 공유하고 끝에서만 갈라집니다. 그 앞부분만 보는 해독기는 기댈 것이 거의 없습니다. 오른쪽에서 글자 넷은 일찍 갈라져 끝까지 떨어져 있습니다. 이제 마지막 순간만이 아니라 경로의 매 순간이 증거가 됩니다. 경로가 멀수록 해독기가 잡음을 더 많이 흡수하고도 맞힐 수 있습니다.
저자들이 그 이론을 끝까지 밀어붙인 결과가 하나 있는데, 마음에 듭니다
저자들이 그 이론을 끝까지 밀어붙인 결과가 하나 있는데, 마음에 듭니다. 라틴 알파벳은 뇌 해독기가 구분하기 쉽도록 만들어진 적이 없습니다. 대부분의 글자가 아래로 긋거나 반시계로 감아서 시작하니 서로 몰립니다. 그렇게 몰린 곳이 정확히 해독기가 실수하는 지점입니다. 그래서 글자 쌍 사이 거리를 최대로 벌린 알파벳을 설계했습니다. 새 알파벳을 배울 사람은 없고, 저자들도 제품이 아니라 원리로 내놓습니다.
마무리 전에 한계입니다
마무리 전에 한계입니다. 이 논문은 드물게 직설적입니다. 모든 것이 한 사람에게 기대고 있고, 그는 앞선 연구에서도 가장 빨랐습니다. 알파벳은 31자이고, 대문자도 숫자도 없으며 문장 부호도 거의 없습니다. 편집 기능이 전혀 없어서 실수는 떨어진 자리에 그대로 남습니다. 재학습은 여전히 매일 필요하고, 자동 방식은 사후 분석으로만 보여 줬습니다. 하드웨어는 여전히 피부를 뚫는 케이블을 쓰고, 수명도 아직 증명되지 않았습니다.
이 논문을 앞뒤로 줄 세워 보겠습니다
이 논문을 앞뒤로 줄 세워 보겠습니다. 바로 앞에는 같은 시험의 커서 타자가 있고, 분당 40 언저리에 묶여 있었습니다. 덜 분명하지만 앞에는 자동 음성 인식의 20년도 있습니다. 정렬, 합성 자료, 증강은 모두 그 분야에서 왔습니다. 이 논문은 마비 환자에게서 빠르고 정교한 기술을 해독한 첫 사례입니다. 바로 뒤에 같은 연구진이 같은 방법을 말하기로 돌렸고, 다음 편이 그곳입니다.
이 편에서 가져가실 것 세 가지입니다
이 편에서 가져가실 것 세 가지입니다. 첫째, 몇 년간 쓰지 않은 기술도 시도하면 온전하게 돌아옵니다. 손글씨는 펜 끝이 지났을 경로의 모양까지 통째로 돌아왔습니다. 둘째, 어려웠던 건 해독기가 아니라 이름표입니다. 각 글자가 언제인지 몰랐으니까요. 본보기, 은닉 마르코프 모델, 합성 문장, 의도적인 잡음이 학습을 가능하게 했습니다. 셋째, 해독기만이 아니라 동작을 고르세요. 같은 피질에서 글자가 직선을 이깁니다.
이 논문은 여기까지입니다
이 논문은 여기까지입니다. 같은 연구진은 이어서 쓰기보다 훨씬 빠른 것에 같은 질문을 던집니다. 쓰려는 시도가 이만큼 읽힌다면, 말하려는 시도는 어떨까요. 봐 주셔서 감사합니다.
이 강에서 다룬 것
- 커서 타자의 한계인 분당 40자
- 31개 문자와 2층 GRU
- HMM 정렬로 이름표를 만드는 과정
- 합성 문장과 잡음 증강
- 분당 90자와 오류율
- 글자가 직선보다 시간적으로 다양하다는 이론