우리가 새로운 지식을 배우고, 어제 있었던 일을 기억하며, 매일 반복하는 습관을 형성할 수 있는 원리는 무엇일까요? 마음과 뇌의 관계를 연구하는 신경심리학계에는 전설처럼 내려오는 한 문장이 있습니다. "함께 점화하는 세포들은 서로 연결된다"컴퓨터의 인공신경망부터 현대 뇌과학의 기초를 닦은 이 위대한 규칙을 제안한 인물이 바로 캐나다의 천재 심리학자, 도널드 올딩 헵(Donald Olding Hebb)입니다.
과거 심리학이 눈에 보이지 않는 마음의 작용만을 추상적으로 연구하거나, 반대로 생물학이 복잡한 뇌세포의 구조에만 매몰되어 있을 때, 헵은 두 학문의 가교를 놓으며 '기억의 물리적 실체'를 최초로 찾아 나섰습니다. 현대 AI의 딥러닝 알고리즘의 모태가 된 헵의 극적인 생애와 그의 혁신적인 신경망 모델을 정리해 보았습니다.
1. 심리학과 생물학의 접점을 찾은 신경심리학의 개척자
도널드 올딩 헵은 1904년 캐나다 노바스코샤주의 체스터에서 태어났습니다. 그는 처음부터 심리학을 전공한 인물은 아니었습니다. 대학 시절 소설가를 꿈꾸며 문학을 전공하기도 했던 그는, 졸업 후 교육 현장에서 아이들을 가르치며 인간의 학습과정과 지적 성장에 깊은 관심을 갖게 되었습니다. 이후 맥길 대학교에서 심리학 석사 학위를 , 하버드 대학교에서 박사 학위를 취득하며 본격적인 연구자의 길로 들어섰습니다.
당대 심리학계는 인간의 행동이 자극과 반응에 의해 결정된다는 행동주의가 지배하고 있었고, 뇌의 구체적인 작동 방식에 대해서는 무지한 상태였습니다. 헵은 인간의 인지 과정, 특히 '학습'과 '기억'이라는 현상을 완벽히 이해하기 위해서는 반드시 뇌 속 뉴런(신경세포)의 물리적 활동을 결합해야 한다고 확신했습니다. 그는 매길 대학교 심리학과 학과장으로 재직 중이던 1949년, 뇌과학의 지형을 영원히 바꾼 기념비적인 저서 《행동의 조직(The Organization of Behavior)》을 발표하며 신경심리학의 서막을 열었습니다.
2. 장기기억과 단기기억의 차이
헵이 남긴 가장 위대한 학문적 공헌 중 하나는 우리가 무언가를 일시적으로 기억하는 것(단기기억)과 평생 잊지 않는 것(장기기억)의 차이를 세포 수준에서 최초로 가설화했다는 점입니다. 1949년 당시 기술로는 살아있는 뇌 속을 실시간으로 관찰할 수 없었음에도, 헵은 날카로운 통찰력으로 다음과 같은 핵심 가설을 제시했습니다.
-단기기억(Short-term Memory):뇌 신경망 내부에서 뉴런들이 일시적으로 전기 신호를 주고받는 순환 회로와 활성화 상태입니다. 신호가 흐르는 동안에는 기억이 유지되지만, 흐름이 멈추면 흔적 없이 사라집니다. 세포 자체의 물리적 구조 변화는 일어나지 않습니다.
-장기기억(Long-term Memory): 단기기억의 전기 신호가 반복되면서 뉴런과 뉴런이 만나는 접점인 '시냅스(Synapse)'에 영구적이고 물리적인 구조적 변화가 발생하는 상태입니다. 이 물리적 변화 덕분에 시간이 흘러 자극이 사라져도 그 기억을 언제든 다시 꺼낼 수 있게 됩니다.
이 추상적이었던 가설은 훗날 1960년대 말, 미국의 신경생물학자 에릭 캔들에 의해 완벽하게 입증되었습니다. 캔들은 신경 구조가 매우 단순한 바다 무척추동물인 '군소'를 연구하여 단기 학습 시에는 기존 시냅스의 기능만 잠시 변하지만, 장기 기억으로 전환될 때는 단백질 합성이 일어나며 시냅스의 물리적 구조가 변한다는 사실을 밝혀냈고, 이 공로로 2000년 노벨 생리의학상을 수상했습니다. 헵의 천재적인 예측이 수십 년 뒤 분자 생물학을 통해 사실로 증명된 셈입니다.
3. 헵의 학습 규칙 : 함께 점화하는 세포들의 연결
도널드 헵의 이름이 인류 과학사에 영원히 각인된 핵심 원리는 바로 '헵의 학습 규칙(Hebb's Rule)'입니다. 헵은 세포들이 어떻게 서로를 알아보며 기억의 지도를 만들어가는지 다음과 같이 설명했습니다.
"A세포의 축삭이 B세포를 자극할 만큼 충분히 가까이 있고, 반복적이고 지속적으로 B세포를 점화(발화)시키는데 관여한다면, 두 세포 중 한쪽 또는 양쪽 모두에 어떤 성장 과정이나 대사 변화가 일어나 세포들을 자극하는 A의 효율성이 증가한다."
쉽게 말해, 두 개의 뉴런이 동시에 활성화되는 경험을 반복하면 그들 사이의 연결 고리(시냅스)가 눈에 띄게 두꺼워지고 강해진다는 뜻입니다. 혼자 따로 노는 세포들은 연결되지 않지만, 어떤 외부 자극이나 학습에 의해 동시에 '팡'하고 전기를 뿜어낸 세포들은 서로 단단한 팀을 이룹니다. 이것이 바로 우리가 매일 아침 특정 행동을 반복할 때 습관의 길이 뇌에 단단하게 새겨지는 원리이자, 복습을 하면 할수록 기억이 선명해지는 이유입니다.
4. 인공지능의 고향이 된 헵의 신경망 모델
컴퓨터 과학과 뇌과학은 전혀 다른 분야처럼 보이지만, 현대 인공지능의 핵심인 '딥러닝(Deep Learning)'과 인공신경망(ANN)'은 바로 도널드 헵의 가설에서 태어났습니다.
컴퓨터 공학자들은 인간의 뇌가 학습하는 방식을 기계에 구현하고 싶어 했습니다. 이때 영감을 준 것이 바로 헵의 규칙이었습니다. 인공지능 모델 속에서 데이터를 입력받아 처리하는 가상의 입력 노드(뉴런)들이 동시에 자주 활성화될 때, 그 노드들 사이의 '가중치'를 자동으로 높여주도록 프로그래밍한 것입니다.
오늘날 전 세계를 뒤흔들고 있는 챗GPT나 자율주행 자동차의 인공신경망 연산 구조 역시 그 뿌리를 거슬러 올라가면 "함께 점화되면 연결된다"는 1949년 헵의 아날로그 가설에 빚을 지고 있습니다. 인간의 뇌 지도를 탐구하려던 심리학자의 통찰이 반 세기가 넘는 시간을 뛰어넘어 최첨단 컴퓨터 과학을 꽃피우는 거대한 자양분이 된 것입니다.
거장이 우리에게 남긴 위대한 통찰
도널드 올딩 헵은 1985년 고향인 체스터에서 생을 마감하였습니다. 그는 눈에 보이지 않아 신비주의의 영역에 머물러 있던 인간의 '마음'과 '기억'을, 뇌라는 구체적이고 물리적인 장치 안으로 끌어와 증명해 낸 위대한 선구자였습니다.
헵의 이론이 오늘날 우리에게 주는 메시지는 명확합니다. 우리의 뇌는 고정된 상태로 멈춰있는 딱딱한 기계가 아닙니다. 우리가 오늘 무엇을 보고, 누구와 대화하며, 어떤 생각과 행동을 반복하느냐에 따라 뇌 속 뉴런들은 지금 이 순간에도 끊임없이 새로운 연결 고리를 만들어내거나 기존의 길을 두껍게 다지고 있습니다.
뇌의 가소성을 믿고 매일 좋은 습관을 쌓아나가는 것, 그것이야말로 신경심리학의 거장 도널드 헵이 밝혀낸 인류 지성의 비밀이자 우리가 더 나은 삶을 향해 나아갈 수 있는 가장 과학적인 방법일 것입니다.