“존 홉필드와 제프리 힌턴!”

10월 8일 저녁 6시 45분, 2024년 노벨 물리학상 수상자로 인공지능(AI)의 선구자들이 호명되는 순간, 전 세계가 놀라움의 환호를 터트렸습니다.

이번 노벨 물리학상은 전통적인 물리학의 경계를 넘어, AI의 발명 가치를 인정한 역사적인 사건이었습니다. 자세히 풀어드립니다.

존 홉필드, 제프리 힌턴이 누구?

존 홉필드 미국 프린스턴대 물리학과 명예교수와 제프리 힌턴 캐나다 토론토대 컴퓨터과학과 명예교수는 오늘날 인공지능(AI)의 토대를 만들어 ‘AI 대부’라 불리는 이들입니다. 두 사람은 “인공신경망을 통해 머신러닝(기계학습)을 가능케 한 근본적인 발견을 한 공로”로 노벨 물리학상을 받았죠.

인공신경망은 인간의 기억과 학습 능력을 흉내 낼 수 있는 구조입니다. 과학자들은 이미 1950년대부터 컴퓨터가 ‘인간처럼’ 인식하는 방법을 개발하고자 했습니다. 이들의 전략은 뇌의 뉴런(신경세포)을 모방한 인공신경망을 개발하는 것이었죠. 하지만 쉽지는 않았어요. 1970년대까지 인공신경망은 논리적 규칙에 기반을 둔 프로그램으로 개발됐는데, 결론적으론 실패했죠. 너무 많은 규칙을 만들어내야 했기 때문이에요.

그런데 1980년대 인공신경망을 만들어내는 새로운 방식이 제안됐습니다. 뇌의 네트워크 기능을 재현해 정보를 처리하는 기술, 바로 머신러닝입니다. 머신러닝을 통해 컴퓨터가 사람이 입력한 규칙을 학습하는 것이 아니라, 입력된 데이터를 학습하고 직접 규칙을 깨닫게 됐어요. 머신러닝은 인공신경망 연구과 AI 분야의 새로운 패러다임을 연 기술입니다.

AI 연구가 왜 노벨 물리학상을?

AI 연구가 2024년 노벨 물리학상을 받으면서, 과학계 일각에서 비판의 목소리가 나왔습니다. 쉽게 말해 ‘이게 왜 물리학?’이라는 의문을 제기한 겁니다. 하지만 노벨위원회는 이들이 ‘물리학의 도구’를 사용해 머신러닝의 기반을 마련했다는 점을 강조합니다. 물리학, 보다 정확하게는 통계 물리학의 도구를 활용했죠.

통계 물리학은 여러 가지 요소로 구성된 시스템을 설명하는 물리학 분야입니다. 예를 들어 기체를 이루는 입자를 하나하나 추적하는 것은 어렵지만, 이 분자들을 종합적으로 고려해 계산하면 압력이나 온도 같은 기체의 전체적인 특성을 파악할 수 있습니다. 통계 물리학은 이런 총체적인 특성에 초점을 맞춰, 경향성을 통계적으로 살펴보는 학문입니다.

AI 연구가 통계 물리학을 활용하는 것은, ‘큰 그림’을 그려가며 시스템을 파악하는 통계 물리학의 관점을 이용하면 복잡한 시스템을 효율적으로 분석할 수 있기 때문입니다. 또 통계 물리학에서 나온 확률적인 방법론은 데이터의 패턴을 학습할 때 도움이 됐죠. 이번 노벨 물리학상을 받은 ‘홉필드 네트워크’와 ‘볼츠만 머신’은 둘 다 통계 물리학을 활용해 개발됐습니다.

홉필드 네트워크가 뭐기에?

홉필드 네트워크는 기억과 연상 작용을 모델링하는데 사용되는 기술입니다. 홉필드 교수가 1982년에 처음 제안했죠. ^{doi:10.1073/pnas.79.8.2554}홉필드 네트워크는 뇌의 뉴런을 모방한 ‘노드’로 이뤄진 네트워크입니다. 노드는 서로 연결돼 있으며 상호작용할 때마다 다른 노드와 연결 상태가 달라지는데, 각 노드는 ‘활성’ 또는 ‘비활성’ 두 개의 상태 값을 가집니다.

홉필드 네트워크는 안정적이고 에너지가 낮은 상태를 찾아가면서 학습하고 동작하는 시스템입니다. 여기서 에너지는 네트워크가 얼마나 안정적인지를 나타내는 숫자입니다. 홉필드 네트워크가 안정적인 상태로 나아가는 과정에서, 노드는 하나씩 상태 값이 업데이트됩니다. 업데이트란 상태 값을 바꿀지 말지 결정하는 겁니다. 바꾸지 않는 게 에너지를 줄이는 방향이라면 그대로 둡니다.

노드의 상태 값을 업데이트하며 학습하는 과정에서 홉필드 네트워크는 예전 학습에서 노드가 활성화됐던 특정 패턴을 기억하고 이와 유사한 패턴을 불러오게 됩니다. 이런 구조와 동작 방식 덕분에 홉필드 네트워크는 패턴을 인식하고 일부분의 정보로 전체를 떠올리는 연상 기억 시스템을 구현하는 데 크게 기여했습니다.

물리학을 어떻게 활용했다는 것인지?

바로 이징 모형(Ising Model)입니다. 이징 모형은 통계 물리학에서 상전이 현상을 이해하기 위해 사용하는 모형입니다. 자성 물질을 구성하는 입자가 팽이처럼 회전하는 운동인 ‘스핀’의 상호작용을 설명하죠. 입자의 스핀 값은 +1, -1 두 종류고, 격자 형태로 배열된 입자의 스핀은 인접한 입자들과 상호작용을 통해 결정됩니다. 또 입자들의 스핀이 같은 방향으로 정렬될 때 에너지가 최소화되며, 에너지 상태가 낮은 값을 가질수록 안정된 상태라는 특성이 있습니다.

홉필드 교수가 이징 모형을 토대로 홉필드 네트워크를 개발한 이유는 이징 모형이 복잡한 상호작용 시스템의 집합적 행동을 설명하는 데 효과적이기 때문입니다. 집합적 행동이란 개체들이 상호작용을 할 때 단순한 상태 합 이상으로 나타나는 전체 행동을 의미합니다. 예를 들어 새 떼가 비행할 때 우리 눈엔 새들이 모여 만드는 집합 패턴이 보입니다. 이런 패턴이 집합적 행동이죠. 홉필드 네트워크는 그런 이징 모형을 통해 신경망 내 뉴런들의 상태가 안정된 상태로 수렴하는 과정을 모델링할 수 있었죠.

힌턴 교수가 만든 볼츠만 머신은?

홉필드 네트워크가 인공신경망 연구의 새로운 장을 열고 현대 AI의 기초를 마련했다면, 힌턴 교수는 챗GPT가 등장할 수 있는 기틀을 마련했다고 볼 수 있습니다. 그 기틀이 바로 볼츠만 머신입니다. 볼츠만 머신은 확률적 신경망 모델이에요. 통계 물리학의 ‘볼츠만 분포’를 활용했죠. ^{doi: 10.1016/S0364-0213(85)80012-4} 볼츠만 분포는 높은 에너지를 갖는 상태는 낮은 확률로, 낮은 에너지를 갖는 상태는 높은 확률로 발생함을 수학적으로 설명했어요.

힌턴 교수는 볼츠만 분포를 활용하면 특정 상태가 발생할 확률을 계산할 수 있다는데 주목했죠. 힌턴 교수는 노드와, 노드의 연결 가중치에 이 볼츠만 분포를 적용했습니다. 각 노드가 0 또는 1의 특정 상태를 가질 확률을 에너지에 따라 계산한 거죠. 이 확률은 에너지가 낮은 상태로 수렴하기 때문에 볼츠만 머신에서 각 노드는 네트워크의 전체 에너지를 최소화하는 상태를 찾기 위해 자신의 상태를 바꾸며 학습이 진행됩니다. 인공신경망이 패턴을 인식하고 새로운 패턴을 생성하는 과정 이면의 모습이죠.

한 눈에 보는 노벨상, 뇌를 모방한 인공신경망

2024년 노벨 물리학상은 인공신경망을 통해 머신러닝(기계학습)을 가능케한 근본적인 발견을 한 과학자들에게 수여됐다. 인간처럼 생각하고 판단하는 기계를 만들고자 시작된 인공신경망 연구는 인간의 신경계 구성과 연결을 모방하고 물리학 도구를 이용해 발전했다.

볼츠만 머신과 홉필드 네트워크의 차이가 뭐야?

바로 ‘은닉층(히든 레이어)’의 존재입니다. 홉필드 네트워크에는 없지만, 볼츠만 머신에는 있죠. 볼츠만 머신은 히든 레이어와 가시층(visible layer)로 구성돼 있습니다.

은닉층은 직접적으로 관찰할 수 없는 노드로 구성돼 있습니다. 은닉층은 복잡한 데이터를 더 깊이 이해하고, 패턴이나 특징 추출 등 데이터의 규칙성을 학습합니다. 이런 어려운 일을 할 수 있는 건, 은닉층이 비선형 활성화 함수를 사용해 데이터를 변환하기 때문입니다. 쉽게 말해 여러 활성화 함수를 사용해서 입력 데이터로 복잡하고 다양한 출력을 만든다는 겁니다. 이런 과정을 통해 AI가 데이터의 복잡한 패턴을 학습할 수 있습니다.

\딥러닝은 이 은닉층이 깊어진, 다층 구조의 머신러닝 모델입니다. 오늘날 딥러닝은 이 히든 레이어를 점점 더 늘려가면서 성능을 높이고 있죠. 은닉층을 여러 층으로 깊게 쌓을수록 AI 모델의 정확도가 높아지는 것을 확인했기 때문입니다. 이런 이유로 은닉층이 없는 홉필드 네트워크는 오늘날 AI모델을 만드는 데 사용되진 않습니다.

힌턴 교수는 AI 걱정이 크던데…

맞아요. 힌턴 교수는 노벨 물리학상 수상 당일 노벨위원회와의 전화 통화에서도 “AI가 인간의 통제를 벗어나는 것에 경각심을 가져야 하며, AI 안전 연구가 시급하다”고 말했죠.

실제로 AI의 성능은 자율성과 비례해 높아졌습니다. 과거 컴퓨터는 단순히 인간이 입력한 명령을 인식하고 수행하는 기계였을 뿐이었지만, 이제 인간은 AI가 어떤 예측이나 설명을 할 때 왜 그런 판단을 내렸는지를 정확히 이해하지 못합니다. 은닉층에서 AI가 어떻게 학습하는지 아무도 설명할 수 없죠. AI의 자율성과 통제 불가능성 간의 딜레마입니다.

문제는 AI가 어느 분야나 상황에서 사용될지 모른다는 점입니다. 예를 들어 폭탄과 같은 무기에 AI가 장착된다면 어떨까요? 재래식 폭탄과 달리 AI가 장착된 폭탄은 인간이 알 수 없는 학습 및 판단 과정을 거쳐, 아무도 예상하지 못한 지점으로 날아갈 수 있습니다. 힌턴 교수가 “AI가 인간의 통제를 벗어날 때 이를 처리할 방법을 알아내는 것이 시급하다”고 목소리를 높일 만하죠.

▲GIB

과거 인공신경망은 개와 고양이의 차이를 기계에 학습시켜 개와 고양이를 분류하고자 했다. 한편 머신러닝은 많은 양의 개와 고양이 사진을 학습시킨 뒤, 기계가 직접 개와 고양이의 차이를 이해하도록 만든다. 인간의 기억과 학습 능력을 모방한 것이다.

그래도 AI의 물리학상 수상은 특별해!

그동안 노벨 물리학상은 우주의 기본 구성 요소와 그 작용 원리를 밝힌 입자 물리학, 미시 세계의 입자가 어떻게 행동하는지 설명하는 양자역학, 빛의 성질을 파악하고 그것을 활용하는 방법을 연구하는 광학 등 중요한 자연 법칙의 비밀을 밝혀온 연구에 수여돼 왔습니다.

한편 2010년경에 시작된 머신러닝 혁명 이후, AI는 이런 기초과학 연구에서 훌륭한 도구로 사용되고 있었습니다. 2012년 유럽입자물리연구소(CERN)에서 힉스 입자를 발견할 때도, 2015년 LIGO 연구팀이 블랙홀이 충돌하며 만든 중력파를 감지했을 때도 AI가 사용됐죠.

노벨위원회는 AI가 물리학 도구를 사용해 새로운 패러다임을 연 것뿐만 아니라, AI를 활용해 만들어낸 과학적 성과에도 주목했습니다. “물리학이 인공신경망 덕분에 혜택을 받고 있다”고 말이죠. 2024년 노벨 물리학상은 AI 연구는 물론 물리학 연구에서도 새로운 패러다임을 연 혁명가들에게 수여된 것입니다.