87년 미국의 몇몇 기업들이 PC용 뉴로컴퓨터를 상품화함으로써 다시 주목받기 시작한 신경회로망이론, 그 이론적 개요와 국내외 연구동향을 살펴본다.
지난호에서 지적한대로 인공지능의 연구는 인간의 정보처리 양식의 실체와 관계없이 공학적으로 지능의 유형을 컴퓨터로 만들어 인간의 정보처리를 흉내내고자 했다. 예를 들어 비행기의 연구에 새의 근육 구조를 상세하게 분석하는 연구가 거의 무익한 것처럼, 지능구조의 연구는 인간의 실제모델과 상관없이 진행되어왔다. 그 까닭은 인간이 태어나서 어떻게 지식을 익히고 그것을 이용하며 인간이 보고 듣고 말하는 행위 등이 어떻게 행해지고 있는가에 대한 근본적인 해답이 없었기때문이다. 그 까닭에 지금까지의 인공지능 연구는 컴퓨터 처리를 가능하게하는 아주 작은 범주의 지능문제만을 다루어 왔고 그것은 지능의 흉내에 지나지 않았다.
인간에게는 태어나면서부터 갖는 고유기능으로서 시각 청각 촉각 미각 후각 등 소위 오감(五感)이 있고, 어떤 상황판단에 따른 추론, 곧 육감(六感)에 해당하는 것이 있다. 또 인간은 성장함에 따라 그 기능이 고급화되고 교육과 학습을 통해서 그 기능을 고도화해간다.
인간의 두뇌와 같이 학습을 통해서 스스로 영리해져가는 구조를 닮은 컴퓨터를 만들 수는 없을까.
인간의 정보처리와 닮은 정보처리시스템은 두뇌를 모델로하여 1953년에 제안된 퍼셉트론에서 그 효시를 찾을 수 있다. 그것은 페턴인식 장치로서 주목을 받았으나 1970년대에는 연구열기가 식어버리고 말았다. 그러나 1980년대에 이르러 연결주의라 불리는 인지(認知)심리학자를 중심으로 한연구그룹의 성과가 주목되어 다시 신경회로망이 각광을 받기 시작했다.
신경회로망은 생물체의 신경회로망을 가리키는 경우와 그것의 동작을 모방하는 시뮬레이터(simulator) 혹은 전자소자(electronic device)로 실현한 시스템을 가리키는 경우가 있다. 그 차이를 나타내고자 인공신경회로망(artificial neural network)이라 부르기도 한다.
학습능력이 탁월
인간의 뇌는 약 1백40억개의 신경세포로 이루어져 있고 각 신경세포는 동시에 동작하는 병렬처리의 형태를 취한다고 알려져 있다. 인간의 뇌를 닮은 정보처리모델은(그림1)과 같이 각 계층내에서 각각의 처리단위가 서로 결합하여 계층적으로 병렬분산처리하는 시스템으로 생각할수 있다.
이와같은 병렬처리 시스템은 한개의 중앙처리장치에 의해서 직렬적으로 프로그램을 실행하는 현재의 컴퓨터(폰 노이만형 컴퓨터)와는 달리 많은 처리단위가 서로 영향을 끼치면서 동시에 다른 처리를 행한다. 뉴로 컴퓨터는 이와 같이 병렬처리시스템으로 구성되므로 '인간적'인 정보처리의 능력을 갖는다고 기대되는 것이다.
또 뉴로컴퓨터는 학습능력이 있다. 다시 말해서 외부환경이 변하면 자기자신을 스스로 변화시켜 조정하는(자기조직화, self-organization) 능력을 가지고 있다.
학습(learning)은 기존의 컴퓨터에 있어서 프로그래밍에 해당하는 것으로 지금은 인간에 의해서 주어지나 뉴로컴퓨터에서는 학습데이터만 주어지면 스스로 학습을 하게된다. 따라서 인간이 프로그램을 짤 필요가 없게 된다.
위에서 말한 병렬분산형의 정보처리, 학습의 자연스러움 등이 뉴로 컴퓨터가 인간의 뇌를 닮은 것이라하는 이유다.
정보처리의 과정
뇌의 기구와 기능을 본뜬 컴퓨터를 어떻게 만들 것인가. 신경세포(뉴론)에 해당하는 컴퓨터 소자를 어떻게 만들며, 신경회로망을 어떻게 인공적으로 구성할 것인가, 학습기능을 어떻게 부여할 것인가, 어떤정보처리를 가능하게 할 것인가에 대해서 살펴보자.
우선 신경세포의 설계과정은 인간의 신경세포가 갖는 구조와 기능, 동작특성을 본떠 컴퓨터를 구성하는 기본소자를 만드는 과정에 해당한다.
뉴론의 모델은 (그림2)에서 보는 것과 같이 여러 개의 뉴론으로부터의 출력시${X}_{i}$으로하고 각각의 입력값에 하중치 ${W}_{i}$를 곱해서 합한 것을 내부상태 x로 하여 내부상태에서 출력함수 f를 거친 것이 뉴론의 출력값 y가 된다. 일반적으로 뉴론의 내부상태값은 아날로그값을 취하며 출력함수로서 S자형의 포화함수가 쓰여진다. 또 출력값은 〔0.1〕사이의 값을 취하게 된다. 따라서 출력값 y가 그시점에서의 뉴론상태를 나타낸다. 하중치는 흥분성의 경우 (+)값을, 억제성인 결합의 경우 (-)값을 취한다. 또 뉴론간의 결합도는 학습에 따라 변화시킬 수 있다. 쉽게 말해서, 입력신호${X}_{1}$는 중요하니까 ${W}_{1}$배로 하자, 또 ${X}_{2}$는 ${W}_{2}$배로 하자, ${X}_{1}$는 ${W}_{4}$배 하자는 등의 계산을 한다. 각각의 입력신호는 그 배율이 정해져 있고 곱하기 셈을 한후, 그 전부를 합하는 셈을 하게 된다. 그 때 모두 합한 값이 어느 일정한 값보다 작을 때에는 출력이 0이 된다. 0이라는 것은 펄스 하나를 내지 않는 것과 같고 클 때에는 출력 펄스가 연속해서 나오게 된다. ${X}_{1}$에 곱해지는 하중치 ${W}_{1}$ 이(+)로 아주 크다면 그 신호는 이 뉴론을 흥분시켜 강한 답을 내는 효과를 갖는다. 거꾸로 ${W}_{1}$이 (-)로 그 값이 크다면 그 신호는 뉴론의 흥분을 억제하여 답을 내지않는다.
뉴론에 학습능력이 있는 까닭도 위와 같은 이유때문이다. 다시 말해서 학습이라 하는 것은 뉴론과 뉴론의 결합선의 하중치가 변화하여, 어느입력은 강하게 어느 입력은 약하게 조절하므로 학습효과를 갖는다는 뜻이다. 많은 입력신호의 특징에 따라 그 값은 변화하기 마련이므로 그 결과 학습이 진행한다고 여길수 있는 것이다.
뉴론의 모델에는 현재까지 알려진 것으로 여려 형이 있으나 그것은 응답특성, 다시 말해서 출력함수 f의 수학적 특성에 따라 분류하고있다. 구체적인 것은 전문서적을 참조하기 바란다.
계층형과 상호결합형
다음은 각각의 뉴론을 모아 뉴론사이의 상호작용을 모델화한 회로망을 꾸미게 되는데 이것을 신경회로망의 모델이라 한다.
뉴론을 어떻게 결합하여 회로망을 꾸밀 것인가에 대해서는 특별한 제약이 없다. 그러나 전형적인 결합형태를 갖는 신경회로망의 모델이 제안됐다. 그것들은 나름대로 서로 다른 특징을 가지고 있다. 회로망모델의 대표적인 사례로는 계층형과 상호결합형 두가지가 있다.
계층형은 뉴론에 해당하는 단위가 여러 층(layer)으로 나뉘어져 있고 각각의 층에는 순서가 있으며, 각층은 자신보다 앞의 층에서만 입력을 받아들인다. 따라서 앞 층으로 돌아가는 피드백 결합이 없기 때문에 입력층(제1층)에 주어진 입력패턴이 차례차례 각 층을 거쳐 변화되어 출력층에 도달함으로써 1회의 동작을 마친다. 다층 회로망(multilayer network)이 이것에 속한다.
한편 상호결합형은 임의의 두단위사이에 서로가 결합을 갖는 회로망으로서 피드백의 결합이있기 때문에 회로망의 동작은 역학적(dynamics)구조를 갖는다. 초기상태에서 출발한 회로망은 상태변화를 되풀이하는 사이에 평형상태에 이르게 되나 여기에는 여러가지상태가 나타난다.
이와 같은 평형상태의 해석에는 역학계의 이론 등이 쓰여지나 그 해석은 손쉽지 않다. 따라서 계층형에 비해 전체동작이 복잡해진다. '홉 필드 회로망형'이 여기에 속한다. 이 밖에 계층형과 상호 결합형의 혼합형이 있는가 하면 여러 형태의 중간형이 있는 등 20여종류의 회로망 모델이 알려져 있다.
신경회로망의 기본적인 동작은 입력신호 백터공간 X에서 출력신호를 만드는 공간 Z로의 정보변환으로 볼 수 있다. 따라서 뉴론과 같은 소자를 써서 행하는 정보변환에서 가장 특징적인 것이 무엇인지 회로망 모델의 특징을 수리(數理)적으로 분석할 필요가 있다. 그것을 신경회로망의 수리라 한다.
이러한 신경회로망의 동작이 어떻게 행해지는가를 살펴보자. 어느 시각에 있어서의 회로망의 상태는 뉴론의 흥분상태의 분포로 생각할 수 있다. 입력신호에 따라 신경회로망의 흥분상태분포는 시시각각으로 변화한다. 따라서 뉴론의 현재 상태를 상태공간(State Space) 으로 나타내고 다음 입력신호에 따라 상태가 어떻게 변화하는가를 가리키는 상태변화표를 만들 수 있다. 상태변화표는 각 상태(뉴론)에서 다음 상태로 화살표로 이은 것과 같은 의미를 갖는다. 그 중에서 다음 상태로 변화하지 않고 원래 상태 그대로 있는 평형상태가 생길 수 있고, 한번이 평형상태에 빠지면 그 상태에서 빠져 나오지 못하게 된다. 또 어느상태에 들어가면 고정된 길에 따라 다시 그 상태로 되돌아오는 주기상태도 생기게 된다.
신경회로망을 설계할 때 고려해야 할 또 하나는 각각의 뉴론이 동작하는 타이밍의 문제다. 뉴론모델의 특성에 따라 △모든 뉴론이 같은 타이밍으로 상태변화를 행하는 것 △각각의 뉴론이 각각 자신의 타이밍에 따라 상태변화를 행하는 것 △신호의 전달에 걸리는 시간까지도 모델화하여 신호의 전달과 함께 뉴론의 상태변화를 행해 가는 것 등으로 나눌 수 있다. 그러나 그와 같은 모델의 설계 및 실현은 손쉽지 않다.
이와 같이 회로망 모델을 설계해서 정보처리를 행할 수 있다. 그것을 뉴로 컴퓨팅(neuro Computing) 모델이라고 한다. 신경회로망모델의 계산개념을 이용하여 여러가지의 정보처리를 행하고자 하는 연구는 현재 활발히 진행중이다. 그중 대표적인 것만 예로 들겠다.
■패턴의 변환모델
회로망의 일부를 입력부 출력부로 나누고 입력부에 주어진 패턴을 변환하여 출력부에 결과의 패턴을 내는 처리, 혹은 입력부에 패턴을 입력하여 출력부에 원하는 출력을 내는 것으로 패턴인식 연상기억 운동계열의 생성 등의 실현에 이용하고 있다.
■최적화 기계(optimized machine)
홉 필드에 의해 유명해진 사용법으로 상호결합형의 회로망에서는 회로망이 상태변화함에 따라 반드시 감소 증가하는 회로망의 함수를 만들 수 있다. 이것은 통계역학에서의 수학모델을 본떠 회로망의 에네르기 함수라 부른다. 평가함수가 이 에네르기 함수와 일치하도록 회로망 결합을 정할 수 있다면 적당한 초기상태에서 이러한 회로망을 동작시켜 평가함수가 최소 최대가 되도록 변수의 값을 구할 수 있다. 이러한 방법은 여러 도시를 세일즈 맨이 순회할 경우, 어느 도시부터 방문하면 가장 짧은 거리인가 하는 소위 '세일즈맨 문제'라든가 패턴의 일부로 전체를 상기시키는 연상기억 등에 응용되고 있다.
역전파 학습 알고리즘
신경회로망을 쓴 정보처리에서 가장 주목되는 점의 하나가 외부로부터 지식획득(학습)이 자연스럽게 이뤄진다는 점이다. 자연스러운 학습법으로서 현재 가장 많이 쓰여지고 있는 모델이 역전파학습알고리즘(back propagation learning algorithm)이다. 그것은 (그림5)와 같이 외부로부터 입력신호를 입력유닛에 입력하여 그 입력신호가 중간층(hidden layer)의 유닛에 전파된 후, 출력 신호로서 변환된다. 그 후 교사신호가 정답을 제시하면 출력신호와 정답과의 오차를 구해서 결합의 하중치가 최소값이 되도록 각각의 하중치를 새롭게 바꾸어간다. 이 방식에 따른 학습 알고리즘은 극소치에 빠질 위험성이 있다. 이것에 대한 반론으로서 볼츠만 머신에 의한 학습방법이 알려져 있다. 이 학습 알고리즘은 쇠달구기(simulated annealing)법으로 알려진 방법의 전형적인 적용례가 되어 있으나 공학적으로 속도가 늦어 문제가 되고 있다.
어디까지 왔나
연결주의에 대한 과잉기대가 뉴로컴퓨터의 붐을 일으키고, 지금 당장이라도 뉴로컴퓨터가 태어나리라는 기대를 일으키고 있으나 아직 꿈에 가깝다.
이미 지적한 대로 소자기술 컴퓨터 아키텍처의 진전이 신경회로망에 따른 학습 알고리즘의 시뮬레이션 작성을 가능하게 했지만 그것이 퍼셉트론의 한계를 넘었다고는 할 수 없다.
뉴로컴퓨터의 연구를 행하는데 있어 없어서는 안될 것이 고속처리계다. 예를 들어 역전파학습법의 학습방법은 훈련데이터를 수천에서 수만가지로 되풀이하여 학습시킬 필요가 있다. 이것을 종래의 컴퓨터시스템으로 실행킨다면 알고리즘의 개량이라든가 시행착오적인 학습방식의 연구에 막대한 계산시간을 요하게 된다. 따라서 신경회로망이 갖는 병렬성을 살려 계산알고리즘을 전용의 하드웨어로 실현하는 전용하드웨어, 곧 뉴로컴퓨터가 개발되어야 한다.
뉴로컴퓨터를 실현시키는 기술로서는 병렬하드웨어의 기술, VLSI(초대규모 집적회로), 광컴퓨터(optical computer) 등을 들수있으나 병렬형의 컴퓨터로 학습능력을 가진 정보처리기계가 기술적으로 실용화되는 시기는 21세기에 이르러야 할 것이라는 의견이 지배적이다.
인공회로망을 고속처리하는 컴퓨터의 회로기술에는 아날로그와 디지털에 의한 두가지 방법이 있다. 아날로그 회로기술에 의한 LSI(대규모 집적규모)로 실현하는 것이 보다 효과적이라 할 수 있다. 현재 기술로서는 칩 하나에 뉴론 수십개에서 수백개 정도밖에 들어가지 않아 집적도는 그다지높지 않으나, 장래기술로서 기대되는 ULSI(극대규모집적회로), 웨이퍼스케일인터 크레이터(wafer seale integrator) 등이 있다.
디지털 처리방법으로서는 한개의 뉴론소자를 한 대의 계산유닛으로 실현한 것과 복수의 뉴론소자를 한 대의 계산유닛이 담당하여 가상적으로 처리하는 두가지의 접근법이 있으나 구체적 설명은 생략한다.
폰노이만과 뉴로컴
기호주의에 따른 폰 노이만형의 컴퓨터와 연결주의에 입각한 뉴로컴퓨터의 장단점은 (표1)과 같이 설명할 수 있다. 그것은 오늘날의 컴퓨터와 인간의 뇌가 갖는 장단점은 비교할 때와 비슷하다.
그렇다면 미래형 컴퓨터의 개발목표는 확연해진다. 미래형 컴퓨터는 전적으로 뉴로기술에 의존하지는 않을 것이다. 인간의 뇌와 같이 무의식속에 행하는 병렬적, 동적상호작용에 의한 정보처리와 의식속에서 행하는 직렬적 기호에 의한 정보처리가 유기적으로 통합된 컴퓨터가 태어날 전망이다.
병렬처리와 직렬처리의 두가지 처리를 융합하기 위해서는 현재 기술적으로나 이론적으로 알려지지 않고 있는 병렬형 정보처리에 대한 원리적 가능성에 대한 연구와, 지식표현 계층간을 유기적으로 묶은 아키텍처의 연구, 환경의 변화에 따라 스스로 자기조직화해 가는 소자기술의 연구, 시스템의 통합화에 따른 기술적 이론적 연구가 뒤따라야 한다.
21세기를 향한 컴퓨터 과학의 주제는 역시 인간과 컴퓨터이다. 뉴로컴퓨터가 '연금술'이 아닌 실체가 되기 위해서는 역시 미래의 과학과 공학을 이끌어 갈 지적호기심이 강한 인재를 키워나가는 것이 가장 중요하다고 믿는다.
신경회로망연구의 현황과 전망
신경회로망 연구가 인공지능분야의 가장 핵심적인 개념으로 떠오르고 있다.
미국과 일본은 이미 치열한 주도권 경쟁을 벌이고 있으며 국내에서도 지난해 '신경회로망 응용 워크숍'이 열려 학계와 산업계의 큰 관심을 반영했다.
뉴로컴퓨터 개념의 시초가 되는 뉴론(신경세포)에 관한 연구는 1940년대에 시작됐다. 이 때는 인간의 두뇌에 관한 연구가 컴퓨터(인공지능과 동일시)를 만드려는 노력과 일치됐다. 그러나 그 후 컴퓨터는 폰노이만식 컴퓨터로 상용화돼 엄청난 발전을 이룩했고, 인간두뇌에 관한 연구는 생물학적 차원을 벗어나지 못했다.
50년대에 로젠 블라트가 '인간사고의 본질은 기호처리가 아닌 패턴조작'이라는 가설을 제시한 '퍼셉트론'개념을 발표함으로써 뉴로컴퓨터는 다시 한번 주목을 받았다. 그러나 이 이론은 전문가시스템등 다른인공지능분야에 밀려 별로 중요하지 않은 개념으로 치부됐다.
80년대 후반에 들어서면서 상황은 달라졌다. 인공지능연구가 벽에 부딪치고 리습(LISP)머신이나 미니컴퓨터의 판매고가 급격히 떨어지는 등 컴퓨터시장에 위기상황이 도래했다. 차세대 컴퓨터개념으로 광컴퓨터 바이오(뉴로)컴퓨터 등 종전에는 막연한 영역으로 여겨졌던 분야들이 새롭게 학자들의 관심을 끌기 시작했다. 그중 뉴로컴퓨터는 가장 빨리 실용화될 수 있고 한계에 부딪친 인공지능연구를 한 차원 높일 수 있는 '구세주'로 기대되고 있다.
미·일의 선두경쟁
신경회로망은 인간의 신경세포가 두뇌에 정보를 전달하고 이를 인식하는 방식을 똑같이 기계적으로 본뜬 것이다. 신경세포는 감각기관(눈 코 귀 등)들이 받아들인 정보를 순차적으로 처리하지 않는다. 여러 개의 통로를 통해 병렬적으로 두뇌에 전달하고 인지시키는 것이다. 뉴로컴퓨터도 여러 개의 프로세서를 병렬적으로 배치하여 하나의 해(解)를 얻기 위해 동시에 분산처리하는 방식을 취한다.
완전히 인간두뇌와 비슷한 구조를 가진 뉴로컴퓨터의 출현은 아직 요원하지만, 부분적으로 이 개념을 적용한 기계들은 이미 87년부터 상용화되고 있다. 현재수준으로 뉴로컴퓨터는 문자 및 음성인식, 로봇제어, 자료분석 및 예측 분야등에 응용될 가능성이 크다.
미국은 컴퓨터분야의 기술우위와 군사적 활용을 위해 국방부를 중심으로 3억달러에 가까운 연구비를 투자, 뉴로컴퓨터개발에 앞장서고 있다.
신경회로망 상업화의 기수는 방위산업체인 TRW사. 이 회사는 1986년에 세계 최초로 '마크III'라는 6만5천개 신경세포의 기능을 가진 뉴로컴퓨터를 개발했다. 그후 이 회사의 연구팀은 HNC라는 독립회사를 차려 IBM PC에 장착하는 '안자'(ANZA)뉴로컴퓨터를 상용화하고 있다.
이외에도 디지털이큅먼트(DEC)와 일본 니코증권의 지원을 받는 네스트사도 필기체문자인식시스템을 개발했고, 뉴로닉스사는 매킨토시용 신경망 알고리즘을 개발해 판매중이다.
일본은 '제5세대컴퓨터' 계획이 벽에 부딪치자 몇년전부터 뒤늦게 뉴로컴퓨터에 관심을 쏟고 있다. NEC 후지쓰 히다치 도시바 등 유수의 일본 컴퓨터 메이커들이 이 분야에 집중투자하고 있다.
NEC와 후지쓰는 각각 PC용 뉴로보드(board) 고장진단소프트웨어 문자인식시스템 등을 개발했고 도시바는 뉴로워드프로세서를, 히다치는 뉴로컴퓨터용 칩을 제품화했다.
또 미쓰비시전기는 광(光) 뉴로컴퓨터연구에 들어갔고 신일본제철은 용광로제어에 이 개념을 이용하고 있다.
특히 지난해말 후지쓰연구소는 세계에서 가장 빠른 슈퍼뉴로컴퓨터를 개발했다고 발표, 비상한 관심을 모았다. 이 발표에 따르면 슈퍼뉴로컴퓨터의 학습속도(이해능력)는 엔지니어링워크스테이션의 2천배, 기존 뉴로컴퓨터의 4백배에 달한다는 것.
한글인식분야 첫 시험대
국내 뉴로컴퓨터연구는 이제 시작단계라고 볼 수 있다. 이 분야를 전공한 학자는 손으로 꼽을 정도이며 대부분인공지능의 다른 분야를 연구하던 학자들이나 서적을 통해 개념을 이해한 대학원생들 중심으로 연구가 이뤄지고 있다.
현재 가장 많은 연구가 진행된 분야는 뉴로컴퓨터를 이용한 한글인식시스템. 인쇄체나 필기체 문장을 컴퓨터가 그대로 인식해 기억하게 하는 연구다. 연세대를 비롯해 과학기술원 서울대 전자통신연구소등에서 한창 연구가 진행되고 있다.
포항공대에서는 수학과 전기전자과 전산학과가 공동으로 신경회로망의 이론연구와 응용연구를 수행하고 있다. 특히 오세영교수팀은 뉴로컴퓨터를 이용한 로봇팔 제어에 관한 논문을 발표, 주목을 받았다.
경북대는 신경컴퓨터연구센터를 설립하고 뉴론칩과 시뮬레이터를 제작하는 연구를 시작했다. 이외에도 삼성종합기술원이 뉴론칩을 이용한 응용소프트웨어 개발에 착수한 것으로 알려졌다.
뉴로컴퓨터의 실용화에는 회의적인 시각도 적지 많다. 인공지능연구의 돌파구로서 신경회로망에 컴퓨터과학자들의 이목이 집중돼 있지만 단시일에 뚜렷한 성과를 내기는 어려운 것이라는 분석도 있다. 우선 인간 두뇌에 관한 연구가 명확하게 결론나 있지 않은 상황에서 뉴로컴퓨터에 관한 연구는 '장님이 코끼리 만지기'식이라는 지적도 없지 않다. 특히 국내에서는 이 분야에 대한 전문가가 부족해 너도나도 '프로젝트따기'식의 연구계획을 세우고있다는 비판도 일부에서 제기되기도 한다.
뉴로컴퓨터를 상용화한 HNC사도 많은 돈을 벌었지만, 대부분의 고객은 대학이나 연구소였다는 사실로 미루어 아직은 이 시장이 일반화됐다고 보기 힘들다. 뉴로컴퓨터가 차세대컴퓨터개념으로 최근 가장 유력시되고 있지만 실제 그 탁월함을 인정받을 것인지 또는 유행따라 흘러가는 학문의 일과성(一過性)으로 끝나버릴 것인지 아직은 속단할 수 없다.
