d라이브러리

◇ 꽤어려워요 | 융복합 파트너@DGIST

수십 대의 컴퓨터 서버가 가득 늘어선 서버실 안. 서버에서는 상대방의 목소리가 안 들릴 정도의 굉음과 열이 뿜어져 나오고 있었다. 바깥 기온이 영하로 떨어진 2월, 대형 에어컨은 터보 모드로 가동 중이었지만 서버실 안은 후끈거렸다.

“서버에서 수많은 데이터가 네트워크를 통해 전달되고, 서버 안의 시스템반도체에서는 이들 데이터로 끊임없이 연산이 이뤄지고 있습니다. 연산의 양이 많아질수록 에너지 소모가 크죠. 에너지를 조금 쓰고 연산은 많이 할 수 있는, 즉 에너지 효율이 높은 시스템반도체를 설계하는 게 목표입니다.”

서버를 가리키며 큰 목소리로 설명하던 궁재하 대구경북과학기술원(DGIST) 정보통신융합전공 교수는 “이를 위해 인공지능(AI) 프로세서의 연산을 줄일 수 있는 방법을 연구 한다”고 말했다.

  
고성능 AI 시스템반도체 설계

최신 컴퓨터의 데이터는 고용량의 솔리드스테이트드라이브(SSD) 같은 보조기억장치에 저장돼있다. 컴퓨터 전원을 켜면 중앙처리장치(CPU)와 그래픽처리장치(GPU) 등 프로세서가 가동되고, 사용자가 원하는 프로그램을 실행하기 위해 데이터를 주고받으며 연산을 시작한다. 

이때 데이터는 주기억장치인 D램이나 S램에서 꺼내 온다. D램은 용량이 크고, S램은 용량이 작은 대신 전달 속도가 빨라 D램과 CPU 사이에서 데이터 전송 속도를 빠르게 해준다. 그래서 S램에는 자주 쓰는 중요한 정보를 저장하고, 추가로 필요한 데이터는 D램에서 가져와 처리한다. 이곳에도 없으면 SSD 등 보조기억장치에서 불러와야 한다. 

따라서 CPU 같은 데이터 처리 장치는 연산 순서 설계가 굉장히 중요하다. 연산 효율을 높이려면 알고리즘 내 연산 단계를 줄여야 한다. 궁 교수는 같은 데이터를 여러 차례 불러오는 중복 연산을 줄이고 한번 불러왔을 때 최대한 사용할 수 있도록 알고리즘을 설계해 기억장치(메모리)의 활용 효율을 높였다. 

특히 NPU(신경망처리장치)와 같은 AI 프로세서의 경우 연산 알고리즘 설계는 프로세서의 성능을 좌우한다. 궁 교수는 “AI 알고리즘은 다른 알고리즘들에 비해 연산 양이 월등히 많다”면서 “정확도가 높은 알고리즘을 성능은 그대로 유지하면서 중복 연산을 줄여 에너지 효율을 극대화하는 게 중요하다”고 설명했다. 

가령 궁 교수는 비트(bit) 수가 다른 두 프로세서를 합쳐 각각의 장점을 살릴 수 있는 AI 시스템반도체를 설계했다. 16비트로 이뤄진 데이터를 한 번에 처리하는 16비트 프로세서와, 한 번에 1비트로 이뤄진 데이터 16개를 처리하는 1비트 프로세서를 섞은 것이다.

궁 교수는 “16비트 프로세서는 연산 정확도가 높고, 1비트 프로세서는 이분법으로 이미지를 필터링해 노이즈를 제거하는 등의 장점이 있다”고 설명했다. 

“범용 프로세서 만들고파”

2016년 궁 교수는 고대역폭 메모리(HBM·High Bandwidth Memory) 설계로 주목을 받았다. 2차원 평면에 메모리 셀이 깔린 일반적인 메모리와 달리 3차원 공간에 메모리를 쌓은 HBM은 적층 구조로 데이터를 많이 저장할 수 있다. HBM은 수많은 데이터 학습이 필요한 AI 프로세서에 주로 사용되고 있다.

HBM은 다수의 메모리층과 1개의 로직층으로 나뉜다. 메모리와 메모리 사이는 와이어로 연결해 데이터를 이동시켜 전송속도를 높인다. 이때 HBM 가장 아래층에는 메모리 대신 컨트롤러 같은 부수적인 칩만 일부 배치된다. 쓰지 않고 비어있는 공간이 많다는 뜻이다. 

궁 교수는 AI 연산을 수행할 논리 회로를 여기에 배치해 연산 속도를 높일 수 있는 구조를 설계했다. 이는 HBM을 AI 반도체로 활용할 수 있음을 보여준 사실상 첫 사례였고, 2016년 6월 국제전기전자공학회(IEEE)와 국제컴퓨터학회(ACM)가 공동으로 주최하는 ‘컴퓨터구조국제심포지엄(ISCA)’에서 ‘뉴로큐브(Neurocube)’라는 제목의 논문으로도 발표됐다. doi: 10.1145/3007787.3001178

궁 교수는 현재 삼성전자와 함께 AI 음성인식용 시스템반도체를 설계하고 있다. 그는 “드론, 자율주행차, 언어 번역기 등 복잡한 연산이 쓰이는 분야에 활용될 것”이라며 “궁극적으로는 모든 AI 알고리즘을 지원하는 범용 프로세서를 만드는 것이 목표”라고 밝혔다.