d라이브러리

(❋편집자주. 오늘날 생성 인공지능(AI) 시장은 막대한 자본력을 앞세운 글로벌 빅테크 기업이 이끌어가고 있다 해도 과언이 아니다. 급격하게 변화하는 시장 속에서 스타트업들은 각자 새로운 생존 전략을 고민한다. 생성 AI 상용화라는 마라톤 경기에 피지컬 최강 선수(빅테크 기업)와 피지컬보단 독특한 달리기 기술이 강점인 선수(스타트업)가 함께 달리는 셈이다. 각자 다른 전략으로 존재감을 뽐내는 생성 AI 스타트업들을 만나봤다.) 

☞뤼튼테크놀로지스

☞포자랩스

☞프렌들리 AI

일반적으로 대기업과 구별되는 IT 스타트업의 무기는 톡톡 튀는 아이디어, 특화된 기술력이다. 하지만 생성 인공지능(AI) 분야처럼 빅테크 기업이 자본력뿐만 아니라 기술 개발까지 주도하고 있다면 얘기가 달라진다. 2017년 구글은 생성 AI의 핵심인 트랜스포머 모델을 만들었고, 오픈 AI는 매해 걸출한 AI 연구를 내놓고 있다. 이럴 땐 빅테크 기업들의 주력 연구 분야인 ‘모델 개발’에서 기술적 우위를 점할 필요가 없다.

프렌들리 AI는 빅테크 기업들과 공생하는 기술로 생존 전략을 세웠다. 그 결과 생성 AI가 명령을 수행하기 위해 사용하는 그래픽 처리 장치(GPU) 사용량을 대폭 줄여주는 시스템 ‘오르카(Orca)’를 개발했다. 생성 AI 사용 비용을 줄여주는 방법을 개발한 것이다.

2023년 5월 국내 텍스트 생성 AI 스타트업 뤼튼테크놀로지스가 주관한 콘퍼런스에서 성낙호 네이버클라우드 하이퍼스케일 AI 기술총괄은 “글로벌 기업이 사다리를 걷어차면 한국은 순식간에 AI 식민지로 전락할 수 있다”고 우려했다. 이 말인 즉슨, 지금은 저렴하게 제공하는 빅테크 기업의 생성 AI 및 모델 사용 수수료가, 나중에 사용자가 늘어나면 갑자기 오를 수 있다는 뜻이다. 한국은 네이버를 제외하면 대부분의 기업들이 글로벌 빅테크 기업의 대규모 언어모델(LLM)에 의존하기 때문에 꼼짝없이 비용을 지불해야 한다. 이런 점에서 오르카는 빅테크 기업의 생성 AI가 더 많이 활용될수록, 더 가치를 발휘하는 시스템이다.

오르카는 2022년 전병곤 서울대 컴퓨터공학부 교수가 유경인 최고기술책임자(CTO)와 함께 개발한 기술로, 해당 연구는 컴퓨터 시스템 분야 세계 최고 학회로 여겨지는 ‘OSDI 2022’에서 발표됐다.

오르카는 연산 과정에 발생할 수 있는 비효율을 잡아낸다. 생성 AI는 질문에 대한 답변을 내놓기 위해 서버에서 GPU를 활용해 연산을 수행한다. 예를 들어 사용자가 챗GPT에 명령을 입력하면, 생성 AI 서버는 한 번의 연산에 단어 하나씩 답변을 생성하며, 반복적인 연산을 통해 최종적인 답변을 출력한다. 이 연산에 드는 GPU 비용이 생성 AI 사용 비용의 대부분을 차지한다.

그런데 생성 AI 서버에는 전 세계에서 AI를 사용하는 사람들의 명령이 끊임없이 몰려든다. 서버에선 GPU를 효율적으로 사용하기 위해 이 명령들을 묶어서 연산하는데, 이를 ‘배칭(batching)’이라고 한다. 1월 5일 프렌들리 AI의 사옥에서 만난 유 CTO는 “서버에서 답변을 생성하는 과정 중에 발생하는 ‘배칭의 비효율’에 주목했다. 배칭된 명령 중 연산 과정이 여러 번 필요한 것도 있고, 한두 번의 연산 만에 결괏값을 내놓을 수 있는 것도 있다. 반복 연산 도중에 생성이 끝난 명령들을 빼고 새롭게 들어온 명령을 연산하는 것이 가장 효율적이지만, 지금까지의 배칭에서는 불가능했다”고 설명했다.

이 복잡한 설명은 회전목마와 대기 손님에 비유할 수 있다. 한 번 운행할 때 10바퀴를 도는 회전목마에 손님 6명이 탈 수 있다고 가정하자. 첫 운행 때 4명의 손님이 탑승한 후 회전목마 운전은 시작됐고, 곧이어 또 다른 손님이 왔다. 아쉽게 한발 늦은 손님은 운행이 끝날 때까지 기다려야 한다.

문제는 5바퀴 돌 때쯤 그만 타고 싶은 손님이 생기는 경우다. 이런 상황에서 놀이기구 사장이 돈을 벌기 가장 좋은 방식은 회전목마가 1바퀴 돌 때마다 멈추고, 그만 타고 싶은 사람을 내리게 한 뒤 새로 온 손님을 최대한으로 태우는 것이다. 그럼 자리가 빈 채 회전목마가 돌아갈 리도 없고, 무작정 기다리는 사람도 없고, 원하는 만큼 탈 수 있어, 일석 삼조다.

유 CTO는 “트랜스포머 모델은 디코딩 과정이 반복되며 단어를 하나씩 생성하기 때문에 한 번의 디코딩 과정이 끝나면 배칭을 풀고, 완료된 명령은 빼고, 새롭게 들어온 명령을 포함해서 다시 배칭하는 것이 가능하다”며 “생성 AI 트랜스포머 모델의 특징을 활용한 기술”이라고 설명했다.

오르카 시스템에 사용된 배칭 기술은 2022년에 미국과 한국에 특허를 받았다. 유 CTO는 “GPT-3, 라마(Llama) 2 등 생성 AI 모델의 운영 비용은 매우 비싸지만, 이 기술을 사용하면 40%에서 최대 80%까지 비용을 절감할 수 있다”며 “생성 AI가 다양한 제품에 실제로 사용되고 우리 사회에 자리 잡을 수 있도록 지속적으로 노력할 것”이라고 말했다.