구독상품안내
미국은 피지컬AI 분야에서도 세계를 선도한다. 테슬라를 비롯한 다수의 미국 내 글로벌 기업이 앞다퉈 인공지능(AI)을 탑재한 휴머노이드 공개에 나서고 있다. 그중 실제 물류 현장에 자사의 로봇을 세계 최초로 ‘취직’시킨 어질리티 로보틱스(Agility Robotics)의 로봇 공장 ‘로보팹(RoboFab)’에 한국 취재진 최초로 방문했다. 휴머노이드는 지금 사람에 얼마나 가까워졌을까. 피지컬AI의 선진국인 미국에서 그 진화의 현장을 직접 확인했다.
1초도 안 쉬는 직원,
세계 최초 ‘취업’한 로봇
“20~30년 뒤엔 이 친구가 집안일을 도울지도 몰라요.”
8월 28일, 미국 서북부 끝 샌프란시스코와 시애틀 사이의 오리건주에 위치한 어질리티 로보틱스(Agility Robotics, 이하 어질리티)의 로봇 공장 로보팹(RoboFab). 조나단 허스튼 어질리티 최고로봇책임자(CRO)가 로보팹의 문을 열자 시야에 처음 든 건 사람 형상의 로봇, 디짓(Digit)의 뒷모습이었다. 축구장 넓이 두 배가 넘는 5000평의 로보팹 한 켠에서 바지런히 물건을 나르는 디짓을 가리키며 허스튼 CRO는 “사람이 되기 위해 사람의 행동을 배우고 있다”고 안내했다.
그를 따라 디짓 곁에 서니 눈높이가 들어맞았다. 키는 175cm에 몸무게 63.5kg. 체형은 한국인 남성 표준과 닮았다. 키와 무게, 외형과 행동이 사람과 유사한 건, 사람의 노동 환경에 유연하게 적응해 다양한 작업을 대신하기 위함이다. 사람이 행하는 노동·업무 환경은 모두 사람의 눈높이에 맞춰져 있다. 이 때문에 ‘사람의 노동력을 대체한다’는 사명으로 태어난 휴머노이드는 자연스레 사람을 닮아있다. 다만 디짓의 다리는 조금 더 특별했다. 타조를 닮은 ‘역관절’ 다리 구조다. 이 독특한 디자인 덕에 디짓은 낮은 물건도 다리를 굽혀 수월하게 집으며, 물건을 집은 뒤에도 어렵지 않게 뒤로 돌았다.
디짓은 이런 특장점을 살려, 세계 최초로 공장에 취업하는 데 성공했다. 글로벌 물류 기업 GXO 로지스틱스는 2024년 9월, 조지아주 의류 업체인 스팬스(Spanx)의 공장에 디짓을 수년간 투입하는 계약을 체결했다. 이는 휴머노이드가 상업적으로 배치된 첫 사례이자, 로봇을 서비스 형태로 제공하는 ‘RaaS(Robotics-as-a-Service)’ 모델의 첫 시도다. 가장 먼저 사람을 대체한 사례인 것이다. 허스튼 CRO에게 디짓의 취직 비결을 묻자, 그는 “다른 로봇 기업들이 집안일을 돕는 세련된 영상을 많이 공개했으나 그건 보통 시연 영상일 뿐”이라며 “우리(디짓)는 실제로 사람이 하던 고강도의 업무를 반복 수행할 수 있는 실용성에 집중했다”고 답했다.
디짓은 최대 25kg의 물건을 들어 올릴 수 있다. 직접 디짓이 들고 있던 바구니를 들어보니, ‘억’ 소리가 날 만큼 묵직했다. 허스튼 CRO는 “사람 노동자가 한번에 최대로 들 수 있는 무게 제한이 보통 그 정도”라고 설명했다. 디짓의 임무는 명확하다. 선반에서 빈 상자를 집어 짧은 거리의 컨베이어 벨트로 옮기는 등 물류 창고 내 노동자의 작업을 반복적으로 수행하는 것이다.
이날 관찰한 디짓은 사람보다 느릴지언정 안정적이었다. 배터리란 ‘밥’만 주면 1초의 휴식도 없이 묵묵히 일했다. 디짓은 인터뷰를 하며 공장을 도는 두 시간 동안에도 쉼 없이 단순 노동을 반복했다. 사람이 되기 위해 조용하고도 끝없는 묵언 수행을 하고 있었다.
관건은 안전
공존 위해 ‘드러눕는’ 디짓
허스튼 CRO와 인터뷰 도중, 바구니 나르기에 한창이던 디짓 하나가 갑작스레 ‘퇴근’했다. 직접 공장 한구석의 충전소로 걸어가 벽에 붙은 충전기에 몸을 꽂았다. 몸을 맡긴 디짓은 이내 눈을 감고 휴식을 취했다. 허스튼 CRO는 홀로 퇴근하는 디짓을 가리키며 “모두 사람과 공존하기 위해서”라고 설명했다.
“사람이 직접 성인 남성만 한 로봇을 들고 옮기기엔 버겁습니다. 만약 사람이 직접 배터리를 갈아야 한다면, 배터리가 부족한 로봇이 갑자기 넘어지면서 근처에 있던 작업자를 다치게 할 수 있죠. 사람이 직접 배터리를 교체하다 떨어뜨리면 더 큰 문제가 생기고요. 이 때문에 로봇이 웬만한 걸 혼자서 수행하도록 의도했어요. 충전이 필요할 때도 직접 충전소로 걸어가게 말이죠. 배터리가 한 곳에 쌓여있으면 폭발 위험도 있고요.”
그렇다면 디짓은 어떻게 직접 물건을 나르면서 스스로 충전소까지 걸어갈 수 있을까. 그 비결에 허스튼 CRO는 ‘인지 능력’을 꼽았다. 디짓은 라이다(LiDAR), 스테레오 카메라 등 첨단 센서를 갖추고 있어 환경을 정확하게 인식할 수 있다. 대형언어모델(LLM)을 포함한 AI 기술로 훈련돼 다양한 상황에 적응하며, 인간의 지시 없이도 독립적으로 작동한다. 그는 마침 상자를 집어 든 건너편 디짓의 손을 가리키며 설명을 이어갔다.
“로봇에는 7개의 스테레오 카메라가 탑재돼 있어요. 먼저 주변을 3D 지도로 만들어 지형 지물을 감지하죠. 주변을 파악한 디짓은 목표물인 박스를 분석합니다. 박스마다 모양이 다르고, 박스마다 손잡이 위치나 형태가 다르기 때문에 각각 어떤 모습인지 인식하고 어떻게 잡아야 할지 판단해요. 또한 바닥 근처에 있거나 높이 있는 물체를 집을 땐 전략이 추가됩니다. 사람처럼 몸을 기울이며 무게중심을 조절해야 하죠. 이런 식으로 변화무쌍한 상황을 자체적으로 판단하면서 다양한 물체를 서로 다른 방법으로 집습니다. 지금 보고 있는 로봇처럼요.”
그의 말을 듣고 다시 눈앞의 로봇을 살피니, 공장에 막 들어섰을 때 봤던 다른 로봇과 손 모양이 달랐다. 물건을 집는 자세에서 차이가 났다. 디짓은 상자 형태에 맞춰 효율적인 손을 장착한다. 물체의 모양에 맞춰 로봇의 손 역할을 하는 ‘그리퍼’를 갈아 끼우는 것이다. 휴머노이드가 아직 사람처럼 다섯 손가락을 구현하는 데에는 한계가 있기 때문에, 다양한 그리퍼를 적재적소에 맞춰 활용하는 전략이다.
디짓은 사람을 위해 ‘바닥에 엎드려’ 자세도 연습 중이다. 사람이 로봇에 접근하면 로봇은 하던 일을 멈추고, 사람이 로봇을 만지기 전에 자세를 낮춰 충돌을 방지한다. 허스튼 CRO는 “로봇이 사람과 직접 닿지 않고도 장애물과 사람의 차이를 감지해야 한다”면서 “사람을 미리 인식해 사람을 보면 혼자서 주저 앉는 새 버전이 곧 출시된다”고 전했다.
어질리티가 이토록 안전에 열을 올리는 데엔 이유가 있다. 아직 휴머노이드 로봇에 대한 안전 표준이 마련되지 않았기 때문이다. 디짓이 실제로 일하고 있는 GXO 로지스틱스의 스팬스 공장에서도 디짓은 인간 가까이에서는 작업하지 않도록 배치됐다.
“내년에 수만 대 쏟아진다”
‘로봇 군단’ 그리는 미국
최근 미국의 휴머노이드는 디짓처럼 ‘실무’에 뛰어들기 위해 몸을 풀고 있다. 과거 춤추고, 뛰고, 공중제비를 뽐내던 휴머노이드가 이제는 정말 사람의 노동을 대신할 계획을 세우고 있다. 허스튼 CRO는 향후 고령 사회를 위한 준비 과정이라고 설명했다. “고령 사회가 막을 수 없는 미래가 되면서, 휴머노이드 역시 멈출 수 없는 미래가 됐습니다.”
이를 위해 휴머노이드 ‘옵티머스’ 제작 프로젝트를 진행 중인 테슬라를 비롯해, 미국의 여러 휴머노이드 기업이 이미 대량 생산을 선포했다. 어질리티 역시 내년부터 연간 1만 대의 디짓을 찍어내겠다고 공언했다. 어질리티는 2025년 말 디짓의 다음 버전을 내놓고 2026년부터 실전 배치에 나설 예정이다. 카메라를 더 많이 장착해 사람을 실수 없이 감지해 내는 게 목표다. 새 버전의 디짓은 사람이 다가오면 하는 일을 멈추고 바닥에 엎드린다.
이들이 그리는 휴머노이드의 최종 모습은 ‘반려인’이다. 허스튼 CRO는 2026년이 휴머노이드가 대량 보급되는 변곡점이 될 거라 짚었다. “저는 로봇이 사람의 모든 일을 대신 해주기를 바랍니다. 우리는 내년부터 수천 대의 로봇을 공급하기 시작할 거예요. 다만 로봇이 집 안에 들어오기까지는 조금 걸릴 겁니다. 가정에 들어오려면 지금보다 훨씬 까다로운 안전 문제가 동반되거든요. 그럼에도, 늦어도 40년 안에는 로봇이 방 안에 들어오리라 봅니다. 30년 전 세상에 처음 나타난 자율주행차량 기술이 지금 우리 일상에 서서히 녹아든 것처럼 말이죠.”
한땀 한땀 로봇 행동 과외…
관건은 ‘표준화’
휴머노이드가 사람의 모든 일을 대신하려면 어떤 준비를 거쳐야 할까. 단군 시절 곰이 사람이 되기 위해 동굴에서 마늘과 쑥만 먹으며 수행했다면, 현대의 휴머노이드는 ‘데이터’를 먹어야 한다. 인터넷 속 떠도는 무수한 글자 데이터를 빨아들여 사람과 구별이 힘든 챗봇처럼, 휴머노이드 또한 데이터가 필요하다.
‘모방학습’은 로봇이 조작자의 행동을 관찰하고 학습해 유사한 행동을 재현하는 기계학습(머신러닝) 기법이다. 마치 아이가 부모의 행동을 보고 따라하며 배우듯, 휴머노이드 로봇도 인간의 동작 데이터를 기반으로 복잡한 동작을 익히는 셈이다.
모방학습의 현장을 가까이서 보기 위해 8월 30일, 미국 국내선 비행기로 일리노이주에 위치한 일리노이대 어배너-섐페인캠퍼스의 김주형 컴퓨터공학부 교수 연구실을 찾아갔다. 로봇의 행동 구현을 집중적으로 연구하는 그는, 2013년부터 6년간 미국의 엔터테인먼트사 디즈니에서 모션캡쳐를 연구·제작하며 애니메이션 ‘빅히어로’의 주인공 로봇 ‘베이맥스’를 실제로 만든 모방학습 전문가다.
취재팀을 향해 아장아장 걸어오는 로봇, 그 뒤로 아기 포대같이 생긴 컨트롤러를 뒤집어 쓴 연구원이 반겼다. 그가 착용한 장비는 김 교수팀이 개발한 원격 로봇 조종 장치인 ‘차일드(CHILD)’. 원격 조종은 인간 조작자가 원거리에서 로봇을 실시간으로 제어하는 기술로, 휴머노이드가 학습할 데이터를 생성하는 가장 기본적이고 효율적인 방법이다. 김 교수는 “부모님들이 아기에게 동작을 가르치는 행동 원리를 로봇에 그대로 적용했다”고 설명했다.
차일드 조종기를 착용한 연구원이 팔을 움직이자, 2m 떨어진 휴머노이드의 팔이 똑같이 움직였다. 손을 하트 모양으로 만들자 로봇도 같은 손 모양을 보였다. 연구원이 앞으로 걸어와 허공에 손을 내밀자, 로봇이 손을 똑같이 내밀며 악수를 청했다. 옆에는 또 다른 방식으로 조종하는 로봇이 자리했다. 사람이 조이스틱 같은 컨트롤러를 조작하며 움직임을 1대1로 전달하는 집게 손 로봇 ‘파플(PAPRLE)’이다.
“이렇게 다양한 방식으로 로봇을 조종해보는 이유가 있습니다. 어떤 방법이 데이터를 더 효율적으로 모을 수 있는지 연구하는 거죠.” 김 교수는 데이터가 로봇 학습의 ‘연료’라며 데이터 수집을 매우 강조했다. “요즘 피지컬 AI를 연구하는 사람들은 모두 이런 식으로 데이터를 모으고 있습니다. 문제는 ‘어떤 데이터를 모을 것인가’예요.” 그는 일례로 챗GPT를 들었다. “언어 모델이 잘 작동하는 이유는 세계의 언어가 알파벳이나 한글 등 각국 언어로 표준화됐기 때문이에요. 한글이든 영어든 기본 소통 포맷이 정해져 있는 거죠. 하지만 로봇은 그런 표준이 없습니다.”
그의 말처럼 로봇 학습의 가장 큰 난제는 데이터 표준화다. 김 교수는 컴퓨터 초창기를 떠올렸다. “컴퓨터도 처음엔 0과 1로 인코딩하는 방식을 정했잖아요. 로봇은 그게 아직 안 돼 있어요.” 로봇마다 관절 수가 다르고, 센서 종류가 다르며, 데이터 구조 또한 완전히 차이를 보이는 탓이다. “로봇별로 완전히 다른 데이터 포맷을 쓰고 있습니다. 어떤 로봇은 ‘관절 3번을 45도 꺾어라’, 다른 로봇은 ‘모터 A에 힘 5만큼 줘라’ 이런 식이죠. 카메라 화소도 다르고, 센서 종류도 다릅니다.” 결국엔 로봇 행동 데이터의 표준화가 선행돼야 한다. “데이터 표준을 먼저 정하고, 그 포맷에 맞춰 데이터를 모아야 합니다. 그래야 시간이 지나도 이전 데이터를 계속 활용할 수 있어요. 그게 범용 피지컬AI를 만드는 첫걸음입니다.”
로봇의 작동은 크게 인지와 동작 두 단계로 나뉜다. 인지를 위한 데이터와 동작을 위한 데이터가 모두 필요하다. “지금은 데이터 자체가 부족한 단계라 그냥 모든 데이터를 무작정 모으고 있어요. 하지만 이건 효율적이지 않습니다. 중요한 데이터가 뭔지도 모르고, 나중에 학습할 때 너무 많은 컴퓨팅 성능과 에너지가 필요하죠. 방대한 데이터를 모았지만 효율적으로 쓰고 있다고 보기 어렵습니다. 간결한 데이터 ‘포맷’을 만드는 게 피지컬AI로 가는 핵심입니다. 이를 위해 다양한 모방학습으로 데이터를 수집 중이고요.”
스스로 배우는 로봇…
사람 없이도 데이터 쌓는다
휴머노이드 학습의 시작이 모방이라면, 최근 트렌드는 ‘강화학습’이다. 강화학습이란 로봇이 시행착오를 통해 스스로 학습하는 방식이다. 마치 게임에서 점수를 받듯, 로봇은 행동에 대해 ‘보상’을 받는다. 좋은 행동을 하면 높은 점수, 나쁜 행동을 하면 낮은 점수가 주어진다. 사람이 좋은 전략으로 높은 점수를 받으면 도파민이 샘솟아 해당 전략을 답습하듯, 로봇 또한 높은 점수에 반응한다. 이 과정을 반복하면서 로봇은 점차 보상을 최대화하는 방법을 찾아낸다.
일리노이대에서 인간의 시연을 배우는 로봇을 봤다면, 캘리포니아주에 위치한 서던캘리포니아대(USC)에서는 스스로 시행착오를 겪으며 배우는 로봇을 만났다. 에르뎀 비익 USC 컴퓨터공학과 교수의 연구실에 들어서자, 테이블 위의 작은 로봇 팔이 수건을 향해 움직였다. 로봇 팔은 가쁘게 움직이는데 수건을 제대로 개지는 못했다. 바로 눈앞에 있는 컵을 집는 과정에서도 로봇은 거듭 방황했다.
왜 저렇게 헤매는 걸까. 로봇을 시연하는 아브라르 안와르 USC 컴퓨터공학과 연구원에게 물으니 웃으며 “오답을 수정하는 중”이라고 답했다. “알고리즘인 선생님이 ‘그 방향 아니다’라는 부정적인 피드백을 주고 있거든요. 그렇게 배우는 중입니다.”
그가 언급한 ‘선생님’의 정체는 보상 모델이다. “보상 모델은 로봇 위에 있는 카메라를 이용해서 피드백을 줍니다. 잘하고 있는지, 못하고 있는지를요.” 말로 언질을 주는 건 아니다. 영상을 숫자로 바꿔서 로봇에게 전달한다. ‘주황색 컵을 가져다가 빨간색 접시 위에 놓으라’는 명령도, 그 명령을 얼마나 잘 수행했는가 평가도 모두 숫자로 변환된다. 로봇의 눈인 카메라가 로봇의 행동을 관찰하고 0점(실패)에서 1점(성공) 사이의 점수를 매긴다.
이를 이끄는 선생님이 유능해야 로봇도 제대로 배운다. 갈피를 못잡던 로봇 팔은 보상 모델에게 지도를 받으며 올바른 행동을 찾으려 헤매는 중이었다. “다른 연구들은 성공한 데모만 수집했어요. 그래서 로봇에게 ‘성공 사례’만 가르쳤죠. 우리는 실패가 얼마나 나쁜지도 알려줍니다. ‘10% 나빠졌다’ ‘20% 안 좋아졌다’ 등으로 정량화해서요.”
모방학습과 달리 강화학습은 사람 행동을 따라하는 데까지 시간이 오래 걸린다. 로봇이 혼자서 답을 찾아야 하기 때문이다. 다만, 한번 답을 찾으면 그때부턴 성공률이 치솟는다. “1시간 동안 시행하는 로봇이 45분간 계속 실패만 하다가, 갑자기 마법처럼 성공하기 시작해요. 성공률 그래프를 보면 0%가 쭉 이어지다 어느 순간 수직으로 올라갑니다.” 연구팀은 이를 “아하 모먼트(Aha Moment)”라고 불렀다. 수없이 같은 동작을 반복하던 운동선수가 어느 순간 노하우를 깨닫는 점과 유사하다.
쪽집게 ‘과외’ vs 야간 ‘자율 학습’
‘열공’ 중인 휴머노이드,
20~30년 뒤 가정에서 만날까
강화학습의 접근법은 모방학습과는 반대다. 그럼에도 둘의 목표는 하나로 겹친다. 사람이 되는 일이다. 휴머노이드 연구자들은 사람의 노동력을 대체하는 것부터 가사와 돌봄, 반려까지 그리고 있다. 허스튼 CRO는 “아직은 이르지만 고령화 사회에 맞춰 휴머노이드가 사람 일을 대부분 거들 것”이라고 전망했다.
이는 기업인뿐만 아니라 학교 연구자들도 같은 의견이었다. 김 교수는 “데이터를 확보하면 할수록 그릇별로 특징을 구분하거나 식기세척기의 그릇을 깨뜨리지 않고 집을 수 있다”며 “그때가 되면 설거지를 비롯해 많은 집안일을 대신할 것”이라고 답했다. 비익 교수 또한 “어떤 방식으로든 데이터를 장기간 모은 로봇은 인간이 물리적 세계에서 하는 거의 모든 일을 할 수 있을 것”이라며 “20~30년 뒤에는 가정에서 만나리라 예상한다”고 전했다.
이처럼 현지에서 만난 전문가들의 휴머노이드에 대한 평가나 전략 등은 각기 달랐지만, 그 목표는 항상 일치했다. 로봇이 학습할 데이터를 대량으로 확보하면서 결국에는 ‘반려’가 가능한 사람 닮은 로봇을 만들어 내는 일이다. 피지컬AI는 지금, 휴머노이드에 탑승해 사람과 함께 일하고 배우는 동료로서 우리 곁으로 다가오는 문턱에 서 있다.
2·3 비익 USC 교수팀의 강화학습 집게 손 로봇이 강화학습 언어모델 ‘ReWiND’를 통해 수건 접는 법을 스스로 터득하고 있다.
