d라이브러리

2018년 하반기 스마트폰 트렌드는 단연 ‘카메라’다. 후면에 카메라 2개가 달리는 듀얼 카메라를 넘어 트리플(3개), 쿼드(4개), 펜타(5개) 카메라까지. 스마트폰에 장착되는 카메라의 숫자가 갈수록 늘어나고 있다. 
‘스마트폰 카메라 전쟁’은 올해 3월 화웨이가 포문을 열었다. 화웨이는 후면에 카메라가 세 개 달린 트리플 카메라를 탑재한 ‘P20 프로’를 공개했다. 그러자 10월에 LG전자가 전면에 두 개, 후면에 세 개의 카메라로 이뤄진 ‘V40 ThinQ’를 세계 최초로 발표했다. 이어 삼성전자도 뒷면에만 4개의 카메라를 장착한 ‘갤럭시 A9’을 출시했다. 미국의 카메라 스타트업인 라이트(Light)는 올해 말 카메라 9개를 장착한 스마트폰을 출시할 예정이라고 예고했다. 스마트폰이 앞다퉈 카메라 수를 늘리는 이유는 뭘까.

Q. 왜 늘리나?
카메라는 스마트폰 사용자들이 가장 많이 쓰는 기능 중 하나다. LG전자가 지난 9월 미국과 한국에 거주하고 있는 만 20~44세 성인 1000명을 대상으로 조사한 결과에 따르면, 사람들은 스마트폰으로 음성 통화(81.6%)나 소셜네트워크서비스(SNS)(80.3%)를 하기 보다 카메라 기능을 가장 많이 쓰는 것으로 나타났다(87%). 
이들 중 대부분은 찍은 사진을 SNS에 올린다고 대답했다. 그래서 스마트폰을 구매할 때 가장 중요하게 고려하는 것이 카메라 성능이며, 응답자의 83%가 더 다양한 각도로 찍을 수 있는 스마트폰을 원한다고 밝혔다. 스마트폰의 하드웨어 혁신이 정체된 상황에서 소비자들의 수요를 반영하고, 다른 제조사와 차별화할 수 있는 요소로 카메라가 급부상하게 된 것이다.
그렇다고 스마트폰 카메라가 디지털일안반사식(DSLR) 카메라처럼 ‘고퀄’이 되기는 쉽지 않다. 스마트폰 카메라는 렌즈와 이미지 센서, 손 떨림 보정 기능 등 여러 부품이 합쳐져 모듈 형태로 돼 있다. 이 중에서도 중요한 것은 이미지 센서다. 이미지 센서는 렌즈를 통해 들어온 빛을 디지털 신호로 바꿔 촬영한 사진을 디스플레이로 볼 수 있도록 만들어주는 반도체다. 
김용석 성균관대 전기전자공학부 교수는 “이미지 센서가 클수록 빛을 더 잘 받아들일 수 있지만, 스마트폰은 센서 크기에 제약이 있어 DSLR 카메라를 넘어설 수는 없다”며 “카메라 모듈을 여러 개 달아 DSLR 카메라처럼 다양한 촬영 경험을 제공하려는 것이 요즘 추세”라고 말했다.

Q. 무엇이 좋아졌나?

스마트폰에 카메라가 여러 개 달려 있으면 우선 DSLR 카메라의 단렌즈로 촬영했을 때와 동일한 효과를 쉽게 낼 수 있다. 초점이 맞은 피사체를 제외하고 배경을 흐리게 만드는 ‘아웃포커싱’ 기능이 대표적이다. 
김 교수는 “2개 이상의 카메라 입력 데이터를 비교해 피사체와 배경을 분리하고, 배경에도 광학적인 효과를 넣어 합성하는 이미지 프로세싱 알고리즘을 쓸 수 있다”고 말했다.
줌 기능이 강화되는 것도 장점이다. 기존 스마트폰 카메라는 렌즈가 고정된 상태에서 찍힌 이미지를 확대하는 ‘디지털 줌’ 방식만 썼기 때문에 화질이 떨어졌다. PC 화면이나 스마트폰 상에서 돋보기를 이용해 이미지를 강제로 확대하면 사진이 흐리게 보이는 것과 같다.
그런데 초점 거리가 다른 렌즈를 여러 개 사용하면 단계별 줌과 비슷한 효과를 낼 수 있다. 예를 들어 광각이나 초광각 렌즈로 풍경을 촬영하고, 망원렌즈로 가까운 거리의 사물이나 인물을 찍는 것이다. 
제조사마다 특수 카메라를 넣기도 한다. 화웨이의 P20 프로에는 흑백 사진만 찍는 모노카메라가 탑재됐다. 보통 이미지 센서 앞부분에는 빨간색, 녹색, 파란색을 걸러주는 컬러 필터가 있다. 각각의 색상에 맞는 빛을 거른다는 것은 그만큼 센서에 닿는 빛의 양이 적다는 뜻이다. 
반면 흑백 이미지 센서는 빛을 거르지 않아도 되기 때문에 훨씬 더 많은 빛을 받아들일 수 있다. 따라서 모노카메라로 피사체를 찍은 윤곽을 컬러 사진에 입히면 선명도를 더 높일 수 있다. 빛이 부족한 환경에서 더 선명하고 깨끗한 사진을 얻을 수 있는 셈이다.
삼성전자의 갤럭시 A9에는 심도카메라가 들어가 있다. 심도카메라는 카메라와 피사체, 카메라와 배경과의 거리를 계산할 때 쓰인다. 다양한 거리 정보를 저장해 배경 흐림 효과를 훨씬 더 자연스럽게 구현할 수 있다. 김 교수는 “서로 다른 특성을 가진 카메라를 조합해 스마트폰 하나로 다양한 상황에서 원하는 사진을 찍을 수 있게 된 셈”이라고 말했다.

Q. 많을수록 좋나?

그렇다고 스마트폰에서 카메라 수가 무한정 늘어날 수는 없다. 디자인과 가격 등 다른 요인들을 고려해야 하기 때문이다. 카메라가 많이 달릴수록 내부 배치를 고민할 수밖에 없고, 가격도 상승하게 된다. 
김 교수는 “당분간 제조사들이 앞다퉈 카메라 개수 경쟁을 계속하겠지만, 결국에는 3개 이내로 좁혀지지 않을까 생각한다”며 “단순히 카메라 숫자를 늘리는 것 보다는 구글이나 애플처럼 인공지능(AI) 기술과 결합해서 스마트폰 카메라 성능을 향상시키는 게 더 중요해질 것”이라고 전망했다. 
최근 스마트폰에는 딥러닝 기반의 ‘AI 프로세서’가 탑재되고 있다. AI 프로세서는 사람의 뇌가 정보를 처리하는 방식과 비슷한 인공신경망을 이용해 데이터를 분석, 추론하고 스스로 학습한다. 
만약 스마트폰의 이미지, 영상 처리, 음성 인식 등에서 딥러닝을 구현하려면 수많은 데이터와 알고리즘으로 컴퓨터를 학습시켜야 한다. 하지만 기존의 CPU(중앙처리장치)나 GPU(그래픽연산장치)로는 전력이 너무 많이 소모되고 비효율적이다. 그래서 등장한 것이 ‘NPU(신경망처리장치)’다. 
NPU는 CPU와 GPU처럼 정보 처리와 연산을 수행하는 반도체 칩이지만, 이들과 달리 여러 개의 연산을 동시다발적으로 처리할 수 있다. 방대한 데이터가 필요한 딥러닝에 특화된 처리 장치라고 할 수 있다. 지난해 화웨이가 개발한 세계 첫 모바일용 AI 프로세서 ‘기린 970’, 애플의 ‘아이폰 X’에 탑재된 ‘A11 바이오닉’이 대표적이다. A11 바이오닉의 경우 초당 6000억 번의 연산을 처리하는 것으로 알려졌다.
스마트폰에서 NPU는 특히 카메라 기능에서 위력을 발휘한다. 예를 들어 자동으로 최적 화질, 최적 모드로 촬영하게 해주는 인텔리전트 카메라 기능을 꼽을 수 있다. 카메라의 움직임에 따라 즉시 피사체를 인지해 원하는 사진을 찍을 수 있다. 갤럭시S9의 ‘AR 이모지’, 아이폰의 ‘미모지(Memoji)’ 기능처럼 자신을 닮은 아바타를 자동으로 생성해 얼굴 표정을 추적하고 이모지로 활용하는 것도 NPU와 카메라 기능이 결합한 사례다. 촬영된 사진을 자동으로 분류하는 것도 가능하다. 김 교수는 “앞으로는 AI 프로세서가 스마트폰의 혁신을 이끌 것”이라고 말했다.