지하 구간을 지나는 지하철 안, 신호가 뚝 끊겼다. 그런데 외국인 동료에게 보여 줄 통역 화면은 멈추지 않고 한국어를 영어로 바꿔 준다. 인터넷이 안 터지는데 어떻게 번역이 됐을까. 답은 간단하다. 그 번역을 한 건 멀리 있는 서버가 아니라, 내 주머니 속 스마트폰 그 자체였다.
요즘 스마트폰 광고에 빠지지 않고 등장하는 말이 '온디바이스 AI(On-device AI)'다. 단어는 거창하지만 핵심은 한 문장으로 정리된다. AI 연산을 인터넷 너머 데이터센터가 아니라 기기 안에서 직접 처리한다는 뜻이다.
클라우드 없이, 기기 안에서 생각하는 AI
지금까지 우리가 쓰던 대부분의 AI 서비스는 '클라우드 방식'이었다. 내가 입력한 문장이나 사진을 인터넷을 통해 거대한 서버로 보내고, 그곳에서 계산한 결과를 다시 내 화면으로 받아 오는 구조다. 똑똑하지만 인터넷이 없으면 무용지물이고, 내 데이터가 외부로 나간다는 점이 늘 마음에 걸렸다.
온디바이스 AI는 이 흐름을 뒤집는다. 스마트폰 안에 들어간 NPU(신경망 처리 장치)라는 전용 칩이 작은 AI 모델을 직접 굴린다. 번역, 음성 인식, 사진 보정 같은 작업을 기기 혼자 해내는 것이다.
왜 굳이 '내 안에서' 처리할까
이렇게 바꾸는 데에는 분명한 이유가 셋 있다.
첫째는 속도다. 데이터를 서버까지 보냈다 받는 왕복 시간이 사라지니, 반응이 즉각적이다. 카메라를 들이대면 곧바로 피사체를 알아보는 식이다.
둘째는 프라이버시다. 내 사진, 내 통화 내용, 내 메모가 기기 밖으로 나가지 않는다. 민감한 정보일수록 이 차이는 크다.
셋째는 효율이다. 인터넷이 약한 곳에서도, 비행기 모드에서도 일부 기능이 작동한다. 서버 비용도 줄어든다.
클라우드 AI가 '멀리 있는 천재'라면, 온디바이스 AI는 '항상 곁에 있는 비서'다.
이미 우리가 쓰고 있는 기능들
먼 미래의 이야기가 아니다. 최근 스마트폰에는 이미 온디바이스 AI 기능이 곳곳에 들어와 있다. 통화가 오면 AI가 대신 받아 상대의 용건을 텍스트로 정리해 주는 통화 스크리닝, 외국어를 실시간으로 통역해 주는 기능, 사진 속 불필요한 사람이나 물체를 지워 주는 사진 편집, 손으로 끄적인 스케치를 그럴듯한 그림으로 바꿔 주는 기능까지. 대부분 NPU 위에서 돌아간다.
한계도 분명하다
물론 만능은 아니다. 기기 안의 칩과 메모리에는 한계가 있어서, 아주 방대한 지식을 다루거나 긴 글을 정교하게 써내는 무거운 작업은 여전히 클라우드의 힘을 빌린다. 그래서 요즘 흐름은 '둘 중 하나'가 아니라, 가벼운 일은 기기가 처리하고 무거운 일만 서버로 넘기는 하이브리드 방식으로 가고 있다.
스마트폰 살 때 무엇을 볼까
그래서 새 폰을 고를 때 예전처럼 카메라 화소나 화면 크기만 볼 게 아니다. AI 기능을 제대로 누리려면 NPU 성능과 넉넉한 메모리(RAM)가 받쳐 줘야 한다. 같은 브랜드라도 최신 기능이 구형 기종에서는 빠지는 경우가 있으니, 어떤 AI 기능이 그 모델에서 실제로 지원되는지도 확인하는 게 좋다.
기술은 점점 더 조용해지고 있다. 가장 똑똑한 도구는 존재를 뽐내지 않고 그냥 곁에서 일을 해낸다. 온디바이스 AI가 향하는 곳도 바로 그 지점이다. 오늘 내 폰이 무심코 해 준 작은 일들 속에, 사실은 꽤 큰 변화가 숨어 있는 셈이다.
