삼성전자가 ‘온 디바이스 AI’ 시대 연 비결은?

 

애플·구글 보다 빨랐다…삼성전자가 ‘온 디바이스 AI’ 시대 연 비결은?

삼성전자는 지난 1월 미국 캘리포니아주 새너제이 SAP센터에서 ‘갤럭시 언팩 2024’(Galaxy Unpacked 2024)를 열고 통해 차세대 주력 스마트폰 ‘갤럭시 S24 시리즈’를 공개했다. [사진 삼성전자] © 제공: 이코노미스트

<스타워커 코어 인사이트>

‘온 디바이스 AI’ 주목받는 이유

생성형 AI 등장으로 처리가 필요한 데이터양이 급격하게 증가하면서 서비스 지연이 발생하는 등의 문제가 발생하고 있다. 비용도 만만찮다. 업계에선 챗GPT 하루 추론용 연산 비용이 약 70만 달러(약 9억원)에 달한다고 추산한다.

온 디바이스 AI는 기기 자체에 장착된 반도체 칩을 통해 연산·추론 한다는 특징을 지닌다. 이 때문에 저지연·보안성에서 강점을 지닌 데다 비용 측면에서도 유리하다. 클라우드 기반 AI 서비스의 한계를 보완할 수 있는 기술로 주목받는 이유다.

AP 칩 성능은 생성형 AI 기능이 갤럭시 S24 시리즈에 다수 구현될 수 있는 배경이기도 하다. 생성형 AI 성능은 통상 기반 모델의 매개변수(파라미터·Parameter) 수로 가늠한다. 오픈AI·구글·네이버 등은 2000억~3500억 개 규모의 파라미터 수를 지닌 초대규모 AI 모델을 기반으로 ‘생성형 AI 검색’이나 ‘챗봇’ 등의 서비스를 구현했다. 

퀄컴은 스냅드래곤8 3세대 칩이 100억 개의 파라미터 수를 갖췄다고 밝힌 바 있다. 온라인 기반의 초대규모 AI 모델과 비교할 바는 아니지만, 개인 기기에 장착되는 단 하나의 칩임을 고려하면 세계 최대 수준이다. 엑시노스 2400의 파라미터 규모는 공개되지 않았지만, 스냅드래곤8 3세대와 비슷한 수준을 갖췄으리란 게 IT업계 추정이다.

출처 : 이코노미스트