애플·구글 보다 빨랐다…삼성전자가 ‘온 디바이스 AI’ 시대 연 비결은?
“삼성전자가 ‘온 디바이스 인공지능’(On-Device AI) 개념을 현실에 구현해 냈다. 이는 오픈AI(Open AI)가 주도한 ‘생성형 인공지능’(Generative AI) 확산만큼의 변화를 만들어 낼 수 있다고 본다.”IT
www.msn.com
<스타워커 코어 인사이트>
‘온 디바이스 AI’ 주목받는 이유
생성형 AI 등장으로 처리가 필요한 데이터양이 급격하게 증가하면서 서비스 지연이 발생하는 등의 문제가 발생하고 있다. 비용도 만만찮다. 업계에선 챗GPT 하루 추론용 연산 비용이 약 70만 달러(약 9억원)에 달한다고 추산한다.
온 디바이스 AI는 기기 자체에 장착된 반도체 칩을 통해 연산·추론 한다는 특징을 지닌다. 이 때문에 저지연·보안성에서 강점을 지닌 데다 비용 측면에서도 유리하다. 클라우드 기반 AI 서비스의 한계를 보완할 수 있는 기술로 주목받는 이유다.
AP 칩 성능은 생성형 AI 기능이 갤럭시 S24 시리즈에 다수 구현될 수 있는 배경이기도 하다. 생성형 AI 성능은 통상 기반 모델의 매개변수(파라미터·Parameter) 수로 가늠한다. 오픈AI·구글·네이버 등은 2000억~3500억 개 규모의 파라미터 수를 지닌 초대규모 AI 모델을 기반으로 ‘생성형 AI 검색’이나 ‘챗봇’ 등의 서비스를 구현했다.
퀄컴은 스냅드래곤8 3세대 칩이 100억 개의 파라미터 수를 갖췄다고 밝힌 바 있다. 온라인 기반의 초대규모 AI 모델과 비교할 바는 아니지만, 개인 기기에 장착되는 단 하나의 칩임을 고려하면 세계 최대 수준이다. 엑시노스 2400의 파라미터 규모는 공개되지 않았지만, 스냅드래곤8 3세대와 비슷한 수준을 갖췄으리란 게 IT업계 추정이다.
출처 : 이코노미스트
'IT.Finance.BIO_Trend > AI.인공지능.로봇' 카테고리의 다른 글
"리벨리온 AI칩 '아톰' 첫 시연 반응 뜨거워...세계 무대 진출 신호탄" (0) | 2024.02.26 |
---|---|
오픈 AI '소라' 쇼트폼 만드는 수준 대단...국내 딥페이크 막을 길 없어 (0) | 2024.02.26 |
AI를 서비스에 도입하려면?...G마켓의 숨은 노력 (0) | 2024.02.26 |
학생에 무료 AI·SW 교육…교육부 내달부터 '디지털새싹' 운영 (0) | 2024.02.26 |
LLM 성능 높이는 또 하나의 워딩 등장..."이거 아주 중요한 거야" (0) | 2024.02.26 |