생성형AI 창작*출판 플랫폼 GALATEA - 500억 투자 확보 자세히보기

IT.Finance.BIO_Trend/AI.인공지능.로봇

AI칩 격전지 바뀐다...모델 훈련에서 추론으로

스타워커 2024. 2. 27. 11:22
 

AI칩 격전지 바뀐다...모델 훈련에서 추론으로 - 디지털투데이 (DigitalToday)

[디지털투데이 황치규 기자] AI칩 시장에서 업체 간 경쟁의 무게 중심이 AI 모델 훈련에서 훈련된 모델을 운영하는 쪽으로 바뀌고 있다.AI 산업이 진화하고 기업과 개인 사용자들이 생성형 AI 툴을

www.digitaltoday.co.kr

엔비디아 지난해 매출 중 추론 비중 40% 이상 차지

AI 칩 [사진: 셔터스톡] 출처 : 디지털투데이 (DigitalToday)(https://www.digitaltoday.co.kr)

<스타워커 코어 인사이트>

엔비디아 데이터센터 칩 매출 구성은 AI 모델 운영, 이른바 추론(inference) 비중이 커지는 쪽으로 변화가 진행 중심을 보여주는 첫 중요 지표로 추론용 칩이 엔비디아 입지를 위협한다는 일부 우려를 완화시켰다고 WSJ은 전했다.

AI 추론은 훈련에  비해 엔비디아 고가 H100 AI 칩을 굳이 사용하지 않고 상대적으로 덜 강력하고 저렴한 칩으로도 수행할 수 있는 영역으로 꼽힌다. AI 훈련에서 엔비디아 칩을 압도적인 영향력을 행사하지만 추론은 분위기가 좀 다르다.그러다 보니 엔 비디아에 도전장을 던진 크고 작은 회사들이 국내외에서 이미 다수 등장했고 적어도 추론쪽에선 엔비디아 입지가 약화될 수 있다는 일부 전망도 있다. 

뱅크오브아메리카의 비벡 아리아(Vivek Arya) 애널리스트는 "추론으로의 변화는 엔비디아 분기 실적 발표에서 나온 가장 중요한 뉴스였다"면서 "AI 모델 학습에 대한 투자가 급증함에 따라 AI 모델에서 수익을 창출하는 데 초점이 맞춰지면서 추론이 부상할 것이다. 엔비디아가 우위를 점하고 있는 AI 트레이닝에 비해 경쟁이 더 치열해질 수 있다"고 말했다.

출처 : 디지털투데이 (DigitalToday)(https://www.digitaltoday.co.kr)