작지만 똑똑한 AI, sLLM 시대 온다

 

 

 

오픈AI의 CEO 샘 올트먼은 챗GPT(대화형 언어모델 GPT)의 연산 비용이 매우 높아 눈물이 날 정도라고 비유했습니다. 현재 대규모 언어모델(LLM) 주도권 경쟁이 치열하게 벌어지고 있으며, 국내 스타트업들이 소형 대규모 언어모델(sLLM)을 개발하여 틈새를 공략하고 있습니다.

 

 

스캐터랩은 인공지능 챗봇 '이루다'를 개발한 회사로, sLLM인 '핑퐁1'을 개발하고 있습니다. sLLM은 대규모 언어모델보다 파라미터 수가 적기 때문에 학습 및 운영 비용이 더 적게 듭니다. 스캐터랩은 이루다 2.0을 개발할 때도 자체 개발한 sLLM인 '루다 젠1'을 기반으로 하여 신조어나 사회적 이슈에 대응하도록 학습시켰습니다.

 

 

기계 독해 기술을 개발하여 상용화한 스타트업들도 sLLM 개발에 참여하고 있습니다. 포티투마루는 'LLM42'라는 sLLM을 개발하고 있으며, 엔씨소프트도 자체 sLLM을 우선 공개하고 초거대 AI 모델인 바르코의 기반으로 활용할 계획입니다.

 

 

스탠퍼드대의 연구진은 파라미터 70억개를 갖춘 메타의 라마를 미세 조정하여 sLLM '알파카'를 개발하는 데 600달러(약 80만원)를 지출했습니다. 이는 오픈AI의 GPT-3가 학습에 1000만달러(약 132억원)를 투입한 것과 비교하여 매우 저렴한 비용이었습니다.

 

 

이러한 sLLM들은 특정 영역에서 높은 수준의 생성 작업을 수행하며, 신속한 미세 조정과 활용성이 뛰어나다는 장점이 있습니다. 이런 sLLM들은 기업이나 개인들이 자신들의 필요에 맞게 AI 캐릭터를 만들 수 있는 플랫폼으로 활용될 수 있으며, AI 기술 경쟁은 모델 싸움에서 데이터 경쟁으로 점차 전환되고 있습니다. 이를 고려해 국내 스타트업들은 sLLM 개발에 투자하고 있습니다.