OpenELM

생성형 인공지능
{{{#!wiki style="margin:-0px -10px -5px" {{{#!folding [ 펼치기 · 접기 ] {{{#!wiki style="margin:-5px -1px -11px; word-break:keep-all"	텍스트	[[소설\| 소설 ]] NovelAI · AI Dungeon · AI 노벨리스트 · GPTRPG
대화형	[[챗봇\| 챗봇 ]] ChatGPT · Microsoft Copilot · Gemini · CLOVA X · Cue: · Inflection AI · Mistral AI · Grok
대화형	[[언어 모델\| 언어모델 ]] GPT-1 · GPT-2 · GPT-3 · GPT-4· LLaMA · Gemma · Claude · Phi · 엑사원
코드	[[코드#컴퓨터 소프트웨어\| 코드 ]] GitHub Copilot · Devin · Phind
그림/영상	[[그림 인공지능\| 그림 ]] Midjourney · DALL·E · Artbreeder · NovelAI Image Generation · Stable Diffusion · FLUX.1 · Gaugan2 · Dream by WOMBO · Adobe Firefly · Deep Dream Generator
	[[영상\| 영상 ]] Stable Video · Sora · Lumiere · Veo · Runway AI · Luma Dream Machine
	[[모델링\| 모델링 ]] LATTE3D
오디오/소리	[[음성\| 음성 ]] A.I.VOICE · DeepVocal · Voice Engine
오디오/소리	[[음악\| 음악 ]] Suno · Stable Audio · Udio · AIVA · SOUNDRAW · keeneat · Mix.audio · vio.dio
멀티모달	[[멀티모달 모델\| 멀티모달 ]] GPT-4o · o1 · ~~GPT-5~~ · Gemini · 삼성 가우스
행위/동작	[[인공지능 로봇\| 로봇 ]] Robot Operating Syetem(ROS) · Google RT-X · 프로젝트 그루트	}}}}}}}}}

OpenELM Open Efficient Language Models
<colbgcolor=#333><colcolor=#fff> 개발	Apple
기능	언어 모델
공개	2024년 4월
라이선스	오픈 소스 소프트웨어 [1]
링크

1. 개요2. 종류3. 특징

[clearfix]

1. 개요

Apple에서 개발한 오픈 소스 소형 언어모델(sLM)이다.

2. 종류

OpenELM은 270M, 450M, 1.1B, 3B 4개 모델과 각각의 Instruct 모델로 구성된다. 여기서 모델명은 파라미터 수를 의미하며 가장 큰 모델인 3B 모델은 30억 파라미터를 가지고 있다.

3. 특징

소형 언어모델인 sLM 중에서도 작은 편에 속한다. 그렇기 때문에 다른 모델에 비해 성능은 떨어지지만 운영에 필요한 비용이 저렴하고 휴대폰이나 PC 등에서도 온디바이스로 비교적 잘 작동한다.

트랜스포머의 각 레이어에서의 파라미터 수를 변화시킴으로써 모델 전체의 파라미터를 효율적으로 배분하는 'layer-wise scaling'이라고 하는 기술을 채용했다.
구체적으로는, 입력에 가까운 레이어에서는 어텐션이나 피드 포워드를 위한 잠재 파라미터의 차원을 작게 하고, 출력에 가까워짐에 따라 서서히 레이어를 넓혀 간다. 이를 통해 제한된 파라미터 수에서 각 레이어에 적절한 수의 파라미터를 할당할 수 있다. 기존 언어 모델에서는 모든 레이어에서 같은 설정을 가지는 것이 일반적이었지만, 이 layer-wise scaling에 의해서 레이어 마다 다른 설정을 실시해, 파라미터를 보다 효과적으로 활용하는 것이 가능하게 된다. #

[1] 정확히는 Apple Sample Code License를 사용한다.

OpenELM

1. 개요

2. 종류

3. 특징

분류