| {{{#!wiki style="margin:-0px -10px -5px" {{{#!folding [ 펼치기 · 접기 ] {{{#!wiki style="margin:-5px -1px -11px; word-break:keep-all" | OpenAI | GPT (1/2/3/4/oss/5/6개발 중) · (o1/o3/o4) |
| 구글 | Gemini(1/2/3) · Gemma · LaMDA · PaLM 2 | |
| Anthropic | Claude (Opus/Sonnet/Haiku) | |
| xAI | Grok | |
| 메타 | LLaMA | |
| 기타 | HyperCLOVA(네이버) · 카나나(카카오) · 삼성 가우스(삼성전자) · Exaone(LG AI연구원) · 믿:음(KT) · A.X(SK텔레콤) · Phi(Microsoft) · OpenELM(Apple) · DeepSeek · Qwen(알리바바) · 어니봇(바이두) · Kimi(Moonshot AI) | }}}}}}}}} |
| OpenELM Open Efficient Language Models | |
| <colbgcolor=#333><colcolor=#fff> 개발 | Apple |
| 기능 | 언어 모델 |
| 공개 | 2024년 4월 |
| 라이선스 | 오픈 소스 소프트웨어[1] |
| 링크 | |
1. 개요
Apple에서 개발한 오픈 소스 소형 언어 모델(sLM).2. 종류
M, B는 파라미터 수를 의미하며 각각 Million, Billion 단위다.Instruct는 사용자의 명령형 프롬프트에 대응하도록 학습된 모델이다.
MLX[2] 포팅도 가능하다.
- OpenELM-270M
- OpenELM-450M
- OpenELM-1_1B
- OpenELM-3B
- OpenELM-270M-Instruct
- OpenELM-450M-Instruct
- OpenELM-1_1B-Instruct
- OpenELM-3B-Instruct
3. 특징
소형 언어모델인 sLM 중에서도 작은 편에 속한다. 그래서 다른 모델에 비해 성능은 떨어지지만, 운영에 필요한 비용이 저렴하고 휴대폰이나 PC 등에서도 온디바이스로 비교적 잘 작동한다.트랜스포머의 각 레이어에서의 파라미터 수를 변화시킴으로써 모델 전체의 파라미터를 효율적으로 배분하는 'layer-wise scaling'이라고 하는 기술을 채용했다.
구체적으로는, 입력에 가까운 레이어에서는 어텐션이나 피드 포워드를 위한 잠재 파라미터의 차원을 작게 하고, 출력에 가까워짐에 따라 서서히 레이어를 넓혀 간다. 이를 통해 제한된 파라미터 수에서 각 레이어에 적절한 수의 파라미터를 할당할 수 있다. 기존 언어 모델에서는 모든 레이어에서 같은 설정을 가지는 것이 일반적이었지만, 이 layer-wise scaling에 의해서 레이어 마다 다른 설정을 실시해, 파라미터를 보다 효과적으로 활용하는 것이 가능하게 된다. #
4. 둘러보기
#!if p1="style=\"display: flex; width: min(calc(100% / 4), 100px); height: 95px; padding-bottom: 5px; border-radius: min(10px, 1.5vw); flex-grow: 1; background: #f5f5f7\" dark-style=\"background: #272829\""
#!if p2="style=\"margin: auto auto 0\""
- [ 펼치기 · 접기 ]
- ||<-4><tablewidth=100%><tablebgcolor=transparent><bgcolor=#333>하드웨어 제품
#!wiki {{{#!wiki [[Mac(컴퓨터)|[[파일:Mac 심볼.svg|width=80&theme=light]][[파일:Mac 심볼 다크.svg|width=80&theme=dark]][br]{{{#333,#ddd Mac}}}]] }}}#!wiki {{{#!wiki [[iPhone|[[파일:iPhone 14 Pro 심볼(1).svg|width=25&theme=light]][[파일:iPhone 14 Pro 심볼(1) 화이트.svg|width=25&theme=dark]][br]{{{#333,#ddd iPhone}}}]] }}}#!wiki {{{#!wiki [[iPad|[[파일:iPad Pro 아이콘 라이트.svg|width=40&theme=light]][[파일:iPad Pro 아이콘 다크.svg|width=40&theme=dark]][br]{{{#333,#ddd iPad}}}]] }}}#!wiki {{{#!wiki [[틀:Apple 디스플레이 라인업|[[파일:Pro Display XDR 심볼(1).svg|width=55&theme=light]][[파일:Pro Display XDR 심볼 화이트.svg|width=55&theme=dark]][br]{{{#333,#ddd Display}}}]] }}}#!wiki {{{#!wiki [[Apple Watch|[[파일:Apple Watch 심볼.svg|width=22&theme=light]][[파일:Apple Watch 심볼 다크.svg|width=22&theme=dark]][br]{{{#333,#ddd Watch}}}]] }}}#!wiki {{{#!wiki [[AirPods|[[파일:AirPods Pro 심볼.svg|width=45&theme=light]][[파일:AirPods Pro 심볼 화이트.svg|width=45&theme=dark]][br]{{{#333,#ddd AirPods}}}]] }}}#!wiki {{{#!wiki [[Apple TV|[[파일:Apple TV 4K 3rd 심볼.svg|width=42&theme=light]][[파일:Apple TV 심볼 다크.svg|width=42&theme=dark]][br]{{{#333,#ddd TV}}}]] }}}#!wiki {{{#!wiki [[HomePod|[[파일:HomePod 2세대 심볼.svg|width=60&theme=light]][[파일:HomePod 2세대 심볼 화이트.svg|width=60&theme=dark]][br]{{{#333,#ddd HomePod}}}]] }}}#!wiki {{{#!wiki [[Apple Vision Pro|[[파일:Vision 심볼.svg|width=60&theme=light]][[파일:Vision 심볼 화이트.svg|width=60&theme=dark]] [br]{{{#333,#ddd Vision}}}]] }}}#!wiki {{{#!wiki [[AirTag|[[파일:AirTag 심볼.svg|width=50&theme=light]][[파일:AirTag 심볼 다크.svg|width=50&theme=dark]][br]{{{#333,#ddd AirTag}}}]] }}}#!wiki {{{#!wiki [[Apple/액세서리|[[파일:Magic Keyboard 심볼.svg|width=63&theme=light]][[파일:Magic Keyboard 심볼 화이트.svg|width=63&theme=dark]][br]{{{#333,#ddd 액세서리}}}]] }}}#!wiki {{{#!wiki [[Apple Silicon|[[파일:Apple Silicon 심볼.svg|width=35&theme=light]][[파일:Apple Silicon 심볼 화이트.svg|width=35&theme=dark]][br]{{{#333,#ddd Silicon}}}]] }}}기타 단종 제품군｜Apple Car｜스티커｜ 소프트웨어 <colbgcolor=#333><colcolor=#fff>OS iOS ｜ iPadOS ｜ watchOS ｜ macOS ｜ tvOS ｜ visionOS App iOS 앱 ｜ Watch 페이스 AI MLX ｜ Apple Intelligence ｜ OpenELM 디자인 시스템 Aqua ｜ Liquid Glass 서비스 프로그램 Apple Trade In ｜ AppleCare+ ｜ Apple 베타 소프트웨어 프로그램 이벤트 Apple 이벤트 ｜ WWDC Apple Store 한국 ｜ 미국 ｜ 일본 ｜ 영국 ｜ 싱가포르 ｜ 태국 ｜ 인도 ｜ 대만 결제 및 구독 Apple One ｜ Apple Pay ｜ Apple Gift Card 캠퍼스 쿠퍼티노 Campus ｜ Apple Park 오스틴 Riata Vista Circle ｜ Austin Campus 관계사 자회사 Beats ｜ Shazam 인물 창업주 CEO 이사회 의장 경영진 이사진 기타
[1] 정확히는 Apple Sample Code License를 사용한다.[2] Apple Silicon용 딥러닝 프레임워크