1. 개요
On-Device AI기기에 탑재(On-Device)된 AI
기존의 AI는 데이터 센터 중심의 클라우드 서버에서 수집된 데이터를 학습한 후, 결과값을 개별 노드에 전송하는 방식으로 이루어졌다. 하지만 이러한 방식은 데이터 수집과 전송에 시간이 소요될 뿐만 아니라, 인터넷 연결이 불가능한 환경에서는 사용할 수 없다는 단점이 존재한다.
온디바이스 인공지능은 이러한 단점을 보완하기 위해 기기 자체에 인공지능 목적 연산 외 기타 업무는 최소한으로 줄인 인공지능 칩을 내장함으로써 통신 연결 없이도 기기가 스스로 가벼운 AI 학습과 연산을 수행하는 것이 가능해진다.
2. 장점
- 저지연
클라우드 서버를 거치지 않기 때문에 데이터 수집과 전송에 소요되는 시간이 짧아져 저지연을 실현할 수 있다.
- 개인정보 보호
클라우드 서버에 데이터를 전송하지 않기 때문에 개인정보를 보호할 수 있다.
- 안정성
인터넷 연결이 불가능한 환경에서도 사용할 수 있어 안정성을 높일 수 있다.
3. 단점
- 성능
현재 인공지능 업계는 매개변수 규모에 어느 정도 비례하여 성능 향상을 보여주고 있는 LLM 기반 방법론이 주류이기 때문에, 전용칩과 메모리 유닛이 적어서 연산 능력이 부족한 온디바이스의 경우 성능의 한계가 존재한다. 따라서 간단한 연산을 위주로 진행하며, 그 이상의 것들은 데이터 센터에서 처리한다.
4. 활용
- 웨어러블 디바이스
심박수 측정, 운동량 측정, 수면 추적 등 건강 관리 기능.
- IoT 기기
가전제품, 보안 카메라, 자동차 등.
5. 주요 기술
- 신경망 가속기
AI 연산을 효율적으로 수행하기 위한 하드웨어.
- 컴파일러
AI 모델을 기기에 최적화된 형태로 변환하는 소프트웨어.
- 데이터 압축
AI 학습에 필요한 데이터를 효율적으로 저장하기 위한 기술.