나무모에 미러 (일반/어두운 화면)
최근 수정 시각 : 2026-01-24 23:58:35

OpenZL


파일:OpenZL 로고.svg
1. 개요2. 배경3. 특성

1. 개요

메타 플랫폼즈가 오픈소스로 개발한 포멧 인식 (Format-Aware) 무손실 압축 프레임워크이자 파일 포멧이다. # 확장자는 *.ozl이다.

2. 배경

원래는 메타가 자사 서비스에서 인터넷 대역폭을 효율적으로 다루기 위해서 쓰기 위해 개발했다. 2025년 10월경에 메타에서 공식적으로 발표했다. 특징으로는 압축 대상에 대한 특성에 기반해서 여러가지 압축 코덱이 적용이 가능하고 압축 과정에 쓰인 코덱의 순서를 그래프라는 개념으로 헤더에 기록하여 디코딩시에도 가역성을 보장한다. 메타 측에서는 이렇게 개별 파일의 특성에 맞게 개인화 된 압축을 적용함으로써 Zstandard (ZStd)보다 더 높은 압축률을 달성할 수 있다고 했다.# 무엇보다도 PyTorch를 이용한 기계학습에서 체크포인트 목적으로 모델 파라미터를 아카이빙 하는 데에 있어서 효과적인 용량 절감이 가능하다는 점을 어필했다.

3. 특성

OpenZL은 하나의 파일을 압축할 때에 그래프에 기반하여 인코딩과 디코딩이 이루어지며 파일의 특성에 따라서 이러한 그래프가 서로 상이하게 나타난다. 그렇기 때문에 압축 그래프를 파일 헤더에 남겨 디코딩 과정에서 참조할 수 있도록 했다. 또한 각 그래프의 노드는 곧 OpenZL의 압축 코덱을 의미하며 내부 데이터의 특성에 따라서 최적의 코덱이 달라진다. 중요한 것은 같은 파일에도 여러번의 압축을 적용할 수 있어 데이터의 특성에 기반해서 압축 그래프 최적화를 통해 높은 압축률을 달성할 수 있다.

0.1.0 버전 기준으로 OpenZL의 코덱도 메타만의 특화 알고리즘이 많이 적용되었다. 부동소수점 특화 코덱으로 Float Deconstruct, ConvertNumToStructLE가 있고 정수 특화 코덱으로 FieldLz, RangePack, Zigzag 등이 있다.

노드에 넣을 수 있는 커스텀 코덱을 직접 구현할 수도 있다.