후처리 중복제거
-
데이터 중복제거 (Deduplication)스토리지 지식 2020. 12. 24. 23:26
AFA (All-flash Array)가 출시되면서 데이터 중복 제거 기술이 등장하였다. 중복 제거 (Deduplication)는 스토리지에 저장되는 데이터 블록을 비교하여 같은 데이터의 중복된 저장을 방지하여 저장 효율을 높이기 위함이다. 데이터의 중복 여부를 판단하고 중복 제거된 데이터만 쓰기 위한 추가적인 연산이 필요하여 성능에 영향을 미치게 되므로 HDD 기반 스토리지에서는 사용하지 않고 올플래시 스토리지에 적용하고 있다. 중복제거 과정 일정한 사이즈로 블록을 슬라이싱 연산 (Hashing)을 통한 블록 비교 중복 제거된 블록만 쓰기 중복제거율 결정 요소 시스템 환경 데이터 타입 블록 사이즈 고정 및 가변 블록 중복제거 방식 In-line - 디스크에 쓰기 전 중복 데이터를 제거하는 방식 - 메모..