전체 글
-
디스크가 동시에 2개 장애나면?스토리지 지식 2020. 12. 29. 23:50
RAID 5 & Double Disk Failure 제목처럼 이 주제에 대한 글을 쓰는 이유는, 아래의 질문을 받은 적이 있기 때문이다. RAID 5 : 디스크 동시에 두 개 나가면 어떡해요? 그러면 RAID 6로 할래요. Mirroring : 디스크 한 개 장애 시에만 보장되잖아요. 이중화 말고 삼중화 안돼요? 스토리지 도입 시 RAID 레벨을 정할 때, 시스템의 가용성만 고집하는 경우가 있다. 그리하여 이로 인한 성능 손해는 자주 간과되곤 한다. RAID 5는, 3D+1P, 7D+1P 등의 구성으로, 다수의 데이터에 1개의 Parity bit를 통해, 1개의 디스크 장애에 대응 가능하다. 만일 1개 디스크가 고장 난 상태에서 1개 더 고장 나면 데이터 손실 (Data Loss)을 겪을 수밖에 없다. ..
-
VDI를 위한 스토리지 사이징 가이드스토리지 지식 2020. 12. 28. 23:35
VDI (Virtual Desktop Infrastructure) 환경에서 핵심 하드웨어는 단연 스토리지이다. 수천, 수만 사용자의 엄청난 IO를 처리하기 때문이다. 이에, 적합한 스토리지를 선정하기 위해서는 용량과 성능을 동시에 만족시켜야 한다. 그러나, 용량은 인당 요구용량을 사용자 수만큼 고려하여 계산하면 되기에 논의에서 제외하기로 한다. 대체로, 성능에 대해 충분히 고민하지 않을 때 문제가 생기게 되므로, 성능만큼은 반드시 주의를 기울여야 한다. 성능을 만족시키기 위해서는 VM이 요구하는 IO량을 계산하고 그것을 처리할 수 있는 스토리지가 뒷받침되어야 할 것이다. VDI에 필요한 스토리지 성능은 아래의 과정으로 산출해볼 수 있다. IOPS 산정 전체 사용자가 사용하는 IO량 (IOPS)을 알기 위..
-
VDI 데이터 절감율이 낮은 이유스토리지 지식 2020. 12. 27. 21:21
VDI (Virtual Desktop Infrastructure) 환경의 스토리지 Data Reduction Ratio (데이터 절감율)은 작게는 5:1, 많게는 15:1, 또는 그 이상으로 다양하다. 물론 이 수치는 전체 스토리지 공간을 그만큼 (예를 들면, 10분의 1) 줄여주는 것이므로 용량 절감 효과가 매우 크다고 할 수 있다. 그러나, 하나의 Master Image를 Full Clone으로 수백~수천개 생성하는데 겨우 x:1에서 1x:1 가량의 데이터 절감율 (중복 제거 및 압축률)을 보고 의아하다고 생각한 적은 없는가? 물론, VM을 대량 생성한 직후에는 100:1 이상의 절감율을 기록하기도 한다. 그러면, 실제로는 우리가 기대했던 것보다 데이터 절감 효과가 낮게 나오는 이유가 무엇인지, 데이..
-
오라클 데이터 중복제거 안되는 이유스토리지 지식 2020. 12. 26. 02:50
데이터의 중복 제거를 스토리지가 담당하고 있긴 하나, 중복 제거가 잘 되는지의 여부는 시스템의 환경과 데이터의 형식에 크게 좌우된다. 전자는 VDI 환경과 같이 중복된 데이터가 많을 때이고, 후자는 암호화되지 않은 순수 데이터 파일일 경우 중복 제거에 유리하다. 오라클 데이터 파일은 암호화되어 있지 않은 일반 파일임에도 불구하고 중복 제거가 거의 되지 않는다. 이는, 오라클 데이터 블록에서 그 해답을 찾을 수 있다. Oracle은 데이터베이스의 Datafile에 있는 저장 공간을 Data block이라는 단위로 관리한다. 데이터 블록은 데이터베이스에서 사용하는 가장 작은 데이터 단위이다. 이 데이터 블록 사이즈는 2KB에서 32KB까지 다양하지만, 기본적으로 8KB를 대부분 사용한다. 데이터 블록에는 데..
-
데이터 압축 (Compression)스토리지 지식 2020. 12. 25. 01:57
데이터 압축 기술 역시 중복 제거 기술과 마찬가지로 AFA (All-flash Array)가 출시되면서 등장하였다. 실제 데이터 사이즈보다 작게 만들어 저장함으로써 디스크 공간을 효율적으로 사용하게 되므로 비용 측면에서 이점을 누릴 수 있다. 데이터 압축 시 시스템 리소스를 더 사용하고 성능 영향을 미치므로 HDD 기반 스토리지에서는 사용하지 못하고 올플래시 스토리지에 적용하고 있다. 압축 종류 무손실 압축 : 압축 후 복원 시 원래대로 파일 복구 (EXE, COM) 손실 압축 : 복원 시 100% 복구되지 않음 (JPEG, GIF, MPEG) 압축 원리 (Run-Length, Lempel-Ziv …) 원래 문자열 : ABAAAAABCBDDDDDDDABC 압축 문자열 : ABA5BCBD7ABC or 원래..
-
데이터 중복제거 (Deduplication)스토리지 지식 2020. 12. 24. 23:26
AFA (All-flash Array)가 출시되면서 데이터 중복 제거 기술이 등장하였다. 중복 제거 (Deduplication)는 스토리지에 저장되는 데이터 블록을 비교하여 같은 데이터의 중복된 저장을 방지하여 저장 효율을 높이기 위함이다. 데이터의 중복 여부를 판단하고 중복 제거된 데이터만 쓰기 위한 추가적인 연산이 필요하여 성능에 영향을 미치게 되므로 HDD 기반 스토리지에서는 사용하지 않고 올플래시 스토리지에 적용하고 있다. 중복제거 과정 일정한 사이즈로 블록을 슬라이싱 연산 (Hashing)을 통한 블록 비교 중복 제거된 블록만 쓰기 중복제거율 결정 요소 시스템 환경 데이터 타입 블록 사이즈 고정 및 가변 블록 중복제거 방식 In-line - 디스크에 쓰기 전 중복 데이터를 제거하는 방식 - 메모..
-
I/O 아키텍처의 이해스토리지 지식 2020. 12. 23. 23:21
디스크 스토리지 시스템의 이해를 돕기 위해, IO 아키텍처와 BUS, 그리고 Disk Interface에 대해 알아본다. I/O 아키텍처 컴퓨터 시스템 내 여러 장치 간 데이터의 전송은 BUS를 통해 이루어진다. BUS는 쉽게, 데이터가 지나다니는 통로이다. 이는 기술의 발전에 따라 그 통로의 대역폭이 커지게 되어 한번에 보다 많은 양의 데이터를 전송할 수 있게 된다. BUS의 변천 오랜 기간 컴퓨터 시스템의 성능 향상에 걸림돌이 되어 온 BUS의 병목이 PCIe의 등장으로 크게 해소된다. Disk Interface 컴퓨터 시스템의 BUS에 Disk를 연결하기 위한 기술은 IDE 부터 SAS에 이르기까지 많은 발전을 거듭하였다. Disk Interface 규격 ATA (Advanced Technology..
-
어플리케이션과 DB 간 I/O Holding성능 이슈 2020. 12. 21. 23:45
계정계 시스템의 트랜잭션 처리가 일시적으로, 그리고 간헐적으로 지연되는 현상에 대한 분석 사례이다. 아래와 같이 APM (Application Peroformance Monitoring) 툴에서 보면, 일시적으로 트랜잭션이 전혀 처리되지 못한 채, 멈추는 현상이 간헐적으로 발생하고, 수 초 후 그간 적체됐던 요청들이 한 번에 처리되는 현상이다. (아래 그림은 임의 가공) 고객은 이를 애플리케이션의 요청이 DB에 전혀 기록되지 않았기에, 제목과 같이 애플리케이션과 DB 간 I/O가 홀딩되었다고 표현하였고, 그 원인이 스토리지에 있지 않나 하여 분석을 의뢰하였다. 하기와 같이 분석 의견 전달 계정계 시스템의 트랜잭션 처리가 일시적으로 지연되는 현상에 대한 분석 의견을 드립니다. 먼저, 분석 대상 시스템에 대..