성능 이슈
-
시스템 오픈후 성능 문제 발생을 최소화하기 위한 방안성능 이슈 2021. 5. 9. 23:25
A Viable Way to Overcome Performance Problems Right after System Rollouts 대다수의 공공 SI (System Integration) 프로젝트에서는 시스템 오픈 전 성능 테스트를 통해 성능을 검증하고 있으나, 오픈 후 응답 시간 지연 또는 트랜잭션 처리 지연 등의 이슈로 서비스 장애로까지 이어져 고객 불만을 사게 되는 경우를 간간이 보게 된다. 성능 테스트 시엔 피크타임을 예측하여 그에 맞는 부하량을 산정하고 현실과 유사한 테스트 시나리오로 시뮬레이션을 했음에도 성능 문제가 생기는 이유는 무엇일까? 본 논문에서는 그러한 문제의 원인을 짚어보고 성능 테스트의 한계를 극복할 수 있는 방안을 실사례와 함께 제시하고자 한다. In most SI (Syste..
-
하드웨어 (CPU) 증설 후 스토리지 성능 저하성능 이슈 2020. 12. 31. 23:51
이번 사례는 DB서버 CPU 증설 및 볼륨 작업 후 스토리지가 느려졌다는 고객 불만에 대해 원인 분석 및 진단한 결과를 공유한다. 사전 작업 AP 및 DB 서버 CPU 및 Memory 증설 AP : 28 → 32 core DB : 48 → 64 core Oracle용 Volume resize 현상 (고객 의견) 스토리지 볼륨 사이즈 증가 후 write latency 약 2배 증가 (5 → 9.5ms) 피크 타임 시, DB의 log file sync 평균 대기시간 약 30% 증가 (2.97 → 3.92ms) 원인 분석 서버/볼륨 작업 전후의 AWR을 제공받아 분석함 9/15 : CPU, Mem 증설 전 9/23 : CPU, Mem 증설 후 9/24 : 볼륨 사이즈 증가 후 일일 평균 및 일 피크 타임 시 ..
-
어플리케이션과 DB 간 I/O Holding성능 이슈 2020. 12. 21. 23:45
계정계 시스템의 트랜잭션 처리가 일시적으로, 그리고 간헐적으로 지연되는 현상에 대한 분석 사례이다. 아래와 같이 APM (Application Peroformance Monitoring) 툴에서 보면, 일시적으로 트랜잭션이 전혀 처리되지 못한 채, 멈추는 현상이 간헐적으로 발생하고, 수 초 후 그간 적체됐던 요청들이 한 번에 처리되는 현상이다. (아래 그림은 임의 가공) 고객은 이를 애플리케이션의 요청이 DB에 전혀 기록되지 않았기에, 제목과 같이 애플리케이션과 DB 간 I/O가 홀딩되었다고 표현하였고, 그 원인이 스토리지에 있지 않나 하여 분석을 의뢰하였다. 하기와 같이 분석 의견 전달 계정계 시스템의 트랜잭션 처리가 일시적으로 지연되는 현상에 대한 분석 의견을 드립니다. 먼저, 분석 대상 시스템에 대..
-
HCI로 가상화 전환 후 VM 성능 이슈성능 이슈 2020. 12. 20. 23:21
물리 서버 환경에서 신규 구축한 HCI (Hyper Converged Infrastructure)로 업무 이관 후 서비스 오픈 시, SQL Server VM의 CPU가 100%까지 사용되는 이슈에 대해 공유한다. 시스템 환경 가상화 : VMware vSphere 6.7 노드 자원 : Gold 6242 x 2ea (16C, 2.8GHz), 192GB Memory, Hyperthreading On VM 자원 : 24vCPU (12vCPU x 2ea), 12GB Memory 이상 현상 업무 이관 직후 (10시)부터 17시까지 지속적으로 DB VM 및 해당 호스트에서 CPU 사용률이 100%까지 사용됨 아래 서버 CPU 사진 참조 (일부 CPU는 평균값이 30~40% 수준이나, 대부분 Fully 사용 중) DB..
-
NAS 스토리지 간 파일 복제 시 inode 변경?성능 이슈 2020. 12. 19. 23:40
NAS (Network Attached Storage)에 접근하여 파일을 Scan 하는 솔루션을 구축하던 중, Storage가 파일의 고윳값인 inode를 매일 바꾸는 작업을 한다는 개발업체의 의견을 통해 고객이 원인 분석 요청해 온 사례를 공유한다. 시스템 환경 File Storage 2대로 Replication 구성되어 있고 10분 단위로 복제 수행 이 중, 복제된 스토리지에 접근하여 파일을 스캔하는 솔루션 구축 중, 이는 NAS의 파일 현황을 모니터링하기 위함 기 NAS 환경은 윈도우 기반, 개발 솔루션 OS는 Linux 이기에, 윈도 공유 파일 시스템을 mount.cifs 명령으로 마운트 하여 액세스하고 있음 이상 현상 스토리지 Daily scan 결과 확인 시, 파일시스템에서 부여하는 파일의 고..
-
올플래시 스토리지로 교체 후 DB 성능 저하 현상성능 이슈 2020. 12. 17. 23:54
구형 스토리지를 새로운 AFA (All-Flash Array)로 교체 후 발생한 DB 성능 저하 이슈에 대한 해결 사례를 공유한다. 시스템 환경 Platform : AIX-Based Systems (64-bit) CPU : 40 (10Cores) Memory : 40GB Database : Oracle 11g R2 이상 현상 스토리지 교체 (HDD → SSD) 후 DB (Oracle) 성능이 좋아진 것을 잘 모르겠으며, 오히려 더 느려진 업무도 있다는 고객 피드백 원인 분석 스토리지 교체 전과 후의 Oracle AWR 분석 SGA 크기 : 8800M (sga_target) 교체 전 교체 후 Buffer cache 5728M 3360M Shared pool 2848M 5216M Buffer Hit % 98..