분산 처리 도입 및 배치 시스템 개선
Celery 기반 분산처리로 시스템 성능 대폭 향상
에이오팜·2025.03 - 2025.04·백엔드 개발
Celery
Django
PostgreSQL
Redis
배경
시스템 규모가 커지면서 CPU 집약적인 이미지 처리와 데이터 변환 작업에서 심각한 성능 병목이 발생했습니다. 단일 프로세스 처리 방식으로는 증가하는 워크로드를 감당할 수 없었습니다.
해결 과정
- Celery Worker 기반 분산 처리 시스템 구축으로 CPU 집약적 작업 병렬화
- Django ORM 대신 Raw SQL 기반 데이터 처리로 대량 데이터 조회/변환 최적화
- Redis를 활용한 비동기 작업 큐 설계 및 구현
성과
- 분산 처리 도입으로 데이터 처리 시간 대폭 단축
- Raw SQL 전환을 통한 DB 쿼리 성능 개선
- 워크로드 증가에 유연하게 대응 가능한 확장 가능 아키텍처 확보