데이터 수집 자동화 시스템 개발
실시간 이상치 데이터 필터링 및 수집 시스템
에이오팜·2023.11 - 2024.03·백엔드 개발
FastAPI
Socket.IO
Python
배경
납품된 온프레미스 장비에서 AI 모델 개선을 위한 이상치 데이터를 수동으로 수집하고 있었습니다. 장비 수가 늘어나면서 수동 수집이 불가능해졌고, 실시간으로 특이 데이터를 자동 감지·수집하는 시스템이 필요했습니다.
해결 과정
- FastAPI 기반 데이터 수집 서버 구축
- Socket.IO를 활용한 온프레미스 장비와의 실시간 통신 구현
- 이상치 기준 정의 및 자동 필터링 로직 개발
성과
- 수동 데이터 수집 작업 완전 자동화
- 실시간 이상치 감지로 AI 모델 학습 데이터 품질 향상
- 장비 수 증가에도 확장 가능한 수집 체계 확보