performance.md

성능 분석 상세 보고서

1. 운동성 분석 모델

모델 개발 이력

버전	방법	MAE	비고
v0	고정 임계값 규칙	20.6%p	초기 시도
v1-a	Ridge 회귀 (16명)	15.1%p	데이터 부족
v1-b	Ridge 회귀 (85명)	7.3%p	VISEM 원본 활용
v1-c (현재)	Ridge + RF 앙상블	6.9%p	논문 최고 초과

논문 비교

방법	MAE	출처
ZeroR baseline	11.0%p	—
Medico Challenge 최고	8.83%p	VISEM Challenge
motilitAI (SVR)	7.31%p	Ottl et al. 2022
본 시스템 (앙상블)	6.9%p	—

20명 전체 검증 결과

참가자	AI 전진	실제 전진	MAE	판정	신뢰도
11	21.4%	11%	13.1%p	주의 필요	100점
12	46.7%	33%	12.8%p	정상	80점
13	25.8%	33%	5.5%p	경계	80점
14	35.8%	41%	8.3%p	정상	50점
15	8.2%	15%	15.0%p	주의	100점
19	33.8%	58%	16.1%p	정상	90점
21	30.7%	30%	0.5%p	경계	70점
22	37.9%	56%	12.1%p	정상	90점
23	18.0%	18%	1.9%p	주의	75점
24	33.1%	35%	2.0%p	정상	80점
29	4.4%	4%	0.4%p	주의	60점
30	31.3%	26%	3.5%p	경계	90점
35	11.7%	1%	7.1%p	주의	90점
36	32.7%	36%	6.3%p	정상	80점
38	48.3%	38%	6.9%p	정상	90점
47	50.2%	12%	25.5%p	정상	65점
52	13.3%	14%	0.5%p	주의	65점
54	27.8%	22%	6.7%p	경계	100점
60	30.1%	19%	7.4%p	경계	90점
82	22.7%	17%	3.8%p	경계	80점

평균 MAE: 7.8%p | 판정 방향 정확도: 75% (15/20명)

개선 시도 및 교훈

시도	결과	원인
MSD 특징 추가	효과 없음 (7.01%p)	기존 특징과 중복 정보
Isotonic 보정 레이어	LOO CV 개선되나 실제 악화	VISEM-Tracking이 VISEM 부분집합 → 데이터 누출
참가자 임상 데이터 추가	논문에서도 효과 없음 확인	영상 특징이 더 강한 신호

---

2. 형태 분석 모델 (EfficientNet-B3)

데이터셋

• MHSMA (Modified Human Sperm Morphology Analysis Dataset)
• 235명 불임 환자, 1,540장 크롭 이미지
• 레이블: 머리(head) / 첨체(acrosome) / 공포(vacuole) / 꼬리(tail)
• 0 = 정상, 1 = 비정상

레이블 분포 (전체)

부위	정상	비정상	비정상 비율
머리	1,121	419	27.2%
첨체	1,077	463	30.1%
공포	1,281	259	17.0%
꼬리	1,471	69	4.5%

모델 버전별 비교

버전	데이터	주요 개선	MHSMA AUC	VISEM 정상형태율
v1	1,000개 (기본 split)	기본 BCE Loss	0.752	~0.5%
v2	1,540개 (전체)	Focal Loss + WeightedSampler	0.800	~0.5%
v3 (채택)	1,540개	VISEM 도메인 증강	0.727	16.3%

v3 태스크별 성능 (테스트셋 139개)

태스크	AUC	정확도	F1
머리 (head)	0.677	0.727	0.551
첨체 (acrosome)	0.711	0.583	0.508
공포 (vacuole)	0.767	0.878	0.602
꼬리 (tail)	0.752	0.928	0.400
평균	0.727	—	—

도메인 적응 시도 전체 결과

방법	VISEM 정상형태율	MHSMA AUC	채택 여부
v2 기본	0.5%	0.800	❌ 과소 추정
v3 VISEM증강	16.3%	0.727	✅ 채택
v4 강한증강	18.2%	0.714	—
TTA @0.60	28.4%	—	—
기하학적 측정	실패(과대추정)	—	—
앙상블 (v2+v3)	0.9%	0.796	❌ v2에 끌려감

v3 채택 이유

v2는 MHSMA 벤치마크에서 AUC 0.800으로 우수하지만 VISEM 실제 적용 시 정상 형태율이 0.5%로 비현실적이었습니다. v3는 VISEM 스타일 증강 (모션 블러, 가우시안 노이즈, 저해상도 시뮬레이션, CLAHE)을 추가하여 MHSMA AUC가 소폭 낮아졌지만(0.727) VISEM 실제 적용 시 정상 형태율이 16.3%로 WHO 기준(≥4%)에 부합하는 현실적인 수치를 보입니다.

---

3. CASA 키네마틱 파라미터

계산 공식 (WHO 5판 기준)

파라미터	설명	공식	단위	임상 참고 기준
VCL	곡선 속도	실제 경로 총 거리 / 시간	µm/s	≥ 25
VSL	직선 속도	시작→끝 직선 거리 / 시간	µm/s	≥ 15
VAP	평균 경로 속도	스무딩된 경로 거리 / 시간	µm/s	≥ 20
LIN	직선성	VSL / VCL	무차원	≥ 0.50
STR	직진성	VSL / VAP	무차원	≥ 0.80
WOB	진동도	VAP / VCL	무차원	≥ 0.70
ALH	횡변위 진폭	실제↔평균경로 횡편차 평균	µm	≥ 2.0

변환 상수 (VISEM 데이터셋 기준)

• 현미경: Olympus CX31, 400x 배율
• 카메라: UEye UI-2210C
• 해상도: 640×480
• FPS: 50
• 1 pixel = 0.7031 µm (450µm FOV / 640px)

참가자 11번 키네마틱 결과 예시

파라미터	측정값	기준	상태
VCL	40.6 µm/s	≥ 25	✅ 정상
VSL	21.9 µm/s	≥ 15	✅ 정상
VAP	30.6 µm/s	≥ 20	✅ 정상
LIN	0.331	≥ 0.50	⚠️ 낮음
STR	0.458	≥ 0.80	🔴 낮음
WOB	0.662	≥ 0.70	⚠️ 경계
ALH	0.40 µm	≥ 2.0	⚠️ 낮음

속도(VCL/VSL/VAP)는 정상이나 STR/LIN이 낮음 → 정자가 빠르지만 직선으로 나아가지 못하는 비전진 운동 패턴과 일치. 실제 전진 운동성 11%와 일관성 있음.

---

4. 신뢰도 시스템

신뢰도 감점 로직

조건	감점
탐지 불안정 (CV > 0.3)	-20점
탐지 불안정 (CV > 0.15)	-10점
정자 수 매우 부족 (N < 5)	-40점
정자 수 부족 (N < 10)	-25점
정자 수 적음 (N < 20)	-10점
추적 안정성 낮음 (< 0.3)	-20점
추적 안정성 보통 (< 0.6)	-10점

신뢰도 등급

점수	등급	재촬영 권고
80점 이상	높음 ✅	불필요
60~79점	보통 ⚠️	선택적
60점 미만	낮음 🔴	권고

---

5. 한계 및 향후 개선 방향

현재 한계

항목	내용
형태 도메인 불일치	MHSMA(학습) ↔ VISEM(적용) 촬영 조건 차이로 수치 과대 추정 가능
저농도 샘플	정자 수 < 10개 시 운동성 예측 정확도 저하
ByteTrack 한계	비운동성 정자 ID 과다 생성 문제
배율 정보	VISEM 데이터셋 배율 미포함으로 절대값 불확실성 존재

향후 개선 방향

단계	내용
단기	VISEM 크롭 수동 레이블링 후 형태 모델 파인튜닝
중기	Virtual Staining (GAN 기반) 도메인 적응
장기	실제 임상 데이터 확보 및 전향적 검증