45/ 50
＋ 검증 지표와 절제 실험을 가장 신중하게 설계했다.
－ 우선순위 대비 세부 항목과 참고문헌이 지나치게 많다.
알고리즘 개선 조언 프롬프트
알고리즘 설명을 넣으면 효율성, 정확성, 확장성 관점의 평가와 병목, 약점, 개선 제안을 받습니다.
| 분류 | 개발 › 코딩 |
|---|---|
| 태그 | 분석검토개발자코드 |
Act as an Algorithm Analysis and Improvement Advisor. You are an expert in artificial intelligence and computer vision algorithms with extensive experience in evaluating and enhancing complex systems. Your task is to analyze the provided algorithm and offer constructive feedback and improvement suggestions.
You will:
- Thoroughly evaluate the algorithm for efficiency, accuracy, and scalability.
- Identify potential weaknesses or bottlenecks.
- Suggest improvements or optimizations that align with the latest advancements in AI and computer vision.
Rules:
- Ensure suggestions are practical and feasible.
- Provide detailed explanations for each recommendation.
- Include references to relevant research or best practices.
Variables:
- ${algorithmDescription} - A detailed description of the algorithm to analyze.어떤 프롬프트인가
AI·컴퓨터 비전 알고리즘을 검토하고 최적화 방향을 찾을 때 쓰는 조언 역할이다. 추천마다 설명과 관련 연구나 모범 사례 언급을 요구한다.
모델 비교
Claude는 구체성과 실행성이 가장 좋고, ChatGPT는 검증 설계가 가장 신중하다. Gemini는 구조가 좋지만 과도한 성능 예측과 단정 때문에 뒤처진다.
45/ 50
＋ 원인·대책·실행 순서를 현장 조건에 맞게 연결했다.
－ 유용하지만 후순위 기술까지 다뤄 다소 장황하다.
40/ 50
＋ 전처리부터 광학 설비까지 조치를 명확히 구조화했다.
－ FPS·성능 향상 수치를 근거 없이 단정해 신뢰를 깎는다.
| 기준 | ChatGPT | Claude | Gemini | 앞선 모델 |
|---|---|---|---|---|
| 지시 준수 | 10 | 10 | 9 | 동점 |
| 정확성 | 9 | 9 | 6 | 동점 |
| 구체성 | 10 | 10 | 9 | 동점 |
| 구성·가독성 | 9 | 9 | 9 | 동점 |
| 분량 적정성 | 7 | 7 | 7 | 동점 |
gpt-5.6-sol가 모델 이름을 가린 채 1~10점으로 채점했습니다 (2026-09-24). 측정값이 아니라 AI 심사 결과입니다.
답 전문 보기
같은 입력을 세 모델에 넣어 받은 답을 그대로 옮겼습니다. 각 CLI(에이전트 하네스)에서 실행했습니다. ChatGPT·Claude 앱이나 웹에서는 답이 다를 수 있습니다.
[붙여 넣은 자료] 저희 제조 공정 불량 검출 시스템에 쓰는 알고리즘입니다. YOLOv8-nano를 기반으로 컨베이어 벨트 위 PCB 기판 이미지를 초당 15프레임으로 처리하고, 그레이스케일 변환 + 가우시안 블러 전처리 후 자체 데이터셋(약 8,000장, 불량 유형 6종)으로 파인튜닝했습니다. 현재 mAP@0.5는 0.81인데, 야간 조명이 어두운 시간대에 오탐률이 눈에 띄게 올라갑니다. 엣지 디바이스는 Jetson Orin Nano 1대입니다.
종합 평가
현재 구성은 엣지 환경에서 실시간 처리를 목표로 한 합리적인 출발점입니다. 다만 야간 오탐 증가는 모델 자체보다 다음 요인이 복합적으로 작용했을 가능성이 큽니다.
- 학습 데이터의 주간·야간 분포 불균형
- 그레이스케일 변환으로 인한 색상·반사 정보 손실
- Gaussian blur에 의한 미세 불량 특징 약화
- 야간 이미지의 노이즈와 조명 변화에 대한 일반화 부족
- 단일 프레임 결과를 그대로 판정하는 후처리 부재
mAP@0.5 0.81만으로는 제조 검출 시스템의 실제 성능을 판단하기 어렵습니다. 특히 불량 검출에서는 mAP보다 정상 PCB의 오탐률, 불량별 재현율, 시간당 오탐 횟수가 더 중요할 수 있습니다.
우선순위가 높은 개선안
1. 주간·야간 데이터를 분리해 성능을 측정하십시오
다음 지표를 주간/야간 및 불량 유형별로 따로 계산하는 것이 우선입니다.
- Precision, Recall, F1
- mAP@0.5 및 mAP@0.5:0.95
- 정상 PCB 기준 False Positive Rate
- 이미지 1,000장당 오탐 수
- 시간당 오탐 알람 수
- 불량 유형별 재현율
- 추론 지연시간의 평균값이 아닌 P95/P99
예를 들어 전체 mAP가 0.81이어도 주간 mAP 0.88, 야간 mAP 0.62라면 모델 구조보다 야간 도메인 적응과 데이터 보강이 먼저입니다.
검증셋은 반드시 촬영 시간, 조명 조건, 카메라 노출, PCB 종류 기준으로 분리해야 합니다. 동일한 PCB 또는 거의 동일한 프레임이 학습셋과 검증셋에 섞이면 성능이 과대평가될 수 있습니다.
2. 그레이스케일 전처리를 재검토하십시오
PCB 불량은 형상뿐 아니라 다음 정보에도 의존합니다.
- 납땜의 색상과 반사 특성
- 과열 또는 변색
- 부품 표면의 미묘한 색 차이
- 구리 패턴과 기판 색상 차이
- 조명에 따른 하이라이트 형태
따라서 다음 세 가지를 직접 비교하는 ablation 실험을 권장합니다.
- RGB 원본
- 그레이스케일을 3채널로 복제
- RGB와 정규화된 grayscale을 함께 사용하는 입력
대부분의 경우 RGB 원본 또는 RGB+밝기 보정 입력이 그레이스케일 단독보다 유리할 가능성이 높습니다. 특히 야간 조건에서는 색상 정보가 완전히 무의미해지는 것이 아니라 신호 대 잡음비가 낮아지는 것이므로, 색상 정보를 버리기보다 보정하는 편이 낫습니다.
3. Gaussian blur의 강도를 줄이거나 제거하는 실험이 필요합니다
Gaussian blur는 센서 노이즈를 줄일 수 있지만, PCB의 다음과 같은 작은 결함을 함께 약화할 수 있습니다.
- 미세 납땜 불량
- 크랙
- 핀 누락
- 작은 이물질
- 패턴 단선
- 부품 모서리의 미세 변형
커널 크기와 sigma를 여러 단계로 비교하고, 최소한 다음 실험을 권장합니다.
- 전처리 없음
- 약한 blur
- 강한 blur
- 야간에만 선택적으로 denoise
- 학습 시 blur augmentation만 적용하고 추론 시 원본 사용
전처리의 목표는 이미지를 “깨끗하게” 만드는 것이 아니라 모델이 실제 생산 환경의 분포를 학습하도록 하는 것입니다.
4. 야간 조명 보강을 데이터 증강에 포함하십시오
단순한 밝기 증가만으로는 실제 야간 환경을 충분히 재현하지 못합니다. 다음 증강을 조합해 보십시오.
- Random brightness/contrast
- 감마 변환
- 저조도 노이즈
- 센서 read noise
- 약한 motion blur
- 색온도 변화
- 부분적인 그림자
- 국소 과노출 및 하이라이트
- JPEG 압축 및 카메라 gain 변화
특히 학습 데이터에 실제 야간 이미지가 충분히 포함되어야 합니다. 합성 저조도 증강은 실제 데이터를 대체하기보다 보완하는 용도로 사용하는 것이 좋습니다.
야간 원본 이미지에서 정상 PCB가 많이 포함된 데이터를 별도로 모아 hard negative dataset을 구성하는 것도 효과적입니다. 현재 오탐을 일으키는 패턴을 다시 학습시키는 것이 일반적인 밝기 증강보다 효과가 큰 경우가 많습니다.
5. Retinex·CLAHE는 반드시 비교 실험으로 적용하십시오
야간 영상의 밝기 불균일을 줄이기 위해 다음을 비교할 수 있습니다.
- Gamma correction
- CLAHE
- Gray-world 또는 색상 기반 white balance
- Multi-scale Retinex
- 학습 가능한 조명 보정 모듈
다만 CLAHE나 Retinex는 노이즈와 표면 반사를 과장해 오탐을 늘릴 수도 있습니다. 따라서 전처리를 고정적으로 적용하기보다 다음 기준으로 평가해야 합니다.
- 야간 정상 이미지에서 오탐이 줄어드는가
- 실제 불량의 재현율이 유지되는가
- 추론 시간이 허용 범위 내인가
- 조명 조건이 바뀌어도 안정적인가
가능하면 카메라 노출과 조명 세기를 먼저 안정화하는 것이 소프트웨어 전처리보다 효과적입니다.
모델 및 학습 개선
6. 클래스별 threshold를 별도로 설정하십시오
모든 불량 유형에 동일한 confidence threshold를 적용하면 일부 클래스의 오탐이 불필요하게 증가할 수 있습니다.
검증셋에서 클래스별 Precision-Recall curve를 작성하고, 운영 목적에 따라 threshold를 다르게 설정하십시오.
- 안전상 불량 누락이 치명적인 유형: 낮은 threshold
- 오탐 비용이 큰 유형: 높은 threshold
- 야간에만 오탐이 증가하는 유형: 조명 조건별 threshold 또는 별도 calibration
단, threshold를 검증셋에 과도하게 맞추면 실제 라인에서 성능이 떨어질 수 있으므로 별도의 최종 테스트셋을 유지해야 합니다.
7. 단일 프레임 판정 대신 시간적 일관성을 사용하십시오
현재 초당 15프레임을 처리한다면 같은 PCB가 여러 프레임에 걸쳐 관찰될 가능성이 높습니다. 단일 프레임의 약한 오탐을 바로 알람으로 연결하지 말고 다음과 같은 temporal filtering을 적용할 수 있습니다.
- 최근 3~5프레임 중 일정 비율 이상 검출될 때 확정
- 동일 위치에서 연속 2프레임 이상 검출 시 알람
- PCB track별 confidence EMA
- ByteTrack 또는 단순 IoU 기반 추적
- 검사 구간 진입·이탈 시점에서만 최종 판정
이 방식은 일시적인 반사, 노이즈, 그림자에 의한 오탐을 줄이는 데 특히 유용합니다. 다만 컨베이어 속도가 빠르거나 프레임 간 PCB 위치 변화가 크면 tracking보다 고정 ROI와 위치 보정이 더 적절할 수 있습니다.
8. PCB 위치 정렬과 ROI를 활용하십시오
컨베이어 위 PCB의 위치와 방향이 일정하다면 전체 이미지를 그대로 검출하는 것보다 다음 전처리가 유리할 수 있습니다.
- PCB 영역 검출
- 투시 변환 또는 기준점 정렬
- 부품 영역별 ROI 분할
- ROI별 결함 검출
- PCB 단위로 결과 통합
이렇게 하면 배경, 컨베이어 벨트, 조명 반사에 대한 오탐이 줄고 작은 결함의 상대적 크기가 커집니다.
PCB 종류와 검사 위치가 고정되어 있다면 검출 모델과 별도로 템플릿 정렬 또는 fiducial marker 기반 정렬을 적용하는 것도 실용적입니다.
9. 작은 불량이 많다면 입력 해상도와 타일링을 검토하십시오
YOLOv8-nano는 빠르지만 작은 결함은 입력 리사이즈 과정에서 사라질 수 있습니다.
검토 순서는 다음이 적절합니다.
- 현재 입력 해상도 확인
- 640에서 768 또는 960으로 증가했을 때 성능·속도 측정
- 전체 이미지를 여러 ROI로 나누는 tiled inference
- 작은 결함이 집중된 영역만 고해상도 재검사
- 1차 저해상도 검출 후 의심 영역만 2차 모델로 판정
Jetson Orin Nano에서는 전체 프레임을 항상 고해상도로 처리하기보다, 저해상도 1차 검출과 선택적 고해상도 재검사를 조합하는 방식이 현실적입니다.
10. 불량 라벨 품질을 점검하십시오
mAP가 정체되거나 야간 오탐이 지속될 때는 모델보다 라벨 문제가 원인일 수 있습니다.
확인할 사항은 다음과 같습니다.
- 불량 영역 bounding box 크기의 일관성
- 아주 작은 불량의 누락 라벨
- 정상 반사 영역을 불량으로 라벨링한 사례
- 동일한 불량 유형의 라벨 기준 차이
- 야간 이미지의 초점·노이즈로 인한 애매한 라벨
- 서로 다른 불량이 하나의 클래스에 섞인 경우
특히 “정상이나 불량처럼 보이는 야간 반사”를 별도 hard-negative로 관리하면 오탐 감소에 도움이 됩니다.
Jetson Orin Nano 배포 최적화
15 FPS가 요구사항이라면 평균 FPS보다 최악 조건에서의 지연시간과 처리 안정성을 확인해야 합니다.
권장 배포 방식은 다음과 같습니다.
- PyTorch 추론과 TensorRT 추론 비교
- FP16 TensorRT 엔진 우선 적용
- INT8은 대표적인 주간·야간 calibration set으로 검증
- 전처리와 후처리의 CPU/GPU 위치 측정
- CUDA stream을 활용한 비동기 pipeline
- 카메라 캡처, 전처리, 추론, 후처리 pipeline 병렬화
- 불필요한 이미지 복사와 CPU-GPU 메모리 이동 제거
INT8 양자화는 속도와 메모리 측면에서 유리하지만, 작은 결함과 저조도 이미지에서 정확도가 떨어질 수 있습니다. 특히 calibration dataset에 야간 이미지가 충분히 포함되어야 합니다.
측정해야 할 항목은 다음과 같습니다.
- 전처리 시간
- TensorRT inference 시간
- NMS 및 후처리 시간
- 프레임 큐 지연
- GPU 메모리 사용량
- 온도 상승 후 throttling 여부
- 장시간 운용 시 실제 FPS
권장 실험 순서
가장 효율적인 실험 순서는 다음과 같습니다.
- 주간/야간별 및 클래스별 Precision, Recall, FPR 산출
- 현재 전처리 제거 실험
- RGB와 grayscale 비교
- 실제 야간 hard negative 추가
- 밝기·감마·노이즈 증강 적용
- 클래스별 confidence threshold 최적화
- temporal filtering 적용
- ROI 또는 PCB 정렬 적용
- TensorRT FP16 최적화
- 필요할 경우 고해상도 또는 2단계 검출 도입
일반적으로 카메라·조명 안정화, 야간 hard negative 수집, temporal filtering이 가장 빠르게 오탐을 줄일 가능성이 높습니다. 모델을 YOLOv8-small 이상으로 교체하는 것은 그 이후에 검토하는 편이 좋습니다. 모델 크기 증가만으로 야간 조명 문제를 해결하기는 어렵고, Jetson에서 15 FPS를 유지하지 못할 위험도 있습니다.
참고할 만한 연구 및 기술
- Bochkovskiy et al., “YOLOv4: Optimal Speed and Accuracy of Object Detection”
- Wang et al., “YOLOv7: Trainable Bag-of-Freebies Sets New State-of-the-Art for Real-Time Object Detectors”
- Jocher et al., Ultralytics YOLOv8 documentation 및 TensorRT export 가이드
- He et al., “Single Image Dehazing”
- Guo et al., “Zero-Reference Deep Curve Estimation for Low-Light Image Enhancement”, Zero-DCE
- Jobson et al., “A Multiscale Retinex for Bridging the Gap Between Color Images and the Human Observation of Scenes”
- Zhang et al., “Learning to See in the Dark”
- Wojke et al., “Simple Online and Realtime Tracking with a Deep Association Metric”, Deep SORT
- Bewley et al., “Simple Online and Realtime Tracking”, SORT
- Lin et al., “Focal Loss for Dense Object Detection”
핵심 결론은 모델 교체보다 먼저 RGB/전처리 ablation → 실제 야간 hard negative 추가 → temporal filtering → TensorRT 최적화 순서로 검증하는 것입니다.
같은 분류의 프롬프트
| 방산 CV 12개월 로드맵 프롬프트 | |
| 2046 퍼즐 게임 제작 프롬프트 | |
| React 컴포넌트 통합 프롬프트 | |
| 3D 아바타 팩토리 요구 프롬프트 | |
| 3D FPS 게임 개발 프롬프트 |