12-Month AI and Computer Vision Roadmap for Defense Applications

아래 로드맵은 주당 8–10시간을 기준으로 설계했습니다. 학업·훈련·Muay Thai를 고려해 “논문을 많이 읽는 것”보다 작동하는 시스템, 측정 가능한 성능, 재현 가능한 문서화를 우선합니다.

현재가 2026년 9월이므로 1–8월은 미완료 시 압축 보충하고, 9–12월은 실제 실행 계획으로 사용하세요.

우선순위와 주간 시간 배분

• Critical: CASEset·SENITEL에 직접 연결되는 핵심 기술
• Important: 취업 경쟁력과 시스템 완성도를 높이는 기술
• Beneficial: 시간이 남을 때 진행할 확장 항목

주간 기준:

• 3시간: PyTorch/OpenCV/모델 학습
• 2시간: ROS2·C++ 시스템 개발
• 2시간: CASEset 또는 SENITEL 구현
• 1시간: 논문 읽기 및 실험 기록
• 1–2시간: 엣지 배포·프로파일링·포트폴리오 정리

매월 마지막 주에는 새 내용을 줄이고 성능 평가, 회고, GitHub 정리에 사용합니다.

2026년 월간 로드맵

월	핵심 목표	학습·구현 내용	월말 산출물
1월	OpenCV 기초 완성	Critical OpenCV 객체 검출, 영상 전처리, 카메라 캘리브레이션, 추적	웹캠 기반 검출·추적 데모
2월	PyTorch 실전 강화	Critical Dataset/DataLoader, augmentation, transfer learning, validation 설계	소형 객체검출 모델과 실험 리포트
3월	CASEset 데이터 파이프라인	Critical Tobii·웹캠 timestamp 동기화, gaze label 정제, train/validation/test 분리	재현 가능한 데이터 처리 파이프라인
4월	시선 추정 연구	Critical GazeCapture, RT-GENE, ETH-XGaze 검토. head pose와 gaze feature 분리	gaze estimation baseline 및 오차 분석
5월	Transformer 기초	Critical Attention, positional encoding, ViT, temporal transformer, masking	gaze·센서 시계열용 transformer baseline
6월	ROS2 통합	Critical ROS2 노드, topic, service, action, QoS, cv_bridge, Python API	카메라 입력 → 검출 → ROS2 topic 발행
7월	실시간 시스템 설계	Critical C++ ROS2 node, 멀티스레딩, timestamp, message synchronization	Python baseline 대비 latency 비교
8월	엣지 배포 기초	Critical ONNX export, ONNX Runtime, FP16/INT8, CPU benchmark	Raspberry Pi 4에서 동작하는 모델
9월	SENITEL MVP	Critical gaze + object detection + ROS2 + gimbal simulator 연결	시뮬레이션 기반 end-to-end demo
10월	문맥 인식·센서 융합	Important gaze, object, pose, time history를 결합한 context model	context-aware threat prioritization 모델
11월	신뢰성·인간-AI 협업	Critical false positive 억제, confidence calibration, abstention, operator override	평가 보고서와 human-in-the-loop UI
12월	포트폴리오·취업 준비	Critical benchmark, architecture diagram, technical blog, resume bullet, demo video	공개 가능한 최종 포트폴리오

1–8월 보충 방법

이미 9월에 도달했다면 각 월을 그대로 한 달씩 소비하지 말고 다음 순서로 압축하세요.

1. OpenCV·PyTorch baseline: 1주
2. CASEset 데이터 파이프라인: 1주
3. ROS2 카메라 노드: 1주
4. ONNX/엣지 benchmark: 1주
5. 이후 SENITEL 통합에 집중

학습 경로와 연결 관계

OpenCV/PyTorch
      ↓
객체검출·추적 ─────┐
                    ├─ ROS2 perception pipeline
CASEset gaze ──────┘
      ↓
시간적 transformer
      ↓
context-aware sensor fusion
      ↓
confidence calibration / false-positive control
      ↓
ONNX·TensorRT·INT8 edge deployment
      ↓
SENITEL end-to-end system

핵심은 모델을 독립적으로 공부하지 않는 것입니다. 모든 학습 항목은 최종적으로 다음 흐름에 들어가야 합니다.

센서 입력 → 인식 → 시간적 문맥 결합 → 위험도 추정 → operator에게 설명 가능한 표시 → 엣지 장치에서 실시간 실행

권장 논문·자료

1. Gaze estimation — Critical

선수 지식: Python, 선형대수, CNN 기초

• GazeCapture, ICCV 2017
• RT-GENE, ECCV 2018
• ETH-XGaze, CVPR 2020
• Appearance-Based Gaze Estimation in the Wild 계열 논문
• Tobii SDK와 calibration 문서

읽을 때 확인할 항목:

• gaze angular error
• head pose 변화에 대한 강건성
• subject-independent split
• calibration 의존성
• 웹캠과 eye-tracker의 시간 동기화

CASEset에서는 단순 평균 오차보다 사용자별 편향, 조명 조건, head pose별 성능을 따로 측정하세요.

2. Transformer·시계열 — Critical

선수 지식: PyTorch, CNN, sequence modeling

• “Attention Is All You Need”
• “An Image is Worth 16x16 Words”
• DETR
• TimeSformer
• Video Swin Transformer
• Perceiver

SENITEL에서는 처음부터 거대한 모델을 사용하기보다 다음 순서가 적합합니다.

1. MLP 또는 LSTM baseline
2. 작은 temporal transformer
3. gaze·object·IMU feature fusion
4. 필요할 때만 pretrained video transformer

3. 엣지 AI — Critical

선수 지식: PyTorch 모델 학습, Linux, 기본 Docker

• Deep Compression
• AMC
• HAQ
• MobileNetV3
• EfficientNet 계열
• Knowledge distillation 관련 연구

실습 순서:

1. PyTorch FP32 baseline
2. ONNX export
3. ONNX Runtime CPU 실행
4. FP16 또는 dynamic INT8
5. representative calibration dataset을 사용한 static INT8
6. 정확도·latency·RAM·전력 비교

ONNX Runtime은 양자화 전처리와 양자화 API를 제공하고, TensorRT는 ONNX 모델의 최적화·프로파일링·정밀도 변환에 사용됩니다. 공식 문서의 권장 방식처럼 최적화 전후를 trtexec, latency, throughput, 메모리 사용량으로 비교하세요. ONNX Runtime 양자화 문서, NVIDIA TensorRT 문서

Raspberry Pi 4는 CPU baseline과 경량 모델 검증용으로 사용하고, transformer·다중 센서 실시간 처리에는 Jetson Orin 계열 또는 유사 GPU 엣지 장치를 고려하는 것이 좋습니다.

4. 객체검출·위협 분류 — Critical

선수 지식: OpenCV, CNN, precision/recall

• Faster R-CNN
• YOLO 계열
• DETR
• Focal Loss
• Generalized IoU Loss
• hard-negative mining 연구

실제 군사 데이터가 없어도 다음과 같은 비민감·공개 데이터로 시스템 역량을 증명할 수 있습니다.

• COCO
• Open Images
• VisDrone
• DOTA
• 합성 환경 데이터
• 직접 촬영한 비위험 장비·차량 데이터

“위협”이라는 표현은 모델의 최종 판단이 아니라 관심 객체 또는 anomaly candidate 분류로 정의하세요. 실제 운용을 주장하기보다 “operator decision support prototype”으로 포지셔닝하는 편이 안전하고 전문적입니다.

False positive 최소화 전략

Type 1 error 최소화가 목표라면 accuracy만 사용하면 안 됩니다.

반드시 다음을 기록하세요.

• False positive rate
• Precision at fixed recall
• Recall at fixed false-positive budget
• PR-AUC
• Detection latency
• Calibration error
• 시간대·조명·카메라별 성능
• 사용자·환경별 성능 편차

권장 구조:

1. 검출 모델은 후보를 넓게 수집
2. context model이 시간적 일관성을 평가
3. confidence calibration 수행
4. 낮은 확신은 자동 분류하지 않고 unknown 또는 review required
5. operator가 override 가능
6. 모든 판단과 입력을 audit log에 저장

군사적 의사결정을 자동화하는 방향이 아니라 human-in-the-loop 의사결정 지원을 목표로 삼으세요. 미국 국방부의 AI 원칙도 책임성, 추적 가능성, 신뢰성, 통제 가능성, 공정성을 강조합니다. 미 국방부 AI 윤리 원칙

ROS2 학습 계획

선수 지식: Linux, Python, 기본 객체지향 프로그래밍

월별 순서:

• 6월: workspace, package, node, topic, parameter
• 7월: QoS, sensor_msgs, cv_bridge, launch, rosbag
• 8월: C++ node, executor, callback groups, synchronization
• 9월: camera → detector → tracker → gimbal command
• 10월: timestamp alignment와 센서 융합
• 11월: fault handling, timeout, degraded mode

공식 ROS2 튜토리얼은 package, node, topic, service, action, Python 사용법을 단계별로 제공합니다. ROS2 Python 패키지는 공식 문서의 rosdep, workspace, build 흐름을 기준으로 구성하세요. ROS2 공식 튜토리얼, ROS2 Python 패키지 가이드

월간 체크포인트

매월 다음 질문에 답하는 1–2쪽 보고서를 작성하세요.

• 이번 달 모델 또는 시스템의 입력과 출력은 무엇인가?
• baseline보다 개선되었는가?
• 어떤 조건에서 false positive가 증가하는가?
• latency와 메모리 사용량은 얼마인가?
• 사람이 결과를 이해하고 override할 수 있는가?
• 재현 가능한 실행 명령과 환경이 있는가?
• 다음 달에 제거할 가장 큰 병목은 무엇인가?

12월에는 다음 수치를 포트폴리오에 명시하세요.

Model: detector/context model name
Hardware: Raspberry Pi 4 or Jetson device
Input resolution: ...
Precision: FP32 / FP16 / INT8
Latency: ... ms
Throughput: ... FPS
RAM: ... MB
Precision: ...
Recall: ...
False-positive rate: ...
Calibration error: ...
Failure cases: ...

프로그래밍 언어별 목표

Python — Critical

• PyTorch training loop
• OpenCV 영상 파이프라인
• ROS2 Python API
• experiment configuration
• unit test와 data validation
• profiling

C++ — Important

• ROS2 perception node
• OpenCV C++ API
• thread-safe queue
• zero-copy에 대한 기본 이해
• latency-sensitive callback

Rust — Beneficial

2026년에는 Rust를 핵심 모델 언어로 삼기보다 다음 용도로 제한하는 것이 효율적입니다.

• 센서 데이터 수집기
• UDP/serial bridge
• 안전한 telemetry 처리
• inference 전후의 실시간 시스템 코드

먼저 Python/C++ 기반 SENITEL을 완성한 뒤 Rust를 별도 모듈로 추가하세요.

포트폴리오 구성

GitHub에는 다음 3개 저장소 구조가 좋습니다.

1. caseset-gaze-pipeline

   • 데이터 동기화
   • gaze estimation baseline
   • calibration·오차 분석

2. senitel-ros2-perception

   • ROS2 nodes
   • camera input
   • detector/tracker
   • gimbal simulator
   • rosbag 재생

3. edge-vision-benchmark

   • PyTorch → ONNX → ONNX Runtime/TensorRT
   • FP32/FP16/INT8 비교
   • latency·메모리·정확도 표

각 저장소에는 README보다 다음이 더 중요합니다.

• architecture diagram
• 재현 명령
• benchmark table
• failure cases
• safety and limitations
• test data 설명
• 개인정보 처리 방식

Tobii·웹캠 데이터는 얼굴·시선 정보가 포함될 수 있으므로 공개 저장소에 원본 영상을 올리지 말고, 익명화된 feature와 합성 데이터만 공개하세요.

취업 준비

2026년 10–12월에 다음을 준비하세요.

• 이력서 프로젝트 bullet 3개
• 2분짜리 SENITEL demo video
• 5분 technical presentation
• latency와 false-positive tradeoff 설명
• ROS2 debugging 경험
• 모델이 실패한 사례와 개선 과정
• edge deployment 전후 benchmark

예시 이력서 문장:

Developed a ROS2-based perception pipeline integrating gaze estimation, object detection, temporal context modeling, and edge inference; benchmarked FP32/INT8 deployment and evaluated false-positive rate under controlled environmental changes.

보안 인가와 관련해서는 허위 정보 없이, 해외 체류·여행·재정·법적 기록 등 요구되는 사실을 일관되게 관리하고 공개 연구와 비공개 정보의 경계를 명확히 하세요. 민감한 작전 데이터나 실제 위협 식별 능력을 포트폴리오에 포함시키기보다 시뮬레이션, 공개 데이터, 안전성 평가, 인간 통제를 강조하는 것이 바람직합니다.

가장 중요한 최종 목표는 “모델을 만들었다”가 아니라 다음 문장을 증명하는 것입니다.

제한된 하드웨어에서 실시간으로 실행되며, false positive를 측정·관리하고, 실패 상황에서 사람에게 통제권을 돌려주는 컴퓨터 비전 시스템을 설계할 수 있다.