백지오
NAVER Cloud · Model Driven Multimodal LLM Curation 지원 포트폴리오
멀티모달 모델의 데이터 설계, 평가, 학습, 서비스화까지 연결해 온 Research Engineer입니다.
- Theta One AI · ML Engineer
- 전 NAVER CLOUD AI Research Intern
- EACL Findings 2026 / ACL Findings 2025 1저자
링크
- Email · giopaik0@gmail.com
- GitHub · github.com/skyil7
- Website · sites.google.com/view/giopaik
- LinkedIn · linkedin.com/in/giopaik
왜 이 역할에 적합한가
멀티모달 / VLM 경험
NAVER CLOUD AI 인턴으로 LVLM 데이터 합성, 큐레이션, 멀티노드 파인튜닝, 추론 평가를 직접 수행했습니다.
Model-driven evaluation 감각
MMRefine, HiKE를 통해 benchmark 설계, failure analysis, LLM-as-a-judge 기반 평가를 연구했습니다.
실서비스 실행력
Theta One에서 데이터 수집, 모델 학습, API 운영, 재학습 MLOps까지 전 과정을 리드하고 있습니다.
연구 신뢰도
Top-tier findings 논문 1저자 경험과 실제 팀 프로젝트/서비스 경험을 함께 보유하고 있습니다.
JD와의 정합성
NAVER CLOUD AI — VLM 데이터 합성, 큐레이션, 평가
주요 수행 내용
- HyperCLOVA X 계열 LVLM의 SFT용 데이터셋 합성 및 curation
- LLM 기반 rewriting, augmentation을 통한 데이터 품질 개선
- 데이터 recipe / curriculum 탐색용 실험 도구 개발
- 멀티노드 환경에서의 파인튜닝 및 성능 개선 실험
- LLM-as-a-judge 기반 추론 평가 벤치마크 연구 및 논문화
이 역할과의 연결점
JD의 핵심인 model-driven vision data curation, 학습/평가 데이터 설계, recipe 탐색과 가장 직접적으로 맞닿는 경험입니다.
핵심 신호
단순 모델 사용이 아니라, 데이터와 모델의 상호작용을 실험적으로 다루며 성능을 개선한 경험.
MMRefine — 멀티모달 LLM의 refinement 실패 요인 분석
핵심 기여
- VLM이 수학적 추론 과정에서 오류를 검출·개선·완성할 수 있는지 단계별로 평가하는 benchmark 제안
- LLM-as-a-judge 기반으로 refinement failure를 구조적으로 분석
- 멀티모달 모델의 reasoning failure mode를 드러내는 평가 관점 제시
JD 관련성
Model-driven assessment, evaluation data design, reasoning 성능 분석이라는 측면에서 JD와 높은 관련성을 가집니다.
성과
ACL Findings 2025 · 1저자
HiKE — 코드스위칭 음성 인식 정밀 평가 프레임워크
핵심 기여
- 한국어-영어 코드스위칭 음성 인식을 정밀 평가하기 위한 계층적 평가 프레임워크 제안
- 외래어 라벨과 코드스위칭 형태를 분리한 데이터 설계
- 단순 WER을 넘어 실제 실패 양상을 분해 가능한 benchmark 구축
왜 중요한가
직접적인 VLM 프로젝트는 아니지만, 데이터/라벨/평가 구조를 설계하는 능력을 강하게 증명하는 프로젝트입니다.
성과
EACL Findings 2026 · 1저자 / 교신저자
Theta One — 모델 학습부터 프로덕션 ML 시스템까지
주요 리드 경험
- 음성 AI 데이터 수집, 모델 학습, 배포, 서비스화 전 과정 리드
- 월 200만초 / 20만건 이상 호출되는 STT API 개발 및 운영
- 데이터 필터링 / 자동 라벨링 / 재학습 MLOps 파이프라인 구축
- 영어 교육 콘텐츠 생성용 agentic video pipeline 개발
이 포트폴리오에서의 의미
연구 성과뿐 아니라 실제 서비스 환경에서 품질, 데이터 루프, 운영 효율까지 책임질 수 있는 엔지니어라는 점을 보여줍니다.
주요 논문
HiKE
Hierarchical Evaluation Framework for Korean-English Code-Switching Speech Recognition
EACL Findings 2026 · 1저자 / 교신저자
MMRefine
Unveiling the Obstacles to Robust Refinement in Multimodal Large Language Models
ACL Findings 2025 · 1저자
Improving Fine-grained Visual Understanding in VLMs through Text-Only Training
AAAI Workshop 2025 · 공저자
기술 역량
연구 / 모델링
Multimodal LMs, VLMs, speech recognition, evaluation frameworks, LLM-as-a-judge
라이브러리 / 프레임워크
Python, PyTorch, Transformers, Hugging Face, ffmpeg
데이터 / 실험
Dataset synthesis, curation, augmentation, recipe design, benchmark design, error analysis
실행 역량
Production ML, MLOps loops, API 운영, research-to-product translation
추가 신호
- Boostcamp AI Tech 제작조교
- AI / CS 기술 블로그 장기 운영
- 기술 유튜브 운영
- 오픈소스 기여 경험
- 캡스톤 / 해커톤 / 국방 아이디어 공모전 수상
이 장의 역할
장기적으로 기술을 축적하고, 팀 밖에서도 결과물을 만들고, ownership을 갖고 움직이는 스타일을 보완적으로 증명합니다.
왜 이 역할인가
VLM evaluation, data recipe design, distributed training, production-oriented ML execution 경험을 바탕으로 model-driven multimodal data curation에 기여하고 싶습니다.
Email · giopaik0@gmail.com
GitHub · github.com/skyil7
Website · sites.google.com/view/giopaik
LinkedIn · linkedin.com/in/giopaik