JAYOO AI · SOLUTION 02
합성 데이터로 완성하는
소버린 파인튜닝
자유Trainer는 합성 데이터를 스스로 만들어 오픈 웨이트 비전-언어 모델을 한국어·국내 업무 화면에 특화시키는 소버린 파인튜닝 툴킷입니다.
폐쇄망 완결형 파이프라인
WHY
왜 자유Trainer인가
데이터가 병목이라면, 학습 기법이 아니라 데이터 생산을 자동화해야 합니다.
현재의 벽
양질의 한국어 학습 데이터 부족
특히 국내 업무 화면·문서 이미지는 공개 데이터셋이 거의 없습니다.
상용 API 의존
데이터가 외부로 나가야 하는 구조는 공공·금융 환경에서 채택이 불가능합니다.
경량 튜닝의 한계
LoRA/QLoRA는 학습 비용은 줄이지만, 근본적인 데이터 부족을 해결하지 못합니다.
자유Trainer의 접근
합성 데이터 엔진
MolmoPoint-GUISyn(Apache-2.0)을 재가공해 학습 데이터를 직접 만들어냅니다.
본체 직접 학습
qwen-vl-finetune(Apache-2.0) 재가공 — 시각 인코더·머저·LLM을 선택 학습합니다.
폐쇄망 완결형 파이프라인
데이터 생성 → 학습 → 평가 → 서빙 → 피드백까지 내부에서 순환합니다.
DATA ENGINE
합성 데이터 엔진 — MolmoPoint-GUISyn 재가공
화면 설명문이나 참조 스크린샷에서 HTML 화면을 생성하고, 렌더링한 뒤 모든 UI 요소의 좌표와 상호작용 의도를 자동 라벨링합니다.
컨텍스트 입력
화면 설명문 또는 참조 스크린샷
HTML 생성
LLM이 자립형 화면 코드 작성
화면 렌더링
Playwright로 스크린샷 캡처
박스 자동 추출
모든 UI 요소의 좌표를 자동 산출
의미 주석
요소 명칭 + 상호작용 의도 5종
국내 환경을 위한 재가공 포인트
LLM 백엔드 교체
외부 상용 API → 온프레미스 오픈 웨이트 모델로 대체. 데이터 반출이 없습니다.
한국어 컨텍스트 · 페르소나
원본의 영문 페르소나·화면 설명을 국내 업무 시나리오로 전면 교체합니다.
국내 업무 SW · 공공 화면
행정 시스템, 그룹웨어, HWP 편집 화면 등 국내 특화 UI 컨텍스트로 확장합니다.
배치 파이프라인 내재화
외부 배치 API 의존을 제거하고, 사내 GPU 큐 기반 대량 생성으로 전환합니다.
TRAIN ENGINE
학습 엔진 — qwen-vl-finetune 재가공
Qwen 계열 비전-언어 모델을 대상으로, 어댑터 없이 본체를 직접 조정하는 공식 파인튜닝 프레임워크를 재가공했습니다.
합성 데이터 생성
GUISyn 재가공 엔진
학습 포맷 변환
좌표·의도 → 대화형 샘플
본체 미세조정
ZeRO 분산 · 선택적 동결
평가 · 검증
포인팅 정확도 · 도메인 회귀
온프레미스 서빙
폐쇄망 내부 자동 배포 → 사용자 피드백은 1단계로 순환 (온라인 파인튜닝)
컴포넌트 선택 학습
시각 인코더 · 머저 · LLM 백본을 개별 플래그로 동결/학습 — 어댑터 없이 본체를 직접 조정합니다.
분산 학습 구성
torchrun + DeepSpeed ZeRO 기반 다중 GPU·노드 학습을 지원합니다. (MoE 계열은 ZeRO-2 사용)
동적 해상도 예산
이미지 픽셀 상·하한으로 시각 토큰 수를 제어합니다 — 미세 글자가 많은 화면·문서에 필수적입니다.
데이터 포맷 연결
합성 데이터를 대화형 학습 포맷으로 변환·등록해 파이프라인에 그대로 투입합니다.
※ 기반 모델과 학습 코드 모두 Apache-2.0 계열 오픈 자산을 사용하며, 저작권 고지 의무를 준수합니다. LoRA/QLoRA 어댑터는 채택하지 않습니다.
폐쇄망에서 시작하는 소버린 AI
공공 · 금융 등 데이터 반출이 불가능한 환경을 위한 파인튜닝 도입을 상담해 드립니다.