오류 유형마다 다른 검사 사용
의미 유사도만으로는 placeholder 손상을 놓치고 규칙만으로는 자연스러운 오역을 찾기 어렵습니다. 한 모델에 모두 맡기지 않고 각 검사가 잘 찾는 오류를 그대로 유지했습니다.
Applied ML · Internship case study
WatchTower
한국어 제품 문구의 영어 번역을 여러 품질 신호로 평가해, 검토가 필요한 문장만 골라 후편집하는 인턴십 프로젝트의 공개용 재구성입니다.
- 담당
- 인턴십 프로젝트 · 평가 파이프라인 설계와 공개용 재구성
- 공개 범위
- 공개 저장소
- 기술
- Python · LaBSE · COMET · LLM Evaluation · NLP
- 평가 처리량
- 약 2,500문장/시간
- 품질 등급 개선
- 68%
인턴십 평가에서 측정한 최대 처리량
후편집된 번역 중 품질 등급이 개선된 비율
01
Context
다국어 제품 문구의 번역 오류는 드물지만 영향은 작지 않습니다. 용어가 바뀌거나 placeholder와 기술 식별자가 손상되면 제품 동작과 사용자 이해에 직접 문제가 생깁니다. 모든 문장을 같은 깊이로 검토하면 대부분의 시간을 정상 번역에 쓰게 됩니다.
이 인턴십 프로젝트의 목표는 사람의 최종 검토를 없애는 것이 아니라, 오류 가능성이 높은 문장을 먼저 보여 주는 것이었습니다. 참조 번역이 없는 경우에도 의미 보존, 언어 품질, 형식 안정성을 확인하고 후편집 결과를 같은 기준으로 다시 평가해야 했습니다.
02
Engineering
LaBSE는 한국어 원문과 영어 번역의 의미 유사도를 보고, COMET은 학습 기반 품질을 평가합니다. GEMBA 방식의 LLM 평가는 규칙으로 잡기 어려운 오역을 보완하고, 별도 코드는 terminology, placeholder, 기술 식별자와 길이 변화를 확인합니다.
신호를 공통 범위로 정규화해 Q-score를 만들고 점수가 낮은 문장만 후편집합니다. 수정된 문장은 같은 평가를 다시 통과하며 최종 승인은 사람이 맡습니다. 공개 저장소는 회사 코드의 복사본이 아니라 판단 흐름을 재현한 축약 구현입니다.
내가 맡은 일
- reference-free 번역 품질 평가와 선택적 후편집의 전체 흐름을 설계했습니다.
- 의미, 학습 기반 품질과 형식 검사 결과를 한 점수 체계에서 비교할 수 있도록 정규화했습니다.
- 회사 데이터와 내부 구현을 노출하지 않으면서 재현 가능한 공개용 예제와 문서를 구성했습니다.
주요 기술 판단
낮은 품질 문장만 후편집
정상 번역까지 다시 생성하면 비용과 회귀 가능성이 함께 늘어납니다. 낮은 품질로 분류된 문장만 수정하고 다시 평가했으며, Q-score는 자동 판정이 아니라 사람의 검토 순서를 정하는 데 사용했습니다.
03
Validation
인턴십 환경에서 처리량과 후편집 전후의 품질 등급을 측정했습니다. 상단 수치는 공개 예제의 synthetic benchmark가 아니라 당시 평가에서 관찰한 결과이며, 전체 번역이 아닌 후편집 대상에 한정해 해석합니다.
확인한 결과
- 정상 문장과 위험 문장을 같은 비용으로 보던 검토 흐름을 위험도 순서의 작업 목록으로 바꿨습니다.
- 후편집 뒤 같은 평가를 반복해 수정이 실제 개선으로 이어졌는지 확인했습니다.
실패와 변경
- 한 종류의 threshold만 사용했을 때 의미 오류와 형식 오류 중 한쪽을 놓쳤습니다. 각 검사 결과를 보존한 채 정규화된 Q-score에서 함께 비교하도록 바꿨습니다.
추후 발전 방향
- 공개 저장소는 민감한 내부 코드와 회사 데이터를 포함하지 않습니다. 다음 단계에서는 공개 가능한 다국어 데이터로 도메인별 threshold와 오류 유형별 검토 우선순위를 다시 보정할 수 있습니다.
- 68% 개선은 후편집 대상으로 선별된 번역에서 관찰한 결과입니다. 더 큰 대조군과 장기 평가를 추가해 전체 검토 시간과 오류 재발률까지 함께 측정하는 것이 필요합니다.