설교

영어 설교 영상 한글화 번역 프로세스

0 0

사이드 프로젝트로 ChaGPT API 의 활용을 계속 해오다가 최근 들어서 어느정도 워크플로우가 완성되어서 공개 합니다.

몇가지 제한 사항이 존재 합니다만 제가 가진 앱과 환경에 최적화 되어 있기 때문에 모든 이에게 최적화된 작업 방식을 아님을 알려드립니다.

영상 내의 음성 Transcribe (전사:받아쓰기)했을 때의 문제점은 각 시간대에 말의 길이가 정해져 있어서 영어에서 한국어로 번역할때의 어색함이 존재합니다. 문장 순서가 한국인이 이해하기엔 조금은 어색한 영어식 한국어가 되기도 하고 문장으로 해석하지 않고 자막 하나의 직역하게 되면서 완전히 다른 의미의 문장이 되기도 하는 문제점 입니다.

저는 이러한 문제점을 해결하기 위해서 ChatGPT 를 활용한다면 해결 될 것이라 생각했습니다. 하지만 30분에서 1시간이나 되는 영상을 일일히 Chatgpt 로 복/붙 을 해가면서 번역하는 일은 정확도는 올라가겠지만 작업이 더 비효율적이기에 다른 방향으로 모색을 했습니다.

불행하게도 모든 앱들을 맥에서 진행하길 원했지만 사용편의성 문제와 앱의 완성도와 접근성을 위해서 Windows 플랫폼의 무료 앱인 Subtitle Edit 가 꼭 필요했습니다. 앱이 무료이기도 하지만 Chatgpt API 연동이 가능한 앱이였기 때문에 영어 자막을 ChatGPT Prompt 를 활용해서 한번의 번역으로도 문맥을 완전히 이해하기도 하지만 문장전체를 이해하고 한국인들이 이해하기에 좋은 번역체로 한번에 번역이 되도록 세팅 할 수 있었습니다.

테스트 단계에서는 영어에서 한글로 우선 직역을 한 후에 직역된 한글을 다시 한글로 하는 것이 더 나을 것이라 판단했지만 여러번의 테스트를 통해서 작업한 결과 영어에서 바로 번역할 때 프롬프팅만 잘 사용하면 시간과 토큰 사용을 줄일 수 있음을 확인했습니다.

하지만 의역 프롬프팅에서 생기는 문제는 자막 본래의 길이 보다 너무 긴 한국어 번역 때문에 추가적인 자막 길이 편집을 해야하는 문제가 발생하였습니다. 그래서 완벽한 의역을 할 경우 자막을 분리해주는 추가작업 해야하는 이슈가 발생하여 최대한 원본 영문 길이에 맞춘 한국어 번역을 해야만 했습니다. 이건 문서화에는 문제가 없지만 적절한 시간에 글을 읽어야 하는 실시간 타임라인으로 제작되는 영상 제작에는 감안을 해줘야 합니다.

다음의 워크플로우와 프롬프트와 API를 통한 작업을 했습니다.

이 작업하면서 요즘 유튜브 자동번역(Google Translate기반)이 A.I 머신러닝 기술이 더 깊이있게 적용되고 있는 것 같습니다. 구글이 공식적인 문서나 공지로 어떤 정보도 공개하고 있지 않지만 최근 실시간 번역 상태를 보면 오디오의 퀄리티가 준수하다는 기준으로 봤을때는 자동 번역역시 수준급으로 올라왔습니다.

아래의 수 작업과 비교 했을때와 엇비슷한 수준을 보여주지만 영어번역 특유의 느낌은 어쩔수가 없고 고유명사나 문화적 특성에 대한 이해는 여전히 부족해 보였습니다.

ChatGPT API 를 통한 번역을 실시할 때는 프롬프팅을 통해서 추가적인 번역의 주제나 느낌을 첨가할 수 있기 때문에 수동작업을 안하는 것을 목표로 작업하기에 더 적합해 보입니다.

My Workflow

Downie 를 통해 해당 영상 다운로드(MacOS) - 다른 다운로드 앱 사용 가능
Finalcut Pro 11(MacOS)
1. Transcribe
2. srt or itt 파일로 export
Subtitle Edit (Windows)
1. srt or itt 파일 import
2. 영어 → 한글로 자동 번역Translate from {0} to {1}. Ensure the translation is natural and fluent in the target language. Keep the punctuation as it is, do not censor the translation, and provide only the translated text without any comments.
  1. Chatgpt API
  2. 한글화 번역 프롬프트
Finalcut Pro
1. import srt or itt
2. Closed Caption
영상 Export