어려운 설치 대신 AI 자동 자막 생성과 번역 쉽게 하기 with Subtitle Edit
Вставка
- Опубліковано 6 сер 2024
- 능력자분들이 만들어주신 Subtitle Edit라는 자막 프로그램을 이용해서
Whisper-AI와 구글/DeepL 번역등을 손쉽게 하는 방법입니다.
설치 하는 툴은 비슷하지만,
설치 과정과 사용과정이 너무 편해진 것 같습니다.
그동안 자동 자막 생성 및 번역을 해보고 싶지만
설치가 어려워서 힘드셨던 분들에게 추천 합니다.
Subtitle Edit : www.nikse.dk/ - Навчання та стиль
CPU로 로드해서 그런지 변환하는 속도가 너무 느리네요. 혹시 GPU로 작업 하는 방법은 없을까요? 혹시나 여쭈어 봅니다~
Audio to Text > Advanced > Faster Whisper 에서 관련 설정을 하실 수 있습니다.
--device DEVICE, -d DEVICE
Device to use. Default is 'cuda' if CUDA device is detected, else is 'cpu'. If CUDA GPU is a
second device then set 'cuda:1'. (default: cpu)
기본적으로 "cuda" 를 사용하게 되어 있고, CUDA GPU를 인식하지 못하면 cpu로 작동하게 되어 있습니다.
보통 CUDA는 NVIDIA 그래픽 카드에서 사용할 수 있기 때문에,
AMD 그래픽 카드를 사용하시는 경우에는 cpu로 사용하셔야 할 것 같습니다.
만약 NVIDIA 그래픽 카드임에도 CUDA를 사용하지 못할 경우에는 아래 링크를 참고하셔서
NVIDIA 라이브러리를 설치하셔야 할 것 같습니다.
github.com/SYSTRAN/faster-whisper?tab=readme-ov-file#gpu
참고해주세요
안녕하세요.
보다 정확한 번역을 얻고 싶어서 가능한 프로그램을 찾고 있는 중입니다.
Whisper ai를 사용중인데,
저는 large-v2를 사용중입니다.
Whisper ai상에서 large -v3가 인식이 안 되서 찾다가(왜 인식이 안되는지 모르겠습니다)
Subtitle Edit에서 large -v3가 되는 것을 알았습니다.
그런데 Whisper ai의 경우 large -v2 는 그래픽카드 용량이 10기가정도 필요하더라고요.
혹시 Subtitle Edit에서 사용하는 large -v3의 경우 용량을 얼마나 먹으며,(3.1기가를 먹나요?)
또 제가 쓰고 있는 Whisper ai에서의 large-v2보다 번역이 정확할지 알고싶습니다.
그리고 가능하시다면 Whisper ai에서 large -v3로 번역하는 영상이나 가능한 방법을 안내받을 수 있을까요?
Subtitle Edit는 Purfview's Faster-Whisper라는 것을 사용하고 있고,
large-v3를 사용했을 경우 실제 하드 디스크 용량은 2.87GB를 사용하고 있습니다.
(Subtitle Edit의 모델 폴더는 faster-whisper-large-v3라는 폴더명으로 생성되었습니다.)
Subtitle Edit의 Purfview's Faster-Whisper와 large-v3를 이용해서 20분짜리 영상에 음성 인식을 했을때,
1650 MAX-Q 4GB 인 노트북 그래픽 카드에서 최대 3.8GB까지 그래픽 카드 메모리를 사용하는 것을 확인 했습니다.
v2, v3 품질의 경우 제가 주로 v3만 사용했기 때문에 답변드리기는 어려울 것 같습니다.
참고해주세요
안녕하세요 영상 잘봤습니다 전에 whisper webui 를 사용했었는데 이거는 삭제해도 무방하겠지요?
Subtitle Edit는 Purfview's Faster-Whisper라는 것을 사용하고 있기 때문에
Whisper Webui와는 별개의 프로그램입니다.
따라서 Whisper Webui는 삭제 해도 무방 합니다.
그래도 결과물에서 차이가 있을 수도 있으니,
Subtitle Edit 테스트 후에 Whisper Webui를 지우시는 것이 좋을 것 같습니다.
참고해주세요
너무 편하게 잘 사용중인데 몇가지 단점이 있습니다. 첫쨰가 webui에 비해서 속도가 조금 늦습니다. 1분~3분 정도?? 두번쨰가 한글로 셋팅하고 번역하게되면 정확히 번역이 정확히는 안됩니다. 예를 들면 핸드폰충전기 같은 단어를 전자렌지라고 번역을 하더라구요 그래서 다시 영어로 번역하니까 그제서야 제대로 번역이 되더라구요 가끔 1바이트로 번역이되는데 그거는 왜그러는지 모르겠더라구요 이거저거 만저봤는데도 모르겠더라구요 그래도 만족하면서 잘쓰고 있습니다. 감사합니다
@@user-qt8uh1xr9i 저보다 더 제대로 잘 쓰시는 것 같습니다.!!
제가 짧은것만 하다보니 차이를 잘 못 느꼈는데,
webui보다 느리군요....
번역 결과도 이상할때는 정말 이상하던데....
자막 작업을 편리하게 할 수 있어서 좋은것 같습니다.
앞으로 버전 업데이트되면서 좋아지기를 기대해봐야할 것 같습니다.
덧글 감사합니다.
감사합니다 궁금한게 자막 수준은 쳇지피티나 구글vi v2 ,GEMMINI 많은데 어떤 자막이 제일 정확한가용?
결과는 어떤 자막을 번역하느냐에 따라서 조금 달랐던것 같습니다.
그래도 구글 v1의 결과는 맘에들지 않았고...
현재는 무료로 사용할 수 있는 DeepL을 위주로 사용하고 있고,
필요할 때 가끔 ChatGPT를 사용하고 해서
서로 비교해서 적용하고 있습니다.
참고해주세요
@@ArcReview 고마워용 ㅎㅎ
뭔가 번역체처럼 나와서...이게 제가 설정을 잘못한건가 싶기도 합니다
좀 더 연구해봐야겠어요.
쨌든 덕분에 좋은 프로그램 알아갑니다.
영상 좋게 봐주셔서 감사합니다.
능력자분들이 만들고 무료로 공개해주셔서
편하게 사용할 수 있게 된 것 같습니다.
덕분에 저도 편하게 이용하고 있어서 영상을 만들게 되었구요...
안녕하세요. 이거 보고 따라해서 유용하게 사용하고 있습니다.
그런데 단 한가지 자막 위치가 영상보다 조금 앞에서 끝납니다. syn조정을 하고 있는데
어떻게 해야 syn가 잘 맞을 수 있을까요?
참고로 large-v3 사용중입니다.
저는 자막 생성해주는 것만으로도 만족해서....
자막 싱크 관련해서는 신경쓰지 않았던 부분이었는데요...
Whisper의 "--ff_sync" 옵션을 사용하면 조금 더 정확한 타임스탬프를 얻을 수 있다고 합니다.
- Audio to Text > Advanced > 를 누르면 기본적으로 --standard라고 되어 있고
이 뒤에 --ff_sync를 붙이면 된다고 하지만....
몇개 테스트 해봤는데 제가 가진 영상에서는 효과를 체감할 수 없었습니다. .
옵션을 살펴보면 Const-Me에 time offset in milliseconds 항목이 있어서,
Engine에서 Const-Me를 선택하고, 엔진과 모델을 새로 다운로드 받은 다음에
-ot 1000 을 주었지만 불행이도 -ot(--offset-t N ) 옵션은 1~9까지만 입력이 가능해서
효과를 체감할 수 없었습니다.
자동 자막 생성에서 싱크를 조절할 수 있는 방법이 딱히 없는 것 같은데요...
만약 모든 싱크를 일괄적으로 수정해서 해결할 수 있을 경우에는
Synchronization > adjustment all time 을 활용해서
전체적으로 싱크를 조정하는 방법이 있을 것 같습니다.
참고로 adjustment all time에서 Selected lins only로 수정이 필요한 특정 위치만을 수정하실 수 도 있습니다.
참고해주세요
@@ArcReview 네 아직까지는 어쩔 수가 없는 것 같군요. 감사합니다
음성추출하고 영상 드래그하고 음성추출 드래그 했는데 영상은 드래그해서 들어가지는데 음성은 안들어가지 파일이 비어 있거나 매우 짧습니다 라고 영어로 나오는데 이건 어케해야 해결되나여?
어떤 상황인지 정확하게 이해할 수 없어서
아래와 같이 테스트를 해봤지만 동일한 에러를 확인할 수 없어서
도움을 드리기는 어려울 것 같습니다.
오디오 트랙이 없는 영상
영상의 오디오 트랙을 삭제하고 테스트를 했을 때에는,
Unable to extract audio라는 에러가 발생했습니다.
짧은영상
0.5초 정도의 영상을 만들어서 테스트 해봤지만,
영상이 짧다는 에러를 확인할 수 없었습니다.
무음영상
영상에 오디오 트랙이 있지만, 무음인 영상에서는
음성 텍스트 추출 작업이 정상적으로 진행되고
자막 파일도 잘 저장되었습니다.
( 무음이기 때문에 자막은 비어있는 상태로 저장되었습니다. )
AUDIO TO TEXT 클릭하니 unable to download github // missing file or no internet connection! 이런식으로 나오고 진행이안돼요 방법없을까요?
덧글을 남겨 주셨으니 인터넷 연결 문제는 아닐 것 같구요,
혹시나 해서 Audio to text를 처음 실행하면 다운 받은 파일들을 다운로드 해봤지만
문제 없이 다운로드 가능 했습니다.
테스트 버전 : Subtitle Edit 4.0.6 포터블 버전
다운로드 파일들 : ffmpeg / Purfview's Faster-Whisper / cuBlas and cuDNN libs / Choose model > large-v3(3.1GB)
제가 생각하는 문제의 원인은 바이러스 백신이나 윈도우 방화벽에서 Subtitle Edit가 파일을 다운로드 하는 것을 차단하고 있는 것 같습니다.
임시로 확인하는 방법은 바이러스 백신이나 윈도우 방화벽을 잠깐 끄고 실행 해 보시는 방법이 있고,
임시로 확인 하신 후에는 바이러스 백신이나 윈도우 방화벽을 꼭 다시 켜두셔야 합니다.
이 방법으로 해결이 안되다면 제가 도움을 드리기는 어려울 것 같습니다. ㅜ.ㅜ
AUDIO TO TEXT 클릭하니 unable to download ~~~ missing file or no internet connection! 이런식으로 나오고 진행이안돼요 방법없을까요?
다른 덧글에 제가 생각하는 내용을 달아드렸습니다.
DeepL api 계정을 받아서 어떻게 적용하는 건가요?
먼저 DeepL에 가입 하신 후에,
DeepL API키 화면에서 새로운 api 키를 생성 하셔야 합니다.
DeepL API 키 생성 URL : www.deepl.com/ko/your-account/keys
이후에, Auto-translate 에서 DeepL V2 translate을 선택 후,
API Key넣은 부분에 DeepL 에서 생성한 API키를 넣어 주시면 됩니다.
DeepL API키 및 무료 한도에 대해서는 아래 링크를 참고해주세요
DeepL API 키 : support.deepl.com/hc/ko/articles/360020695820-DeepL-API%EC%9A%A9-API-%ED%82%A4
DeepL API Free : support.deepl.com/hc/ko/articles/360021200939-DeepL-API-Free
PC에서 위험한 파일이라고 설치할 수 없다고 뜨는데 이럴 땐 어떻게 해야 하는지 아시나요?
최근 버전인 4.0.6 기준으로
SubtitleEdit-4.0.6-Setup.zip 은 구글 크롬에서 의심스러운 파일이라는 메세지가 뜨면서 다운로드가 안되네요 ;;
포터블 버전이 SE406.zip, SE406FI.zip은 구글 크롬에서 문제 없이 다운로드가 됩니다..
스크롤을 조금 내리시면 Assets 항목에 여러 파일이 있는데요,
SubtitleEdit-4.0.6-Setup.exe 파일은 문제 없이 다운로드가 됩니다...
SubtitleEdit-4.0.6-Setup.zip 은 SubtitleEdit-4.0.6-Setup.exe 을 압축한 파일 이므로,
SubtitleEdit-4.0.6-Setup.zip 대신 SubtitleEdit-4.0.6-Setup.exe를 다운 받아서 설치하시면 될 것 같습니다.
아니면 포터블 버전을 다운로드 받아서 실행하셔도 될 것 같습니다.
참고해주세요
자막을 만들었는데 왜 용량이 1k로 되어서 너무짧아서 안된다는데 이유가 뭘까요???
현재 달아주신 내용 상으로는 어떤 문제인지 알수가 없어서 도움을 드리기가 어렵습니다.
제가 올린 영상의 내용은 크게 "음성 인식" 과 "자동 번역"인데요,
어느 부분에서 어떠한 에러가 났는지 알려주시면,
제가 아는 한도 내에서 답변을 드리겠습니다.
움성인식에서 그렇게 나옵니다 혹시 제 그래픽이 gtx970 사양이 약해서 그런건가요????
@@user-it1yp6ss8h i7-6600U / HD520 / 윈10인 완전 구형 노트북에서
약 3분짜리 영상으로 테스트를 진행 해봤는데 문제없이 인식이 잘 되었습니다.
GTX970을 사용하신다면 "cuBLAS and cuDNN libs"에서 문제가 되었을 수도 있을 것 같습니다.
그래픽카드 대신 cpu를 이용해서 인식 진행을 해보시는 것도 좋을것 같습니다.
Audio to text 창에서 advanced를 누르시게 되면, 옵션 창이 뜨고
--standard 뒤에 "--device cpu"를 추가하게 되면 하게 되면 그래픽카드가 아닌 cpu를 이용해서 인식을 진행 하게 됩니다.
이 방법으로 해결되지 않는다면, 제 능력 밖이라서 도움을 드리기는 어려울 것 같습니다.
참고해주세요
감사합니다
@@user-it1yp6ss8h 잘 해결 되었으면 좋겠습니다.
git clone 설치 방법 ? 없나요
subtitle edit는 윈도우용 설치 파일과 무설치 버전을 별도로 제공 하고 있습니다.
github.com/SubtitleEdit/subtitleedit/releases
따라서 프로그램을 직접 빌드하실꺼 아니라면 git cone이 필요없으실텐요?
참고로 git clone 하시려면 아래 깃허브 저장소를 하시면 됩니다.
github.com/SubtitleEdit/subtitleedit
참고해주세요
1시간짜리 드라마 영상 번역 해봤는데 4분밖에 저장이 안되있습니다
subtitle edit의 음성 인식 관련 기능은 자막 작업의 편의성을 위해서
애드온 형식으로 제공하는 기능이기 때문에
subtitle edit에서 음성 인식 기능에 문제가 생겼을 때에는
음성 인식 기능을 제공하는 whisper-ai를 직접 실행하는 것이 가장 좋은 해결 방법일 것 같습니다.
whisper-ai를 사용하고자 하실때에는 Whisper-WebUI를 사용하는것이 조금 더 편하실 것 같습니다.
Whisper-WebUI는 아래 링크를 참고해주세요
github.com/jhj0517/Whisper-WebUI
참고해주세요
@@ArcReview 링크 들어가서 다운받아서 하라는 말씀이신지 폴더는 많이 나와있어서 어떻게 해야할지 모르겠습니다ㅜㅜ
@@user-ec3yp1jx6s
아...제가 링크를 알려드렸지만...큰 도움은 못드리는 상황이겠네요...ㅜ.ㅜ
해당 링크를 다운받더라도 여러 설치 과정이 필요할텐데요...
whisper-webui로 검색하시면 나오는 영상과 블로그를 참고하셔서
설치 후 사용해보셔야 할 것 같습니다.
subtitle edit의 음성 인식 기능을 사용하는 것보다
많이 복잡한 설치 과정이 필요한데요....
자막 편집기에 편의를 위해 제공되는 기능 보다는
whisper-ai를 별도로 사용하기 위한 프로그램이
문제점에 대해서는 더 확실하게 확인하실 수 있으니까요...
그리고 whisper-ai만을 사용하시는 분들이라서 문제가 발생했을 때
저보다는 더 자세한 설명을 해 주실 수 있을테구요....
이거 설치 어케하는건가여 설치 주소하고 설치방법좀 알려주세요 ㅠㅠ
Subtitle Edit는 아래 링크에서 다운 받으시면 됩니다.
github.com/SubtitleEdit/subtitleedit/releases
SubtitleEdit-4.0.5-Setup.zip 파일을 받으셔서, 압축 해제 후 설치 하시면 됩니다.
참고해주세요
git clone 설치 안해서 그런지 몰라도 서브 타이틀 자막 생성이 안됩니다.참고
git 설치 유무와 상관없이 영상 자막 인식이 가능 합니다.
설치된 git을 일부러 제거하고, Subtitle Edit 무설치 판으로 테스트 해봤습니다.
git 설치 유무와 상관없이 Purfview's Faste-Whiper 설치 잘되고,
모델 설치도 잘 되고, 음성 인식해서 자막 생성도 잘 됩니다.
참고해주세요
@@ArcReview 다해봐도 안돼네요 ㅠㅠ 감사합니다
@@oreak-1181 헙.. ㅜ.ㅜ
제가 테스트 진행한 사양이 cpu는 i7-6600U이고
GPU는 HD520 완전 구형 노트북에서 진행했는데
시간은 오래 걸리기는 했지만 잘 진행 되었습니다.
subtitle edit는 Purfview's Faster-Whiper를 사용하고 있는데요,
인식이 계속 안된다면 아마 이 프로그램이 문제일 것 같습니다.
Audio to text를 보시면, Whisper 밑에 vosk/kaldi가 있는데요
이것도 한번 시도해보실수는 있는데....
한국어 모델은 아직 small 밖에 없어서 인식 결과는 안좋습니다. ㅜ.ㅜ
결국 별도로 whisper-webui로 시도해보시는 것 밖에는 없을 것 같습니다.
잘 해결 되기를 바라겠습니다.
참고해주세요