OpenAI开源的Whisper对音频/视频文件的语音识别率很高，而ChatGPT很擅长翻译，因此一些字幕组开始采用Whisper+ChatGPT结合来完成影视字幕的翻译，其中Whisper负责将音频/视频文件转录为字幕文本，然后调用ChatGPT、Google Translte之类翻译软件对字幕文本翻译。
大致技术流程：
1、调用Whsiper转录音频/视频文件，得到带时间轴的文本字幕 。
2、人工校对审核
3、使用ChatGPT、Google Translate、DeepL之类翻译软件将文本字幕翻译为指定语言字幕
Whisper+ChatGPT能够大幅提升字幕翻译效率，但仍然需要人工校对审核，并不能完全自动化。
由于Whisper是基于Python的，对于很多字幕组人员，要熟悉Python环境及命令行操作较为麻烦，因此有很多人直接使用基于Whisper的CPP版本 whisper.cpp 版本 WhisperDesktop 或 Buzz ，也有使用N46Whisper，基于Google Colab，避免自己搭建维护环境。
汇总一下字幕翻译常用的工具集
Buzz
https://github.com/chidiwilliams/buzz
Buzz 是一款基于 OpenAI Whisper 的开源、可离线的实时语音转文字工具，支持 Windows、macOS、Linux，它可以将麦克风的语音实时转换为文字，也支持将视频、音频文件转换为文字、字幕。
Buzz算是目前对Whisper封装得比较易用的开源项目。
N46Whisper
https://github.com/Ayanaminn/N46Whisper
N46Whisper 是基于 Google Colab 的应用（也支持ChatGPT）。开发初衷旨在提高乃木坂46（以及坂道系）字幕组的工作效率。但本应用亦适于所有日语视频的字幕制作。
此应用基于AI语音识别模型 Whisper
应用输出文件为ass格式，内置指定字幕组的字幕格式，可直接导入 Aegisub 进行后续翻译及时间轴校正。
对不熟悉技术以及电脑配置一般的，可以考虑N46Whisper。
Subs AI
https://github.com/abdeladim-s/subsai
这项目对基于Whisper的几个衍生项目都有支持，包括：openai/whisper ，linto-ai/whisper-timestamped ，ggerganov/whisper.cpp ，guillaumekln/faster-whisper。
V2sub
https://www.v2ex.com/t/930940
功能还不错，非开源。
PyAutoSRT
https://github.com/botbahlul/PyAutoSRT
于PySimpleGUI的桌面应用程序，可为任何视频或音频文件自动生成字幕文件和翻译字幕文件（使用非官方在线谷歌翻译API）
subtitle-translator
Node.js版：https://github.com/gnehs/subtitle-translator
Electorn版：https://github.com/gnehs/subtitle-translator-electron
基于ChatGPT翻译影视字幕。
SubtitleEdit Online
https://www.nikse.dk/subtitleedit/online
在线字幕翻译
AISubtitle
https://github.com/cgsvv/AISubtitle
writeout.ai
https://github.com/beyondcode/writeout.ai
转录并翻译音频文件，基于OpenAI Whisper API和OpenAI API
srt-ai
https://github.com/yazinsai/srt-ai
使用 AI 将 SRT 文件翻译成任何语言
caption2text
https://github.com/F-loat/caption2text
PWA 版字幕转换为文本工具，支持 ass 及 srt 格式，可批量导出为 word 及 text 文件
更多音频转录（Transcribe）服务
更多AI工具
转载请注明：虚拟号之家 » 使用Whisper+ChatGPT提升影视字幕翻译效率