做招聘网站需要人力资源许可,软件开发外包价格,重庆森林百度云,做网站主要显哪些内容faster-whisper 这个项目是基于 OpenAI whisper 的模型#xff0c;在上面的一个重写。
使用的是 CTranslate2 的这样的一个库#xff0c;CTranslate2 是用于 Transformer 模型的一个快速推理引擎。
在相同精度的情况下#xff0c;faster-whisper 的速度比 OpenAI whisper … faster-whisper 这个项目是基于 OpenAI whisper 的模型在上面的一个重写。
使用的是 CTranslate2 的这样的一个库CTranslate2 是用于 Transformer 模型的一个快速推理引擎。
在相同精度的情况下faster-whisper 的速度比 OpenAI whisper 快 4 倍并且使用更少的内存。 这是 faster-whisper 与 OpenAI whisper 的测试对比结果使用了一个13分钟的音频做的测试。
OpenAI whisper 用了4分30秒faster-whisper 只用了54秒。
并且faster-whisper 使用的 CPU 和 GPU 都只有 OpenAI whisper 的三分之一左右。
性能大幅提升资源占用大幅降低就是马跑的更快了吃的更少了。
感紧跑起来试试。
本地安装运行
faster-whisper 需要 Python 3.8 之后的版本可以创建Python虚拟环境来实现。
安装 faster-whisper
pip install faster-whisperPython代码
from faster_whisper import WhisperModel# 指定模型
model_size large-v3# or run on CPU with INT8
model WhisperModel(model_size, devicecpu, compute_typeint8)# 加载音频执行语音识别
segments, info model.transcribe(Haul.mp3, beam_size5)print(Detected language %s with probability %f % (info.language, info.language_probability))for segment in segments:print([%.2fs - %.2fs] %s % (segment.start, segment.end, segment.text))第一次执行时会自动加载模型。 然后开始识别输出识别结果。
以上是在 CPU 上的运行过程如果想要更好的运行效率自然是在 GPU 上跑。
想使用 GPU需要安装一些辅助。
以 N 卡为例先安装 NVIDIA 相关的东西。
打开网页 developer.nvidia.com/cudnn 下载安装。
打开网页 developer.nvidia.com/cuda-downloads 下载安装。
安装完成后打开安装目录例如我的是 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin 找到其中的文件 cublas64_12.dll复制一份改名为 cublas64_11.dll。
打开网页 github.com/Purfview/whisper-standalone-win/releases/tag/libs 下载解压根据提示放入相应位置。
安装依赖库
pip install nvidia-cublas-cu11 nvidia-cudnn-cu11然后就可以使用 GPU 运行了。
Python 代码
from faster_whisper import WhisperModelmodel_size large-v3# 使用 GPU 运行指定精度 INT8
model WhisperModel(model_size, devicecuda, compute_typeint8_float16)# 加载音频并执行识别
segments, info model.transcribe(Haul.mp3, beam_size5)print(Detected language %s with probability %f % (info.language, info.language_probability))for segment in segments:print([%.2fs - %.2fs] %s % (segment.start, segment.end, segment.text))怎么样感觉不错吧有兴趣的话快试试吧。
项目地址 github.com/SYSTRAN/faster-whisper #AI 人工智能#OpenAI whisper, #fast-whisper#ChatGPT#语音转文字#gpt890 信息来源 gpt890.com/article/35
