nonebot-plugin-fishspeech-tts

# nonebot-plugin-fishspeech-tts _⭐基于Nonebot2的调用在线[fish-audio](https://fish.audio/zh-CN/)或离线[fish-speech](https://github.com/fishaudio/fish-speech) api⭐_ _⭐文本生成语音`tts`插件⭐_ **中文简体** | [**English**](/nonebot-plugin-fishspeech-tts/docs/README_EN.html)

---

⭐ 介绍

仅需一条5秒语音素材，就可完美优秀克隆素材本音呐！ 只需要准备好你想克隆的角色语音，并对其语音进行文件名的标注(见下文)，就可以快速生成语音。

或者使用官方在线api -> fish-audio即可享受快速云端的语音生成。

📜 免责声明

[!CAUTION] 本插件仅供学习和研究使用，使用者需自行承担使用插件的风险。作者不对插件的使用造成的任何损失或问题负责。请合理使用插件，遵守相关法律法规。 使用本插件即表示您已阅读并同意遵守以上免责声明。如果您不同意或无法遵守以上声明，请不要使用本插件。

---

💿 安装

安装

`pipx` 安装 ```bash pipx install nonebot-plugin-fishspeech-tts -U ``` > [!note] 在nonebot的pyproject.toml中的plugins = ["xxx"]添加此插件 `nb-cli`安装 ```bash nb plugin install nonebot-plugin-fishspeech-tts -U ``` `git clone`安装(不推荐) - 命令窗口`cmd`下运行 ```bash git clone https://github.com/Cvandia/nonebot-plugin-fishspeech-tts ``` - 在窗口运行处 将文件夹`nonebot-plugin-fishspeech-tts`复制到bot根目录下的`src/plugins`(或创建bot时的其他名称`xxx/plugins`)

注意

推荐镜像站下载 清华源```https://pypi.tuna.tsinghua.edu.cn/simple``` 阿里源```https://mirrors.aliyun.com/pypi/simple/```

⚙️ 配置

在.env中添加以下配置

基础配置	类型	必填项	默认值	说明
tts_is_online	bool	是	True	是否使用云端api
tts_chunk_length	literal	否	“normal”	请求时音频分片长度，默认为normal，可选：short, normal, long
tts_max_new_tokens	int	否	800	最大音频长度，默认为800,设置为0则为不限制
tts_audio_path	str	否	”./data/参考音频”	语音素材路径，默认为”./data/参考音频”
tts_prefix	str	否	None	触发前缀，默认为None

注：参考音频的文件名格式为：［角色名］音频对应的文字标签.[音频后缀名]

点击这里可选择下载推荐参考音频reference_audio.zip，解压并把音频并放入bot文件目录的data/参考音频下即可

! 支持同一角色的不同语音 !

音频后缀目前支持有详见files.py中的AUDIO_FILE_SUFFIX ___

如果你想使用官方的api，请将配置项tts_is_online设置为True并配置以下

配置项	类型	必填项	默认值	说明
online_api_url	str	否	“https://api.fish-audio.cn”	官网api地址
online_authorization	str	是	“xxxxx”	官网api鉴权秘钥，详见链接
online_model_first	bool	否	True	如果你想调用官方模型，通过自己的参考音频，定制角色音色，将此项设为False。当然，如果你没有准备参考音频，也会调用官网已经有的音色，具体详见链接
online_api_proxy	str	否	None	代理地址，如：http://127.0.0.1:7890

---

如果你想使用自搭或者其他的fish-speech项目的api,请将配置项tts_is_online设置为Fasle并配置以下

配置项	类型	必填项	默认值	说明
offline_api_url	str	是	“http://127.0.0.1:8080”	你的fish-speechapi地址

⭐ 使用

[!note] 请注意你的 COMMAND_START 以及上述配置项。

指令：

指令	需要@	范围	说明	权限
xxx说xxx	根据配置	all	tts语音生成	all
语音列表	是	all	获取所有角色列表	all
语音余额	是	all	查询api余额	all

🌙 Todo

• 添加更多配置项
• 暂无计划

喜欢记得点个star⭐

💝 特别鸣谢

• nonebot2: 本项目的基础，非常好用的聊天机器人框架。
• fish-speech:零样本 & 小样本 TTS：输入 10 到 30 秒的声音样本即可生成高质量的 TTS 输出

⭐ 额外帮助

windows离线搭建简略教程

使用前

• CUDA toolkit 使用前确保安装正确版本的CUDA

准备fish-speech

• 1.将fish-speech 仓库 release 的代码(Source code (zip))下载到本地
• 2.解压到本地
• 3.打开fish-speech根目录
• 4.运行install_env.bat安装虚拟环境以及所需依赖
• 5.运行start.bat初次启动
• 6.修改API_FLAGS.txt后再次启动即可

启动API服务

• 1.修改API_FLAGS.txt大致为以下内容，即取消api前面的#号

  # --infer
  --api
  --listen 0.0.0.0:8080 \ #监听接口
  ...
  

  在API_FLAGS.txt里可添加的额外参数

• 1.--complie ->是否启动编译后的模型 (更快的生成tts，但启动较慢)
• 2.--workers 数字 ->启动数字个多协程 (请务必设置，因为默认一个容易阻塞)
• 3.--device cpu ->使用cpu生成tts (如果使用gpu，请忽略)
• 4.--half ->使用半精度生成tts
• 5.--max-text-length ->输入文本最大长度

linux离线搭建fish-speech

• 更多参考官方文档

This site is open source. Improve this page.