前言

看完流浪地球2之后，萌生了一个想法：我想给机器人完整的一生。作为一个完整的机器人，声音势必是其灵魂所在，正好go-cqhttp支持的CQ码可以发送语音信息，那么就来研究一下TTS(Text To Speech)的相关成果。

讯飞文字转语音Api

科大讯飞是国内NLP巨头之一，此次先来尝试使用其免费的TTS接口。

首先在科大讯飞开发者平台上创建应用。

对于新用户，讯飞赠送了一年50000次的免费调用量，创建完应用，可以获得三个值APPID、APISecret和APIKey。

在这里插入图片描述

查阅官方文档，下面是python写的一个调用示例：

import websocket
import datetime
import hashlib
import base64
import hmac
import json
from urllib.parse import urlencode
import time
import ssl
from wsgiref.handlers import format_date_time
from datetime import datetime
from time import mktime
import _thread as thread
import osSTATUS_FIRST_FRAME = 0  # 第一帧的标识
STATUS_CONTINUE_FRAME = 1  # 中间帧标识
STATUS_LAST_FRAME = 2  # 最后一帧的标识class Ws_Param(object):# 初始化def __init__(self, APPID, APIKey, APISecret, Text):self.APPID = APPIDself.APIKey = APIKeyself.APISecret = APISecretself.Text = Text# 公共参数(common)self.CommonArgs = {"app_id": self.APPID}# 业务参数(business)，更多个性化参数可在官网查看self.BusinessArgs = {"aue": "lame", "auf": "audio/L16;rate=16000", "vcn": "aisbabyxu", "tte": "utf8"}self.Data = {"status": 2, "text": str(base64.b64encode(self.Text.encode('utf-8')), "UTF8")}# 使用小语种须使用以下方式，此处的unicode指的是 utf16小端的编码方式，即"UTF-16LE"”# self.Data = {"status": 2, "text": str(base64.b64encode(self.Text.encode('utf-16')), "UTF8")}# 生成urldef create_url(self):url = 'wss://tts-api.xfyun.cn/v2/tts'# 生成RFC1123格式的时间戳now = datetime.now()date = format_date_time(mktime(now.timetuple()))# 拼接字符串signature_origin = "host: " + "ws-api.xfyun.cn" + "\n"signature_origin += "date: " + date + "\n"signature_origin += "GET " + "/v2/tts " + "HTTP/1.1"# 进行hmac-sha256进行加密signature_sha = hmac.new(self.APISecret.encode('utf-8'), signature_origin.encode('utf-8'),digestmod=hashlib.sha256).digest()signature_sha = base64.b64encode(signature_sha).decode(encoding='utf-8')authorization_origin = "api_key=\"%s\", algorithm=\"%s\", headers=\"%s\", signature=\"%s\"" % (self.APIKey, "hmac-sha256", "host date request-line", signature_sha)authorization = base64.b64encode(authorization_origin.encode('utf-8')).decode(encoding='utf-8')# 将请求的鉴权参数组合为字典v = {"authorization": authorization,"date": date,"host": "ws-api.xfyun.cn"}# 拼接鉴权参数，生成urlurl = url + '?' + urlencode(v)# print("date: ",date)# print("v: ",v)# 此处打印出建立连接时候的url,参考本demo的时候可取消上方打印的注释，比对相同参数时生成的url与自己代码生成的url是否一致# print('websocket url :', url)return urldef on_message(ws, message):try:message = json.loads(message)code = message["code"]sid = message["sid"]audio = message["data"]["audio"]audio = base64.b64decode(audio)status = message["data"]["status"]print(message)if status == 2:# print("ws is closed")ws.close()if code != 0:errMsg = message["message"]# print("sid:%s call error:%s code is:%s" % (sid, errMsg, code))else:with open('./demo.mp3', 'ab') as f:f.write(audio)except Exception as e:print("receive msg,but parse exception:", e)# 收到websocket错误的处理
def on_error(ws, error):print("### error:", error)# 收到websocket关闭的处理
def on_close(ws):print("### closed ###")# 收到websocket连接建立的处理
def on_open(ws):def run(*args):d = {"common": wsParam.CommonArgs,"business": wsParam.BusinessArgs,"data": wsParam.Data,}d = json.dumps(d)# print("------>开始发送文本数据")ws.send(d)if os.path.exists('./demo.mp3'):os.remove('./demo.mp3')thread.start_new_thread(run, ())if __name__ == "__main__":# 测试时候在此处正确填写相关信息即可运行wsParam = Ws_Param(APPID='自己的', APISecret='自己的',APIKey='自己的',Text="需要生成语音的文字")websocket.enableTrace(False)wsUrl = wsParam.create_url()ws = websocket.WebSocketApp(wsUrl, on_message=on_message, on_error=on_error, on_close=on_close)ws.on_open = on_openws.run_forever(sslopt={"cert_reqs": ssl.CERT_NONE})

其中控制台获得的三个参数替换成自己的。

运行之后，生成的demo.mp3即为所需结果。

在请求参数中，vcn可以控制切换合成语音的人物，不过免费版本仅只有五个人物可切换，声线比较一般。
在这里插入图片描述

VITS派蒙复读机

目前，在TTS领域，VITS将Flow-VAE应用到了完全端到端的TTS任务中，取得了非常好的成效。
相关论文：https://arxiv.org/abs/2106.0610

在Github上，有人使用VITS对派蒙的数据集进行了训练，效果听起来还不错。
相关仓库：https://github.com/JOETtheIV/VITS-Paimon

原作者使用Colab作为实验环境，我将其进行了简化重构，以便适合本地部署。
本地部署版代码：https://github.com/zstar1003/VITS

VITS接入Qbot

go-cqhttp的官方文档给出了发送语音的CQ码，相关格式如下：

在这里插入图片描述
使用之前，需先在本地安装好ffmpeg。

下载链接：https://www.gyan.dev/ffmpeg/builds/ffmpeg-release-full.7z

下载好后，将D:\ffmpeg-6.0-full_build\bin路径添加到环境变量。(这里的路径指向解压包的bin文件夹)

在控制台输入ffmpeg，弹出下列内容，说明安装成功。
在这里插入图片描述

配置完之后，在Qbot框架下，调用cq码就很容易了，相关代码如下，完整源码可参阅文首仓库。

# 发送语音信息
def send_group_record(gid):try:v_path = r'file:///C:\Users\zstar\Desktop\QBOT\data\newtest.wav'message = "[CQ:record,file=" + v_path + "]"res = requests.post(url=cqhttp_url + "/send_group_msg",params={'group_id': int(gid), 'message': message}).json()if res["status"] == "ok":print("群语音消息发送成功")else:print("群语音消息发送失败，错误信息：" + str(res['wording']))except:print("群语音消息发送失败")