前言

本项目基于机器学习和语义识别技术，让机器人理解文本并进行合适的答复。伙伴们可以通过该工程源码，进行个人二次开发，比如使用语音与机器人交流，实现智能问答、智能音箱及智能机器宠物等等。

当然针对现在最火爆的ChatGPT等通用大语言模型，伙伴们可以直接将其应用在模块实现第6部分，其它详细的接口使用操作，大家可以关注我博客的其它关于ChatGPT接口使用的说明。

总体设计

本部分包括系统整体结构图和系统流程图。

系统整体结构图

系统整体结构如图所示。

系统流程图

系统流程如图所示。

运行环境

本部分包括 Python 环境、Pycharm 环境和 ChatterBot 环境。

Python 环境

需要 Python 3.6 及以上配置，进入 python 官方网站：www.python.org，选择自己所需版本号，单击 DownLoad，添加环境变量。

Pycharm 环境

PyCharm 是 一 款 功 能 强 大 的 Python 编辑器，具有跨平台性 ， 下 载 地 址 ：
http://www.jetbrains.com/pycharm/download/#section=windowsPyCharm ，把 pycharm和 python解释器进行连接。

ChatterBot 环境

基于 chatterbot 0.8.7 开发，打开 cmd 进入 python 所在的磁盘，输入：

pip install –ignore-installed –upgrade chatterbot0.8.7 

等待安装即可。

模块实现

本项目包括 6 个模块：模型构建、服务器端、客户端、语音录入、接口调用、模型训练
及保存，下面分别给出各模块的功能介绍及相关代码。

1. 模型构建

进入百度云官网：https://ai.baidu.com/，进入我的控制台，打开百度语音进入语音应用
管理界面，创建一个新的应用，如图所示。

记录 APPID、API Key 和 Secret Key 三个值。

请求方式和参数网址：https://cloud.baidu.com/doc/SPEECH/s/Qk38y8lrl

通过调用百度语音 API 实现相应的转换功能，在百度云应用管理中心可以看到记录，即为调用成功。

2. 服务器端

此模块主要处理用户的登录校验，房间的人员消息处理，通过 config.py 中配置的列表PORT 生成几个不同房间，相关代码如下：

#导入 port 列表
import asynchat
import asyncore
from config import PORTclass CommandHandler:"""命令处理类"""def unknown(self, session, cmd):# 响应未知命令# 通过 aynchat.async_chat.push 方法发送消息session.push(('Unknown command {} \n'.format(cmd)).encode("utf-8"))def handle(self, session, line):line = line.decode()# 命令处理if not line.strip():returnparts = line.split(' ', 1)cmd = parts[0]try:line = parts[1].strip()except IndexError:line = ''# 通过协议代码执行相应的方法method = getattr(self, 'do_' + cmd, None)try:method(session, line)except TypeError:self.unknown(session, cmd)if __name__ == '__main__':for i in range(len(PORT)):ChatServer(PORT[i])print("Chat server run at '127.0.0.1:{0}'".format(PORT[i]))try:asyncore.loop()except KeyboardInterrupt:print("Chat server exit")

在开启客户端前，运行服务器端，CommandHandler 类拆解 client 客户端发送信息中的命令，并绑定函数。通过 config.py 中配置列表 PORT = range(1, 3)生成两个房间，地址分别是 127.0.0.1:1 和 127.0.0.1:2，如图所示。

3. 客户端

该模块提供登录窗口、聊天窗口以及各种响应事件，相关代码如下：

1）登录窗口设计

设计登录窗口的 GUI 界面，添加包括标题、地址栏、用户信息栏和登录退出按钮的几个控件并绑定登录、退出等各种事件。

class LoginFrame(wx.Frame):"""登录窗口"""def __init__(self, parent, id, title, size):# 初始化，添加控件并绑定事件wx.Frame.__init__(self, parent, id, title)self.SetSize(size)self.Center()self.serverAddressLabel = wx.StaticText(self, label="服务地址", pos=(45, 40), size=(120, 25))self.userNameLabel = wx.StaticText(self, label="用户名", pos=(45, 90), size=(120, 25))self.serverAddress = wx.TextCtrl(self, value=default_server,pos=(120, 37), size=(150, 25), style=wx.TE_PROCESS_ENTER)self.userName = wx.TextCtrl(self, pos=(120, 87), size=(150, 25), style=wx.TE_PROCESS_ENTER)self.loginButton = wx.Button(self, label='登录', pos=(50, 145), size=(90, 30))self.exitButton = wx.Button(self, label='退出', pos=(180, 145), size=(90, 30))# 绑定登录方法self.loginButton.Bind(wx.EVT_BUTTON, self.login)# 绑定退出方法self.exitButton.Bind(wx.EVT_BUTTON, self.exit)# 服务器输入框Tab事件self.serverAddress.SetFocus()self.Bind(wx.EVT_TEXT_ENTER, self.usn_focus, self.serverAddress)# 用户名回车登录self.Bind(wx.EVT_TEXT_ENTER, self.login, self.userName)self.Show()# 回车调到用户名输入栏def usn_focus(self, event):self.userName.SetFocus()def login(self, event):# 登录处理try:serverAddress = self.serverAddress.GetLineText(0).split(':')con.open(serverAddress[0], port=int(serverAddress[1]), timeout=10)response = con.read_some()if response != b'Connect Success':self.showDialog('Error', 'Connect Fail!', (200, 100))returncon.write(('login ' + str(self.userName.GetLineText(0)) + '\n').encode("utf-8"))response = con.read_some()if response == b'UserName Empty':self.showDialog('Error', 'UserName Empty!', (200, 100))elif response == b'UserName Exist':self.showDialog('Error', 'UserName Exist!', (200, 100))else:self.Close()ChatFrame(None, 2, title='当前用户：'+str(self.userName.GetLineText(0)), size=(515, 400))except Exception:self.showDialog('Error', 'Connect Fail!', (95, 20))def exit(self, event):self.Close()# 显示错误信息对话框def showDialog(self, title, content, size):dialog = wx.Dialog(self, title=title, size=size)dialog.Center()wx.StaticText(dialog, label=content)dialog.ShowModal()

2）聊天窗口设计
设计聊天窗口的 GUI 界面，添加包括当前用户显示、信息输入框、语音输入按钮、发送和关闭按钮等各种控件并绑定发送消息、输入消息等事件。

class ChatFrame(wx.Frame):"""聊天窗口"""def __init__(self, parent, id, title, size):# 初始化，添加控件并绑定事件wx.Frame.__init__(self, parent, id, title, style=wx.SYSTEM_MENU | wx.CAPTION | wx.CLOSE_BOX |wx.DEFAULT_FRAME_STYLE)self.SetSize(size)self.Center()self.chatFrame = wx.TextCtrl(self, pos=(5, 5), size=(490, 310), style=wx.TE_MULTILINE | wx.TE_READONLY)self.sayButton = wx.Button(self, label="语音", pos=(5, 320), size=(58, 25))self.message = wx.TextCtrl(self, pos=(65, 320), size=(280, 25), style=wx.TE_PROCESS_ENTER)self.sendButton = wx.Button(self, label="发送", pos=(360, 320), size=(58, 25))# self.usersButton = wx.Button(self, label="Users", pos=(373, 320), size=(58, 25))self.closeButton = wx.Button(self, label="关闭", pos=(436, 320), size=(58, 25))self.sendButton.Bind(wx.EVT_BUTTON, self.send)  # 发送按钮绑定发送消息方法self.message.SetFocus()  # 输入框回车焦点self.sayButton.Bind(wx.EVT_LEFT_DOWN, self.sayDown)  # SAY按钮按下self.sayButton.Bind(wx.EVT_LEFT_UP, self.sayUp)  # Say按钮弹起self.Bind(wx.EVT_TEXT_ENTER, self.send, self.message)  # 回车发送消息# self.usersButton.Bind(wx.EVT_BUTTON, self.lookUsers)  # Users按钮绑定获取在线用户数量方法self.closeButton.Bind(wx.EVT_BUTTON, self.close)  # 关闭按钮绑定关闭方法treceive = threading.Thread(target=self.receive)  # 接收信息线程treceive.start()# self.ShowFullScreen(True)  # 全屏self.Show()def sayDown(self, event):trecording = threading.Thread(target=recording)trecording.start()def sayUp(self, event):sayText = getText(r"E:\python_pycharm\ChatBot\voice\voice.wav")self.message.AppendText(str(sayText))self.send(self)def send(self, event):# 发送消息message = str(self.message.GetLineText(0)).strip()global bot_useif message != '':if message == "机器人":bot_use = "ChatBot"self.message.Clear()con.write(('noone_say 成功呼叫语音助手！' + '\n').encode("utf-8"))returnelif message == "用户聊天":bot_use = "User"self.message.Clear()con.write(('noone_say 语音助手已离开' + '\n').encode("utf-8"))returncon.write(('say ' + message + '\n').encode("utf-8"))self.message.Clear()# 机器人回复if bot_use == "ChatBot":answer = chatbot(message)con.write(('chatbot_say ' + answer + '\n').encode("utf-8"))elif bot_use == "User":returnif VOICE_SWITCH:# 写本地音乐文件baidu_api(answer)# 新建线程播放音乐tplay_mp3 = threading.Thread(target=play_mp3)tplay_mp3.start()# thread.start_new_thread(play_mp3, ())return# def lookUsers(self, event):#     # 查看当前在线用户#     con.write(b'look\n')def close(self, event):# 关闭窗口tremove_voice = threading.Thread(target=remove_voice)tremove_voice.start()# thread.start_new_thread(remove_voice, ())con.write(b'logout\n')con.close()self.Close()def receive(self):# 接受服务器的消息while True:sleep(1)result = con.read_very_eager()if result != '':self.chatFrame.AppendText(result)def saytime(self):i = 0while True:self.chatFrame.AppendText('正在录音...' + str(i) + '秒\n')sleep(1)i = i + 1

4. 语音录入

该模块提供录音功能并将文件保存在本地， Recorder 的采样率与百度语音转文字的采样率相同，相关代码如下：

from pyaudio import PyAudio, paInt16
import numpy as np
import waveclass Recoder:NUM_SAMPLES = 2000# py audio内置缓冲大小SAMPLING_RATE = 16000    # 取样频率LEVEL = 500         # 声音保存的阈值COUNT_NUM = 20      # NUM_SAMPLES个取样之内出现COUNT_NUM个大于LEVEL的取样则记录声音SAVE_LENGTH = 8         # 声音记录的最小长度：SAVE_LENGTH * NUM_SAMPLES 个取样TIME_COUNT = 20     # 录音时间，单位sVoice_String = []def savewav(self, filename):wf = wave.open(filename, 'wb')wf.setnchannels(1)wf.setsampwidth(2)wf.setframerate(self.SAMPLING_RATE)wf.writeframes(np.array(self.Voice_String).tostring())# wf.writeframes(self.Voice_String.decode())wf.close()def recoder(self):pa = PyAudio()stream = pa.open(format=paInt16, channels=1, rate=self.SAMPLING_RATE, input=True,frames_per_buffer=self.NUM_SAMPLES)save_count = 0save_buffer = []time_count = self.TIME_COUNTwhile True:time_count -= 1# print time_count# 读入NUM_SAMPLES个取样string_audio_data = stream.read(self.NUM_SAMPLES)# 将读入的数据转换为数组audio_data = np.fromstring(string_audio_data, dtype=np.short)# 计算大于LEVEL的取样的个数large_sample_count = np.sum(audio_data > self.LEVEL)print(np.max(audio_data))# 如果个数大于COUNT_NUM，则至少保存SAVE_LENGTH个块if large_sample_count > self.COUNT_NUM:save_count = self.SAVE_LENGTHelse:save_count -= 1if save_count < 0:save_count = 0if save_count > 0:# 将要保存的数据存放到save_buffer中# print  save_count > 0 and time_count >0save_buffer.append(string_audio_data)else:# print save_buffer# 将save_buffer中的数据写入WAV文件，WAV文件的文件名是保存的时刻# print "debug"if len(save_buffer) > 0:self.Voice_String = save_buffersave_buffer = []print("Recode a piece of  voice successfully!")return Trueif time_count == 0:if len(save_buffer) > 0:self.Voice_String = save_buffersave_buffer = []print("Recode a piece of  voice successfully!")return Trueelse:return Falsedef recording():r = Recoder()r.recoder()r.savewav(r"E:\python_pycharm\ChatBot\voice\voice.wav")# if tsayTime != '':#     stop_thread(tsayTime)

语音录入时，控制面板输出如图所示。

此时在相应路径中可以看到录制成功的语音文件，格式为.Wav，如图所示。

5. 接口调用

该模块调用 chatbot 返回文本信息、百度 API 语音识别、百度 API 转文本为语音，相关代码如下：

import pygame
from chatterbot import ChatBot
import requests
import json
from config import *
import time
import os
import random
import urllib.request
import base64# 初始化百度返回的音频文件地址，后面会变为全局变量，随需改变
mp3_url = r'E:\python_pycharm\ChatBot\voice\\voice_du\\voice_ss.mp3'''# 播放Mp3文件
def play_mp3():# 接受服务器的消息pygame.mixer.init()pygame.mixer.music.load(mp3_url)pygame.mixer.music.play()while pygame.mixer.music.get_busy():time.sleep(1)pygame.mixer.music.stop()pygame.mixer.quit()# 删除声音文件
def remove_voice():path = r"E:\python_pycharm\ChatBot\voice\voice_du"for i in os.listdir(path):path_file = os.path.join(path, i)try:os.remove(path_file)except:continue# 聊天机器人回复
def chatbot(info):my_bot = ChatBot("", read_only=True,database="./db.sqlite3")res = my_bot.get_response(info)return str(res)# 百度讲文本转为声音文件保存在本地 tts地址，无需token实时认证
def baidu_api(answer):api_url = '{11}?idx={0}&tex={1}&cuid={2}&cod={3}&lan={4}&ctp={5}&pdt={6}&spd={7}&per={8}&vol={9}&pit={10}'\.format(baidu_api_set["idx"], answer, baidu_api_set["cuid"], baidu_api_set["cod"], baidu_api_set["lan"],baidu_api_set["ctp"], baidu_api_set["pdt"], baidu_api_set["spd"], baidu_api_set["per"],baidu_api_set["vol"], baidu_api_set["pit"], baidu_api_url)res = requests.get(api_url, headers=headers2)# 本地Mp3语音文件保存位置iname = random.randrange(1, 99999)global mp3_urlmp3_url = r'E:\python_pycharm\ChatBot\voice\voice_du\voice_tts' + str(iname) + '.mp3'with open(mp3_url, 'wb') as f:f.write(res.content)# 百度讲文本转为声音文件保存在本地 方法2 tsn地址
def baidu_api2(answer):# 获取access_tokentoken = getToken()get_url = baidu_api_url2 % (urllib.parse.quote(answer), "test", token)voice_data = urllib.request.urlopen(get_url).read()# 本地Mp3语音文件保存位置name = random.randrange(1, 99999)global mp3_urlmp3_url = r'E:\python_pycharm\ChatBot\voice\voice_du\voice_tsn' + str(name) + '.mp3'voice_fp = open(mp3_url, 'wb+')voice_fp.write(voice_data)voice_fp.close()return# 百度语音转文本
def getText(filename):# 获取access_tokentoken = getToken()data = {}data['format'] = 'wav'data['rate'] = 16000data['channel'] = 1data['cuid'] = str(random.randrange(123456, 999999))data['token'] = tokenwav_fp = open(filename, 'rb')voice_data = wav_fp.read()data['len'] = len(voice_data)data['speech'] = base64.b64encode(voice_data).decode('utf-8')post_data = json.dumps(data)# 语音识别的api urlupvoice_url = 'http://vop.baidu.com/server_api'r_data = urllib.request.urlopen(upvoice_url, data=bytes(post_data, encoding="utf-8")).read()print(json.loads(r_data))err = json.loads(r_data)['err_no']if err == 0:return json.loads(r_data)['result'][0]else:return json.loads(r_data)['err_msg']# 获取百度API调用的认证，实时生成，因为有时间限制
def getToken():# token认证的urlapi_url = "https://openapi.baidu.com/oauth/2.0/token?" \"grant_type=client_credentials&client_id=%s&client_secret=%s"token_url = api_url % (BaiDu_API_Key_GetVoi, BaiDu_Secret_Key_GetVoi)r_str = urllib.request.urlopen(token_url).read()token_data = json.loads(r_str)token_str = token_data['access_token']return token_str

6.模型训练及保存

该模块主要训练 chatbot 机器人，保存在本地 sqlite 数据库，提供两种语料训练方法。如果使用ChatGPT的话，可以将此步省略，直接使用其API接口

1) 语句训练
直接写训练语句，也可开启通过聊天时的语句自动，相关代码如下：

my_bot.train(["你今年几岁了呀？", "我今年三岁半了！", ])
my_bot.train(["你吃饭了吗","我吃饱了","你叫什么名字呀","我叫小邮",
])

2) 语料库训练
通过自定义语料库训练。
安装chatbot后默认提供的中文语料格式E:\Python36\Lib\sitepackages\chatterbot_corpus\data\Chinese。参照格式，写入自己的语料文件。

#使用自定义语句训练
my_bot.set_trainer(ChatterBotCorpusTrainer)
my_bot.train("chatterbot.corpus.chinese")

系统测试

本部分包括模型效果和模型应用。

1. 模型效果

将所需语料库数据带入模型进行训练，如图所示。

训练结果如图所示。

2. 模型应用

本部分包括程序运行、应用使用说明和程序功能实现。

1) 程序运行

• rainChat.py 训练本地 chatbot 机器人（每次更新训练内容，运行一次即可）；如果使用ChatGPT的话，可以将此步省略，直接使用其API接口
• server.py 开启服务器；
• client.py 运行客户端，每次运行都可登陆一个用户。

2) 应用使用说明

运行程序后，用户初始登录界面如图所示。界面从上至下，两个文本框：一个输入服务地址，一个输入用户名；两个按钮：一个用于登录，一个用于项目退出。

用户输入服务地址和登录后进入聊天界面。主体为聊天展示框，底部从左到右分别有语音输入按钮、文字输入文本框、发送按钮和聊天室关闭按钮，如图所示。

3) 程序功能实现

（1）在聊天框输入“机器人”可以呼叫语音助手，输入“用户聊天”退出语音机器人模式，如图所示。

（2）长按“语音”按钮录入语音与机器人进行对话，如图所示。

（3）退出机器人聊天模式还可实现多人聊天，如图所示。

源代码下载地址

基于Python+百度语音的智能语音ChatGPT聊天机器人（机器学习+深度学习+语义识别）含全部工程源码

其它资料下载

如果大家想继续了解人工智能相关学习路线和知识体系，欢迎大家翻阅我的另外一篇博客《重磅 | 完备的人工智能AI 学习——基础知识学习路线，所有资料免关注免套路直接网盘下载》
这篇博客参考了Github知名开源平台，AI技术平台以及相关领域专家：Datawhale，ApacheCN，AI有道和黄海广博士等约有近100G相关资料，希望能帮助到所有小伙伴们。