一、准备工作
1、首先你需要去科大讯飞的官网去注册一个账号,怎么注册我就不说了,然后去控制台,创建新应用。
2、下载对应的sdk,点击sdk下载,记住这里的APPID码,sdk初始化要用。
3、下载语音听写和在线语音合成对应的sdk(离线的语音听写需要手机安装语+这个软件才能用,离线语音合成收费,我就没考虑)
4、将压缩文件中的assets和lib放到项目中,需要注意的是如果是Android studio项目,lib文件夹中的.so相关文件夹都应该放在jniLibs文件夹里,直接放到libs下无法识别。
二、SDK初始化
与大部分的sdk一样越早初始化越好,免得用的时候忘了,初始化失败导致调用不成功,所以我选择在自定义的application中初始化,代码如下:
public class MyApplication extends Application {@Override public void onCreate() {/* 应用程序入口处调用,避免手机内存过小,杀死后台进程后通过历史intent 进入Activity造成SpeechUtility对象为null*/ /* 注意:此接口在非主进程调用会返回null对象,如需在非主进程使用语音功能, 请增加参数:SpeechConstant.FORCE_LOGIN+"=true" 参数间使用“,”分隔。 设置你申请的应用appid*/ // 注意: appid 必须和下载的SDK保持一致,否则会出现10407错误 StringBuffer param = new StringBuffer();param.append("appid="+getString(R.string.app_id));param.append(",");// 设置使用v5+ param.append(SpeechConstant.ENGINE_MODE+"="+SpeechConstant.MODE_MSC);SpeechUtility.createUtility(MyApplication.this, param.toString());super.onCreate();} }
三、语音听写功能
1、使用讯飞提供的UI
i.定义语音听写UI控件
//语音听写UI private RecognizerDialog reDialog;
ii.定义语音听写初始化监听,监听初始化是否成功
/** * 语音听写初始化监听器。 */ private InitListener mInitListener = new InitListener() {@Override public void onInit(int code) {Log.d("zhangdi", "SpeechRecognizer init() code = " + code);if (code != ErrorCode.SUCCESS) {showTip("初始化失败,错误码:" + code);}} };
iii.初始化语音听写UI
// 初始化听写Dialog,如果只使用有UI听写功能,无需创建SpeechRecognizer // 使用UI听写功能,请根据sdk文件目录下的notice.txt,放置布局文件和图片资源 reDialog = new RecognizerDialog(this,mInitListener);
iv.定义听写UI的听写回调监听
/** * 听写UI监听器 */ private RecognizerDialogListener mRecognizerDialogListener = new RecognizerDialogListener() {@Override public void onResult(RecognizerResult results, boolean b) {//正确回调 Log.d("zhangdi", "recognizer result:" + results.getResultString());//解析返回的json字符 String text = JsonParser.parseIatResult(results.getResultString());//将返回的结果显示在edittext中 resultText.append(text);resultText.setSelection(resultText.length());}/** * 识别回调错误. */ public void onError(SpeechError error) {if(mTranslateEnable && error.getErrorCode() == 14002) {showTip( error.getPlainDescription(true)+"\n请确认是否已开通翻译功能" );} else {showTip(error.getPlainDescription(true));}}};
v.在语音听写对应的按钮点击事件中显示UI
// 显示听写对话框 reDialog.setListener(mRecognizerDialogListener); reDialog.show(); showTip(getString(R.string.text_begin));
2.使用自己的UI界面
i.定义语音听写对象
//语音听写对象 private SpeechRecognizer recognizer;
ii.定义语音听写初始化监听,监听初始化是否成功
/**
* 语音听写初始化监听器。
*/
private InitListener mInitListener = new InitListener() {@Override
public void onInit(int code) {Log.d("zhangdi", "SpeechRecognizer init() code = " + code);if (code != ErrorCode.SUCCESS) {showTip("初始化失败,错误码:" + code);}}
};
iii.初始化听写对象
// 初始化识别无UI识别对象 // 使用SpeechRecognizer对象,可根据回调消息自定义界面; recognizer = SpeechRecognizer.createRecognizer(this, mInitListener);
iv.对听写对象进行参数设置
/** * 参数设置 * @return */ public void setParamRecognizer(){// 清空参数 recognizer.setParameter(SpeechConstant.PARAMS, null);// 设置引擎,目前只支持云端模式,本地模式需要手机安装语+软件才能用 recognizer.setParameter(SpeechConstant.ENGINE_TYPE, SpeechConstant.TYPE_CLOUD);// 设置返回结果格式 recognizer.setParameter(SpeechConstant.RESULT_TYPE, "json");// 设置语言 recognizer.setParameter(SpeechConstant.LANGUAGE, "zh_cn");// 设置语言地区,普通话 recognizer.setParameter(SpeechConstant.ACCENT, "mandarin");// 设置语音前端点:静音超时时间,即用户多长时间不说话则当做超时处理 recognizer.setParameter(SpeechConstant.VAD_BOS, "4000");// 设置语音后端点:后端点静音检测时间,即用户停止说话多长时间内即认为不再输入, 自动停止录音 recognizer.setParameter(SpeechConstant.VAD_EOS, "1000");// 设置标点符号,设置为"0"返回结果无标点,设置为"1"返回结果有标点 recognizer.setParameter(SpeechConstant.ASR_PTT, "1");// 设置音频保存路径,保存音频格式支持pcm、wav,设置路径为sd卡请注意WRITE_EXTERNAL_STORAGE权限 // 注:AUDIO_FORMAT参数语记需要更新版本才能生效 // recognizer.setParameter(SpeechConstant.AUDIO_FORMAT,"wav"); // recognizer.setParameter(SpeechConstant.ASR_AUDIO_PATH, Environment.getExternalStorageDirectory()+"/msc/iat.wav"); }
v.在语音听写对应的按钮事件中为听写对象设置回调监听
recognizer.startListening(new RecognizerListener() {@Override public void onVolumeChanged(int i, byte[] bytes) {Log.i("zhangdi","i = "+i+"bytes = "+bytes.toString());}@Override public void onBeginOfSpeech() {showTip("开始说话");}@Override public void onEndOfSpeech() {showTip("结束说话");}@Override public void onResult(RecognizerResult recognizerResult, boolean b) {resultText.append(recognizerResult.getResultString());}@Override public void onError(SpeechError speechError) {showTip(speechError.getErrorDescription());}@Override public void onEvent(int i, int i1, int i2, Bundle bundle) {Log.i("zhangdi","i = "+i+" i1 = "+i1+" i2 = "+i2);} });
四、语音合成功能
1.定义语音合成对象
// 语音合成对象 private SpeechSynthesizer mTts;
2.语音合成初始化监听
/** * 语音合成初始化监听。 */ private InitListener mTtsInitListener = new InitListener() {@Override public void onInit(int code) {Log.d("zhangdi", "InitListener init() code = " + code);if (code != ErrorCode.SUCCESS) {showTip("初始化失败,错误码:"+code);} //else { // 初始化成功,之后可以调用startSpeaking方法 // 注:有的开发者在onCreate方法中创建完合成对象之后马上就调用startSpeaking进行合成, // 正确的做法是将onCreate中的startSpeaking调用移至这里 //} } };
3.初始化语音合成对象
// 初始化合成对象 mTts = SpeechSynthesizer.createSynthesizer(this, mTtsInitListener);
4.为语音合成对象设置参数
private void setParamTTS() {// 清空参数 mTts.setParameter(SpeechConstant.PARAMS, null);//设置使用云端引擎,本地语音合成是收费的,所以忽略了 mTts.setParameter(SpeechConstant.ENGINE_TYPE, SpeechConstant.TYPE_CLOUD);//设置发音人 mTts.setParameter(SpeechConstant.VOICE_NAME,voicerCloud);//设置合成语速 mTts.setParameter(SpeechConstant.SPEED, "50");//设置合成音调 mTts.setParameter(SpeechConstant.PITCH, "50");//设置合成音量 mTts.setParameter(SpeechConstant.VOLUME, "50");//设置播放器音频流类型 mTts.setParameter(SpeechConstant.STREAM_TYPE, "3");// 设置播放合成音频打断音乐播放,默认为true mTts.setParameter(SpeechConstant.KEY_REQUEST_FOCUS, "true");}
5.定义语音合成监听回调
/** * 合成回调监听。 */ private SynthesizerListener mTtsListener = new SynthesizerListener() {@Override public void onSpeakBegin() {showTip("开始播放");}@Override public void onSpeakPaused() {showTip("暂停播放");}@Override public void onSpeakResumed() {showTip("继续播放");}@Override public void onBufferProgress(int percent, int beginPos, int endPos,String info) {// 合成进度 mPercentForBuffering = percent;showTip(String.format(getString(R.string.tts_toast_format),mPercentForBuffering, mPercentForPlaying));}@Override public void onSpeakProgress(int percent, int beginPos, int endPos) {// 播放进度 mPercentForPlaying = percent;showTip(String.format(getString(R.string.tts_toast_format),mPercentForBuffering, mPercentForPlaying));}@Override public void onCompleted(SpeechError error) {if (error == null) {showTip("播放完成");} else if (error != null) {showTip(error.getPlainDescription(true));}}@Override public void onEvent(int eventType, int arg1, int arg2, Bundle obj) {// 以下代码用于获取与云端的会话id,当业务出错时将会话id提供给技术支持人员,可用于查询会话日志,定位出错原因 // 若使用本地能力,会话id为null // if (SpeechEvent.EVENT_SESSION_ID == eventType) { // String sid = obj.getString(SpeechEvent.KEY_EVENT_SESSION_ID); // Log.d(TAG, "session id =" + sid); // } } };
6.在语音合成对应按钮的点击事件中为语音合成对象设置监听
int code = mTts.startSpeaking(text, mTtsListener); if (code != ErrorCode.SUCCESS) {showTip("语音合成失败,错误码: " + code); }