一个可以模仿你的表情的语音聊天机器人。
这是一个Unity项目(暂时只适配Android),有两个模块:
- 模块一是实时人脸卡通化(FaceTracking),使用OpenCV和Dlib检测面部表情,并实时转化为Live2D模型,然后可录制成gif图;
- 模块二是AI人工智能
(聊天机器人)使用图灵机器人、讯飞IAT语音听写、讯飞TTS语音合成进行语音聊天。
- OpenCVForUnity
- DlibFaceLandmarkDetector
- shape_predictor_68_face_landmarks.dat.bz2
- Live2D Cubism SDK
- DlibFaceLandmarkDetectorWithLive2DSample
- Recorder
- TuringRobot
- 从 Drive.Google 或者 Pan.Baidu下载
shape_predictor_68_face_landmarks.dat
(人脸特征点检测器) 和Facemoji_Plugins_Assets_1.5.0.unitypackage
(精简的 OpenCV, Dlib, Live2D 和 Iflytek 库) git clone https://github.com/huihut/Facemoji.git
- 创建一个新的Unity项目,命名为
FacemojiDemo
- 复制
Facemoji/Assets
和Facemoji/ProjectSettings
到你的项目 (FacemojiDemo/
) - 把
shape_predictor_68_face_landmarks.dat
复制到FacemojiDemo/Assets/StreamingAssets/
- 导入
Facemoji_Plugins_Assets_1.5.0.unitypackage
。导入后的文件结构如下: - 转换平台到Android(其他平台未适配)
- Build & Run
使用OpenCV和Dlib检测面部表情,并实时转化为Live2D模型;
她可以跟着你的头部表情动,试着摇头看看吧。
点击顶部中间的录制键可以录制3秒的gif;
录制状态为:Recording(准备录制)、PreProcessing(正在录制)、Paused(正在压缩成gif图)
生成的gif存储在Application.dataPath
,Android平台的话在/storage/emulated/0/Android/data/com.huihut.facemoji/files/
使用图灵机器人、讯飞IAT语音听写、讯飞TTS语音合成
她很智能(zhizhang),可以:
- 聊天对话
- 生活百科
- 数学计算
- 故事大全
- 笑话大全
- 成语接龙
- 星座运势
- 天气查询
- ...
但是由于她是个中国AI(机器人),图灵机器人只支持中文,所以她只能进行中文聊天,和她讲英文她只会翻译。
不过她以后会学习英文的(换个会讲英文的)。