以下是在 MacBook 上搭建机器人进行日常事务操作的详细步骤:
搭建前准备:
搭建步骤:
运行程序:
1.在macbook上按下command+space(空格)打开一个新的终端,依次输入如下代码(每一次代码运行完以后再输入下一个),全部完成后,关闭端口2.将iphone的屏幕关闭时间设置为5分钟或永不3.打开iphone的pythonista并复制face.py的代码进去,运行。注意:每一次如果需要重新运行pythonista,请先杀后台再运行,否则会因为端口已经被占用而无法播放声音4.找到下载下来的AI-in-hindsight-GPT-Embodiment-Robot文件夹,control+单击文件夹,选择最后一项”新建位于文件夹位置的终端端口“5.将arduino R4与macbook相连,在终端中输入以下代码,运行后程序会申请一次摄像头权限,点击允许,然后出现运行失败,再运行一次即可。这个程序一旦运行,无法自然退出,建议直接拔掉R4的线或者终端输入control+c或者直接关闭终端,但多强制退出几次以后运行就会卡住需要重启或清进程6.再次在AI-in-hindsight-GPT-Embodiment-Robot文件夹,control+单击文件夹,选择最后一项”新建位于文件夹位置的终端端口“,在终端中输入以下代码,运行后程序会申请一次录音权限,点击允许,然后出现运行失败,再运行一次即可。如果运行中出现任何报错,将本文档,代码,报错信息给到GPT4,让他帮助你就好~可能是有一些库没有预装7.把talk.py的终端放在最前面你能看到,出现recording...的时候就可以说话了8.三个程序同时运行、iphone和macbook在同一wifi,iphone没有调静音的情况下,就可以正常对话啦
1.在Github上下载我们的完整代码|Activicity|进程作用|硬件平台||-|-|-||talk.py|核心进程,实现聊天对话:<br>对用户说的话进行录音<br>对机器人发出语音、表情、头部动作(舵机转向)指令。|Macbook||face.py|播放声音和显示表情,底层由pythonista提供运行环境。|iPhone||head.py|闲时机器人面向用户,追踪人脸来调整手机转向,模拟eye contact<br>接收指令后会配合表情做头部动作。|Arduino|1.根据你的需求修改文件1.1.【必改】在head.py中找到填写主板串口的地方,把它改成你的串口地址,这个串口地址就是主板写入第3步里那串小字,也可以通过下图的方式重新查询Tools->Get Board Info,复制sn号替换usbmodem后面的编码1.1.【必改】查询你iphone的ip地址,填到talk.py里iphone的ip地址查询方式:iphone设置->无线局域网->点击当前wifi旁的感叹号->找到ipv4地址里写的ip地址1.2.【必改】把你的open ai key,填到talk.py里1.3.【可选】在talk.py里,可以修改:1.3.1.Openai调用的model1.3.2.system prompt(机器人的人设)1.3.3.机器人的音色1.3.4.录音的设置1.4.【可选】在head.py里,可以修改,不对话后,等待多久恢复人脸追踪
Macbook(Macbook需要可以科学上网)一部Iphone手机主板Arduino UNO R4 Wifi(200RMB)-有经验的玩家可以用其他主板,本文档针对这个主板做了trouble shooting,小白建议完全follow舵机9g(32RMB)杜邦线,公对公7条,如果手残党可以多买一点备用(2RMB)(可选)八爪鱼支架(10RMB)—主要是为了把八爪鱼的手机托,卸下来,安装在舵机上,这样可以把手机更好的绑定在舵机上(也可以买带手机支架的舵机)(二选一)usb-typeC转接头,方便将Arduino主板自带的USB线接到macbook;也可以直接备一根两头typeC的线,直接把主板和Macbook连上Arduino UNO R4 WIFI开发板MG90s/SG90舵机9g云台支架*可选八爪鱼手机支架杜邦线公对公