人机交互模型

1.如何交互（目前的人机协同模式是什么样）？之前很多人都说到大模型可能会有3种交互模型模式一：以人为主导，大模型提供建议（copilot阶段）像一个副驾驶，开车的时候给你提供建议，但是决定权还是在你手上模式二：人和大模型协同工作，合作完成同一个工作（embedding阶段）在实际的工作场景中，有一些小的环节可以让大模型来完成，从整个工作流程的角度来看这样确确实实的嵌入到我们的工作中，提高的效率模式三：人指挥大模型工作（数字员工阶段）这个阶段目前看来，非常少见。大模型还不能完全独立于人来完成某一个非常具体的工作。可能是一个工程上的问题，也有可能是大模型本身能力欠缺导致。个人观点：当下最应该努力的方向其实：如何从简单使用大模型得到建议，转变为让大模型深度的融入到工作流里面去。这样的一套agent一定是有很高价值的。至于数字员工这个阶段，还不是特别成熟，可以让其他大厂和学界先多试一下作者：朱一鸣，锤子

1.如何交互（目前的人机协同模式是什么样）？之前很多人都说到大模型可能会有3种交互模型模式一：以人为主导，大模型提供建议（copilot阶段）像一个副驾驶，开车的时候给你提供建议，但是决定权还是在你手上模式二：人和大模型协同工作，合作完成同一个工作（embedding阶段）在实际的工作场景中，有一些小的环节可以让大模型来完成，从整个工作流程的角度来看这样确确实实的嵌入到我们的工作中，提高的效率模式三：人指挥大模型工作（数字员工阶段）这个阶段目前看来，非常少见。大模型还不能完全独立于人来完成某一个非常具体的工作。可能是一个工程上的问题，也有可能是大模型本身能力欠缺导致。个人观点：当下最应该努力的方向其实：如何从简单使用大模型得到建议，转变为让大模型深度的融入到工作流里面去。这样的一套agent一定是有很高价值的。至于数字员工这个阶段，还不是特别成熟，可以让其他大厂和学界先多试一下

每一次平台型技术的出现，都会催生出新的人机交互方式，个人电脑时代的鼠标与键盘，移动时代的触摸屏，现在是智能时代，我们一度认为ChatGPT的LUI（自然语言对话式界面）就是这个时代交互的终点，但事实并非如此，知名科幻电影HER中，那种人类与AI全感知无障碍的对话形式，才是我们想要的。“通过语音、文本和视觉进行推理非常重要，因为我们正在研究与机器交互的未来”，Muri Murati在今年五月十三日那场不到半小时的超快发布会上这样告诉大家。那天OpenAI发布了最新的模型GPT-4o，并且用了个很前卫的新概念，全模态模型-Omnimoda Model。GPT-4o是OpenAI之前所有技术的集大成者，新模型通过端到端的神经网络，把视觉、语音和文本数据混合训练，而不是用大家常用的工程手段，先各种数据先转换成文本后，交给LLM处理，然后再把输出的文本转换成对应的媒体形式。这样，GPT-4o对音频输入的平均反应时间为300毫秒，与人类对话的反应时间相似；而且直接拿音频数据来训练的好处就是模型能从数据中感悟到人类表达的情绪、语调、风格等等，你能听到几乎真实的人类的声音，在一段演示中感觉连训练时的环境声音都给还原出来了。OpenAI并没有公开GPT-4o的任何技术细节，唯一的线索就是来自他们内部模型炼丹师的一篇博客，项目名是AudioLM，2023年中启动，目标是用端到端的方式扩大语音模型的能力。