大模型和小模型的协作方式主要体现在以下几个方面:
在人机协同模式方面:
在 AI 绘图方面:大模型如同主菜或主食,小模型(如 Lora)如同佐料或调料包,Lora 能帮助快速实现特定风格或角色的绘制。并且大模型和 Lora 要基于同一个基础模型才能搭配使用,以生成各种风格的图片。
个人观点认为,当下应努力让大模型深度融入工作流,而数字员工阶段尚不成熟,可让其他大厂和学界先多尝试。
1.如何交互(目前的人机协同模式是什么样)?之前很多人都说到大模型可能会有3种交互模型模式一:以人为主导,大模型提供建议(copilot阶段)像一个副驾驶,开车的时候给你提供建议,但是决定权还是在你手上模式二:人和大模型协同工作,合作完成同一个工作(embedding阶段)在实际的工作场景中,有一些小的环节可以让大模型来完成,从整个工作流程的角度来看这样确确实实的嵌入到我们的工作中,提高的效率模式三:人指挥大模型工作(数字员工阶段)这个阶段目前看来,非常少见。大模型还不能完全独立于人来完成某一个非常具体的工作。可能是一个工程上的问题,也有可能是大模型本身能力欠缺导致。个人观点:当下最应该努力的方向其实:如何从简单使用大模型得到建议,转变为让大模型深度的融入到工作流里面去。这样的一套agent一定是有很高价值的。至于数字员工这个阶段,还不是特别成熟,可以让其他大厂和学界先多试一下作者:朱一鸣,锤子
1.如何交互(目前的人机协同模式是什么样)?之前很多人都说到大模型可能会有3种交互模型模式一:以人为主导,大模型提供建议(copilot阶段)像一个副驾驶,开车的时候给你提供建议,但是决定权还是在你手上模式二:人和大模型协同工作,合作完成同一个工作(embedding阶段)在实际的工作场景中,有一些小的环节可以让大模型来完成,从整个工作流程的角度来看这样确确实实的嵌入到我们的工作中,提高的效率模式三:人指挥大模型工作(数字员工阶段)这个阶段目前看来,非常少见。大模型还不能完全独立于人来完成某一个非常具体的工作。可能是一个工程上的问题,也有可能是大模型本身能力欠缺导致。个人观点:当下最应该努力的方向其实:如何从简单使用大模型得到建议,转变为让大模型深度的融入到工作流里面去。这样的一套agent一定是有很高价值的。至于数字员工这个阶段,还不是特别成熟,可以让其他大厂和学界先多试一下
[heading2]总结关于AI绘图模型的介绍与应用大模型与小模型(Lora)的关系:大模型如同主菜或主食,小模型(Lora)如同佐料或调料包,Lora能帮助快速实现特定风格或角色的绘制。Lora的作用:可改变人物形象、画风,添加模型中原本没有的元素,如绘制特定的国内节日元素。模型的选择与搭配:大模型和Lora要基于同一个基础模型才能搭配使用,以生成各种风格的图片。提示词相关功能:可以用中文写提示词,系统有翻译和扩写功能,能优化提示词。图片高清修复:文生图尺寸较小较模糊,可选择图片进行高清修复。SD软件的图片处理方法图片放大的流程:先画小图,再等比例放大并高分辨率修复。放大时要选择合适的修复方式和重绘幅度,重绘幅度越高,图片越偏离原图但越精致。图片风格转换的操作:在图生图中放入图片,选择想要转换的风格的大模型,调整尺寸,根据需求设置重绘幅度和提示词。线条控制的方法:在文生图中使用添加control Lite功能,选择姿态等控制选项,生成图片,还可通过插件修复脸部。