以下是一些用于识别图形的大模型:
大模型选择Toonyou的二次元卡通风格,在ControlNet中导入库里的照片,预处理器选择openpose,点击预处理器右侧的爆炸标志,就可以看到提炼出来的骨骼结构。接下来,使用同样名为openpose的模型,调试参数,点击生成。可以看到,这张AI绘图就采用我们提供给它的动作参考画了出来,效果相当不错。那ControlNet的预处理器有多少种呢?我们打开下拉列表就可以看到,目前最新的ControlNet v1.1.150版本,一共有37种。很多同学看到这里估计要懵了,我怎么知道该使用哪一种预处理,并且它会变成什么效果呢?接下来。我们将这些预处理器做一个分类理解。线条约束类:它可以通过轮廓线来规定绘图的范围。canny边缘检测:还是用库里的动作图作为例子,可以看到预处理器精确地找到了人物的轮廓边缘,并且进行了重绘,适用于线条比较精细的图片。scribble涂鸦:适合粗犷的画风,灵魂画手的拯救器。softedge软边缘检测:同样是保留轮廓边缘进行绘图,相比于canny,可以看到线条较粗且有柔化的部分,这样的处理对边缘的细节保留得更多,特别是有头发这类细节的时候,但未必有canny刻画的那么细。
插件暂时简单的设置完毕,要选择生图模型了,大模型决定了我们的最终的风格,是真实系,是动画二次元,还是什么,这决定你对模型熟悉程度。生成一个真实场景下的字体,文章开始图片相似的风格,是我的目标,以此为例:经过一些尝试,我选了真人效果卓绝的大模型lofi.v2,(还有一些其他比较真实的模型都可以备选,只是会有一些参数变化需要注意)不同的大模型,会对CN模型的控制力有不同的适应度,所以需要微调参数。
图像Embeddings:使用卷积神经网络(CNN)进行图像特征提取,得到的特征向量即为图像嵌入。音频Embeddings:在语音识别和声纹识别中,将声音信号转化为有意义的向量表示。用户/物品Embeddings:在推荐系统中,将用户行为或物品属性映射到低维空间以进行协同过滤或基于内容的推荐。还有一种图Embeddings:是用于学习图结构的表示学习方法,将图中的节点和边映射到低维向量空间中。通过学习图嵌入,可以将复杂的图结构转化为向量表示,以捕捉节点之间的结构和关联关系。这些方法可以通过DeepWalk、Node2Vec、GraphSAGE等算法来实现。图嵌入在图分析、社交网络分析、推荐系统等领域中广泛应用,用于发现社区结构、节点相似性、信息传播等图属性。下面以OpenAI为例继续展开介绍