如何构建多模态知识库？

通过多模态的能力，对图片信息进行检索理解。这里面我们也用到第二天共学拓展的知识点，图像类的多模态数据。效果测试：上传一张图片，去我们的图像数据库里面找到相关的信息，然后识别信息后，结合内容进行回复。拓展：如何构建图片索引？建图片索引需两步：1.新建结构化数据表时，需要将图片索引所在列的字段类型设置为link。注意：新建数据表后，无法再新增或修改字段类型为link。1.创建结构化知识库时，对于需要建立图片索引的link类型字段，在旁边的下拉列表中选择图片。注意：创建知识库后，无法再新建或修改图片索引。如何开启多模态沉浸式交互呢？语音对话音频交互https://video.aliyuncs.com/aicall?token=eyJUZW1wb3JhcnlBSUFnZW50SWQiOiJhMWIyMzNkYTc3ZmE0ZDM3OWU3MDQ4NTI1N2I3MzkyNiIsIk5hbWUiOiJOc0c1RG5IeiIsIkV4cGlyZVRpbWUiOiIyMDI1LTAxLTEwIDIwOjQyOjA3IiwiV29ya2Zsb3dUeXBlIjoiVm9pY2VDaGF0IiwiUmVnaW9uIjoiY24tYmVpamluZyJ9视频交互（可以在右上角点击“体验”按钮，可以直接在手机端进行多模态交互体验，更加方便）

[heading2]总结数据清洗与智能体应用中的技术与能力数据清洗方式：介绍通过人工清洗或机器清洗生成便于模型理解的数据，如使用Markdown或Excel结构化数据，列举正例和反例说明数据格式的重要性。智能体搭建：讲述如何在平台上搭建智能体，如在钉钉体验窗口中展示小助手的会话创建和画图等能力。插件能力运用：提到可选择插件添加图片生成等能力，未来有更多官方插件，也可创建自定义插件并接入API。多模态知识库：说明了构建图片型索引需结构化数据表，字段类型设置为link，以实现FAQ中向用户推送图片信息。智联体发布：介绍智联体在公众号和钉钉上的发布，包括配置微信时选择API key等操作。配置微信和钉钉渠道及数据获取方法微信渠道配置：在账号设置中选择开发接口管理，复制appid填入APP floor并授权，创建微信渠道，可结合知识库答疑。钉钉渠道配置：在钉钉开放平台创建应用和机器人，获取相关参数如client ID、client secret和卡片模板ID，配置消息接收模式和权限，添加群机器人。数据获取与清洗：可让大模型生成数据，获取公开信息如公积金政策用于问答，推荐Model Scope和阿里云天池等平台的数据集用于测试。

[heading2]总结AI实训营的多模态能力及相关内容介绍前两日课程回顾：带领大家体验阿里云百炼大模型的应用广场，进行案例解析，还指导搭建文本知识库并接入钉钉和微信公众号。多模态能力介绍：讲解百炼大模型平台的多模态能力，包括图像识别、处理和生成等，以及在商家运营场景中的解决方案和原始能力API。应用案例体验：体验淘宝拍立淘、支付宝图像搜索引擎、诗歌相机等多模态应用，还将拆解拍立得的多模态能力并开源项目。学习资源与作业：提供新用户注册和老用户领取资源包的途径，布置作业，打卡满两次可获礼品，1月17号0点截止作业提交，以阿里云UID作为打卡依据。未来合作与更新：1月10号将迎来50个以上插件更新，会与通义灵码合作推出AI编程课程。多模态模型与视觉智能开放平台的能力介绍与应用通义千问模型应用：介绍了通义千问Feel Max模型的图片理解能力，可根据输入的图片生成详尽描述和文案。Flux模型图像生成：体验了Flux模型生成商品鞋、飞机、小丑等图像，其底模表现不错，还能进行原子能力调用。视觉智能开放平台：展示了视觉智能开放平台适用于千行百业，具备人脸、人体、文字识别等多种原子级解决方案能力，如美肤瘦脸、人体检测、文本识别等，还有爆款场景如老照片修复等。