直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

Rerank Model

回答

重排通常是通过专门的 Rerank 模型来实现的。例如在一些研究中,如基于 Notion 和 Coze 打造个人知识问答系统,提到若不考虑速度和成本,最好的语义相关度计算算法就是 LLM 本身,所以直接使用 LLM 来做打分和重排。在大模型 RAG 问答的行业最佳实践中,如 Baichuan 案例,对于 Rerank 和 selection 的作用范围存在一定的不确定性,合理猜测是对全部 Material 进行重排序和筛序。

内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

基于 Notion 和 Coze 打造个人知识问答系统(含提示词、代码以及完整的工作流设计)

重排一般是通过专门的Rerank模型来实现的,但是本文没有采用这种方案,而是参考了Qwen-Agent这个研究[5],直接使用LLM来做打分和重排。因为我有一个不太成熟的想法:如果不考虑速度和成本的话,最好的语义相关度计算算法就是LLM本身。https://qwenlm.github.io/zh/blog/qwen-agent-2405/

ComyfUI DynamiCrafter

这两个模型是DynamiCrafter封装节点分割好的模型模型放在ComfyUI/models/checkpoints中(也可以放在子文件夹中)模型地址https://huggingface.co/Kijai/DynamiCrafter_pruned/tree/maindynamicrafter_1024_v1_bf16.safetensors(1024x512)https://huggingface.co/Kijai/DynamiCrafter_pruned/blob/main/dynamicrafter_1024_v1_bf16.safetensorsdynamicrafter_512_interp_v1_bf16.safetensors(用于插帧)https://huggingface.co/Kijai/DynamiCrafter_pruned/blob/main/dynamicrafter_512_interp_v1_bf16.safetensorsGPU内存消耗:18.3GB(576x1024),12.8GB(320x512),11.9GB(256x256)。第一次运行会下载模型,如果没有配置环境,可能会失败

大模型RAG问答行业最佳案例及微调、推理双阶段实现模式:基于模块化(Modular)RAG自定义RAG Flow

此外还引入了self-Critique让大模型基于Prompt、从相关性和可用性等角度对检索回来的内容自省,进行二次查看,从中筛选出与Prompt最匹配、最优质的候选内容。由于在整个Baichuan RAG Flow中分支较多,也并没有具体披露,Rerank和selection是之仅对检索分支出来的内容,还是对其他分支中已经已经生成的内容也要进行。在这里,合理猜测是对全部Material进行重排序和筛序。

其他人在问
Error occurred when executing IPAdapterAdvanced: insightface model is required for FaceID models File "D:\AI\comfyui_20240421\execution.py", line 151, in recursive_execute output_data, output_ui = get_output_data(obj, input_data_all) File "D:\AI\co
以下是针对您所遇到的报错问题的一些解决建议: 1. 对于 ipadater 部分报错说 model 不存在的情况,将文中画圈部分修改调整到不报错。Pulid 部分,除了下载好对应的节点以及参考官方网站最下面的安装对应要求外,还要注意上图中的第二要点,对应安装一些内容,具体要求可查看云盘中命名为“pulid 插件模型位置.png”的文件及对应的云盘链接:PulID 全套模型,链接:https://pan.baidu.com/s/1ami4FA4w9mjuAsPK49kMAw?pwd=y6hb,提取码:y6hb。否则将会遇到报错:Error occurred when executing PulidEvaClipLoader。 2. 对于 Ollama 大模型部分,为了应对没下载大模型带来的报错,需要下载大模型。首先,下载 ollama,网站: 。 3. 如果缺少 ipadapter 的模型,可去这个网址下载:https://github.com/cubiq/ComfyUI_IPAdapter_plus 。如果遇到“Error occurred when executing IPAdapterUnifiedLoader:ClipVision model not found.......”类似的报错,可在这个网址里找到多个关于 IPAdapter 报错的解决办法:https://github.com/cubiq/ComfyUI_IPAdapter_plus/issues/313 。 另外,换脸工作流的核心组件是 Apply InstantID Advanced 节点,这个节点的作用就是将源人脸替换到目标图像中。其中,instantID 模型擅长提取图片的高层次特征,包括面部的纹理信息、几何结构、风格特征等,在图中例子是 IPAdpater,用于识别和保留目标图像 image_kps 的风格并迁移到生成图像中。instantID Face Analysis 节点用于提取人脸五官的特征向量,作用是使生成图像时,人脸的眼睛、鼻子、嘴巴等样子仍然符合源人脸 image 的特征。controlnet 模型的作用是识别目标图像 image_kps 的低层次特征,包括骨架、姿势、边缘、结构。controlnet 模型和 instantID 模型起到不同的控制作用,结合使用可以达到将源人脸的五官替换目标图像中五官的效果。
2024-09-03
How Al Agentic workflows could drive more Al progress than even the next generation of foundation models
以下是关于您提出的“ How Al Agentic workflows could drive more Al progress than even the next generation of foundation models ”问题的相关信息: 吴恩达认为人工智能代理工作流程将在今年推动人工智能的巨大进步,甚至可能超过下一代基础模型。构建代理的设计模式框架包括反思、工具使用、规划和多代理协作。反思是指 LLMs 审视自身工作并提出改进方法;工具使用是指赋予 LLMs 如网络搜索、代码执行等工具以帮助其收集信息、采取行动或处理数据;规划是指 LLMs 制定并执行多步骤计划以实现目标;多代理协作则涉及多个 AI 代理共同工作,通过分工、讨论和辩论来提出比单个代理更好的解决方案。这些设计模式为构建高效的 AI 代理提供了指导,并将在下周进一步详细阐述并提供相关阅读建议。 此外,在医疗保健领域,为了产生真正的改变,AI 需要像我们一样学习。必须让这些专家 AI 接触到顶级从业人员的多样化视角,以避免复制危险的偏见。鉴于人工智能依赖的神经网络基础,这些专家 AI 可能通过元学习(或学会学习)比我们预期的更快地获得知识,并带着我们人类一同进步。 在 AI 进化方面,CNN 的结构基于两类细胞的级联模型,主要用于模式识别任务,在计算上比大多数其他架构更有效、更快速,在许多应用中,包括自然语言处理和图像识别,已经被用来击败大多数其他算法。我们每次对大脑的工作机制的认知多一点,神经网络的算法和模型也会前进一步。
2024-09-02
reward model
奖励模型(Reward Model)相关内容如下: 在训练 GPT 助手方面,对于奖励模型,需要将提示排成行,提示在三行中相同,但完成项不同。黄色的 token 来自 SFT 模型,在最后添加特殊的奖励读出 token,监督单个绿色 token 的 transformer,它会预测完成项的质量。做出预测后,根据模型对完成项的排名与来自人类承包商的比较事实数据制定损失函数,训练模型使其做出与比较事实数据相一致的奖励预测,从而能够评估提示的完成程度。 此外,关于盈利模式,比如在菠萝作词家平台,可以提供不同级别的订阅套餐,包括基础套餐和高级套餐,分别提供不同服务。还可以与音乐制作人等建立项目合作关系,按项目费用或作品分成获取收益。对于优秀歌词作品,平台可与创作者分享版权收益。也能吸引音乐相关品牌及广告商入驻,通过展示广告、品牌联名等增加收入,或为品牌定制专属歌词内容。最后可以开设线上或线下的歌词创作培训课程。 在 GPT 模型方面,开发者上架经过审核和筛选的 GPT 模型,可获得曝光和赚取收益,虽然官方未公开详细盈利模式,但可能包括多种方式。
2024-08-19