Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

模型能力测评方法有哪些,比如ragas这种

Answer

以下是一些常见的模型能力测评方法:

  1. 从模型角度(generation):
    • 回答真实性:评估模型结果的真实性,减少模型幻觉。
    • 回答相关度:衡量结果与问题的相关性,避免南辕北辙。
  2. 从检索角度(retrieval):
    • 召回率(recall):考查相关信息在返回的检索内容中的包含程度,越全越好。
    • 准确率(precision):评估返回的检索内容中有用信息的占比,越多越好。

RAGAS 是一个用于 RAG 评估的知名开源库,您可以通过https://github.com/explodinggradients/ragas了解和使用。

RAG 具有一定的优势和局限性: 优势:

  • 能够解决大语言模型技术中输出结果的不可预测性、知识的局限性、幻觉问题、数据安全性等问题。
  • 可以让大模型从权威的、预先确定的知识来源中检索、组织相关信息,更好地控制大模型生成的文本输出,并且用户可以深入了解 LLM 如何生成最终的结果。
  • 可以和微调结合使用。

局限性:

  • 适合打造专才,不适合打造通才,不适合为模型提供通用领域知识。
  • 难以让模型保持稳定的风格或结构输出,降低 token 消耗等,需要使用微调技术解决。
Content generated by AI large model, please carefully verify (powered by aily)

References

3. 如何让 LLM 应用性能登峰造极

如果检索到的知识是无效的,会严重影响LLM应用的表现,因此将检索过程的精确度和召回率与整个LLM应用程序分开进行研究尤为重要。如下图所示,需要建立一个评估框架,将检索性能与整个LLM应用程序隔离开来。所以这里需要既需要从模型角度出发评估生成结果的质量,也需要从检索的角度出发,用精确度和召回率评估检索,并评估整个系统。模型角度(generation)回答真实性:模型结果真实性多高(少一些模型幻觉)回答相关度:结果和问题有多相关,不能南辕北辙检索角度(retrieval)召回率(recall):相关信息有多少包含在返回的检索内容里,越全越好准确率(precision):返回的检索内容中有用信息占比多少,越多越好RAGAS是一个用于RAG评估的知名开源库,推荐使用:[https://github.com/explodinggradients/ragas](https://github.com/explodinggradients/ragas)[heading3]RAG局限性[content]如果LLM应用面临的问题与上下文有关,那么RAG就是一个强大的工具。它使模型能够访问外部数据源,提供模型训练数据中不存在的必要上下文。这种方法可以显著提高模型的性能,尤其是在最新信息或特定领域信息至关重要的情况下。为模型提供参考文本的情况下,也能大大降低模型幻觉。需要注意的是RAG的局限性如下:适合打造专才,不适合打造通才。虽然能够为模型提供新的信息、专有领域知识等,但并不适合为模型提供通用领域知识。让模型保持稳定的风格或结构输出,降低token消耗等。也就是我们在prompt工程局限性的后两点,而这两点需要使用微调技术解决。

19. RAG 提示工程系列(一)

大语言模型技术的本质导致了大模型的输出结果具有不可预测性,此外,静态的训练数据导致了大模型所掌握的知识存在截止日期,无法即时掌握最新信息。因此,当我们将大模型应用于实际业务场景时会发现,通用的基础大模型无法满足我们的实际业务需求。主要存在以下原因:知识的局限性:模型自身的知识完全源于它的训练数据,而现有的主流大模型(ChatGPT、文心一言、通义千问…)的训练集基本都是抓取网络公开的数据用于训练,对于一些实时性的、非公开的或离线的数据是无法获取到的,这部分知识也就无从具备。幻觉问题:大模型的底层原理是基于数学概率的文字预测,即文字接龙。因此大模型存在幻觉问题,会在没有答案的情况下提供虚假信息,提供过时或通用的信息,从可信度低非权威来源的资料中提供结果等。数据安全性:对于企业来说,数据安全至关重要,没有企业愿意承担数据泄露的风险,将自身的私域数据上传第三方平台进行训练。因此如何大模型落地应用时如何保障企业内部数据安全是一个重要问题。而RAG是解决上述问题的一套有效方案。它可以让大模型从权威的、预先确定的知识来源中检索、组织相关信息,更好地控制大模型生成的文本输出,并且用户可以深入了解LLM如何生成最终的结果。并且,RAG可以和微调结合使用,两者并不冲突。RAG类似于为模型提供教科书,允许它基于特定查询检索信息。这该方法适用于模型需要回答特定的询问或解决特定的信息检索任务。然而,RAG不适合教模型来理解广泛的领域或学习新的语言,格式或样式。

AIGC Weekly #56

鉴于AI正在快速发展并能够执行广泛的任务,作者认为对于某些项目,在AI技术进一步改进之前等待可能更加有利。这一点在那些耗时长且AI已有合理表现的任务中尤为显著,如写作小说或软件开发。该文章讨论了在构建和维护生产级大型语言模型(LLM)应用程序(如GitHub Copilot)中,评估指标的重要性。这些指标对于质量控制和防止重复故障案例至关重要。LLM应用程序的评估可以分为端到端和步骤/组件式评估。前者提供了整体质量感知,而后者有助于识别和减轻可能影响LLM应用程序整体质量的故障模式。该文章概述了适用于端到端和组件式评估的不同场景的评估指标。这些见解来自研究文献以及与其他LLM应用程序构建者进行的讨论。文章还提供了Python代码示例。语言模型(LLMs)如GPT-4是无监督任务的强大工具,但可能会出现“幻觉”,即生成似是而非的信息。为了缓解这一问题,可以采用以下几种策略:高级提示:这涉及在系统提示中提供清晰的指示,以避免传播错误或不可验证的信息。例如,使用一个提示来指导模型不要传播不正确的数据。少样本提示:向LLM提供少量特定示例以引导其回应,有助于它专注于主题和上下文。示例的质量至关重要,因为糟糕的示例可能导致更多幻觉。思维链式提示:鼓励LLM在最终答案之前生成推理步骤,可以通过逐步思考或提供推理示例来实现。然而,这可能会引入产生幻觉推理的风险。数据增强:当上下文超出模型窗口时,数据增强可以通过添加专有数据或外部工具/知识来帮助。技术包括:检索增强生成(RAG):将模型知识与检索系统结合起来,在实时中获取相关数据。工具集成:使用函数调用、API调用和其他工具来提高准确性,尽管这需要进行广泛测试和实验。

Others are asking
模型能力测评方法
以下是关于模型能力测评方法的相关内容: 测评机制: 测评目标:测评三家国产大模型,以同组提示词下 ChatGPT 4.0 生成的内容做对标参照,包括智谱清言(https://chatglm.cn/main/detail)、文心一言 4.0(https://yiyan.baidu.com/)、Kimi Chat(https://kimi.moonshot.cn/chat/)。 能力考量:包括复杂提示词理解和执行(结构化提示词)、推理能力(CoT 表现)、文本生成能力(写作要求执行)、提示词设计能力(让模型设计提示词)、长文本归纳总结能力(论文阅读)。 测评轮次: 第一轮:复杂提示词理解和执行,包括 Markdown+英文 title 提示词测试、Markdown+中文 title 提示词测试、中文 title+自然段落提示词测试。 第二轮:推理能力(CoT 表现),逐步推理任务,遍历 3 个不同类型任务和 4 个大模型。 第三轮:文本生成能力(写作要求执行),根据提示词生成文本任务,遍历 3 个不同类型任务和 4 个大模型。 第四轮:提示词设计能力(让模型设计提示词),按提示词要求生成提示词,逐步推理任务,遍历 3 个不同类型任务和 4 个大模型。 第五轮:长文本归纳总结能力(论文阅读),按提供的长文本(上传或在线)进行归纳总结,逐步推理任务,遍历 3 个不同类型任务和 4 个大模型。 测评过程: 用 5 组提示词分别测试模型的复杂提示词执行能力、推理能力、文本生成能力、用提示词设计提示词的能力、长文本归纳总结能力。每一轮中提示词和问题相同,观察国产三家模型的生成结果,并以 ChatGPT 4.0 生成的内容做对照参考。需要注意的是,本测评是主观需求主观视角,不具有权威性。
2025-02-07
模型测评
以下是关于模型测评的相关内容: Llama2 模型评测:为了解其中文问答能力,筛选了具有代表性的中文问题进行提问,测试了 Meta 公开的 Llama27BChat 和 Llama213BChat 两个版本,未做任何微调和训练。测试问题涵盖通用知识、语言理解等八个类别,使用特定 Prompt 进行测试,测试结果见相应文档。发现该模型对于中文问答的对齐效果一般,基于中文数据的训练和微调十分必要。 小七姐:文心一言 4.0、智谱清言、KimiChat 小样本测评:测评机制包括以同组提示词下 ChatGPT 4.0 生成的内容做对标参照,能力考量涵盖复杂提示词理解和执行、推理能力、文本生成能力、提示词设计能力、长文本归纳总结能力,测评轮次包括复杂提示词理解和执行、推理能力、文本生成能力、提示词设计能力、长文本归纳总结能力,每轮次均有不同的任务和模型测试次数。 斯坦福发布大模型排行榜 AlpacaEval:相对于人工标注,全自动化的 AlpacaEval 经济成本和时间成本低。从统计角度探讨了区分模型的评估数据,AlpacaEval 支持两种模式的模型评估方式,评测过程分为选择评估集并计算输出、计算 golden 输出、选择自动标注器并计算胜率三步。
2025-02-06
2024年度中文大模型基准测评报告
以下是关于 2024 年度中文大模型基准测评报告的相关信息: 2024 年 7 月 10 日: 《SuperCLUE:中文大模型基准测评 2024 年上半年报告》指出,2024 年上半年中文大模型技术取得显著进展,国内外模型差距缩小至 5%以内。国内开源模型如 Qwen272B 表现优异,超越众多闭源模型。端侧小模型发展迅速,落地可行性大幅提升。该报告通过多维度、多层次测评体系,全面评估了大模型的通用能力和专项能力,为行业发展提供了客观数据支持。同时也指出,尽管大模型在多领域展现潜力,但仍面临技术挑战和应用落地问题。 2024 年 11 月 8 日: SuperCLUE 团队发布的新一期《SuperCLUE:中文大模型基准测评 2024 年 10 月报告》中有四点核心发现:1)OpenAI 发布 o1 后,全球大模型竞争加剧;2)国内大模型第一梯队竞争激烈,持续迭代表现不俗;3)国内外大模型在不同任务上表现各有优势;4)端侧小模型表现惊艳。 此外,Sora:大型视觉模型的背景、技术、局限性和机遇综述【官方论文】的参考文献包括: T.Shen,R.Jin,Y.Huang,C.Liu,W.Dong,Z.Guo,X.Wu,Y.Liu,和 D.Xiong,“大型语言模型对齐:一项调查”,arXiv 预印本 arXiv:2309.15025,2023 年。 X.Liu,X.Lei,S.Wang,Y.Huang,Z.Feng,B.Wen,J.Cheng,P.Ke,Y.Xu,W.L.Tam,X.Zhang,L.Sun,H.Wang,J.Zhang,M.Huang,Y.Dong,和 J.Tang,“Alignbench:大型语言模型中文对齐的基准测试”,2023 年。 P.Christiano,J.Leike,T.B.Brown,M.Martic,S.Legg,和 D.Amodei,“基于人类偏好的深度强化学习”,2023 年。 T.Yu,Y.Yao,H.Zhang,T.He,Y.Han,G.Cui,J.Hu,Z.Liu,H.T.Zheng,M.Sun,和 T.S.Chua,“RLHFV:通过细粒度校正人类反馈实现可信赖的 MLLMs 行为对齐”,2023 年。 M.S.Jahan 和 M.Oussalah,“使用自然语言处理进行仇恨言论自动检测的系统综述。”,《神经计算》,第 126232 页,2023 年。 OpenAI,“Sora 安全。”https://openai.com/sorasafety,2024 年。
2024-12-27
RAG 如何测评?
RAG(检索增强生成)的测评方法如下: 1. 可以使用 TruLens 来实现 RAG 三角形的评估方法,具体步骤为: 在 LangChain 中,创建一个 RAG 对象,使用 RAGPromptTemplate 作为提示模板,指定检索系统和知识库的参数。 在 TruLens 中,创建一个 TruChain 对象,包装 RAG 对象,指定反馈函数和应用 ID。反馈函数可以使用 TruLens 提供的 f_context_relevance、f_groundness、f_answer_relevance,也可以自定义。 使用 with 语句来运行 RAG 对象,并记录反馈数据。输入一个问题,得到一个回答,以及检索出的文档。 查看和分析反馈数据,根据 RAG 三角形的评估指标,评价 RAG 的表现。 2. 评估 RAG 生成的文本质量,常用的评估方法包括自动评估指标(如 BLEU、ROUGE 等)、人工评估和事实验证,以衡量生成文本的流畅性、准确性和相关性。 3. 评估 RAG 检索的效果,包括检索的准确性、召回率和效率,其好坏直接影响生成文本的质量。 4. 通过用户调查、用户反馈和用户交互数据来实现用户满意度评估。 5. 对于生成多模态内容的 RAG 系统,需要通过多模态评估指标来评估不同模态之间的一致性和相关性。 6. 对于需要实时更新的 RAG 任务,要考虑信息更新的及时性和效率进行实时性评估。 7. 为了进行客观的评估,通常会使用基准测试集来进行实验和比较不同的 RAG 系统。这些基准测试集包含了多样化的任务和查询,以涵盖不同的应用场景。 评估方法和指标的选择取决于具体的任务和应用场景。综合使用多种评估方法可以更全面地了解 RAG 系统的性能和效果,评估结果可以指导系统的改进和优化,以满足用户的需求。
2024-12-13
SuperCLUE半年度测评报告
以下是关于 SuperCLUE 半年度测评报告的相关内容: 趋势说明: 过去半年,国内领军大模型企业实现了代际追赶。7 月与 GPT3.5 有 20 分差距,之后每月稳定且大幅提升,11 月总分超越 GPT3.5。GPT3.5 和 GPT4 在中文表现上基本一致,11 月有下滑,国内头部模型持续稳健提升。12 月国内第一梯队模型与 GPT4 差距缩小,但仍需追赶。部分国内代表性模型 7 月至 12 月的得分情况为:文心一言 50.48、54.18、53.72、61.81、73.62、75;通义千问 41.73、33.78、43.36、61.01、71.78;ChatGLM 42.46、38.49、54.31、58.53、63.27、69.91。 测评方法: 采用多维度、多视角的综合性测评方案,包括多轮开放问题 SuperCLUEOPEN 和三大能力客观题 SuperCLUEOPT。评测集共 4273 题,其中 1060 道多轮简答题(OPEN),3213 道客观选择题(OPT)。OPEN 基准使用超级模型作为评判官,对比待评估模型与基准模型,计算胜和率作为 OPEN 得分。OPT 主要测评选择题,包括基础能力、中文特性、专业与学术能力,构造统一 prompt 供模型使用,要求选取唯一选项。SuperCLUE 总分由 0.7OPEN 分+0.3OPT 分计算得出。 第三方测评特点: SuperCLUE 始终秉持中立、客观的第三方测评理念,采用自动化方式的客观评估,降低人为评估的不确定性。测评方式与真实用户体验目标一致,纳入开放主观问题测评,通过多维度多视角多层次的评测体系和对话形式,模拟应用场景,考察模型生成能力,构建多轮对话场景,全方位评测大模型。同时,不限于学术领域的测评,旨在服务产业界,从多个维度的选择和设计到行业大模型测评基准的推出,都是为产业和应用服务,反映通用大模型与产业应用的差距,引导大模型提升技术落地效果。
2024-09-20
对AI功能的新型用户体验测评
以下是关于 AI 功能新型用户体验测评的相关内容: 生成式 AI 的第二阶段: 新的开发者工具和应用框架为公司创建更先进的 AI 应用提供可重用构建块,并帮助评估、改进和监控生产中的 AI 模型性能,如 Langsmith 和 Weights & Biases 等 LLMOps 工具。 AIfirst 基础设施公司如 Coreweave、Lambda Labs、Foundry、Replicate 和 Modal 正在解除公共云的捆绑,提供大量 GPU 及良好的 PaaS 开发者体验。 生成式 AI 优先的用户体验在进化,包括新兴产品蓝图,如从基于文本的对话用户体验到新的形态如 Perplexity 的生成用户界面、Inflection AI 的语音发声等新模态,以及新的编辑体验如 Copilot 到导演模式,还有像 Midjourney 的新平移命令和 Runway 的导演模式创造的新相机般编辑体验,Eleven Labs 使通过提示操作声音成为可能。 Top100 AI 消费者应用(第三版): 字节跳动于 2023 年底成立专注于生成式 AI 应用的研发部门 Flow,并从 2024 年初开始以其他公司名义在美国及海外推出新的 AI 应用。 在网页和移动端,新类别为审美和约会,包括三家新进入者 LooksMax AI、Umax 和 RIZZ。LooksMax 和 Umax 采集用户照片进行评分并给出“建议”,Umax 生成用户 10 分满分照片,LooksMax 分析用户声音确定吸引力。LooksMax 声称拥有超 200 万用户,Umax 声称拥有 100 万用户。 生成式 AI:下一个消费者平台: AI 能使产品个性化用户体验,早期应用已出现在教育科技和搜索中,预计这种定制将是许多 AI 启用产品的核心价值主张。后续文章将更深入研究相关领域,并分享评估消费者 AI 公司时提出的问题。
2024-08-28
推荐免费的tts公有模型站点,需要支持中文,克隆自己的声音
以下为您推荐支持中文且能克隆自己声音的免费 TTS 公有模型站点: GPTSoVITS: 只需 1 分钟语音即可训练一个自己的 TTS 模型。 5 秒数据就能模仿您,1 分钟的声音数据就能训练出一个高质量的 TTS 模型,完美克隆您的声音,且适配中文,界面易用。 主要特点: 零样本 TTS:输入 5 秒的声音样本即可体验即时的文本到语音转换。 少量样本训练:只需 1 分钟的训练数据即可微调模型,提高声音相似度和真实感。模仿出来的声音会更加接近原声,听起来更自然。 跨语言支持:支持与训练数据集不同语言的推理,目前支持英语、日语和中文。 易于使用的界面:集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具,帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 适用于不同操作系统:项目可以在不同的操作系统上安装和运行,包括 Windows。 预训练模型:项目提供了一些已经训练好的模型,您可以直接下载使用。 GitHub: 视频教程: 需要注意的是,Stuart 模型存在一些问题: 语音生成基本功能方面: 支持的语音时长不超过 30 秒,超过 30 秒的需要特别修复。 某些 audio seed 在念某些语句时会丢失一些语句。 Refine 过程中有些字会被丢失,比如“儿童节”在大概率会被 refine 成“童节”,丢失一个“儿”字。解决方法是跳过自动 refine,以手动修改文本的方式来控制停顿。 即使同一个 audio seed,如果使用不同的语句分段方式,或者不同的 text seed,生成的音色也不是很稳定,会给人感觉不是同一个人的声音。 代码 Bug: uv_break 等提示词可能会在 refine 之后缺少,甚至有时候在有中括号的情况下也会被念出来。 没提供微调 SFT 的接口。 本模型特别申明:不支持商用,仅用于学术研究。在生成的语音内,作者加了听不见的噪音水印,可以很容易的被检测出来是他的模型生成的语音。ChatTTS 还没放出训练代码无法自己克隆声音,作者还只放出了 4w 小时训练的版本,确保这个模型的声音能被 AI 检测出来。作者还留着一个 10w 小时训练数据的版本。
2025-02-07
推荐免费的tts模型站点,需要支持中文
以下为您推荐两个免费的支持中文的 TTS 模型站点: 1. Fish Speech:语音处理接近人类水平,约十五万小时三语数据,对中文支持完美。开发者为 fishaudio,具有亿级参数,高效轻量,可在个人设备上运行和微调,适合作为私人语音助手。详细介绍及更多演示:https://xiaohu.ai/p/10779 ,GitHub:https://github.com/fishaudio/fishspeech 。 2. GPTSoVITS:只需 1 分钟语音即可训练一个自己的 TTS 模型,是一个声音克隆和文本到语音转换的开源 Python RAG 框架。5 秒数据就能模仿您,1 分钟的声音数据就能训练出一个高质量的 TTS 模型,完美克隆您的声音,完美适配中文。GitHub: 。
2025-02-07
本地大模型联网搜索
以下是关于本地大模型联网搜索的相关内容: 部署本地大语言模型: 1. 下载并安装 Ollama:根据电脑系统,从 https://ollama.com/download 下载,双击打开点击“Install”,安装完成后将下方地址复制进浏览器确认:http://127.0.0.1:11434/ 。 2. 下载 qwen2:0.5b 模型: Windows 电脑:点击 win+R,输入 cmd 点击回车。 Mac 电脑:按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”选择应用程序。 复制相关命令行粘贴回车,等待自动下载完成。 模型获取与分辨: 1. 模型下载网站:大多数模型可在 Civitai(C 站)https://civitai.com/ 下载。 科学上网(自行解决)。 点击右上角筛选按钮选择模型类型。 看照片找到感兴趣的点进去下载。 还可点击左上角“Images”查看他人做好的图片,点进去获取信息。 2. 模型保存地址: 大模型:SD 根目录即下载 SD 时存放的文件夹。 Lora、VAE 等。 3. 分辨模型类型:可使用秋叶的模型解析工具 https://spell.novelai.dev/,将模型拖动到空白处获取信息。 DeepSeek 联网版: 1. 核心路径:通过工作流+DeepSeek R1 大模型实现联网版。 2. 拥有扣子专业版账号:普通账号自行升级或注册专业号。 3. 开通 DeepSeek R1 大模型:访问地址 https://console.volcengine.com/cozepro/overview?scenario=coze ,在火山方舟中找到开通管理,开通服务并添加在线推理模型。 4. 创建智能体:点击创建完成智能体创建。
2025-02-07
垂直领域大模型训练指南
以下是一份垂直领域大模型训练指南: 一、大模型入门 通俗来讲,大模型就是输入大量语料,让计算机获得类似人类的“思考”能力,能够进行文本生成、推理问答、对话、文档摘要等工作。 大模型的训练和使用过程可以用“上学参加工作”来类比: 1. 找学校:训练大模型需要大量计算,GPU 更合适,只有购买得起大量 GPU 的才有资本训练自己的大模型。 2. 确定教材:大模型需要的数据量特别多,几千亿序列(Token)的输入基本是标配。 3. 找老师:即用合适的算法讲述“书本”中的内容,让大模型更好理解 Token 之间的关系。 4. 就业指导:为了让大模型更好胜任某一行业,需要进行微调(fine tuning)指导。 5. 搬砖:就业指导完成后,进行如翻译、问答等工作,在大模型里称之为推导(infer)。 在 LLM 中,Token 被视为模型处理和生成的文本单位,可以代表单个字符、单词、子单词等,具体取决于所使用的分词方法。在将输入进行分词时,会对其进行数字化,形成一个词汇表。 二、LLM 开源中文大语言模型及数据集集合 1. 医疗领域 XrayGLM:首个会看胸部 X 光片的中文多模态医学大模型。 地址: 简介:该项目发布了 XrayGLM 数据集及模型,在医学影像诊断和多轮交互对话上显示出非凡潜力。 MeChat:中文心理健康支持对话大模型。 地址: 简介:该项目开源的中文心理健康支持通用模型由 ChatGLM6B LoRA 16bit 指令微调得到,数据集通过调用 gpt3.5turbo API 扩展真实的心理互助 QA 为多轮的心理健康支持多轮对话,提高了通用语言大模型在心理健康支持领域的表现,更加符合在长程多轮对话的应用场景。 MedicalGPT 地址: 简介:训练医疗大模型,实现包括二次预训练、有监督微调、奖励建模、强化学习训练。发布中文医疗 LoRA 模型 shibing624/ziyallama13bmedicallora,基于 ZiyaLLaMA13Bv1 模型,SFT 微调了一版医疗模型,医疗问答效果有提升,发布微调后的 LoRA 权重。 三、100 基础训练大模型 步骤三·Lora 生图: 1. 点击预览模型中间的生图会自动跳转到相应页面。 2. 模型上的数字代表模型强度,可在 0.6 1.0 之间调节,默认为 0.8。 3. 可以自己添加 lora 文件,点击后会显示训练过的所有 lora 的所有轮次。 4. VAE 不需要替换。 5. 正向提示词输入所写的提示词,可以选择基于这个提示词一次性生成几张图。 6. 选择生成图片的尺寸,包括横板、竖版、正方形。 7. 采样器和调度器新手小白可以默认不换。 8. 迭代步数可以按照需求在 20 30 之间调整。 9. CFG 可以按照需求在 3.5 7.5 之间调整。 10. 随机种子 1 代表随机生成图。 11. 所有设置都完成后,点击开始生成,生成的图会显示在右侧。 12. 如果有某次生成结果不错,想要微调或者高分辨率修复,可以点开那张图,往下滑,划到随机种子,复制下来,粘贴到随机种子这里,下次生成的图就会和这次的结果近似。 13. 如果确认了一张很合适的种子和参数,想要高清放大,则点开高清修复,可以选择放大的倍数。新手小白可以默认算法,迭代步数建议在 20 30 之间,重回幅度根据需求在 0.3 0.7 之间调整。 今日作业:按照比赛要求,收集六个主题中一个主题的素材并且训练出 lora 模型后提交 lora 模型与案例图像。 提交链接:https://waytoagi.feishu.cn/share/base/form/shrcnpJAtTjID7cIcNsWB79XMEd
2025-02-07
请给我推荐一个能够阅读网页链接内部信息的AI模型
以下为您推荐能够阅读网页链接内部信息的 AI 模型相关内容: 有一款 AI 浏览器插件,在产品化开发阶段,需要考虑如何稳定获取网页内容、如何选择适合的 AI 大模型 API 服务以及如何构建生产级提示词等问题。 在获取网页内容方面,由于大模型对话产品的外链解析方式容易遭到平台反爬机制制裁,通过用户浏览器以浏览器插件形式本地提取网页内容是一种稳定、经济的解决方案。比如 AI Share Card 插件,可以获取网页元素清单。开发时,您可以拿着初版提示词,询问 AI 来设计获取相关元素的 js 代码。 对于大模型 API,需要利用插件预先获取的网页内容变量、提示词和 API 请求参数,拼搭出完整的 API 提示请求,精确引导 API 返回想要的生成结果。根据 BigModel 官网给出的请求示例,需要传递 Model 类型、系统提示词、用户提示词、top_p、temperature 等关键参数。如果缺少参数设定经验,可以先询问 AI 相关设定的合适值,再逐步调试效果。 同时需要注意,使用 AI 写东西时,它可能会“产生幻觉”生成错误内容,需要检查所有内容。而且 AI 不会真正解释自己,可能给出编造的答案,使用时要对其输出负责。
2025-02-07
有没有能够阅读网页链接内部信息的AI模型?
目前存在能够阅读网页链接内部信息的相关技术和工具。例如,有一些 AI 浏览器插件可以实现这一功能。 在实现过程中,需要考虑以下几个关键方面: 1. 稳定获取网页内容:在初版提示词实验中,获取网页内容依赖大模型对话产品的外链解析能力,但易受平台反爬机制制裁。转换思路,通过用户浏览器以插件形式本地提取网页内容是一种稳定且经济的解决方案。开发时需确定需要插件获取的网页元素,可拿着初版提示词询问 AI 来设计获取相关元素的 js 代码。 2. 选择适合的 AI 大模型 API 服务:需要综合考虑多种因素来选择合适的服务。 3. 构建生产级提示词:对于大模型 API,要利用插件预先获取的网页内容变量、提示词和 API 请求参数,拼搭出完整的 API 提示请求,精确引导 API 返回想要的生成结果。同时,要根据不同模型的特点和要求设置相关参数,也可先询问 AI 相关参数的设定经验再进行调试。 此外,在初版提示词的开发中,将设计要求拆分为“设计规范”和“内容结构”,再细分为独立模块,并结合“内容结构”进行要求提示,这种提示词组织方式具有模型通用性、提示简易性和生成稳定性等显著优势。
2025-02-07
deepseek的使用方法
以下是 DeepSeek 的使用方法: 1. 访问网址:搜索 www.deepseek.com,点击“开始对话”。 2. 操作步骤: 将装有提示词的代码发给 DeepSeek。 认真阅读开场白之后,正式开始对话。 3. 特点与优势: 核心是推理型大模型,不需要用户提供详细的步骤指令,而是通过理解用户的真实需求和场景来提供答案。 能够理解用户用“人话”表达的需求,不需要用户学习和使用特定的提示词模板。 在回答问题时能够进行深度思考,不是简单地罗列信息。 可以模仿不同作家的文风进行写作,适用于多种文体和场景。 4. 更多提示词技巧请查看
2025-02-07
如何做一个AI智能体,能具备某个人的思考能力和方法,比如马斯克,金枪大叔或者毛泽东。
要创建一个具备像马斯克等人思考能力和方法的 AI 智能体并非易事,以下是一些相关的要点和思路: xAI 的使命在于探索宇宙本质与智能体。从宇宙尺度看,意识进化存在狭窄窗口,计算机若不能解决至少一个基本问题,不能称之为 AGI。 对于使命陈述,短期内致力于更好地理解深度学习技术,工作中应始终记住构建与理解并重,追求科学是基础。 主要目标是创建能帮助更好理解宇宙的聪明智能体,相关数学研究可能为对基本物理或其他现实的思考开辟新方式,带来有趣视角,对现有问题产生启发,但目前多为推测性,尚无具体结论。 但需要注意的是,完全复制某个人的思考能力和方法在当前技术水平下是极具挑战性的,甚至可能无法实现。
2025-02-07
请给我整理一套怎么才能学习和使用AI的方法,列举几个例子是怎么能快速的理解ai的发展历史及原理
以下是一套学习和使用 AI 的方法,以及帮助您快速理解 AI 发展历史及原理的途径: 一、学习 AI 的方法 1. 了解 AI 基本概念 阅读「」部分,熟悉 AI 的术语和基础概念,包括其主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。 浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅 在「」中,找到为初学者设计的课程,特别推荐李宏毅老师的课程。 通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习 AI 领域广泛(比如图像、音乐、视频等),根据自己的兴趣选择特定的模块进行深入学习。 掌握提示词的技巧,它上手容易且很有用。 4. 实践和尝试 理论学习之后,实践是巩固知识的关键,尝试使用各种产品做出您的作品。 在知识库提供了很多大家实践后的作品、文章分享,欢迎您实践后的分享。 5. 体验 AI 产品 与现有的 AI 产品进行互动,如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人,了解它们的工作原理和交互方式。 二、快速理解 AI 发展历史及原理的途径 1. AI 背景知识 基础理论:了解人工智能、机器学习、深度学习的定义及其之间的关系。 历史发展:简要回顾 AI 的发展历程和重要里程碑。 2. 数学基础 统计学基础:熟悉均值、中位数、方差等统计概念。 线性代数:了解向量、矩阵等线性代数基本概念。 概率论:基础的概率论知识,如条件概率、贝叶斯定理。 3. 算法和模型 监督学习:了解常用算法,如线性回归、决策树、支持向量机(SVM)。 无监督学习:熟悉聚类、降维等算法。 强化学习:简介强化学习的基本概念。 4. 评估和调优 性能评估:了解如何评估模型性能,包括交叉验证、精确度、召回率等。 模型调优:学习如何使用网格搜索等技术优化模型参数。 5. 神经网络基础 网络结构:理解神经网络的基本结构,包括前馈网络、卷积神经网络(CNN)、循环神经网络(RNN)。 激活函数:了解常用的激活函数,如 ReLU、Sigmoid、Tanh。 无论是技术研究还是应用实践,数学和编程基础都是必不可少的。同时需要紧跟前沿技术发展动态,并结合实际问题进行实践锻炼。
2025-02-07
我是科研人员,有什么方法能构建自己专业领域的知识库吗?请给出详细的操作步骤,并说明需要什么样的软硬件设备?预算多少?
构建自己专业领域的知识库可以按照以下步骤进行: 步骤一:明确知识库的目标和范围 首先,确定您想要涵盖的专业领域的具体范围和知识库的主要目标,例如是为了内部研究使用、对外分享知识还是其他特定用途。 步骤二:收集和整理资料 收集相关的文献、研究报告、实验数据、案例等各种资料,并对其进行分类和整理。 步骤三:选择合适的技术架构 1. 考虑使用数据库管理系统,如 MySQL、Oracle 等。 2. 或者采用知识图谱技术来构建更直观的知识关系。 步骤四:确定软硬件设备 1. 硬件方面,需要一台性能较好的计算机,具备足够的内存和存储空间。预算大约在 5000 10000 元,具体取决于配置要求。 2. 软件方面,需要操作系统(如 Windows 或 Linux)、数据库管理软件、文本编辑工具等。 步骤五:设计知识库的结构 规划好知识的分类体系、标签系统和索引方式,以便于快速检索和查找。 步骤六:数据录入和维护 将整理好的资料录入到知识库中,并定期更新和维护,确保知识的准确性和时效性。 步骤七:测试和优化 在初步构建完成后,进行测试,检查检索功能是否正常,知识的展示是否清晰,并根据测试结果进行优化。 需要注意的是,实际的预算和设备需求可能会因具体情况而有所不同,您可以根据自己的需求和资源进行调整。
2025-02-06
我想学习AI,但是不知道如何入门,希望你可以帮我梳理出AI的各个应用方向,要求要有具体的实操方法和必坑指南,能应用于生活和工作中,适合新手学习
以下是为您梳理的适合新手学习 AI 的应用方向、实操方法和避坑指南: 一、了解 AI 基本概念 1. 阅读「」部分,熟悉 AI 的术语和基础概念,包括人工智能的定义、主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。 2. 浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 二、开始 AI 学习之旅 1. 在「」中,找到为初学者设计的课程,特别推荐李宏毅老师的课程。 2. 通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 三、选择感兴趣的模块深入学习 1. AI 领域广泛,比如图像、音乐、视频等,您可以根据自己的兴趣选择特定的模块进行深入学习。 2. 掌握提示词的技巧,它上手容易且很有用。 四、实践和尝试 1. 理论学习之后,实践是巩固知识的关键,尝试使用各种产品做出您的作品。 2. 在知识库提供了很多大家实践后的作品、文章分享,欢迎您实践后的分享。 五、体验 AI 产品 1. 与现有的 AI 产品进行互动,如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人,了解它们的工作原理和交互方式。 六、如果希望继续精进 1. AI 背景知识 基础理论:了解人工智能、机器学习、深度学习的定义及其之间的关系。 历史发展:简要回顾 AI 的发展历程和重要里程碑。 2. 数学基础 统计学基础:熟悉均值、中位数、方差等统计概念。 线性代数:了解向量、矩阵等线性代数基本概念。 概率论:基础的概率论知识,如条件概率、贝叶斯定理。 3. 算法和模型 监督学习:了解常用算法,如线性回归、决策树、支持向量机(SVM)。 无监督学习:熟悉聚类、降维等算法。 强化学习:简介强化学习的基本概念。 4. 评估和调优 性能评估:了解如何评估模型性能,包括交叉验证、精确度、召回率等。 模型调优:学习如何使用网格搜索等技术优化模型参数。 5. 神经网络基础 网络结构:理解神经网络的基本结构,包括前馈网络、卷积神经网络(CNN)、循环神经网络(RNN)。 激活函数:了解常用的激活函数,如 ReLU、Sigmoid、Tanh。 避坑指南: 1. 不要急于求成,AI 学习需要逐步积累。 2. 注重理论与实践结合,避免只学习理论而不进行实际操作。 3. 对于复杂的概念和算法,要多花时间理解,不要一知半解。 4. 在选择学习资源时,要注意其质量和适用性。 请注意,以上内容由 AI 大模型生成,请仔细甄别。
2025-02-06