Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

大模型优化有哪些方式

Answer

大模型优化的方式主要包括以下几种:

  1. 模型压缩:由于大模型的参数众多,内存需求巨大,在实际部署时会进行压缩。例如使用内存占用更小的数据类型,如 16 位的浮点数,其中英伟达在其最新一代硬件中引入了对 bfloat16 的支持。
  2. 上下文优化:如果模型缺失必知信息,如内部业务数据、流程等,可通过将相关信息提供给模型进行优化。例如采用 RAG 技术,先在知识库检索相关内容,然后与提示词组装后提供给大模型作为输入。
  3. 大模型优化:在进行足够的 prompt 工程后,如果模型在垂直领域表现不足或输出内容的格式风格稳定性不及预期,可以考虑微调。但微调也要与良好的 prompt 工程结合。
  4. 更换大模型:例如从 ChatGLM2-6B 替换成 baichuan2-13b,可能提升性能。
  5. 更换 embedding 模型:如将 embedding 模型从 LangChain Chatchat 默认的 m3e-base 替换为 bge-large-zh。
  6. 测试不同 Top k 的值:比较不同的 Top k 值(如 Top 5、Top 10、Top 15),找到最优效果的值。
  7. 对文档名称进行处理:人工对文件重命名,上传相同文件构建知识库,并勾选【开启中文标题加强】选项,可减少无关信息,提升效果。
Content generated by AI large model, please carefully verify (powered by aily)

References

大模型入门指南

在LLM中,Token是输入的基本单元由于在大模型的参数非常多,比如在GPT-2中,有1.5B参数,每个参数用float32表示,那么需要的内存大小为4 bytes * 1,500,000,000 = 6GB,更先进的模型如LLAMA有65B参数,那么需要的内存就需要260G,这还是在不考虑词汇表的情况下。因此在进行模型实际部署时,会进行模型的压缩。而且,在训练LLM中,CPU与内存之间的传输速度往往是系统的瓶颈,核心数反而不是大问题,因此减小内存使用是首要优化点。使用内存占用更小的数据类型是一种直接的方式,比如16位的浮点数就可以直接将内存使用减倍。目前有几种相互竞争的16位标准,但英伟达在其最新一代硬件中引入了对bfloat16的支持,|Format|Significand|Exponent|<br>|-|-|-|<br>|bfloat16|8 bits|8 bits|<br>|float16|11 bits|5 bits|<br>|float32|24 bits|8 bits|

3. 如何让 LLM 应用性能登峰造极

如图所示,主要从下面两个维度考虑问题:Context optimization(上下文优化):模型是否缺失必知信息?如内部业务数据,流程等。LLM optimization(大模型优化):模型是否准确率不足,输出内容未能很好的遵循特定风格或格式?1.Context optimization(上下文优化)所创建的LLM应用如果需要了解特定的数据、系统和流程,而这是预训练LLM中不存在(或者有缺失)的知识和信息,则需要进行所谓上下文优化,将依赖的这部分信息提供给模型。如企业内部智能问答机器人,针对企业内部员工提供内部知识服务,需要了解企业知识库、规章制度、系统流程、甚至部分业务数据。而这些信息正是大模型所不知道的知识,无法通过单纯的prompt工程解决,应该考虑将相关知识提供给大模型。RAG就是很好的解决该问题的技术,首先在知识库检索相关内容,然后将内容和提示词组装起来一起提供给大模型作为输入,得到理想的输出。1.LLM optimization(大模型优化)在进行了足够的prompt工程后,如果所创建的LLM应用如果在垂直领域的表现仍然不足,或者我们希望其输出内容保持特定的格式风格等的稳定性依然不及预期,可以考虑进行大模型优化。这里所说的大模型优化通常是指微调。需要注意的是,即使用微调,也要和良好的prompt工程结合起来才能更有效的发挥作用,所以前期基于prompt工程打好地基很重要。下文中我们还会进一步说明。

开发:产品视角的大模型 RAG 应用

开发:产品视角的大模型RAG应用[heading1]调优实践[content]基于以上的分析,我们先选取了实现成本最小的方式进行调优,结果如下:1、更换大模型:从ChatGLM2-6B替换成baichuan2-13b,发现针对我们的场景,后者的性能可以提升一倍左右。2、更换embedding模型:将embedding模型从LangChain Chatchat默认的m3e-base替换为bge-large-zh,发现后者优于前者3、测试不同Top k的值:比较Top 5、Top 10、Top 15的结果,发现Top 10时效果最优。4、对文档名称进行处理:由于原来的政策文件,在导出时文件名会进行简化,如too_long_发展行动方案。因此,人工对文件进行重命名,上传相同文件构建知识库,同时在构建知识库时勾选【开启中文标题加强】选项,发现重命名文件对结果的提升效果不明显,但勾选【开启中文标题加强】选项后,回答的无关信息减少,效果有所提升。目前来看,尽管效果有所提升,但仍未达到可用水平,后续我们也将尝试其他的调优策略。

Others are asking
请推荐一款好用的提示词优化器
以下为您推荐几款好用的提示词优化器: 1. 星流一站式 AI 设计工具: 在 prompt 输入框中可输入提示词,使用图生图功能辅助创作。 支持自然语言和单个词组输入,启用提示词优化后能扩展提示词,更生动地描述画面内容。 提供预设词组,小白用户可点击使用。 提示词内容应准确,包含人物主体、风格、场景特点、环境光照、画面构图、画质等。 可调整负面提示词,利用“加权重”功能让 AI 明白重点内容,还具备翻译、删除所有提示词、会员加速等辅助功能。 2. 以下是一些提示词相关的模板和资源网站: Majinai: 词图: Black Lily: Danbooru 标签超市: 魔咒百科词典: AI 词汇加速器: NovelAI 魔导书: 鳖哲法典: Danbooru tag: AIBooru:
2025-02-18
我是一个ai小白,请给我推荐一个语言大模型的提示词优化工具
以下为您推荐两个语言大模型的提示词优化工具: 1. 星流一站式 AI 设计工具: 在 prompt 输入框中可输入提示词,使用图生图功能辅助创作。 支持自然语言和单个词组输入,中英文均可。 启用提示词优化后可扩展提示词,更生动描述画面内容。 小白用户可点击提示词上方官方预设词组进行生图。 写好提示词需内容准确,包含人物主体、风格、场景特点、环境光照、画面构图、画质等。 可调整负面提示词,利用“加权重”功能让 AI 明白重点内容,还有翻译、删除所有提示词、会员加速等辅助功能。 2. Prompt Perfect: 能够根据输入的 Prompt 进行优化,并给出优化前后的结果对比。 适合写论文、文章的小伙伴,但使用该能力需要消耗积分(可通过签到、购买获得)。 访问地址:
2025-02-17
怎样优化提示词
以下是优化提示词的一些方法: 1. 明确具体的描述:使用更具体、细节的词语和短语来表达需求,避免笼统表述,以便 AI 准确理解。 2. 添加视觉参考:在提示词中插入相关图片参考,提高 AI 理解意图和细节要求的能力。 3. 注意语气和情感:根据需求,用合适的形容词、语气词等调整整体语气和情感色彩,生成期望的语境和情绪。 4. 优化关键词组合:尝试不同的关键词搭配和语序,找到最有针对性、最准确表达需求的描述方式。 5. 增加约束条件:添加限制性条件,如分辨率、比例等,避免 AI 产生意外输出。 6. 分步骤构建提示词:将复杂需求拆解为逐步的子提示词,引导 AI 先生成基本结构,再逐步添加细节和完善。 7. 参考优秀案例:研究 AI 社区流行且有效的提示词范例,借鉴写作技巧和模式。 8. 反复试验、迭代优化:多次尝试不同写法,根据输出效果反馈持续优化完善,直至达到理想结果。 此外,对于优化提示词还有以下步骤和建议: 测试和迭代:有了满意的提示模板后进行测试,根据表现改进提示词。 收集多样化的示例输入:用能代表真实数据的输入集测试提示词,包括困难输入或极端情况,建议至少使用 20 个或更多输入信息。 预留测试输入数据:分别设置“提示开发数据”和“测试数据”,两组数据都应能代表真实输入,使用提示开发数据评估表现,再用测试数据确保不只是适应了提示开发数据。 生成合成数据(可选):若输入数据不足,可提示 Claude 生成更多输入文本供测试。 在 PixVerse V2.5 中,优化提示词还可以通过拓展思路来实现,比如增加对主体、环境、动作等各部分的详细描述,使生成的视频更遵守提示词,更稳定且提升美感。例如“一只金色毛发的狗悠然自得地在阳光洒满的草地上行走,草叶轻轻地在它的爪下弯曲。微风拂过,它的毛发随风轻动,时不时低下头嗅闻着大地。远处,夕阳的余晖拉长了影子,营造出一种宁静祥和的氛围。”
2025-02-13
我是一个UI界面设计师,现在我需要找一个UI界面设计的AI软件,能根据我的文字方案生成高大上的可视化界面UI图,或者能根据我设计的基本的UI界面图能进行优化
以下为您推荐几款可用于 UI 界面设计的 AI 软件: 1. Midjourney: 能生成数据图标、B 端图标设计、音乐软件 UI 设计等。 生成的图片在某些方面质感不错,但 UI 设计可能不规范、文字较乱,目前只能作为风格参考。 对于完全不懂 AI 绘图的新手来说容易上手。 设计指令:如果没想好输入哪些指令,可以先用指令模板「ui design forapplication,mobile app,iPhone,iOS,Apple Design Award,screenshot,single screen,high resolution,dribbble」,把里面的“类型”替换成想设计的产品的关键词描述(英文),就能生成想要的 UI 设计图。 2. 星流一站式 AI 设计工具: 具有无限画布区域,包括浏览视图、操作快捷键查询、图像快捷修改。 浏览视图包括视图百分比调节、聚焦、画布清理等功能。 图像快捷操作有细节微调、整体微调、增强模型、提示词、用作图生图、用作图片参考等。 支持图像分享与信息查看,包括图像信息查看、生成分享链接与发送到 LiblibAI 等。
2025-02-13
简历优化
以下是一些可以帮助您优化简历的 AI 工具: 1. ResumeMatcher:这是一个 AI 驱动的开源简历优化工具。它提供智能关键词匹配和深入分析见解,能提升简历通过 ATS 筛选的几率。采用 FastEmbed 计算简历与职位匹配度,结合 textacy 提取核心术语,精准优化简历内容。相关链接: 2. Kickresume 的 AI 简历写作器:使用 OpenAI 的 GPT4 语言模型自动生成简历,可为简历摘要、工作经验和教育等专业部分编写内容,并保持一致语调。 3. Rezi:是一个受到超过 200 万用户信任的领先 AI 简历构建平台,使用先进的 AI 技术自动化创建可雇佣简历的每个方面,包括写作、编辑、格式化和优化。 4. Huntr 的 AI 简历构建器:提供免费的简历模板,以及 AI 生成的总结/技能/成就生成器和 AI 驱动的简历工作匹配。 更多 AI 简历产品,还可以查看这里:https://www.waytoagi.com/category/79 。您可以根据自己的需要选择最适合您的工具。
2025-02-11
一、学习内容 1. AI工具的操作:了解并掌握至少一种AI工具的基本操作,如智能代码、流程管理、智能报表、数据分析、图像识别、文字生成等。 2. AI工具在本职工作的应用:思考并提出AI工具如何帮助你更高效地完成本职工作,包括但不限于提高工作效率、优化工作流程、节约成本、提升交付质量等。 3. AI工具在非本职工作的潜力推演:探索AI工具如何在你的非本职工作领域发挥作用,比如在公司管理、团队领导、跨部门合作、团队发展以及市场研究等方面。提出这些工具如何被有效利用,以及它们可能带来的改
以下是关于学习 AI 的相关内容: 一、AI 工具的操作 要了解并掌握至少一种 AI 工具的基本操作,如智能代码、流程管理、智能报表、数据分析、图像识别、文字生成等。 二、AI 工具在本职工作的应用 思考并提出 AI 工具如何帮助更高效地完成本职工作,包括但不限于提高工作效率、优化工作流程、节约成本、提升交付质量等。 三、AI 工具在非本职工作的潜力推演 探索 AI 工具在非本职工作领域,如公司管理、团队领导、跨部门合作、团队发展以及市场研究等方面的作用,思考如何有效利用这些工具以及它们可能带来的改变。 四、学习路径 1. 对于不会代码的学习者: 20 分钟上手 Python+AI,在 AI 的帮助下可以完成很多基础的编程工作。若想深入,需体系化了解编程及 AI,至少熟悉 Python 基础,包括基本语法(如变量命名、缩进等)、数据类型(如字符串、整数、浮点数、列表、元组、字典等)、控制流(如条件语句、循环语句)、函数(定义和调用函数、参数和返回值、作用域和命名空间)、模块和包(导入模块、使用包)、面向对象编程(类和对象、属性和方法、继承和多态)、异常处理(理解异常、异常处理)、文件操作(文件读写、文件与路径操作)。 2. 新手学习 AI: 了解 AI 基本概念,建议阅读「」部分,熟悉术语和基础概念,浏览入门文章。 开始 AI 学习之旅,在「」中找到为初学者设计的课程,推荐李宏毅老师的课程,也可通过在线教育平台(如 Coursera、edX、Udacity)按自己节奏学习并获证书。 选择感兴趣的模块深入学习,掌握提示词技巧。 实践和尝试,理论学习后通过实践巩固知识,在知识库分享实践作品和文章。 体验 AI 产品,如 ChatGPT、Kimi Chat、智谱、文心一言等聊天机器人,了解其工作原理和交互方式。 五、工具推荐 1. Kimi 智能助手:ChatGPT 的国产平替,上手体验好,适合新手入门学习和体验 AI。不用科学网、不用付费、支持实时联网,是国内最早支持 20 万字无损上下文的 AI,对长文理解做得好,能一次搜索几十个数据来源,无广告,能定向指定搜索源(如小红书、学术搜索)。 PC 端: 移动端(Android/ios): 2. 飞书:汇集各类 AI 优质知识库、AI 工具使用实践的效率工具,助力人人成为效率高手。
2025-02-07
我想做一个产品(生涯规划领域的垂直大模型),这个产品服务的对象是所有人:帮助所有人进行更好的职业规划。每个人都能通过使用这个产品更好地了解自己,了解自己的天赋、兴趣、优势,然后找到自己的热爱的领域和热爱的事业,并且能够个性化地推荐相关的行业和职业,包括职业的主要工作内容和核心能力要求等等。 请对这个产品进行可行性分析,并给出产品的发展规划,别忘了给这个项目起一个名字。
以下是对您提出的生涯规划领域垂直大模型产品的可行性分析和发展规划,并为项目取名为“生涯智途”。 可行性分析: 1. 需求广泛:帮助人们进行职业规划是一个普遍存在的需求,涵盖了各个年龄段和职业阶段的人群。 2. 数据可用性:可以通过各种渠道收集大量与职业相关的数据,包括行业报告、职位描述、人才需求等。 3. 技术支持:当前大模型技术的发展为实现这样的产品提供了可能,能够处理和分析大量复杂的数据。 发展规划: 1. 数据收集与整理:广泛收集各类职业数据,建立丰富的数据库,确保数据的准确性和完整性。 2. 模型训练与优化:利用收集到的数据进行模型训练,不断优化模型,提高预测和推荐的准确性。 3. 功能开发: 个性化测评:开发能够准确评估用户天赋、兴趣、优势的功能模块。 精准推荐:根据用户的特点,提供个性化的行业和职业推荐,并详细介绍职业的工作内容和核心能力要求。 持续学习与更新:随着行业变化,及时更新数据和模型,以提供最新的职业信息。 4. 用户体验优化:设计简洁、易用的界面,提供良好的用户交互体验。 5. 市场推广:通过线上线下多种渠道进行推广,提高产品的知名度和用户覆盖面。 希望以上分析和规划对您有所帮助。
2025-02-18
现在大语言模型的跑分对比
对比不同大语言模型的性能需要考虑多个维度,包括但不限于以下方面: 1. 理解能力:评估对语言的语法、语义、上下文和隐含意义的理解程度。 2. 生成质量:检查生成文本的流畅性、相关性和准确性。 3. 知识广度和深度:掌握广泛主题的知识程度,以及对特定领域或话题的理解深度。 4. 泛化能力:处理未见过的任务或数据时的表现。 5. 鲁棒性:应对错误输入、对抗性输入或模糊不清指令的能力。 6. 偏见和伦理:生成文本时是否存在偏见,是否遵循伦理标准。 7. 交互性和适应性:在交互环境中的表现,包括对用户反馈的适应性和持续对话的能力。 8. 计算效率和资源消耗:考虑模型大小、训练和运行所需的计算资源。 9. 易用性和集成性:是否易于集成到不同应用和服务中,提供的 API 和工具的易用性。 为了进行有效的比较,可以采用以下方法: 1. 标准基准测试:使用如 GLUE、SuperGLUE、SQuAD 等标准的语言模型评估基准,它们提供统一的测试环境和评分标准。 2. 自定义任务:根据特定需求设计任务,评估模型在特定领域的表现。 3. 人类评估:结合人类评估者的主观评价,特别是在评估文本质量和伦理问题时。 4. A/B 测试:在实际应用场景中,通过 A/B 测试比较不同模型的表现。 5. 性能指标:使用准确率、召回率、F1 分数、BLEU 分数等性能指标来量化比较。 当前领先的大型语言模型的排行榜,例如聊天机器人竞技场,由伯克利的团队管理,根据 ELO 评级对不同语言模型进行排名,计算方式与国际象棋中的类似。在排行榜中,顶部多为专有模型,下方有开放权重的模型。 大语言模型的特点包括: 1. 架构:有 encoderonly、encoderdecoder、decoderonly 等,如 BERT 是 encoderonly 模型,google 的 T5 是 encoderdecoder 模型,众多 AI 助手多为 decoderonly 模型。 2. 数据和参数:预训练数据量大,往往来自互联网,包括论文、代码、公开网页等,参数多,如 OpenAI 在 2020 年发布的 GPT3 已达到 170B 的参数。
2025-02-18
现在大语言模型的跑分对比
对比不同大语言模型的性能需要考虑多个维度,包括但不限于以下方面: 1. 理解能力:评估对语言的语法、语义、上下文和隐含意义的理解程度。 2. 生成质量:检查生成文本的流畅性、相关性和准确性。 3. 知识广度和深度:掌握广泛主题的知识程度,以及对特定领域或话题的理解深度。 4. 泛化能力:处理未见过的任务或数据时的表现。 5. 鲁棒性:应对错误输入、对抗性输入或模糊不清指令的能力。 6. 偏见和伦理:生成文本时是否存在偏见,是否遵循伦理标准。 7. 交互性和适应性:在交互环境中的表现,包括对用户反馈的适应性和持续对话的能力。 8. 计算效率和资源消耗:考虑模型大小、训练和运行所需的计算资源。 9. 易用性和集成性:是否易于集成到不同应用和服务中,提供的 API 和工具的易用性。 为了进行有效的比较,可以采用以下方法: 1. 标准基准测试:使用如 GLUE、SuperGLUE、SQuAD 等标准的语言模型评估基准,它们提供统一的测试环境和评分标准。 2. 自定义任务:根据特定需求设计任务,评估模型在特定领域的表现。 3. 人类评估:结合人类评估者的主观评价,特别是在评估文本质量和伦理问题时。 4. A/B 测试:在实际应用场景中,通过 A/B 测试比较不同模型的表现。 5. 性能指标:使用准确率、召回率、F1 分数、BLEU 分数等性能指标来量化比较。 当前领先的大型语言模型的排行榜,例如聊天机器人竞技场,由伯克利的团队管理,根据 ELO 评级对不同语言模型进行排名,计算方式与国际象棋中的类似。在排行榜中,顶部多为专有模型,下方有开放权重的模型。 大语言模型的特点包括: 1. 架构:有 encoderonly、encoderdecoder、decoderonly 等,如 BERT 是 encoderonly 模型,google 的 T5 是 encoderdecoder 模型,众多 AI 助手多为 decoderonly 模型。 2. 数据和参数:预训练数据量大,往往来自互联网,包括论文、代码、公开网页等,参数多,如 OpenAI 在 2020 年发布的 GPT3 已达到 170B 的参数。
2025-02-18
什么是大模型一体机
大模型一体机是一个相对复杂的概念。通俗来讲,大模型是输入大量语料,让计算机获得类似人类的“思考”能力,能够进行文本生成、推理问答、对话、文档摘要等工作。其本质是两个文件:一个是参数文件,类似于问答机器人的“大脑镜像”,负责处理和生成文本信息;另一个是包含运行这些参数的代码文件。 大模型的训练和使用过程可以类比为上学参加工作: 1. 找学校:训练大模型需要大量计算,GPU 更合适,只有购买得起大量 GPU 的才有资本训练。 2. 确定教材:大模型需要的数据量特别多,几千亿序列(Token)的输入基本是标配。 3. 找老师:即用合适的算法讲述“书本”中的内容,让大模型更好理解 Token 之间的关系。 4. 就业指导:为了让大模型更好胜任某一行业,需要进行微调(fine tuning)指导。 5. 搬砖:就业指导完成后,进行如翻译、问答等工作,在大模型里称之为推导(infer)。 大模型的特点包括: 1. 预训练数据非常大,往往来自互联网上的论文、代码、公开网页等,一般用 TB 级别的数据进行预训练。 2. 参数非常多,如 Open 在 2020 年发布的 GPT3 就已达到 170B 的参数。 在架构方面,大模型有 encoderonly、encoderdecoder、decoderonly 等类型。目前常见的 AI 助手多采用 decoderonly 架构。
2025-02-18
传统AI、大模型、AGI的区别
传统 AI、大模型、AGI 存在以下区别: 传统 AI: 语音技能 NLU 通常通过一系列规则、分词策略等训练而成。 运作逻辑规律可观测,具有 ifelse 式的逻辑性。 大模型: 凭借海量数据在向量空间中学习知识的关联性。 运作逻辑难以观测,脱离了 ifelse 的层面。 Transformer 是其底层结构,是一个大参数(千亿级别)的回归方程,底层是 function loss 损失函数,能在一定 prompt condition 情况下,repeat 曾经出现过的数据内容,实现“生成”能力。 大语言模型是一个 perfect memory,repeat 曾经出现的内容。与 Alpha Go 相比,Alpha Go 是增强学习模型,有推理能力,而大语言模型这块很弱。 AGI(通用人工智能): 部分人觉得 LLM(大语言模型)具有 AGI 潜力,但 LeCun 反对。 目前对于能否到达 AGI 阶段尚不明确。 在公众传播层面: AIGC 指用 Stable Diffusion 或 Midjourney 生成图像内容,后来泛指用 AI 生成音乐、图像、视频等内容。 LLM 指 NLP 领域的大语言模型,如 ChatGPT。 GenAI 是生成式人工智能模型,国内官方政策文件使用这个词相对科学,涵盖了 LLM 和 AIGC。 公众传播一般会混用上述名词,但底层是 transformer 结构。
2025-02-18
有哪些在企业内部落地应用AI大模型工具的实践案例?不要营销文案生成、代码开发助手、智能客服问答机器人这种太常见的
以下是一些在企业内部落地应用 AI 大模型工具的实践案例: 1. 阿里云百炼: 智能体应用:能够弥补大模型的不足,如回答私有领域问题、获取实时信息、回答专业问题等。适用于有企业官网、钉钉、微信等渠道,期望为客户提供产品咨询服务,以及缺少技术人员开发大模型问答应用的场景。典型场景包括私有领域知识问答、个性化聊天机器人、智能助手等。 内部业务助手:通过企业内部规章制度、部门结构、产品介绍等文档构建知识库,并借助 RAG 智能体实现内部知识问答功能。系统支持多源异构数据,并通过复杂文档解析和视觉增强技术,提升文档理解的准确性与深度。目前该功能已灰度上线,需提供 UID 并通过白名单进行开启。 2. 达摩院: AI 模特(虚拟换装):支持虚拟换装、姿态编辑。 3. 电商零售: 推广文案写作:通过内置的多样化营销场景的文体模板,基于用户输入的创作主题以及参考素材,大模型即可为您生成对应的营销文案,为营销活动和宣传文案提供灵感和文案写作支持。 4. 泛企业: VOC 挖掘:是一个面向各类企业的 VOC 标签挖掘的工具。不论是用户的长短评论、帖子、还是用户和客服/销售的聊天记录、通话记录,都可以使用。通过选中或自定义标签,即可让大模型针对海量非结构化的 VOC 数据快速打标。相比于人工打标或规则打标准确率更高;对于业务标签变动频繁的情况,也能更敏捷、快速地影响。 5. 通义晓蜜:基于深度调优的对话大模型,为营销服类产品提供智能化升级所需的生成式摘要总结、质检、分析等能力应用。
2025-02-18
AI发展的方式除了大模型,还有什么
AI 的发展方式除了大模型,还包括以下方面: 1. 算法:算法的不断优化和创新推动着人工智能的发展。 2. 算力:强大的算力支持是实现复杂人工智能任务的基础。 3. 数据:优质的数据集对于人工智能学习算法的发展至关重要,被称为“AI 时代的石油”。 4. 深度神经网络:通过简单细胞检测特征、复杂细胞汇总信息产生结果等方式实现识别、判断和行动等功能。 5. 端侧模型:端侧模型并非越小越好,而是要够用、好用,设备算力决定最优模型规模,多模态能力是突破通用计算的关键。 6. 端侧 Agents:在终端设备上自主运行的智能代理程序,具备感知、决策、执行的闭环能力,是连接模型与应用的关键。 7. 预训练:包括对编程语言、维基百科、新闻常识、网络社区、各类书籍等内容的预训练,但由于版权和费用问题,不包括期刊论文数据库。 8. 开源生态:促进了 AI 技术的交流和发展。
2025-02-15
普通人学习ai生图方式
以下是为普通人提供的学习 AI 生图的相关内容: 如何判断一张图片是否 AI 生成: 当我们接触的 AI 制品增多,可通过“整体看光影,细节看结构”的技术要点来找出画面 bug。通过大量分析 AIGC 画作,人们会在脑中形成“判断模型”,但起初可能“知其然,不知其所以然”。从本质上看,人类绘画创作是线性发展,而 AI 是以积累数据、扩散噪声、再降噪收束的路径生图,会导致同一张图呈现不同绘画级别的细节。 Liblibai 简易上手教程: 1. 首页模型广场:展示其他用户的模型,可查看详情、收藏并用于生图。 2. Checkpoint:生图必需的基础模型,必选。 3. Lora:低阶自适应模型,类似 Checkpoint 的小插件,可有可无,用于控制细节。 4. VAE:编码器,类似滤镜,调整生图饱和度,可无脑选 840000。 5. CLIP 跳过层:用于生成图片后控制、调整构图变化,一般设为 2。 6. Prompt 提示词:想要 AI 生成的内容。 7. 负向提示词 Negative Prompt:想要 AI 避免产生的内容。 8. 采样方法:选择让 AI 生图的算法。 AI 线上绘画教程: 如果需要大量商用且具艺术美感的图片,AI 生图是高效办法。主流工具如 midjourney 付费成本高,stable diffusion 硬件门槛不低,可选择免费在线 SD 工具网站如。本教程适用于入门玩家,旨在让读者半小时内自由上手创作绘图。
2025-02-14
在2025年2月12日这个时间点,我有哪些方式可以快速,稳定的使用 deepseek r1
在 2025 年 2 月 12 日,您可以通过以下方式快速、稳定地使用 DeepSeek R1: PPIO 派欧云(https://ppinfra.com/modelapi/product/llmapi?utm_medium=article&utm_source=WayToAGI):提供满血版全版本的 DeepSeekR1,输入价格为¥4/百万 tokens,输出价格为¥16/百万 tokens。有开发者福利,新注册立得 500 万 tokens(关注 PPIO 公众号回“deepseek”再领 1 亿),初创企业认证有 10 万算力补贴。产品服务特点为服务稳定性 99.9%,保持 0 故障,与 DeepSeek 官方同价,客户支持通道 10 分钟响应。 百度智能云:DeepSeekR1 限时免费,配额 1000RPM/10000TPM,无调用 tokens 上限。本模型将于 2025 年 2 月 19 日 00:00 起正式商用计费,输入价格 0.002 元/千 tokens,输出价格 0.008 元/千 tokens,有在线体验。 硅基流动:DeepSeekR1 输入价格为¥4/M Tokens,输出价格为¥16/M Tokens,有在线体验。2025 年 2 月 6 日起,未实名用户每日最多请求此模型 100 次。 此外,在 2 月 12 日,还有以下相关内容: 《》,来自社区伙伴 Hua 的投稿,手把手指导您在微软 Azure AI Foundry 平台上完成 DeepSeek R1(671B)模型的完整部署流程,包含环境准备、资源管理、模型测试及 API 调用说明。 《》Anthropic 正式发布 Anthropic AI Economic Index,聚焦 AI 对经济的长期影响。该指数直观展现 AI 如何融入现代经济的各类实际任务,并从职业(occupation)和具体工作任务(task)两个维度,量化 AI 对劳动力市场的影响。 《》DeepSeekR1 的火爆现象背后,企业可以获得显著提升。其强化学习和联网搜索能力,改变了信息获取方式,从“检索—阅读—摘要”转变为“提问—获得答案”,大幅提升工作效率。同时,DeepSeek 的开源策略打破了技术垄断,让国内大模型能力迅速提升。
2025-02-12
问答方式如何使用好大模型
以下是关于如何使用好大模型的一些指导: 1. 本地部署资讯问答机器人: 加载所需的库和模块,如用于解析 RSS 订阅源的 feedparse,用于在 Python 程序中跑大模型的 ollama(使用前确保 ollama 服务已开启并下载好模型)。 从订阅源获取内容,可通过指定的 RSS 订阅 url 提取,如需多个 url 稍作改动即可。然后用专门的文本拆分器将长文本拆分成小块,并附带相关元数据,最终合并成列表用于后续处理。 为文档内容生成向量,使用文本向量模型 bgem3,从 hf 下载好模型放置在指定路径,通过函数利用 FAISS 创建高效向量存储。 Ollama 支持多种大型语言模型,包括通义千问、Llama 2、Mistral 和 Gemma 等,适用于不同场景。易于使用,适用于 macOS、Windows 和 Linux 系统,支持 cpu 和 gpu。提供模型库,用户可从中下载不同模型,还支持自定义模型,如修改温度参数等,同时提供 REST API 用于运行和管理模型及与其他应用集成,社区贡献丰富。需先安装,可通过 https://ollama.com/download/ 下载,安装后确保后台服务已启动。 2. 编写清晰的说明: 在 OpenAI 官方说明文档中提到的“官方最佳实践”为用户提供了若干策略。 策略一是编写清晰的说明,在询问中包含详细信息,多说一些内容,多提供一些信息,能有效提高大模型回复的质量和丰富性。通过多个具体例子展示了提供更多细节能得到更符合预期的回答。
2025-02-11
deepseek的提问方式和指令输入规则是什么
DeepSeek 的提问方式和指令输入规则如下: 核心原理认知: AI 特性定位:支持文本/代码/数学公式混合输入,具有动态上下文(约 4K tokens 上下文窗口)和任务适应性(可切换创意生成/逻辑推理/数据分析模式)。 系统响应机制:采用意图识别+内容生成双通道处理,自动检测 prompt 中的任务类型、输出格式、知识范围,对位置权重(开头/结尾)、符号强调敏感。 基础指令框架: 四要素模板:如果不知道如何表达,可套用框架指令。 格式控制语法:强制结构使用```包裹格式要求,占位符标记用{{}}标注需填充内容,优先级符号>表示关键要求,!表示禁止项。 进阶控制技巧: 思维链引导:分步标记法,如请逐步思考:1.问题分析→2.方案设计→3.风险评估;苏格拉底式追问,在得出最终结论前,请先列举三个可能存在的认知偏差。 知识库调用:领域限定指令,如基于 2023 版中国药典,说明头孢类药物的配伍禁忌;文献引用模式,如以 Nature 2022 年发表的论文为参考,解释 CRISPRCas9 最新突破。 性能监测体系:包括需求理解准确率(复杂需求首轮响应匹配度)、知识迁移能力(跨领域案例应用的合理性)、思维深度指数(解决方案的因果链条长度)。新一代交互范式建议采用「人机共谋」模式、启动「思维可视化」指令、实施「苏格拉底式对话」。通过将深度思考能力与场景化需求结合,可解锁 DeepSeek 的「认知增强」模式,建议通过 3 轮迭代测试(需求表达→深度追问→方案优化)建立个性化交互模式。
2025-02-05
大模型训练方式
大模型的训练方式如下: 1. 通俗来讲,大模型是输入大量语料,让计算机获得类似人类的“思考”能力,能进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比其训练和使用过程: 找学校:训练大模型需要大量计算,GPU更合适,只有购买得起大量GPU的才有资本训练。 确定教材:大模型需要大量数据,几千亿序列(Token)的输入基本是标配。 找老师:即选择合适算法讲述“书本”内容,让大模型更好理解Token之间的关系。 就业指导:为让大模型更好胜任某一行业,需要进行微调(fine tuning)指导。 搬砖:就业指导完成后,进行如翻译、问答等工作,在大模型里称之为推导(infer)。Token被视为模型处理和生成的文本单位,能代表单个字符、单词等,在将输入进行分词时,会形成词汇表。 2. 100基础训练大模型的步骤: 步骤一·创建数据集:进入厚德云模型训练数据集(https://portal.houdeyun.cn/sd/dataset),在数据集一栏中点击右上角创建数据集,输入数据集名称。zip文件可以是包含图片+标签txt,也可以只有图片没有打标文件,也可以一张一张单独上传照片,但建议提前把图片和标签打包成zip上传。Zip文件里图片名称与标签文件应当匹配,例如:图片名"1.png",对应的达标文件就叫"1.txt"。上传zip以后等待一段时间,确认创建数据集,返回到上一个页面,等待一段时间后上传成功,可以点击详情检查,可预览到数据集的图片以及对应的标签。 步骤二·Lora训练:点击Flux,基础模型会默认是FLUX 1.0D版本,选择数据集,点击右侧箭头,会跳出所有上传过的数据集。触发词可有可无,取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数,如果不知道如何设置,可以默认20重复次数和10轮训练轮数,可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力,然后等待训练,会显示预览时间和进度条,训练完成的会显示出每一轮的预览图,鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此lora生图的界面。点击下方的下载按钮则会自动下载到本地。 步骤三·Lora生图:点击预览模型中间的生图会自动跳转到相应页面。模型上的数字代表模型强度,可在0.61.0之间调节,也可以自己添加lora文件,点击后会显示训练过的所有lora的所有轮次。VAE不需要替换,正向提示词输入写的提示词,可以选择基于这个提示词一次性生成几张图,选择生成图片的尺寸,横板、竖版、正方形。采样器和调度器新手小白可以默认,迭代步数可以在2030之间调整,CFG可以在3.57.5之间调整,随机种子1代表随机生成图。所有设置都好了以后,点击开始生态,生成的图会显示在右侧。如果有哪次生成结果觉得很不错,想要微调或者高分辨率修复,可以点开那张图,往下滑,划到随机种子,复制下来,粘贴到随机种子这里,这样下次生成的图就会和这次的结果近似。如果确认了一张很合适的种子和参数,想要搞清放大,则点开高清修复,可以选择想放大的倍数,新手小白可以就默认这个算法,迭代步数建议在2030之间,重回幅度根据需求调整,正常在0.30.7之间调整。 3. 今日作业:按照比赛要求,收集六个主题中一个主题的素材并且训练出lora模型后提交lora模型与案例图像。提交链接:https://waytoagi.feishu.cn/share/base/form/shrcnpJAtTjID7cIcNsWB79XMEd
2025-01-23