Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

大模型优化有哪些方式

Answer

大模型优化的方式主要包括以下几种:

  1. 模型压缩:由于大模型的参数众多,内存需求巨大,在实际部署时会进行压缩。例如使用内存占用更小的数据类型,如 16 位的浮点数,其中英伟达在其最新一代硬件中引入了对 bfloat16 的支持。
  2. 上下文优化:如果模型缺失必知信息,如内部业务数据、流程等,可通过将相关信息提供给模型进行优化。例如采用 RAG 技术,先在知识库检索相关内容,然后与提示词组装后提供给大模型作为输入。
  3. 大模型优化:在进行足够的 prompt 工程后,如果模型在垂直领域表现不足或输出内容的格式风格稳定性不及预期,可以考虑微调。但微调也要与良好的 prompt 工程结合。
  4. 更换大模型:例如从 ChatGLM2-6B 替换成 baichuan2-13b,可能提升性能。
  5. 更换 embedding 模型:如将 embedding 模型从 LangChain Chatchat 默认的 m3e-base 替换为 bge-large-zh。
  6. 测试不同 Top k 的值:比较不同的 Top k 值(如 Top 5、Top 10、Top 15),找到最优效果的值。
  7. 对文档名称进行处理:人工对文件重命名,上传相同文件构建知识库,并勾选【开启中文标题加强】选项,可减少无关信息,提升效果。
Content generated by AI large model, please carefully verify (powered by aily)

References

大模型入门指南

在LLM中,Token是输入的基本单元由于在大模型的参数非常多,比如在GPT-2中,有1.5B参数,每个参数用float32表示,那么需要的内存大小为4 bytes * 1,500,000,000 = 6GB,更先进的模型如LLAMA有65B参数,那么需要的内存就需要260G,这还是在不考虑词汇表的情况下。因此在进行模型实际部署时,会进行模型的压缩。而且,在训练LLM中,CPU与内存之间的传输速度往往是系统的瓶颈,核心数反而不是大问题,因此减小内存使用是首要优化点。使用内存占用更小的数据类型是一种直接的方式,比如16位的浮点数就可以直接将内存使用减倍。目前有几种相互竞争的16位标准,但英伟达在其最新一代硬件中引入了对bfloat16的支持,|Format|Significand|Exponent|<br>|-|-|-|<br>|bfloat16|8 bits|8 bits|<br>|float16|11 bits|5 bits|<br>|float32|24 bits|8 bits|

3. 如何让 LLM 应用性能登峰造极

如图所示,主要从下面两个维度考虑问题:Context optimization(上下文优化):模型是否缺失必知信息?如内部业务数据,流程等。LLM optimization(大模型优化):模型是否准确率不足,输出内容未能很好的遵循特定风格或格式?1.Context optimization(上下文优化)所创建的LLM应用如果需要了解特定的数据、系统和流程,而这是预训练LLM中不存在(或者有缺失)的知识和信息,则需要进行所谓上下文优化,将依赖的这部分信息提供给模型。如企业内部智能问答机器人,针对企业内部员工提供内部知识服务,需要了解企业知识库、规章制度、系统流程、甚至部分业务数据。而这些信息正是大模型所不知道的知识,无法通过单纯的prompt工程解决,应该考虑将相关知识提供给大模型。RAG就是很好的解决该问题的技术,首先在知识库检索相关内容,然后将内容和提示词组装起来一起提供给大模型作为输入,得到理想的输出。1.LLM optimization(大模型优化)在进行了足够的prompt工程后,如果所创建的LLM应用如果在垂直领域的表现仍然不足,或者我们希望其输出内容保持特定的格式风格等的稳定性依然不及预期,可以考虑进行大模型优化。这里所说的大模型优化通常是指微调。需要注意的是,即使用微调,也要和良好的prompt工程结合起来才能更有效的发挥作用,所以前期基于prompt工程打好地基很重要。下文中我们还会进一步说明。

开发:产品视角的大模型 RAG 应用

开发:产品视角的大模型RAG应用[heading1]调优实践[content]基于以上的分析,我们先选取了实现成本最小的方式进行调优,结果如下:1、更换大模型:从ChatGLM2-6B替换成baichuan2-13b,发现针对我们的场景,后者的性能可以提升一倍左右。2、更换embedding模型:将embedding模型从LangChain Chatchat默认的m3e-base替换为bge-large-zh,发现后者优于前者3、测试不同Top k的值:比较Top 5、Top 10、Top 15的结果,发现Top 10时效果最优。4、对文档名称进行处理:由于原来的政策文件,在导出时文件名会进行简化,如too_long_发展行动方案。因此,人工对文件进行重命名,上传相同文件构建知识库,同时在构建知识库时勾选【开启中文标题加强】选项,发现重命名文件对结果的提升效果不明显,但勾选【开启中文标题加强】选项后,回答的无关信息减少,效果有所提升。目前来看,尽管效果有所提升,但仍未达到可用水平,后续我们也将尝试其他的调优策略。

Others are asking
我是一个ai小白,请给我推荐一个语言大模型的提示词优化工具
以下为您推荐两个语言大模型的提示词优化工具: 1. 星流一站式 AI 设计工具: 在 prompt 输入框中可输入提示词,使用图生图功能辅助创作。 支持自然语言和单个词组输入,中英文均可。 启用提示词优化后可扩展提示词,更生动描述画面内容。 小白用户可点击提示词上方官方预设词组进行生图。 写好提示词需内容准确,包含人物主体、风格、场景特点、环境光照、画面构图、画质等。 可调整负面提示词,利用“加权重”功能让 AI 明白重点内容,还有翻译、删除所有提示词、会员加速等辅助功能。 2. Prompt Perfect: 能够根据输入的 Prompt 进行优化,并给出优化前后的结果对比。 适合写论文、文章的小伙伴,但使用该能力需要消耗积分(可通过签到、购买获得)。 访问地址:
2025-02-17
怎样优化提示词
以下是优化提示词的一些方法: 1. 明确具体的描述:使用更具体、细节的词语和短语来表达需求,避免笼统表述,以便 AI 准确理解。 2. 添加视觉参考:在提示词中插入相关图片参考,提高 AI 理解意图和细节要求的能力。 3. 注意语气和情感:根据需求,用合适的形容词、语气词等调整整体语气和情感色彩,生成期望的语境和情绪。 4. 优化关键词组合:尝试不同的关键词搭配和语序,找到最有针对性、最准确表达需求的描述方式。 5. 增加约束条件:添加限制性条件,如分辨率、比例等,避免 AI 产生意外输出。 6. 分步骤构建提示词:将复杂需求拆解为逐步的子提示词,引导 AI 先生成基本结构,再逐步添加细节和完善。 7. 参考优秀案例:研究 AI 社区流行且有效的提示词范例,借鉴写作技巧和模式。 8. 反复试验、迭代优化:多次尝试不同写法,根据输出效果反馈持续优化完善,直至达到理想结果。 此外,对于优化提示词还有以下步骤和建议: 测试和迭代:有了满意的提示模板后进行测试,根据表现改进提示词。 收集多样化的示例输入:用能代表真实数据的输入集测试提示词,包括困难输入或极端情况,建议至少使用 20 个或更多输入信息。 预留测试输入数据:分别设置“提示开发数据”和“测试数据”,两组数据都应能代表真实输入,使用提示开发数据评估表现,再用测试数据确保不只是适应了提示开发数据。 生成合成数据(可选):若输入数据不足,可提示 Claude 生成更多输入文本供测试。 在 PixVerse V2.5 中,优化提示词还可以通过拓展思路来实现,比如增加对主体、环境、动作等各部分的详细描述,使生成的视频更遵守提示词,更稳定且提升美感。例如“一只金色毛发的狗悠然自得地在阳光洒满的草地上行走,草叶轻轻地在它的爪下弯曲。微风拂过,它的毛发随风轻动,时不时低下头嗅闻着大地。远处,夕阳的余晖拉长了影子,营造出一种宁静祥和的氛围。”
2025-02-13
我是一个UI界面设计师,现在我需要找一个UI界面设计的AI软件,能根据我的文字方案生成高大上的可视化界面UI图,或者能根据我设计的基本的UI界面图能进行优化
以下为您推荐几款可用于 UI 界面设计的 AI 软件: 1. Midjourney: 能生成数据图标、B 端图标设计、音乐软件 UI 设计等。 生成的图片在某些方面质感不错,但 UI 设计可能不规范、文字较乱,目前只能作为风格参考。 对于完全不懂 AI 绘图的新手来说容易上手。 设计指令:如果没想好输入哪些指令,可以先用指令模板「ui design forapplication,mobile app,iPhone,iOS,Apple Design Award,screenshot,single screen,high resolution,dribbble」,把里面的“类型”替换成想设计的产品的关键词描述(英文),就能生成想要的 UI 设计图。 2. 星流一站式 AI 设计工具: 具有无限画布区域,包括浏览视图、操作快捷键查询、图像快捷修改。 浏览视图包括视图百分比调节、聚焦、画布清理等功能。 图像快捷操作有细节微调、整体微调、增强模型、提示词、用作图生图、用作图片参考等。 支持图像分享与信息查看,包括图像信息查看、生成分享链接与发送到 LiblibAI 等。
2025-02-13
简历优化
以下是一些可以帮助您优化简历的 AI 工具: 1. ResumeMatcher:这是一个 AI 驱动的开源简历优化工具。它提供智能关键词匹配和深入分析见解,能提升简历通过 ATS 筛选的几率。采用 FastEmbed 计算简历与职位匹配度,结合 textacy 提取核心术语,精准优化简历内容。相关链接: 2. Kickresume 的 AI 简历写作器:使用 OpenAI 的 GPT4 语言模型自动生成简历,可为简历摘要、工作经验和教育等专业部分编写内容,并保持一致语调。 3. Rezi:是一个受到超过 200 万用户信任的领先 AI 简历构建平台,使用先进的 AI 技术自动化创建可雇佣简历的每个方面,包括写作、编辑、格式化和优化。 4. Huntr 的 AI 简历构建器:提供免费的简历模板,以及 AI 生成的总结/技能/成就生成器和 AI 驱动的简历工作匹配。 更多 AI 简历产品,还可以查看这里:https://www.waytoagi.com/category/79 。您可以根据自己的需要选择最适合您的工具。
2025-02-11
一、学习内容 1. AI工具的操作:了解并掌握至少一种AI工具的基本操作,如智能代码、流程管理、智能报表、数据分析、图像识别、文字生成等。 2. AI工具在本职工作的应用:思考并提出AI工具如何帮助你更高效地完成本职工作,包括但不限于提高工作效率、优化工作流程、节约成本、提升交付质量等。 3. AI工具在非本职工作的潜力推演:探索AI工具如何在你的非本职工作领域发挥作用,比如在公司管理、团队领导、跨部门合作、团队发展以及市场研究等方面。提出这些工具如何被有效利用,以及它们可能带来的改
以下是关于学习 AI 的相关内容: 一、AI 工具的操作 要了解并掌握至少一种 AI 工具的基本操作,如智能代码、流程管理、智能报表、数据分析、图像识别、文字生成等。 二、AI 工具在本职工作的应用 思考并提出 AI 工具如何帮助更高效地完成本职工作,包括但不限于提高工作效率、优化工作流程、节约成本、提升交付质量等。 三、AI 工具在非本职工作的潜力推演 探索 AI 工具在非本职工作领域,如公司管理、团队领导、跨部门合作、团队发展以及市场研究等方面的作用,思考如何有效利用这些工具以及它们可能带来的改变。 四、学习路径 1. 对于不会代码的学习者: 20 分钟上手 Python+AI,在 AI 的帮助下可以完成很多基础的编程工作。若想深入,需体系化了解编程及 AI,至少熟悉 Python 基础,包括基本语法(如变量命名、缩进等)、数据类型(如字符串、整数、浮点数、列表、元组、字典等)、控制流(如条件语句、循环语句)、函数(定义和调用函数、参数和返回值、作用域和命名空间)、模块和包(导入模块、使用包)、面向对象编程(类和对象、属性和方法、继承和多态)、异常处理(理解异常、异常处理)、文件操作(文件读写、文件与路径操作)。 2. 新手学习 AI: 了解 AI 基本概念,建议阅读「」部分,熟悉术语和基础概念,浏览入门文章。 开始 AI 学习之旅,在「」中找到为初学者设计的课程,推荐李宏毅老师的课程,也可通过在线教育平台(如 Coursera、edX、Udacity)按自己节奏学习并获证书。 选择感兴趣的模块深入学习,掌握提示词技巧。 实践和尝试,理论学习后通过实践巩固知识,在知识库分享实践作品和文章。 体验 AI 产品,如 ChatGPT、Kimi Chat、智谱、文心一言等聊天机器人,了解其工作原理和交互方式。 五、工具推荐 1. Kimi 智能助手:ChatGPT 的国产平替,上手体验好,适合新手入门学习和体验 AI。不用科学网、不用付费、支持实时联网,是国内最早支持 20 万字无损上下文的 AI,对长文理解做得好,能一次搜索几十个数据来源,无广告,能定向指定搜索源(如小红书、学术搜索)。 PC 端: 移动端(Android/ios): 2. 飞书:汇集各类 AI 优质知识库、AI 工具使用实践的效率工具,助力人人成为效率高手。
2025-02-07
gpt优化ppt的效果
以下是关于 GPT 优化 PPT 效果的相关信息: 在了解原理方面,ChatGPT 只是预测下一个 Token,目前主要专注于文本输出,尚未具备与外部系统直接交互的能力。但我们可以通过对问题进行深入而精确的描述来获得更高质量的答案,例如在使用搜索引擎时加入特定关键词来缩小搜索范围。 卓 sir 分享了使用 GPT4 制作 PPT 的经验,通过自然交流体验来写 PPT 大纲,经过多次迭代,并利用 WPS AI 进行优化,能快速完成 PPT 制作,还能对主题配色和字体等进行修改。 此外,还介绍了一些可用于制作 PPT 的网站和应用,如 SlidesAI、Decktopus AI、Tome 等。同时,还可以在左侧修改格式和内容,右侧实时预览效果,完成后可下载为 PPTX 或 PDF 格式文件保存。
2025-02-06
你的底层大模型用的是哪个?
目前常见的大型语言模型多采用右侧只使用 Decoder 的 Decoderonly 架构,例如我们熟知的 ChatGPT 等。这些架构都是基于谷歌 2017 年发布的论文“attention is all you need”中提出的 Transformer 衍生而来,其中包括 Encoder 和 Decoder 两个结构。 大模型的特点在于: 1. 预训练数据非常大,往往来自互联网上的论文、代码、公开网页等,一般用 TB 级别的数据进行预训练。 2. 参数非常多,如 Open 在 2020 年发布的 GPT3 就已达到 170B 的参数。 大模型之所以能有效生成高质量有意义的回答,关键在于“大”。例如 GPT1 的参数规模是 1.5 亿,GPT2 Medium 的参数规模是 3.5 亿,到 GPT3.5 时,参数规模达到惊人的 1750 亿,参数规模的增加实现了量变到质变的突破,“涌现”出惊人的“智能”。 大模型的预训练机制是指其“脑袋”里存储的知识都是预先学习好的,预训练需要花费相当多的时间和算力资源。在没有其他外部帮助的情况下,大模型所知道的知识信息总是不完备且滞后的。
2025-02-18
怎么用大模型构建一个属于我自己的助手
以下是用大模型构建属于自己的助手的几种方法: 1. 在网站上构建: 创建百炼应用获取大模型推理 API 服务: 进入百炼控制台的,在页面右侧点击新增应用,选择智能体应用并创建。 在应用设置页面,模型选择通义千问Plus,其他参数保持默认,也可以输入一些 Prompt 来设置人设。 在页面右侧提问验证模型效果,点击右上角的发布。 获取调用 API 所需的凭证: 在我的应用>应用列表中查看所有百炼应用 ID 并保存到本地。 在顶部导航栏右侧,点击人型图标,点击 APIKEY 进入我的 APIKEY 页面,创建新 APIKEY 并保存到本地。 2. 微信助手构建: 搭建,用于汇聚整合多种大模型接口,并获取白嫖大模型接口的方法。 搭建,作为知识库问答系统,将大模型接入用于回答问题,若不接入微信,搭建完成即可使用其问答界面。 搭建接入微信,配置 FastGpt 将知识库问答系统接入微信,建议先用小号以防封禁风险。 3. 基于 COW 框架构建: COW 是基于大模型搭建的 Chat 机器人框架,可将多模型塞进微信。 基于张梦飞同学的更适合小白的使用教程:。 实现功能包括打造属于自己的 ChatBot(文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等)、常用开源插件的安装应用。 注意事项: 微信端因非常规使用有封号危险,不建议主力微信号接入。 只探讨操作步骤,请依法合规使用。 大模型生成的内容注意甄别,确保操作符合法律法规要求。 禁止用于非法目的,处理敏感或个人隐私数据时注意脱敏,以防滥用或泄露。 支持多平台接入,如微信、企业微信、公众号、飞书、钉钉等。 支持多模型选择,如 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等。 支持多消息类型,能处理文本、语音和图片,以及基于自有知识库进行定制的企业智能客服功能。 支持多部署方法,如本地运行、服务器运行、Docker 的方式。
2025-02-17
怎么用大模型构建一个属于我自己的助手
以下是用大模型构建属于自己的助手的几种方法: 1. 在网站上构建: 创建百炼应用获取大模型推理 API 服务: 进入百炼控制台的,在页面右侧点击新增应用,选择智能体应用并创建。 在应用设置页面,模型选择通义千问Plus,其他参数保持默认,也可以输入一些 Prompt 来设置人设。 在页面右侧提问验证模型效果,点击右上角的发布。 获取调用 API 所需的凭证: 在我的应用>应用列表中查看所有百炼应用 ID 并保存到本地。 在顶部导航栏右侧,点击人型图标,点击 APIKEY 进入我的 APIKEY 页面,创建新 APIKEY 并保存到本地。 2. 微信助手构建: 搭建,用于汇聚整合多种大模型接口,并获取白嫖大模型接口的方法。 搭建,作为知识库问答系统,将大模型接入用于回答问题,若不接入微信,搭建完成即可使用其问答界面。 搭建接入微信,配置 FastGpt 将知识库问答系统接入微信,建议先用小号以防封禁风险。 3. 基于 COW 框架构建: COW 是基于大模型搭建的 Chat 机器人框架,可将多模型塞进微信。 基于张梦飞同学的更适合小白的使用教程:。 实现功能包括打造属于自己的 ChatBot(文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等)、常用开源插件的安装应用。 注意事项: 微信端因非常规使用有封号危险,不建议主力微信号接入。 只探讨操作步骤,请依法合规使用。 大模型生成的内容注意甄别,确保操作符合法律法规要求。 禁止用于非法目的,处理敏感或个人隐私数据时注意脱敏,以防滥用或泄露。 支持多平台接入,如微信、企业微信、公众号、飞书、钉钉等。 支持多模型选择,如 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等。 支持多消息类型,能处理文本、语音和图片,以及基于自有知识库进行定制的企业智能客服功能。 支持多部署方法,如本地运行、服务器运行、Docker 的方式。
2025-02-17
语文教学如何使用大模型
在语文教学中使用大模型,可以参考以下方面: 1. 提示词设置: Temperature:参数值越小,模型返回结果越确定;调高参数值,可能带来更随机、多样化或具创造性的产出。对于质量保障等任务,可设置低参数值;对于诗歌生成等创造性任务,可适当调高。 Top_p:与 Temperature 类似,用于控制模型返回结果的真实性。需要准确答案时调低参数值,想要更多样化答案时调高。一般改变其中一个参数即可。 Max Length:通过调整控制大模型生成的 token 数,有助于防止生成冗长或不相关的响应并控制成本。 Stop Sequences:指定字符串来阻止模型生成 token,控制响应长度和结构。 Frequency Penalty:对下一个生成的 token 进行惩罚,减少响应中单词的重复。 2. 了解大模型: 大模型通俗来讲是输入大量语料,让计算机获得类似人类的“思考”能力,能进行文本生成、推理问答、对话、文档摘要等工作。 训练和使用大模型可类比上学参加工作:找学校(需要大量 GPU 计算)、确定教材(大量数据)、找老师(算法)、就业指导(微调)、搬砖(推导)。 Token 是模型处理和生成的文本单位,在将输入进行分词时会形成词汇表。 需要注意的是,在实际应用中,可能需要根据具体的教学需求和场景进行调整和实验,以找到最适合的设置和方法。
2025-02-17
如何利用大模型写教案
利用大模型写教案可以参考以下要点: 1. 输入的重要性:要输出优质的教案,首先要有高质量的输入。例如,写商业分析相关的教案,如果没有读过相关权威书籍,输入的信息缺乏信息量和核心概念,大模型给出的结果可能就很平庸。所以,脑海中先要有相关的知识概念,这来自于广泛的阅读和学习。 2. 对大模型的理解:大模型通过输入大量语料获得类似人类的“思考”能力,能够进行文本生成、推理问答、对话、文档摘要等工作。其训练和使用过程可以类比为上学参加工作,包括找学校(需要大量计算资源)、确定教材(大量数据)、找老师(合适的算法)、就业指导(微调)、搬砖(推导)等步骤。 3. 与大模型的交互: 提示词工程并非必须学习,不断尝试与大模型交互是最佳方法。 交互时不需要遵循固定规则,重点是是否达成目的,未达成可锲而不舍地尝试或更换模型。 用 Markdown 格式清晰表达问题,它具有结构清晰、能格式化强调关键部分、适用性广等优点,有助于大模型更好地理解用户意图。
2025-02-17
大模型评测
以下是关于大模型评测的相关信息: FlagEval(天秤)大模型评测体系及开放平台: 地址: 简介:旨在建立科学、公正、开放的评测基准、方法、工具集,协助研究人员全方位评估基础模型及训练算法的性能,同时探索利用 AI 方法实现对主观评测的辅助,大幅提升评测的效率和客观性。创新构建了“能力任务指标”三维评测框架,细粒度刻画基础模型的认知能力边界,可视化呈现评测结果。 CEval:构造中文大模型的知识评估基准: 地址: 简介:构造了一个覆盖人文,社科,理工,其他专业四个大方向,52 个学科(微积分,线代…),从中学到大学研究生以及职业考试,一共 13948 道题目的中文知识和推理型测试集。此外还给出了当前主流中文 LLM 的评测结果。 SuperCLUElyb:SuperCLUE 琅琊榜 地址: 简介:中文通用大模型匿名对战评价基准,这是一个中文通用大模型对战评价基准,它以众包的方式提供匿名、随机的对战。他们发布了初步的结果和基于 Elo 评级系统的排行榜。 此外,还有小七姐对文心一言 4.0、智谱清言、KimiChat 的小样本测评,测评机制包括: 测评目标:测评三家国产大模型,以同组提示词下 ChatGPT 4.0 生成的内容做对标参照。 能力考量:复杂提示词理解和执行(结构化提示词)、推理能力(CoT 表现)、文本生成能力(写作要求执行)、提示词设计能力(让模型设计提示词)、长文本归纳总结能力(论文阅读)。 测评轮次:第一轮是复杂提示词理解和执行,包括 Markdown+英文 title 提示词测试、Markdown+中文 title 提示词测试、中文 title+自然段落提示词测试;第二轮是推理能力(CoT 表现);第三轮是文本生成能力(写作要求执行);第四轮是提示词设计能力(让模型设计提示词);第五轮是长文本归纳总结能力(论文阅读)。 测试大模型质量好坏时,常用的问题包括检索和归纳、推理性、有日期相关历史事件等。以下是几个专业做模型测评的网站:
2025-02-17
AI发展的方式除了大模型,还有什么
AI 的发展方式除了大模型,还包括以下方面: 1. 算法:算法的不断优化和创新推动着人工智能的发展。 2. 算力:强大的算力支持是实现复杂人工智能任务的基础。 3. 数据:优质的数据集对于人工智能学习算法的发展至关重要,被称为“AI 时代的石油”。 4. 深度神经网络:通过简单细胞检测特征、复杂细胞汇总信息产生结果等方式实现识别、判断和行动等功能。 5. 端侧模型:端侧模型并非越小越好,而是要够用、好用,设备算力决定最优模型规模,多模态能力是突破通用计算的关键。 6. 端侧 Agents:在终端设备上自主运行的智能代理程序,具备感知、决策、执行的闭环能力,是连接模型与应用的关键。 7. 预训练:包括对编程语言、维基百科、新闻常识、网络社区、各类书籍等内容的预训练,但由于版权和费用问题,不包括期刊论文数据库。 8. 开源生态:促进了 AI 技术的交流和发展。
2025-02-15
普通人学习ai生图方式
以下是为普通人提供的学习 AI 生图的相关内容: 如何判断一张图片是否 AI 生成: 当我们接触的 AI 制品增多,可通过“整体看光影,细节看结构”的技术要点来找出画面 bug。通过大量分析 AIGC 画作,人们会在脑中形成“判断模型”,但起初可能“知其然,不知其所以然”。从本质上看,人类绘画创作是线性发展,而 AI 是以积累数据、扩散噪声、再降噪收束的路径生图,会导致同一张图呈现不同绘画级别的细节。 Liblibai 简易上手教程: 1. 首页模型广场:展示其他用户的模型,可查看详情、收藏并用于生图。 2. Checkpoint:生图必需的基础模型,必选。 3. Lora:低阶自适应模型,类似 Checkpoint 的小插件,可有可无,用于控制细节。 4. VAE:编码器,类似滤镜,调整生图饱和度,可无脑选 840000。 5. CLIP 跳过层:用于生成图片后控制、调整构图变化,一般设为 2。 6. Prompt 提示词:想要 AI 生成的内容。 7. 负向提示词 Negative Prompt:想要 AI 避免产生的内容。 8. 采样方法:选择让 AI 生图的算法。 AI 线上绘画教程: 如果需要大量商用且具艺术美感的图片,AI 生图是高效办法。主流工具如 midjourney 付费成本高,stable diffusion 硬件门槛不低,可选择免费在线 SD 工具网站如。本教程适用于入门玩家,旨在让读者半小时内自由上手创作绘图。
2025-02-14
在2025年2月12日这个时间点,我有哪些方式可以快速,稳定的使用 deepseek r1
在 2025 年 2 月 12 日,您可以通过以下方式快速、稳定地使用 DeepSeek R1: PPIO 派欧云(https://ppinfra.com/modelapi/product/llmapi?utm_medium=article&utm_source=WayToAGI):提供满血版全版本的 DeepSeekR1,输入价格为¥4/百万 tokens,输出价格为¥16/百万 tokens。有开发者福利,新注册立得 500 万 tokens(关注 PPIO 公众号回“deepseek”再领 1 亿),初创企业认证有 10 万算力补贴。产品服务特点为服务稳定性 99.9%,保持 0 故障,与 DeepSeek 官方同价,客户支持通道 10 分钟响应。 百度智能云:DeepSeekR1 限时免费,配额 1000RPM/10000TPM,无调用 tokens 上限。本模型将于 2025 年 2 月 19 日 00:00 起正式商用计费,输入价格 0.002 元/千 tokens,输出价格 0.008 元/千 tokens,有在线体验。 硅基流动:DeepSeekR1 输入价格为¥4/M Tokens,输出价格为¥16/M Tokens,有在线体验。2025 年 2 月 6 日起,未实名用户每日最多请求此模型 100 次。 此外,在 2 月 12 日,还有以下相关内容: 《》,来自社区伙伴 Hua 的投稿,手把手指导您在微软 Azure AI Foundry 平台上完成 DeepSeek R1(671B)模型的完整部署流程,包含环境准备、资源管理、模型测试及 API 调用说明。 《》Anthropic 正式发布 Anthropic AI Economic Index,聚焦 AI 对经济的长期影响。该指数直观展现 AI 如何融入现代经济的各类实际任务,并从职业(occupation)和具体工作任务(task)两个维度,量化 AI 对劳动力市场的影响。 《》DeepSeekR1 的火爆现象背后,企业可以获得显著提升。其强化学习和联网搜索能力,改变了信息获取方式,从“检索—阅读—摘要”转变为“提问—获得答案”,大幅提升工作效率。同时,DeepSeek 的开源策略打破了技术垄断,让国内大模型能力迅速提升。
2025-02-12
问答方式如何使用好大模型
以下是关于如何使用好大模型的一些指导: 1. 本地部署资讯问答机器人: 加载所需的库和模块,如用于解析 RSS 订阅源的 feedparse,用于在 Python 程序中跑大模型的 ollama(使用前确保 ollama 服务已开启并下载好模型)。 从订阅源获取内容,可通过指定的 RSS 订阅 url 提取,如需多个 url 稍作改动即可。然后用专门的文本拆分器将长文本拆分成小块,并附带相关元数据,最终合并成列表用于后续处理。 为文档内容生成向量,使用文本向量模型 bgem3,从 hf 下载好模型放置在指定路径,通过函数利用 FAISS 创建高效向量存储。 Ollama 支持多种大型语言模型,包括通义千问、Llama 2、Mistral 和 Gemma 等,适用于不同场景。易于使用,适用于 macOS、Windows 和 Linux 系统,支持 cpu 和 gpu。提供模型库,用户可从中下载不同模型,还支持自定义模型,如修改温度参数等,同时提供 REST API 用于运行和管理模型及与其他应用集成,社区贡献丰富。需先安装,可通过 https://ollama.com/download/ 下载,安装后确保后台服务已启动。 2. 编写清晰的说明: 在 OpenAI 官方说明文档中提到的“官方最佳实践”为用户提供了若干策略。 策略一是编写清晰的说明,在询问中包含详细信息,多说一些内容,多提供一些信息,能有效提高大模型回复的质量和丰富性。通过多个具体例子展示了提供更多细节能得到更符合预期的回答。
2025-02-11
deepseek的提问方式和指令输入规则是什么
DeepSeek 的提问方式和指令输入规则如下: 核心原理认知: AI 特性定位:支持文本/代码/数学公式混合输入,具有动态上下文(约 4K tokens 上下文窗口)和任务适应性(可切换创意生成/逻辑推理/数据分析模式)。 系统响应机制:采用意图识别+内容生成双通道处理,自动检测 prompt 中的任务类型、输出格式、知识范围,对位置权重(开头/结尾)、符号强调敏感。 基础指令框架: 四要素模板:如果不知道如何表达,可套用框架指令。 格式控制语法:强制结构使用```包裹格式要求,占位符标记用{{}}标注需填充内容,优先级符号>表示关键要求,!表示禁止项。 进阶控制技巧: 思维链引导:分步标记法,如请逐步思考:1.问题分析→2.方案设计→3.风险评估;苏格拉底式追问,在得出最终结论前,请先列举三个可能存在的认知偏差。 知识库调用:领域限定指令,如基于 2023 版中国药典,说明头孢类药物的配伍禁忌;文献引用模式,如以 Nature 2022 年发表的论文为参考,解释 CRISPRCas9 最新突破。 性能监测体系:包括需求理解准确率(复杂需求首轮响应匹配度)、知识迁移能力(跨领域案例应用的合理性)、思维深度指数(解决方案的因果链条长度)。新一代交互范式建议采用「人机共谋」模式、启动「思维可视化」指令、实施「苏格拉底式对话」。通过将深度思考能力与场景化需求结合,可解锁 DeepSeek 的「认知增强」模式,建议通过 3 轮迭代测试(需求表达→深度追问→方案优化)建立个性化交互模式。
2025-02-05
大模型训练方式
大模型的训练方式如下: 1. 通俗来讲,大模型是输入大量语料,让计算机获得类似人类的“思考”能力,能进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比其训练和使用过程: 找学校:训练大模型需要大量计算,GPU更合适,只有购买得起大量GPU的才有资本训练。 确定教材:大模型需要大量数据,几千亿序列(Token)的输入基本是标配。 找老师:即选择合适算法讲述“书本”内容,让大模型更好理解Token之间的关系。 就业指导:为让大模型更好胜任某一行业,需要进行微调(fine tuning)指导。 搬砖:就业指导完成后,进行如翻译、问答等工作,在大模型里称之为推导(infer)。Token被视为模型处理和生成的文本单位,能代表单个字符、单词等,在将输入进行分词时,会形成词汇表。 2. 100基础训练大模型的步骤: 步骤一·创建数据集:进入厚德云模型训练数据集(https://portal.houdeyun.cn/sd/dataset),在数据集一栏中点击右上角创建数据集,输入数据集名称。zip文件可以是包含图片+标签txt,也可以只有图片没有打标文件,也可以一张一张单独上传照片,但建议提前把图片和标签打包成zip上传。Zip文件里图片名称与标签文件应当匹配,例如:图片名"1.png",对应的达标文件就叫"1.txt"。上传zip以后等待一段时间,确认创建数据集,返回到上一个页面,等待一段时间后上传成功,可以点击详情检查,可预览到数据集的图片以及对应的标签。 步骤二·Lora训练:点击Flux,基础模型会默认是FLUX 1.0D版本,选择数据集,点击右侧箭头,会跳出所有上传过的数据集。触发词可有可无,取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数,如果不知道如何设置,可以默认20重复次数和10轮训练轮数,可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力,然后等待训练,会显示预览时间和进度条,训练完成的会显示出每一轮的预览图,鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此lora生图的界面。点击下方的下载按钮则会自动下载到本地。 步骤三·Lora生图:点击预览模型中间的生图会自动跳转到相应页面。模型上的数字代表模型强度,可在0.61.0之间调节,也可以自己添加lora文件,点击后会显示训练过的所有lora的所有轮次。VAE不需要替换,正向提示词输入写的提示词,可以选择基于这个提示词一次性生成几张图,选择生成图片的尺寸,横板、竖版、正方形。采样器和调度器新手小白可以默认,迭代步数可以在2030之间调整,CFG可以在3.57.5之间调整,随机种子1代表随机生成图。所有设置都好了以后,点击开始生态,生成的图会显示在右侧。如果有哪次生成结果觉得很不错,想要微调或者高分辨率修复,可以点开那张图,往下滑,划到随机种子,复制下来,粘贴到随机种子这里,这样下次生成的图就会和这次的结果近似。如果确认了一张很合适的种子和参数,想要搞清放大,则点开高清修复,可以选择想放大的倍数,新手小白可以就默认这个算法,迭代步数建议在2030之间,重回幅度根据需求调整,正常在0.30.7之间调整。 3. 今日作业:按照比赛要求,收集六个主题中一个主题的素材并且训练出lora模型后提交lora模型与案例图像。提交链接:https://waytoagi.feishu.cn/share/base/form/shrcnpJAtTjID7cIcNsWB79XMEd
2025-01-23