Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

请给我推荐一个能够阅读网页链接内部信息的AI模型

Answer

以下为您推荐能够阅读网页链接内部信息的 AI 模型相关内容:

有一款 AI 浏览器插件,在产品化开发阶段,需要考虑如何稳定获取网页内容、如何选择适合的 AI 大模型 API 服务以及如何构建生产级提示词等问题。

在获取网页内容方面,由于大模型对话产品的外链解析方式容易遭到平台反爬机制制裁,通过用户浏览器以浏览器插件形式本地提取网页内容是一种稳定、经济的解决方案。比如 AI Share Card 插件,可以获取网页元素清单。开发时,您可以拿着初版提示词,询问 AI 来设计获取相关元素的 js 代码。

对于大模型 API,需要利用插件预先获取的网页内容变量、提示词和 API 请求参数,拼搭出完整的 API 提示请求,精确引导 API 返回想要的生成结果。根据 BigModel 官网给出的请求示例,需要传递 Model 类型、系统提示词、用户提示词、top_p、temperature 等关键参数。如果缺少参数设定经验,可以先询问 AI 相关设定的合适值,再逐步调试效果。

同时需要注意,使用 AI 写东西时,它可能会“产生幻觉”生成错误内容,需要检查所有内容。而且 AI 不会真正解释自己,可能给出编造的答案,使用时要对其输出负责。

Content generated by AI large model, please carefully verify (powered by aily)

References

这款 AI 浏览器插件,想让你的网页链接分享更高级

在成功验证了纯提示词方案后,接下来就是产品化开发阶段。虽然代码编程不是我的强项,但配合Cursor、Windsurf这类AI编程工具,插件的实现效果相当不错。所以,我想试着分享一些关键过程,尤其是提示词封装环节,希望对有意开发AI产品的朋友有所启发。与提示词智能体不同,产品化开发需要考虑更多:1.如何稳定的获取网页内容?2.如何选择适合的AI大模型API服务?3.面向大模型API,如何构建生产级提示词?[heading2]1)如何稳定的获取网页内容?💻[content]在上述初版提示词实验中,获取网页内容极大依赖于大模型对话产品的外链解析能力。然而,这种方式非常容易遭到平台反爬机制的制裁。在实验过程中,最影响提示词方案效果的因素,不是大模型的生成质量,而是无法稳定地捕获网页内容。转换思路来看,网页内容通常以明文形式展示在用户浏览器中,内容平台不可能对用户设备进行反爬制裁。通过用户浏览器,以浏览器插件形式本地提取网页内容,正是一种稳定、经济的解决方案。以下是AI Share Card插件所获取的网页元素清单:附:开发时,如何确定需要插件获取哪些网页元素?你可以拿着初版提示词,询问AI:我希望通过浏览器插件,获取提示词中所需的标签页标题、链接、内容元素,请你帮我设计获取相关元素的js代码参考对话如下,也可以直接在Cursor、Windsurf里提示AI帮你完成开发

如何使用 AI 来做事:一份带有观点的指南

为了回应你的答案,AI很容易“产生幻觉”并生成看似合理的事实。它可以生成完全错误的内容,而且非常令人信服。让我强调一下:AI连续且良好地撒谎。它告诉你的每一件事或信息可能都是不正确的。你需要检查所有的东西。你需要全部检查一下。特别危险的是要求它为互联网提供参考、引用、引文和信息(对于未连接到互联网的模型)。因为GPT-4通常更加扎实,因为Bing的互联网连接意味着它实际上可以拉入相关事实。[这是一份避免幻觉的指南](https://oneusefulthing.substack.com/p/how-to-get-an-ai-to-lie-to-you-in),但它们不可能完全消除。另请注意,人工智能不会解释自己,它只会让你认为它解释了自己。如果你要求它解释它为什么写东西,它会给你一个完全编造的合理答案。当你询问它的思考过程时,它并没有审查自己的行动,它只是生成听起来像它在做这样的文本。这使得理解系统中的偏见非常困难,尽管这些偏见几乎肯定存在。它也可以被不道德地用来操纵或作弊。你对这些工具的输出负责。

这款 AI 浏览器插件,想让你的网页链接分享更高级

与大模型对话产品的提示词不同。对于大模型API,我们需要利用插件预先获取的网页内容变量、提示词和API请求参数,拼搭出完整的API提示请求,精确引导API返回我们想要的生成结果。根据BigModel官网给出的请求示例,可以看到需要在请求中传递Model类型、系统提示词、用户提示词、top_p、temperature等关键参数。因此,可以构建相应的API请求内容如下:1.设定系统提示词,定义基础任务:2.3.设定用户提示词,提供具体任务数据,并要求大模型按JSON格式返回生成结果:4.注:为确保大模型能有效进行内容总结,提示词中使用${}语法动态引用插件获取的网页数据(如标题、描述、正文等)。在实际发送API请求时,这些变量会被替换为真实的网页内容。5.6.最后,根据文本总结类任务的通常经验与实际调试情况,设定其他API所需关键参数:7.如果你缺少参数设定的经验,也可以先询问AI文本总结类的模型API请求,temperature设定多少合适,再逐步调试效果即可。8.附:以下是Claude AI对AI Share Card插件的大模型API请求与提示词的设计架构解释,希望能对你有所帮助。

Others are asking
所有AI软件
以下是一些常见的 AI 软件: 1. 创作方面: AI 研究工具:Claude、ChatGPT、Bing Chat、Perplexity 图片处理:DallE、Leonardo、BlueWillow、Midjourney 版权写作:Rytr、Copy AI、Wordtune、Writesonic 设计:Canva、Clipdrop、Designify、Microsoft Designer 网站搭建:10Web、Framer、Hostinger、Landingsite 视频处理:Klap、Opus、Invideo、Heygen 音频处理:Murf、LovoAI、Resemble、Eleven Labs SEO 优化:Alli AI、BlogSEO、Seona AI、Clearscope Logo 设计:Looka、LogoAI、Brandmark、Logomaster 聊天机器人:Droxy、Chatbase、Voiceflow、Chatsimple 自动化工具:Make、Zapier、Bardeen、Postman 市场营销 2. 100 个 AI 应用(81 100): AI 摄影参数调整助手:利用图像识别、数据分析技术,常见于摄影 APP 参数调整功能,市场规模达数亿美元,可根据场景自动调整摄影参数。 AI 音乐情感分析平台:运用机器学习、音频处理技术,有音乐情感分析软件,市场规模达数亿美元,能够分析音乐的情感表达。 AI 家居智能照明系统:基于物联网技术、机器学习,如小米智能照明系统,市场规模达数十亿美元,可实现家居照明的智能化控制。 AI 金融风险预警平台:通过数据分析、机器学习,有金融风险预警软件,市场规模达数十亿美元,能提前预警金融风险。 AI 旅游路线优化平台:借助数据分析、自然语言处理,如马蜂窝路线优化功能,市场规模达数亿美元,可根据用户需求优化旅游路线。 AI 游戏道具推荐系统:使用数据分析、机器学习,常见于游戏内商城推荐功能,市场规模达数亿美元,能根据玩家需求推荐游戏道具。 AI 天气预报分时服务:基于数据分析、机器学习,如彩云天气分时预报,市场规模达数亿美元,提供精准的分时天气预报。 AI 医疗病历分析平台:运用数据分析、自然语言处理,如医渡云病历分析系统,市场规模达数十亿美元,可分析医疗病历,辅助诊断。 AI 会议发言总结工具:借助自然语言处理、机器学习,如讯飞听见会议总结功能,市场规模达数亿美元,能自动总结会议发言内容。 AI 书法作品临摹辅助工具:利用图像识别、数据分析,如书法临摹软件,市场规模达数亿美元,可帮助书法爱好者进行临摹。
2025-02-07
吴恩达有《面向所有人的生成式 AI 入门课程 Generative AI for Everyone》下载资源
以下是吴恩达《面向所有人的生成式 AI 入门课程 Generative AI for Everyone》的相关资源: B 站: 学习笔记: 飞书: 下的相关课程
2025-02-07
AI如何应用在制造业中
在制造业中,AI 有以下应用: 1. 产品设计和开发:利用 AI 生成工具如 Adobe Firefly、Midjourney 等,可根据文字描述快速生成产品的 3D 模型、渲染图、插图等设计元素,大幅提高产品设计效率。 2. 工艺规划和优化:结合大语言模型的自然语言处理能力,能自动生成制造工艺流程、设备选型、质量控制等方案,优化生产过程。 3. 设备维护和故障诊断:利用 AI 模型分析设备运行数据,可预测设备故障,并自动生成维修建议,提高设备可靠性。 4. 供应链管理:AI 可以根据历史数据和市场变化,自动生成采购计划、库存预测、物流优化等内容,提高供应链管理效率。 5. 客户服务:基于对话模型的 AI 客服机器人,能够自动生成个性化的客户回复,提升客户体验。 总的来说,AIGC 技术正在制造业的各环节得到广泛应用,从产品设计到生产管理再到客户服务,都能发挥重要作用,提高企业的效率和竞争力。
2025-02-07
AI如何应用到供应链工作中
AI 在供应链工作中的应用主要包括以下几个方面: 1. 预测性维护:通过分析设备运行数据,预测机器故障,帮助避免供应链中的生产停机。 2. 质量控制:检测产品缺陷,提高供应链中产品的质量。 3. 采购计划和库存预测:根据历史数据和市场变化,自动生成采购计划和库存预测,优化供应链的资源配置。 4. 物流优化:对物流环节进行优化,提高运输效率,降低成本。 5. 风险管理:利用工具如保证技术和技术标准,支持供应链风险管理,建立对系统的信任,让用户相信关键的 AI 相关风险已被识别、解决和减轻。 6. 责任评估与分配:评估法律责任在 AI 供应链中的有效和公平分配,持续收集各方证据,监测框架对不同参与者的影响,关注基础模型带来的潜在挑战,评估是否需要进一步干预 AI 责任。
2025-02-07
我想做一份简历 可以用哪些ai软件完成
以下是一些可以帮助您完成简历的 AI 软件: 1. Kickresume 的 AI 简历写作器:使用 OpenAI 的 GPT4 语言模型自动生成简历,能为简历摘要、工作经验和教育等专业部分编写内容,并保持一致语调。 2. Rezi:受到超过 200 万用户信任的领先 AI 简历构建平台,使用先进的 AI 技术自动化创建可雇佣简历的每个方面,包括写作、编辑、格式化和优化。 3. Huntr 的 AI 简历构建器:提供免费的简历模板,以及 AI 生成的总结/技能/成就生成器和 AI 驱动的简历工作匹配。 此外,还有以下相关的 AI 简历工具: 1. 超级简历优化助手:帮助用户优化简历提高求职成功率,分析简历内容并提供优化建议。 2. ResumeMatcher:AI 驱动的开源简历优化工具,提供智能关键词匹配、深入分析见解,提升简历通过 ATS 筛选的几率。 您可以根据自己的需要选择最适合您的工具。更多 AI 简历产品,还可以查看这里:https://www.waytoagi.com/category/79
2025-02-07
ai绘画现在处于什么发展阶段
AI 绘画目前处于不断发展和演进的阶段。 在早期,AI 绘画的成果较为简单和粗糙。但随着技术的进步,尤其是深度学习算法如卷积神经网络等的应用,AI 绘画能够生成更加复杂、逼真和富有创意的图像,涵盖了各种风格和题材,从写实到抽象,从风景到人物。 AI 绘画在与人类艺术家的互动和融合中不断创新,为艺术创作带来了新的可能性和挑战。其场景应用广泛,包括广告设计、游戏开发、影视制作、建筑设计等领域。 然而,AI 绘画的发展也引发了一系列讨论和争议。例如,人们对于 AI 生成的艺术品和人类创作的艺术品的接受程度存在差异,AI 在表达情感和创造性意图方面存在局限性,同时也带来了版权、原创性和伦理等问题,以及对文化创意领域从业者职业安全的焦虑。 尽管存在争议,AI 绘画仍为艺术创作提供了新的工具和可能性,如帮助艺术家探索新的创意表达方式,提高制作效率,降低制作成本,促进艺术与观众之间的互动等。目前,生成式 AI 仍处于非常早期的阶段,为其寻找高价值应用场景或许还需要较长时间。
2025-02-07
有没有能够阅读网页链接内部信息的AI模型?
目前存在能够阅读网页链接内部信息的相关技术和工具。例如,有一些 AI 浏览器插件可以实现这一功能。 在实现过程中,需要考虑以下几个关键方面: 1. 稳定获取网页内容:在初版提示词实验中,获取网页内容依赖大模型对话产品的外链解析能力,但易受平台反爬机制制裁。转换思路,通过用户浏览器以插件形式本地提取网页内容是一种稳定且经济的解决方案。开发时需确定需要插件获取的网页元素,可拿着初版提示词询问 AI 来设计获取相关元素的 js 代码。 2. 选择适合的 AI 大模型 API 服务:需要综合考虑多种因素来选择合适的服务。 3. 构建生产级提示词:对于大模型 API,要利用插件预先获取的网页内容变量、提示词和 API 请求参数,拼搭出完整的 API 提示请求,精确引导 API 返回想要的生成结果。同时,要根据不同模型的特点和要求设置相关参数,也可先询问 AI 相关参数的设定经验再进行调试。 此外,在初版提示词的开发中,将设计要求拆分为“设计规范”和“内容结构”,再细分为独立模块,并结合“内容结构”进行要求提示,这种提示词组织方式具有模型通用性、提示简易性和生成稳定性等显著优势。
2025-02-07
用cursor做网页采集文章插件总是报错怎么办
当使用 Cursor 做网页采集文章插件总是报错时,您可以参考以下内容: 1. 技术架构方面: 采用前后端分离架构,后端基于 Coze 工作流构建业务逻辑,前端为 Chrome 浏览器插件,提供轻量级交互界面。 2. 工作流搭建方面: 配置核心组件,包括插件大模型、工作流总览、大模型节点提示词、输出节点 markdown 排版(注意 markdown 里图片的渲染格式),注意输出图片的变量用的是 contentUrl。 3. 可视化界面和 chrome 插件开发方面: 使用 Cursor 开发时,要有架构思维,懂得如何向 AI 描述想要的东西,在实践中学习。 对于 Coze 关键数据,要获取授权令牌(Token),掌握工作流调用方法。查看 Coze 的 api 开发文档,查看执行工作流的实例,需要两个关键参数,即令牌密钥和工作流开发代码。在工作流界面获取工作流 id,让 Cursor 根据相关内容写一个调用 Coze 工作流的服务,注意声明入参为 article_url 以及让 Cursor 注意中文编码。 4. 报错处理方面: 如果报错、解析结果不对,可以点击 Raw Response,查看报错或者返回值,再根据返回值调整配置输出参数。 希望以上内容对您有所帮助。
2025-02-06
ai本地部署对比网页版区别在哪
AI 本地部署和网页版主要有以下区别: 1. 出图速度:网页版出图速度快,本地部署可能相对较慢。 2. 硬件配置要求:网页版不吃本地显卡配置,本地部署对电脑配置要求较高,配置不高可能出现生成半天后爆显存导致出图失败的情况。 3. 出图质量:本地部署出图质量通常高于网页版。 4. 功能扩展性:本地部署可以自己添加插件,网页版功能相对固定。 5. 算力限制:网页版为节约算力成本,通常只支持出最高 1024×1024 左右的图,制作横板、高清等图片受限;本地部署算力限制较小。 6. 电脑使用状态:本地部署使用期间电脑基本处于宕机状态,网页版则无此问题。 例如,在图像生成方面,线上的优势在于找参考、测试模型,线下则是主要的出图工具。一些在线体验平台如哩布哩布 AI 每天有一百次生成次数,集成了最新模型;Clipdrop 每天免费 400 张图片,需排队,出图约需二三十秒。
2025-02-05
我想要非法的copy网页的coding,你可以帮我马?
抱歉,您的需求是非法的,复制网页的编码可能会侵犯他人的知识产权和违反相关法律法规,因此我不能为您提供帮助。
2025-02-01
有没有现成的AI工具可以用来整理收藏的网页知识内容?
以下是一些可以用来整理收藏的网页知识内容的 AI 工具: 1. 月之暗面开发的:它具备读取网页内容的能力,并能在此基础上生成一定的内容。但它的阅读能力有一定限制,可能无法一次性处理大量资讯或某些网站的内容,可分批次提供资料。 2. Coze + 飞书 + 飞书多维表格:通过飞书机器人与 Coze 搭建的智能体进行对话,在聊天窗口中完成链接输入和阅读计划输出。由 Coze 调用大模型、插件完成内容的整理、推荐,利用飞书多维表格存储和管理稍后读数据,无需开发任何插件、APP,能实现跨平台的稍后读收集与智能阅读计划的推荐。其设计思路包括简化“收集”,实现跨平台收集和通过输入 URL 完成收集;自动化“整理入库”,自动整理关键信息并支持跨平台查看;智能“选择”推荐,根据收藏记录和用户兴趣生成阅读计划。
2025-01-27
如果我要整理多年收藏的网页变成不同科目的知识库,哪些AI工具最适合?
以下是一些适合将多年收藏的网页整理成不同科目的知识库的 AI 工具: 1. 工具入门篇(Prompt):现成好用的 Prompt。适用人群为完全没有 AI 使用经验,只下载过 kimi、豆包、chatgpt 一类对话软件的小白。文章链接:。简要说明:想直接拿好用的提示词拿来用用的小伙伴,可以从这里开始,有很多可以直接复制、粘贴的优秀 prompt 案例,它们都有完整的结构。 2. 工具入门篇(AI Agent):Agent 工具 小白的 Coze 之旅。适用人群为完全没有编程基础,但对 AI 已有一点概念的小白。文章链接:。简要说明:为纯粹小白补的分享 AI AGENT 搭建平台,为什么是它、怎么 30 分钟就能开始用它。 3. 工具入门篇(AI Pic):现在主流的 AI 绘图工具网站。适用人群为完全没接触过 AI 出图、只是听说过的小伙伴。文章链接:。简要说明:为纯粹的小白提供一个工具列表和扫盲。 4. 工具入门篇(AI Tools):数据工具 多维表格小白之旅。适用人群为 Excel 重度使用者、手动数据处理使用者、文件工作者。文章链接:。简要说明:用表格 + AI 进行信息整理、提效、打标签,满足 80%数据处理需求。 5. 工具入门篇(AI Code):编程工具 Cursor 的小白试用反馈。适用人群为 0 编程经验、觉得编程离我们很遥远的小白。文章链接:。简要说明:通过 AI 工具对编程祛魅,降低技术壁垒。 6. 工具入门篇(AI Music):音乐工具 Suno 的小白探索笔记。适用人群为 0 乐理知识、觉得作词作曲和我们毫不相关成本巨大的小白。文章链接:。简要说明:AI 赋能音乐创作,无需乐理知识即可参与音乐制作。
2025-01-27
Coze + 飞书 + 飞书多维表格:通过飞书机器人与 Coze 搭建的智能体进行对话,在聊天窗口中完成链接输入和阅读计划输出。由 Coze 调用大模型、插件完成内容的整理、推荐,利用飞书多维表格存储和管理稍后读数据,无需开发任何插件、APP,能实现跨平台的稍后读收集与智能阅读计划的推荐。其设计思路包括简化“收集”,实现跨平台收集和通过输入 URL 完成收集;自动化“整理入库”,自动整理关键信息并支持跨平台查看;智能“选择”推荐,根据收藏记录和用户兴趣生成阅读计划——这个方法具体如何操作?
以下是关于通过飞书机器人与 Coze 搭建的智能体进行对话,并利用飞书多维表格存储和管理稍后读数据,实现跨平台的稍后读收集与智能阅读计划推荐的具体操作方法: 前期准备: 1. 简化“收集”: 实现跨平台收集功能,支持电脑(web 端)、安卓、iOS 多端操作。 输入一个 URL 即可完成收集,借鉴微信文件传输助手的方式,通过聊天窗口完成收集输入。 2. 自动化“整理入库”: 系统在入库时自动整理每条内容的关键信息,包括标题、摘要、作者、发布平台、发布日期、收集时间和阅读状态。 阅读清单支持跨平台查看。 3. 智能“选择”推荐: 根据当前收藏记录和用户阅读兴趣进行相关性匹配,生成阅读计划。 使用飞书·稍后读助手: 1. 设置稍后读存储地址: 首次使用,访问。 点击「更多创建副本」,复制新表格的分享链接。 将新链接发送到智能体对话中。 还可以发送“查询存储位置”、“修改存储位置”来更换飞书多维表格链接,调整稍后读存储位置。 2. 收藏待阅读的页面链接: 在对话中输入需要收藏的页面链接,第一次使用会要求授权共享数据,授权通过后再次输入即可完成收藏。但目前部分页面链接可能小概率保存失败。 3. 智能推荐想看的内容: 在对话中发送“我想看 xx”、“xx 内容”,即可按个人兴趣推荐阅读计划。 至此,专属 AI 稍后读智能体大功告成,您可以尽情享受相关服务。
2025-01-27
收集资料,整合网站链接
以下是关于利用 AI 收集资料和整合网站链接的相关内容: 利用 AI 收集资料: 明确文章主题后,可借助 AI 高效收集相关资讯。例如使用 Perplexity.AI,访问其网站并使用搜索功能,为获取更专业深入的结果,可启用 Pro 功能(每天有一定次数免费使用,常使用可考虑开通会员)。在搜索框输入具体 Prompt 如“查找关于 OpenAI 对马斯克言论回应的博客文章”,快速定位相关资讯。获取搜索结果后,点击回答内容下方的拷贝按钮获取引用网站链接。同理,微软的 Bing 搜索引擎等具备联网搜索功能的工具也能实现类似功能,帮助快速搜集大量资料,提升文章专业度和说服力。 整合网站链接: 1. 整理资料时,可使用月之暗面开发的 Kimi 这个 AI 会话助手。它具备读取网页内容并生成一定内容的能力,读取完毕会显示绿色标点提示。但它阅读能力有限,可能无法一次性处理大量资讯或读取某些网站内容,可分批次提供资料确保有效读取和理解。 2. 以下是一些收录 GPTs 的网站: Hallidai:,特点是索引了周日为止 𝕏 上公开提及的全部 GPTs 数据,后面会每天持续更新,用提及每个 GPTs 的点赞数最高的 tweet 作为初始的 upvotes 来展示热度,也提供了大家 upvote 自己喜欢的 GPTs 的功能,支持搜索,用 Semantic Search 的方式方便大家快速找到想要的 GPTs。 GPTStore:,特点是内容全,有搜索,有热度。 Aigenthub:,特点是有搜索,可讨论,内容全。 GPTs Hunt:,特点是 9557 GPTs。 GPTsPartner:,特点是每日更新,有搜索。 GPTseek:,特点是用户可投票筛选高质量 GPTs,有分类筛选和提交自己的 GPTs 功能,有热度,内容全。
2025-01-14
chatgpt官网链接
ChatGPT 官网有多个版本,目前主要有 GPT3.5、GPT4 和 ChatGPT 4o。 GPT3.5 为免费版本,拥有 GPT 账号即可使用,但智能程度相对较低,无法使用 DALL.E3(AI 画图功能)、GPTs 商店和高级数据分析等插件。其知识更新到 2022 年 1 月。 GPT4 知识更新到 2023 年 12 月,若想使用更多功能更智能的 GPT4o 需升级到 PLUS 套餐,收费标准为 20 美金一个月。GPT4 还有团队版和企业版,费用更贵,一般推荐使用 PLUS 套餐。 ChatGPT 4o 于 5.13 发布,可免费体验,但次数有限,知识更新到 2023 年 10 月。 在注册 ChatGPT 账号前,建议先注册一个谷歌账号,因为国外很多软件支持谷歌账号一键登录,可省去很多日后的注册流程。目前注册谷歌账号支持国内手机号码和国内邮箱验证,过程简单。 以下是相关文章链接:
2025-01-13
ImportError: DLL load failed while importing libpaddle: 动态链接库(DLL)初始化例程失败 这个错误如何解决?
很抱歉,目前知识库中没有关于“ImportError: DLL load failed while importing libpaddle: 动态链接库初始化例程失败”这个错误的具体解决方法。但您可以尝试以下常见的解决步骤: 1. 检查相关依赖库的安装是否完整和正确,确保没有遗漏或损坏的部分。 2. 确认您的系统环境是否满足该库的要求,包括操作系统版本、硬件架构等。 3. 尝试重新安装相关库,确保安装过程中没有出现错误。 4. 查看是否存在其他软件或进程与该库的使用产生冲突,如有,尝试关闭或卸载冲突的软件。 希望这些建议能对您有所帮助,如果问题仍未解决,建议您进一步查阅相关技术文档或向更专业的技术社区寻求帮助。
2025-01-12
给我提供一下国内AI大模型链接
以下是为您提供的国内AI大模型链接: 阿里: 智谱AI: 科大讯飞: 百度: 抖音: 中科院: 百川智能: 商汤: MiniMax: 上海人工智能实验室:
2025-01-09
垂直领域大模型训练指南
以下是一份垂直领域大模型训练指南: 一、大模型入门 通俗来讲,大模型就是输入大量语料,让计算机获得类似人类的“思考”能力,能够进行文本生成、推理问答、对话、文档摘要等工作。 大模型的训练和使用过程可以用“上学参加工作”来类比: 1. 找学校:训练大模型需要大量计算,GPU 更合适,只有购买得起大量 GPU 的才有资本训练自己的大模型。 2. 确定教材:大模型需要的数据量特别多,几千亿序列(Token)的输入基本是标配。 3. 找老师:即用合适的算法讲述“书本”中的内容,让大模型更好理解 Token 之间的关系。 4. 就业指导:为了让大模型更好胜任某一行业,需要进行微调(fine tuning)指导。 5. 搬砖:就业指导完成后,进行如翻译、问答等工作,在大模型里称之为推导(infer)。 在 LLM 中,Token 被视为模型处理和生成的文本单位,可以代表单个字符、单词、子单词等,具体取决于所使用的分词方法。在将输入进行分词时,会对其进行数字化,形成一个词汇表。 二、LLM 开源中文大语言模型及数据集集合 1. 医疗领域 XrayGLM:首个会看胸部 X 光片的中文多模态医学大模型。 地址: 简介:该项目发布了 XrayGLM 数据集及模型,在医学影像诊断和多轮交互对话上显示出非凡潜力。 MeChat:中文心理健康支持对话大模型。 地址: 简介:该项目开源的中文心理健康支持通用模型由 ChatGLM6B LoRA 16bit 指令微调得到,数据集通过调用 gpt3.5turbo API 扩展真实的心理互助 QA 为多轮的心理健康支持多轮对话,提高了通用语言大模型在心理健康支持领域的表现,更加符合在长程多轮对话的应用场景。 MedicalGPT 地址: 简介:训练医疗大模型,实现包括二次预训练、有监督微调、奖励建模、强化学习训练。发布中文医疗 LoRA 模型 shibing624/ziyallama13bmedicallora,基于 ZiyaLLaMA13Bv1 模型,SFT 微调了一版医疗模型,医疗问答效果有提升,发布微调后的 LoRA 权重。 三、100 基础训练大模型 步骤三·Lora 生图: 1. 点击预览模型中间的生图会自动跳转到相应页面。 2. 模型上的数字代表模型强度,可在 0.6 1.0 之间调节,默认为 0.8。 3. 可以自己添加 lora 文件,点击后会显示训练过的所有 lora 的所有轮次。 4. VAE 不需要替换。 5. 正向提示词输入所写的提示词,可以选择基于这个提示词一次性生成几张图。 6. 选择生成图片的尺寸,包括横板、竖版、正方形。 7. 采样器和调度器新手小白可以默认不换。 8. 迭代步数可以按照需求在 20 30 之间调整。 9. CFG 可以按照需求在 3.5 7.5 之间调整。 10. 随机种子 1 代表随机生成图。 11. 所有设置都完成后,点击开始生成,生成的图会显示在右侧。 12. 如果有某次生成结果不错,想要微调或者高分辨率修复,可以点开那张图,往下滑,划到随机种子,复制下来,粘贴到随机种子这里,下次生成的图就会和这次的结果近似。 13. 如果确认了一张很合适的种子和参数,想要高清放大,则点开高清修复,可以选择放大的倍数。新手小白可以默认算法,迭代步数建议在 20 30 之间,重回幅度根据需求在 0.3 0.7 之间调整。 今日作业:按照比赛要求,收集六个主题中一个主题的素材并且训练出 lora 模型后提交 lora 模型与案例图像。 提交链接:https://waytoagi.feishu.cn/share/base/form/shrcnpJAtTjID7cIcNsWB79XMEd
2025-02-07
2025年出的模型有哪些
以下是 2025 年可能出现的一些模型: DeepSeek 发布了最新模型 V3 与 R1,采用混合专家(MoE)架构,V3 引入多头潜注意力(MLA),R1 通过强化学习激活推理能力。 字节跳动推出新技术 OmniHuman,利用单张图片和音频生成生动的视频。 OpenAI 发布新模型 o1,基于思维链和强化学习的新训练和推理方法,展现出明显超出 GPT4 等传统模型的复杂推理能力。 苹果公司发布面向 iPhone、iPad 和 Mac 的个人智能化系统 Apple Intelligence,嵌入一个大约 30 亿参数的本地模型。 此外,2024 年的一些模型发展趋势也可能延续到 2025 年,如: 多模态能力的提升,包括视频生成模型的发展,如 OpenAI 的 Sora 引发业界轰动,带动一众模型公司追逐,到年底视频生成已成为各大模型公司的标配能力。 开源项目的发展,如 Meta 推出的 Llama 3.1 405B 版本,中国的开源项目 Qwen2、DeepSeek 等在全球范围内赢得众多用户。 随着“蒸馏”和“量化”等技术的发展,模型的小型化和端侧化逐渐形成趋势,多家公司推出 40 亿参数以下的专业或端侧小模型。
2025-02-07
deepseek与其他大模型有什么区别
DeepSeek 与其他大模型的区别主要体现在以下几个方面: 1. 模型类型:DeepSeek 是推理型大模型,与指令型大模型不同,不需要用户提供详细步骤指令,而是通过理解用户真实需求和场景提供答案。 2. 语言理解:能够理解用户用“人话”表达的需求,不需要用户学习和使用特定提示词模板。 3. 思考深度:在回答问题时能够进行深度思考,而非简单罗列信息。 4. 文风转换:可以模仿不同作家的文风进行写作,适用于多种文体和场景。 5. 技术路线:DeepSeek R1 与 OpenAI 现在最先进的模型 o1、o3 同属于基于强化学习 RL 的推理模型,在回答用户问题前会先进行“自问自答”式的推理思考,提升最终回答质量。 6. 发展路径:从一开始,DeepSeek 与国内诸多大模型新秀选择的不是同一个战场。它不拿融资,不抢座次,不比国内舆论声势,不搞产品投放投流,而是选择走全球开源社区,分享直接的模型、研究方法和成果,吸引反馈,再迭代优化。开源彻底,包括模型权重、数据集、预训练方法和高质量论文。
2025-02-07
大模型的基础知识
大模型的基础知识包括以下方面: 知识类型: 内置知识:又可细分为常识知识、专业知识和语言知识。常识知识涵盖日常生活中的事实和逻辑规则;专业知识涉及特定领域的详细信息;语言知识包含语法规则、句型结构、语境含义及文化背景等。 模型架构: encoderonly:适用于自然语言理解任务,如分类和情感分析,代表模型是 BERT。 encoderdecoder:同时结合 Transformer 架构的 encoder 和 decoder 来理解和生成内容,代表是 Google 的 T5。 decoderonly:更擅长自然语言生成任务,众多 AI 助手采用此架构。 大模型的特点: 预训练数据量大,往往来自互联网,包括论文、代码和公开网页等,通常用 TB 级别的数据进行预训练。 参数众多,如 Open 在 2020 年发布的 GPT3 就已达到 170B 的参数。 数字化与 embedding:为让计算机理解 Token 之间的联系,需将 Token 表示成稠密矩阵向量,即 embedding,常见算法有基于统计的 Word2Vec、GloVe,基于深度网络的 CNN、RNN/LSTM,基于神经网络的 BERT、Doc2Vec 等。以 Transform 为代表的大模型采用自注意力机制来学习不同 token 之间的依赖关系,生成高质量 embedding。大模型的“大”主要指用于表达 token 之间关系的参数多,如 GPT3 拥有 1750 亿参数。
2025-02-07
未来类似deepseek这种推理大模型普及,结构化提示词是不是会成为过时的知识
未来类似 DeepSeek 这种推理大模型普及,结构化提示词不会成为过时的知识。 虽然未来模型可能在某些情况下无需提示词,仅通过简单对话就能理解用户意图,但基础的如何与模型对话的认知仍需具备,这就涉及提示词。例如李继刚老师的结构化提示词能让模型给出更优质、完整的答案。操作过程中有很多有意思的提示词,如“酷老师”“抬杠高手”等,近期提示词有升级,李继刚老师将其玩到新高度,cloud 等大语言模型可直接显示编译结果内容。输入特定提示词可生成卡片,小创业项目可利用并改变提示词形成独到见解或小应用。 从工程视角看,AI 提示词在游戏创作及优化中也有应用。此外,提示工程的本质是提供足够的信息来明确指定要求,即使模型在理解上下文方面变得更好,能够清晰地陈述目标始终很重要,仍需要明确预期结果的能力和技巧。未来可能会更多地利用提示工程来让模型为我们生成、调整提示词,对于没有太多提示工程经验的人来说,提示词生成器可以帮助他们。未来的提示可能更像是一种自省,模型会尝试理解用户真正在思考什么、需要什么。 在 R1 时代,使用 AI 提示词的关键在于提供足够的背景信息,而非复杂的结构。简单大白话仍然有效,但信息量不足则难以得到理想结果。示例和框架可帮助理清思路,但最终影响在于用户的思考和表达。利用乔哈里视窗分析信息需求,避免过度指令化,让 AI 自由思考,从而激发更高的创意和效果。“有用的不是技巧,而是你的思考!”
2025-02-07