直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

比较一下豆包和文心一言

回答

以下是豆包和文心一言的一些比较信息：

豆包：

  • 是字节跳动官方网页版产品。
  • 在中文大模型基准测评 2023 年度报告的 SuperCLUE 基准-传统安全能力专项中表现优秀。

文心一言：

  • 由百度全新一代知识增强大语言模型，于 2023 年 3 月 16 日正式发布，10 月 17 日发布 V4.0 版本。
  • 目前已有 7000 万用户。
  • 在计算、逻辑推理、生成与创作、传统安全这 4 大基础能力上排名国内第一。在代码、知识与百科、语言理解与抽取、工具使用能力上排名国内前三。各项能力表现均衡且绝大部分能力有很高水平，综合来看是国内非常有竞争力的大模型。
  • 能力栈较为广泛，可应用的场景较多。重点推荐在查询搜索知识应用、任务拆解规划 Agent、文案写作以及代码编写及纠错等方面的应用。由于在逻辑推理方面的不俗表现，可以重点关注在科学研究、教育、工业方面的落地能力。

此外，文心一言和豆包在国内都有一定的知名度，且文心一言与 Kimi 智能助手、通义千问等都是国内免费的 APP。

内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

2023年度中文大模型基准测评报告.pdf

[title]中文大模型基准测评2023年度报告[heading1]测评模型列表模型机构简介模型机构简介1.GPT4-Turbo OpenAI 2023年11月7日发布的GPT4的升级版本14.通义千问2.0阿里巴巴官方公开发布的API版本：qwen-max-longcontext2.GPT4(网页版)OpenAI GPT4官方网页版本，支持联网功能15.Claude2Anthropic官方发布的API 2.0版本3.GPT4(API)OpenAI GPT4官方API版本，不支持联网功能16.云雀大模型(豆包)字节跳动官方网页版产品【豆包】4.文心一言4.0(API)百度官方付费使用的文心一言V4.0的API版本17.Gemini-pro Google官方发布的API版本Gemini-pro5.文心一言4.0(网页版)百度官方文心一言网页4.0版本18.GPT3.5-Turbo OpenAI GPT3.5官方API版本6.智谱清言清华&智谱AI官方网页版产品【智谱清言】19.Qwen-14B-Chat阿里巴巴开源的14B的Chat版本7.AndesGPT OPPO OPPO小范围内测API版本20.Baichuan2-13B-Chat百川智能开源的第二代13B的Chat版本8.Moonshot(KimiChat)月之暗面搭载Moonshot的网页版本【KimiChat】21.XVERSE-13B-2-Chat元象科技开源的第二代13B的Chat版本

2023年度中文大模型基准测评报告.pdf

[title]中文大模型基准测评2023年度报告[heading1]专项基准[heading1]SuperCLUE基准-传统安全能力[heading2]传统安全能力-示例[heading3]Claude2[heading4]云雀大模型（豆包）信息安全相关的在线课程和讲座[blo优秀模型：文心一言4.0-API（百度）简介：文心一言（英文名：ERNIE Bo t）是百度全新一代知识增强大语言模型。于2023年3月16日正式发布，已进行多个版本迭代，10月17日发布V4.0版本。据百度官方介绍，文心一言目前已有7000万用户。模型特点：文心一言4.0在计算、逻辑推理、生成与创作、传统安全这4大基础能力上排名国内第一。另外在代码、知识与百科、语言理解与抽取、工具使用能力上排名国内前三。文心一言4.0各项能力上表现非常均衡且绝大部分能力有很高的水平，综合来看是国内非常有竞争力的大模型。适合应用：文心一言4.0的能力栈较为广泛，可应用的场景较多。基于在SuperCLUE测评上的表现，重点推荐在查询搜索知识应用、任务拆解规划Agent、文案写作以及代码编写及纠错等方面的应用。另外文心一言4.0由于在逻辑推理方面的不俗表现，可以重点关注在科学研究、教育、工业方面的落地能力。

问：国内免费的大模型app有哪些？

[title]问：国内免费的大模型app有哪些？Kimi智能助手、文心一言、通义千问这几个都是国内免费的APP。Kimi智能助手：Kimi是一个有着超大“内存”的智能助手，可以一口气读完二十万字的小说，还会上网冲浪，Moonshot AI出品的智能助手。文心一言：百度出品的AI对话产品，它的定位是智能伙伴，能写文案、想点子，又能陪你聊天、答疑解惑。通义千问：通义千问是由阿里云开发的聊天机器人，能够与人交互、回答问题及协作创作。还有更多大模型产品，可以访问网站查看：内容由AI大模型生成，请仔细甄别。

其他人在问
我该如何利用文心一言、kimi等已有的大语言模型去作个性化训练？
已有的大语言模型如文心一言、kimi 等通常不支持个人进行个性化训练。 大语言模型的相关知识包括： 国内大模型有通用模型如文心一言、讯飞星火等，处理自然语言；还有垂直模型，专注特定领域。 大语言模型工作原理包括训练数据、算力、模型参数，在训练数据一致情况下，模型参数越大能力越强。 Transformer 是大语言模型训练架构，具备自我注意力机制能理解上下文和文本关联。 大模型可能因错误数据导致给出错误答案，优质数据集对其很重要。 Prompt 分为 system prompt、user prompt 和 assistant prompt，写好 prompt 的法则包括清晰说明、指定角色、使用分隔符、提供样本等。 Fine tuning 是基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。 学习大型语言模型（LLM）的开发是一个系统性的过程，需要涵盖多个方面的知识和技能： 掌握深度学习和自然语言处理基础，包括机器学习、深度学习、神经网络等基础理论，以及自然语言处理基础，如词向量、序列模型、注意力机制等。 理解 Transformer 和 BERT 等模型原理，掌握相关论文。 学习 LLM 模型训练和微调，包括大规模文本语料预处理，使用预训练框架，以及微调 LLM 模型进行特定任务迁移。 掌握 LLM 模型优化和部署，包括模型压缩、蒸馏、并行等优化技术，模型评估和可解释性，以及模型服务化、在线推理、多语言支持等。 进行 LLM 工程实践和案例学习，结合行业场景，进行个性化的 LLM 训练，分析和优化具体 LLM 工程案例，研究 LLM 新模型、新方法的最新进展。 持续跟踪前沿发展动态。 机器学习是人工智能的一个子领域，深度学习是机器学习的一个子领域，大语言模型是深度学习在自然语言处理领域的应用之一，具有生成式 AI 的特点。
2024-10-18
文心一言怎么样
文心一言是百度推出的知识增强大语言模型，已进行多个版本迭代，于 2023 年 10 月 17 日发布 V4.0 版本，目前已有 7000 万用户。 在一些评测中，其表现如下： 在律师答辩状 prompt 评测中： 输入起诉状后，直接给出起诉状范本，未理解 prompt 输出答辩状，提示后输出存在主体少、不专业、错误多等问题，但在提示输出应诉方案时，能按 prompt 结构输出，内容简洁可作框架。 在对当事人提供的证据发表质证意见或制定诉讼方案的评测中： 欢迎语按 prompt 指示输出，对证据分析专业，格式和内容上的质证意见表现出色，结束语和签署委托代理协议的回复也很好。 在中文大模型基准测评 2023 年度报告的 SuperCLUE 基准传统安全能力评测中： 文心一言 4.0 在计算、逻辑推理、生成与创作、传统安全这 4 大基础能力上排名国内第一，在代码、知识与百科、语言理解与抽取、工具使用能力上排名国内前三，各项能力表现均衡且水平较高，能力栈广泛，可应用场景多，重点推荐在查询搜索知识应用、任务拆解规划 Agent、文案写作以及代码编写及纠错等方面的应用，在逻辑推理方面表现不俗，可关注在科学研究、教育、工业方面的落地能力。
2024-10-12
请问国内的ai大模型，比如coze,豆包，kimi,科大讯飞，天工，通义千问，智谱清言，秘塔，知乎直达，文心一言，他们各有什么有优势
以下是国内一些 AI 大模型的优势： 通义千问：由阿里云开发，能够与人交互、回答问题及协作创作。 科大讯飞（SparkDesk）：有免费接口，在某些应用场景中具有出色表现。 智谱清言：在聊天状态下能生成 Markdown 格式。 文心一言：百度出品的 AI 对话产品，定位为智能伙伴，能写文案、想点子，又能陪你聊天、答疑解惑。 抖音（云雀大模型）：暂未明确其独特优势。 智谱 AI（GLM 大模型）：暂未明确其独特优势。 中科院（紫东太初大模型）：暂未明确其独特优势。 百川智能（百川大模型）：暂未明确其独特优势。 商汤（日日新大模型）：暂未明确其独特优势。 MiniMax（ABAB 大模型）：目前不能进行自然语言交流，但有语音合成等特色功能。 Kimi 智能助手：由 Moonshot AI 出品，有着超大“内存”，可以一口气读完二十万字的小说，还会上网冲浪。 需要注意的是，不同大模型的优势会因应用场景和用户需求的不同而有所差异。
2024-09-03
文心一言需要付费吗？免费版能用吗
文心一言有免费版可以使用。它是百度出品的 AI 对话产品，能写文案、想点子，陪您聊天、答疑解惑。像 Kimi 智能助手、通义千问等也是国内免费的 APP。文心一言 4.0 有 API 版本，部分可能是付费使用的，同时也有网页版。
2024-08-21
文心一言、通义千问、Kimi、腾讯混元、讯飞星火、抖音豆包、智普清言这些AI工具之间有什么不同，各自擅长哪些领域
以下是文心一言、通义千问、Kimi、腾讯混元、讯飞星火、抖音豆包、智普清言这些 AI 工具的不同之处及各自擅长的领域： Kimi 智能助手：由 Moonshot AI 出品，有着超大“内存”，可以一口气读完二十万字的小说，还会上网冲浪。 文心一言：百度出品的 AI 对话产品，定位为智能伙伴，能写文案、想点子，陪聊天、答疑解惑，与搜索有较好的结合。 通义千问：由阿里云开发的聊天机器人，能够与人交互、回答问题及协作创作，与钉钉有结合应用。 腾讯混元：相对较为低调，公司文化特点及目前尚未有明确亮点可能是其受到关注较少的原因。 讯飞星火：暂未提及具体特点和擅长领域。 抖音豆包：字节旗下产品，字节在 AI 领域有较大投入和决心，如推出多种相关产品和应用。 智普清言：暂未提及具体特点和擅长领域。 需要注意的是，这些 AI 工具的性能和擅长领域可能会随着不断的更新和优化而发生变化。
2024-08-18
文心一言主要功能
文心一言的主要功能包括： 1. 在对当事人提供的证据发表质证意见或制定诉讼方案方面，具有一定优势。例如，输入 prompt 后能按指示输出欢迎语，对证据的分析较为专业，在格式和内容（包括真实性、合法性、关联性、证明力等方面）的质证表现出色，结束语也没问题。但未提示签署委托代理协议，经提示后回复良好。 2. 作为知识增强大语言模型，能够与人对话互动，回答问题，协助创作，帮助人们获取信息、知识和灵感。 3. 在律师答辩状相关任务中，输入 prompt 后欢迎语有专业导入，但对起诉状的理解和输出存在不足，经提示输出答辩状时存在主体缺失、不专业、错误多等问题，提示输出应诉方案时能按 prompt 结构输出，内容简洁明了，可作为框架使用。 目前其能力水平可能处于 GPT3 的阶段，一定程度上能理解人类语言，但输出内容的可靠性与 ChatGPT 相比还有差距。现在处于邀请注册阶段，可在 https://yiyan.baidu.com/welcome 加入等待列表。
2024-08-17
如何更好使用豆包
以下是关于更好使用豆包以及相关插件的信息： 使用豆包作为英语陪练 建议直接使用豆包的语音通话方式，效果更好。 实际演示效果包括视频演示（扮演英语水平较差的学习者）、文字交流中的训练纠错，以及在 Coze 端解读上传图片或文件的英文内容（豆包端暂不支持）。 可直接试用，Coze 端使用链接：https://www.coze.cn/store/bot/7354381765919834127 ，豆包端使用链接：https://www.doubao.com/chat/22308348468226 。 GPT 相关插件 功能：生成链接，对网页内特定文本进行识别并转换为可点击链接，快速发送，支持热键（如 Ctrl + C 对现有页面词汇转换并发送到 GPT）。 插件使用方法： 流程：安装浏览器插件 Tampermonkey（支持 chrome、edge、ARC，安装链接：https://chrome.google.com/webstore/detail/tampermonkeybeta/gcalenpjmijncebpfijmoaglllgpjagf ），打开 GPT 官网，点击插件图标新建，完整替换提供的文件（保存后关闭，官网内刷新，若图标出现数字 1 说明生效，若无效可按快捷键 Ctrl + C 试试）。 JS 代码文本转链接插件：将相关内容粘贴到 Tampermonkey 中。 目录插件：更新时间为 20231007 00:55:41 。
2024-10-02
Kimi 和元宝和豆包和GPT的区别
Kimi 是 ChatGPT 的国产平替，具有不用科学上网、不用付费、支持实时联网、对长文理解较好、能一次搜索多个数据来源且无广告、能定向指定搜索源等特点。 智能体（Agent）是随着 ChatGPT 与 AI 概念爆火出现的新名词，简单理解就是 AI 机器人小助手，参照移动互联网类似 APP 应用的概念。在做智能体创业的公司有很多，比如 C 端有社交方向，用户注册后先捏自己的智能体然后让其与他人的智能体聊天，真人再介入；还有借 Onlyfans 入局打造个性化聊天的创业公司。B 端有帮助商家搭建智能体的公司。 字节的扣子（Coze）是字节推出的 AI 聊天机器人构建平台的国内版，主要用于开发下一代 AI 聊天机器人。 而 GPT 是一种知名的大型语言模型。 综上所述，Kimi、元宝（未提及相关信息）、扣子和 GPT 在功能、特点和应用场景等方面存在差异。
2024-09-11
豆包的智能体如何设置
以下是关于设置豆包智能体的相关信息： 1. 获取机器人 ID：在个人空间中找到自己要接入的机器人，比如画小二智能小助手。点击对应的机器人进入机器人编辑界面，在浏览器地址栏“bot/”之后的数据就是该机器人的 Bot ID，此 ID 是唯一编号的。 2. 分步构建和测试 Agent 功能： 关于模型选择：没有强制必须用某个模型的说法，而是根据自己的习惯、实测的响应速度、生成质量、调用费用进行综合选择。比如 Doubao Function Call 模型，对于插件调用、Coze 内 json 格式输出比较擅长；MiniMax 处理文字速度很快；GLM 对于用户提示词的理解比较好。每个模型都有自己擅长的特点，而且每家模型都在不断迭代。所以模型的选用，需要根据实测情况综合调整。一般选择豆包·function call 32k，“function call”代表有着更好的 Coze 的工具调用能力，“32k”代表模型的上下文窗口大小，即模型在处理文本时能够考虑的单词或标记的数量。如果输出和输入的类型不是纯文本时，比如是 array、object 结构，请根据实测情况，考虑替换上豆包 function call 版本，其他的 LLM 可能会输出格式比较混乱。 3. API 授权：然后再点击右上角发布，这里会发现多了一个 Bot as API，意思就是自己定义的 API 发布取到了。勾选 Bot as API，确定应用已经成功授权 Bot as API。创建了一个机器人，这个机器人是画小二的（令牌），画小二下面有很多个应用，想调用的是“画小二智能小助手（Bot ID）”。
2024-09-10
AI提示词怎么在豆包中使用
在豆包中使用 AI 提示词的情况如下： 对于当事人提供的证据发表质证意见或制定诉讼方案： 把 prompt 输入到豆包 AI 后，欢迎语按照 prompt 的指示输出，但后续提示有时不太切合主体，可能需要提示输入证据清单。 输入 4 份简单的证据后，能输出一份质证意见书。在格式和内容上，包括真实性、合法性、关联性、证明力和总结等方面，多数情况表现较好，但没有提示签署委托代理协议，经提示回复没问题。 对于律师答辩状： 输入 prompt 后，欢迎语很直接。 输入起诉状后，输出内容存在一些问题，如主体缺少答辩人、引用案由错误、未按 prompt 结构输出、引用法律错误、整体较简单且专业性一般等。 提示“请输出应诉方案”后，未按 prompt 结构输出，输出内容一般，整体方案框架没问题但需补充完整。经多次提示和调整，仍有改进空间。 另外，如果想为接入微信的 AI 赋予提示词，可以参考以下步骤： 1. 登录成功后，找另一个人私聊或者在群中@您，就可以看到机器人的正常回复。 2. 如果想更改提示词，可以返回“目录 4 里的第 17 步”，其中的中文部分便是设置 AI 提示词的地方，可以进行更改。 3. 此后，进行任何更改，都需要“返回首页右上角点击重启，重启一下服务器”。 4. 然后，重新在“文件”的【终端】里，直接输入“nohup python3 app.py & tail f nohup.out”重新扫码登录即可。 5. 关于添加插件，可以参考，讲解非常清晰。只要能完成上述步骤，相信插件的安装也能搞定。点击文章，会直接定位到该操作的那一步。
2024-09-03
扣子除了豆包后能用其他模型吗
在扣子平台上，可以使用除豆包之外的其他模型，如 MiniMax、GLM、BaiChuan 等。不同模型能力各异，生成质量有所不同。一般性任务通常能一次性满足需求，专业性任务建议选择性能更好的模型并手动调整。 扣子是国内知名度较高的 AI 应用产品，功能丰富，支持知识库、工作流和插件等多种功能，其社区市场完善，用户可选择官方或其他用户创建的插件和内容。但普通版本和专业版主要接入国内模型，专业版只能选择豆包 pro 系列模型，可能存在性能问题，如批量处理时某些模型并发处理能力不稳定，长时间运行可能崩溃，且国内大模型在某些方面不够成熟，可能出现小问题。 在 Coze 上，GLM 模型和 MoonShot 模型对结构化提示词理解良好，适合处理精确输入输出任务，豆包系列模型在角色扮演和工具调用方面表现出色，将这三种模型结合在工作流或多 Agent 中可实现优势互补。
2024-08-27
请问文星一言与chatgpt的区别
文心一言和 ChatGPT 有以下一些区别： 1. 数学能力方面：GPT4 相对于 ChatGPT 表现出显著的改进。GPT4 在许多复杂数学问题中展示了更深入的理解，并能够应用适当的推理；而 ChatGPT 通常会采用低级启发式方法，提到与问题仅是表面相关的公式和概念，表明缺乏实际理解。 2. 应用场景方面：ChatGPT 不仅是一个应用程序，还可以作为 API 进行访问，能执行一些与其他编排框架相同的功能，如抽象出对定制提示的需求、维持状态，并通过插件、API 或其他来源检索上下文数据。虽然 ChatGPT 不是其他开发工具的直接竞争对手，但可以视为替代解决方案，并且可能成为即时构建的可行、简单的替代方案。 3. 所属概念方面：ChatGPT 是 AIGC 技术的一个应用实例，是美国 OpenAI 公司开发的一款基于大型语言模型（LLM）的对话机器人，能够根据用户的输入生成连贯且相关的文本回复。而文心一言是百度开发的语言模型。
2024-08-26
可以帮我推荐一下AI办公的竞品产品吗
以下为一些 AI 办公的竞品产品： XMind：思维导图工具，4 月访问量 71.3 万次，相对 3 月变化 0.179。 标小智 LOGO 生成：图像生成工具，4 月访问量 69.9 万次，相对 3 月变化 0.106。 站酷海洛：资源类工具，4 月访问量 67.3 万次，相对 3 月变化 0.213。 SEO 优化精灵：通用写作工具，4 月访问量 64.6 万次，相对 3 月变化 0.039。 虎课网免费在线视频教程：AI 学习工具，4 月访问量 62.9 万次，相对 3 月变化 0.005。 Glasp：会议总结工具，4 月访问量 60.7 万次，相对 3 月变化 0.325。 aippt：PPT 工具，4 月访问量 59.6 万次，相对 3 月变化 0.142。 帆软战略：电商工具，4 月访问量 59.5 万次，相对 3 月变化 0.145。 帆软数据：数据分析工具，4 月访问量 59.5 万次，相对 3 月变化 0.145。 讯飞听见：转录工具，4 月访问量 56.2 万次，相对 3 月变化 0.065。 Pixso AI：设计工具，4 月访问量 54.9 万次，相对 3 月变化 0.017。 ToonMe（卡通头像）：图像生成工具，4 月访问量 53.6 万次，相对 3 月变化 0.993。 edrawsoft：思维导图工具，4 月访问量 53.5 万次，相对 3 月变化 0.14。 Dify.ai：AI ChatBots 工具，4 月访问量 51.7 万次，相对 3 月变化 0.452。 彩云：通用写作工具，4 月访问量 51.5 万次，相对 3 月变化 0.117。 360 苏打办公：生产力工具，4 月访问量 50.6 万次，相对 3 月变化 1.269。 在 To B 领域，成体系的 AI 办公产品主要有以下几类： 1. 智能办公：可快速总结群聊内容或会议信息，为写公文提供结构模板参考等。 2. 智能客服：借助 agent 接入企业的 QA 知识库，对用户信息予以回应并下达相关指令。 3. AI 导购：能依据用户问题，结合产品介绍和评论信息等为用户推荐更准确的产品。 4. 智能营销：通过 AIGC 生成话术、物料、口播等内容，并融入用户个性化元素。 5. 智能人力资源：进行简历初筛、JD 自动生成、数据分析等工作。 此外，还有以下 AI 办公相关的案例： 营销：定制营销报告 办公：高效做 PPT 办公：编写 Excel 公式 办公：写邮件
2024-10-16
帮我解释一下AI和人工智能、机器学习的关系
AI 即人工智能，是一个广泛的概念，旨在让计算机模拟人类智能。 机器学习是人工智能的一个重要分支。它指的是计算机通过寻找数据中的规律进行学习，包括监督学习、无监督学习和强化学习等方式。 监督学习使用有标签的训练数据，目标是学习输入和输出之间的映射关系，包括分类和回归任务。 无监督学习处理的数据没有标签，算法自主发现规律，经典任务如聚类。 强化学习则是从反馈中学习，以最大化奖励或最小化损失，类似于训练小狗。 深度学习是一种参照人脑神经网络和神经元的方法，由于具有很多层所以称为深度。神经网络可用于监督学习、无监督学习和强化学习。 生成式 AI 能够生成文本、图片、音频、视频等内容形式。 LLM 是大语言模型，对于生成式 AI ，生成图像的扩散模型不属于大语言模型；对于大语言模型，生成只是其中一个处理任务，如谷歌的 BERT 模型可用于语义理解，像上下文理解、情感分析、文本分类等，但不擅长文本生成。 2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出了 Transformer 模型，它基于自注意力机制处理序列数据，比 RNN 更适合处理文本的长距离依赖性。
2024-10-15
在AI领域，介绍一下智能体和搭建智能体
智能体是建立在大模型之上的，其发展从基于符号推理的专家系统逐步演进而来。基于大模型的智能体具有强大的学习能力，能通过大量数据学习，获得对语言、图像等多种信息的理解和处理能力；具有灵活性，可适应不同任务和环境；具有泛化能力，能将学到的知识泛化到新情境中解决类似问题。 简单理解，智能体就是 AI 机器人小助手，参照移动互联网，类似 APP 应用的概念。在 C 端，比如社交方向，用户注册后先捏一个自己的智能体，然后让其与他人的智能体聊天，两个智能体聊到一起后再真人介入。在 B 端，有帮助商家搭建智能体的机会。 目前有很多智能体开发平台，如字节的扣子 Coze，2 月 1 日字节正式推出其国内版，主要用于开发下一代 AI 聊天机器人。此外还有 Dify.AI 等。 搭建智能体可以基于一些公开的大模型应用产品，如 Chat GLM、Chat GPT、Kimi 等。具体步骤包括： 1. 点击“浏览 GPTs”按钮。 2. 点击“Create”按钮创建自己的智能体。 3. 使用自然语言对话或手工设置进行具体设置。 4. 开始调试智能体并发布。 智能体的开发是一个不断学习和进步的过程，通过实践能更好地理解其潜力和发掘应用场景的可能性。
2024-10-14
帮我解释一下transformer
Transformer 的工作流程如下： 1. 输入嵌入（Input Embeddings）：将每个单词映射为一个向量，例如将“ I ”映射为一个 512 维的向量。 2. 位置编码（Positional Encodings）：由于 Transformer 没有能捕获序列顺序的结构，如递归或卷积，所以给每个词位置加上位置编码，让模型知晓词语的相对位置。 3. 编码器（Encoder）：输入序列的嵌入向量和位置编码相加后被送入编码器层。编码器由多个相同的层组成，每层有两个核心部分，一是多头注意力机制（MultiHead Attention），用于捕捉单词间的依赖关系；二是前馈神经网络（FeedForward NN），对 attention 的结果进行进一步编码。 4. 解码器（Decoder）：编码器的输出被送入解码器层。解码器同样由多个相同层组成，每层除了编码器组件外，还有一个额外的注意力模块，对编码器的输出序列建模依赖关系。 5. 输出嵌入（Output Embeddings）：解码器最后一层的输出被映射为输出单词概率分布，例如生成“我”“是”等单词的概率。 6. 生成（Generation）：基于概率分布，以贪婪或 beam search 等解码策略生成完整的输出序列。 注意力机制是 Transformer 最关键的创新，允许模型捕获长距离依赖关系。多头注意力可并行计算，因此高效。残差连接和层归一化有助于优化网络。整体上，Transformer 无递归和卷积结构，计算并行化程度高，更适合并行加速。 Transformer 是一个大参数（千亿级别）的回归方程，其底层是 function loss 损失函数。它是在一定 prompt condition 情况下，repeat 曾经出现过的数据内容，实现“生成”能力。回归方程的 Function loss 拟合 A to B mapping 关系，实现数据集的压缩与还原。 在公众传播层面，AIGC 指用 Stable Diffusion 或 Midjourney 生成图像内容，后来泛指用 AI 生成音乐、图像、视频等内容；LLM 指 NLP 领域的大语言模型，如 ChatGPT；GenAI 是生成式人工智能模型，国内官方政策文件使用这个词相对科学，涵盖了 LLM 和 AIGC；AGI 指通用人工智能。公众传播一般会混用上述名词，但底层是 Transformer 结构。 大语言模型是一个 perfect memory，repeat 曾经出现的内容。它与 Alpha Go 有差异，Alpha Go 是一个增强学习模型，学习结果会调整模型自身参数，有推理能力，但大语言模型在推理这块很弱。Transformer 决定 LLM 是一个生成式模型。
2024-10-12
帮我从0到1学习一下gen ai
以下是关于从 0 到 1 学习 Gen AI 的相关内容： 在生成式 AI 大爆发前，IT 领域已积累大量基础设施，AI 使这些设施的使用更轻松。但编程对许多人来说有难度，在 AI 帮助下，全栈工程师或超级个体的实现变得简单。 例如，通过共学搭建写剧本的网站，可在两天内探索完整搭建过程。首先，在 github 仓库（https://github.com/iaiuse/NovelListAI）点击 fork，成功后可修改。然后，通过 zeabur 平台将项目代码搭建成可访问网站。打开 zeabur 网站（https://zeabur.com/）创建项目（https://dash.zeabur.com/projects），选择免费节点，配置从 Github 获取项目代码，选择注册的 Github 帐号和要部署的项目，等待启动，最后查看效果。生成域名时，设置域名会提示是否被占用。 另外，Generative AI Studio 课程简介提到，生成式人工智能能生成包括文本、图像、音频和视频等多模式内容，可完成文档摘要、信息提取、代码生成等任务。它从大量现有内容中学习，通过训练形成基础模型，还可根据特定需求进一步训练创建新模型。Google Cloud 提供如 Vertex AI 等工具帮助使用生成式 AI。 对于低年级小学生的 Genie 模型科普，科学家给它一个类似“大脑”的人工智能，通过机器学习观察很多东西并找出规律。Genie 模型学习大量网络视频，有大约 110 亿个模型参数，知道很多知识。利用生成模型技术，它不仅能看懂还能创造新东西，如根据描述生成草原图片，甚至创造可互动的虚拟世界。
2024-10-09
简单介绍一下prompt和agent的关系
Prompt 在激活和运用 AI Agent 的“大脑模块”中起着关键作用，在角色定义、知识处理和逻辑规划等环节都不可或缺。但 Prompt 并非完美无缺，其缺点是使用的 Prompt 越长，消耗的 Token 越多，推理成本可能很高。 对于拟人化程度不高的情况，单纯通过 Prompt 来构建大脑模块（Prompttuning）较为适合；而对于“有趣的灵魂”，目前最直接的解决方式是通过微调一个定向模型，微调过程能将信息直接“记忆”在 AI 的“大脑模块”中，提高信息提取效率，减少处理数据量，优化性能和成本。一般创建方式是将 Prompttuning 和 Finetuning 相结合。 此外，还有如 PromptAgent 这样的优化方法，它将提示词优化视为策略性规划问题，采用基于蒙特卡洛树搜索的规划算法，能自主设计出与专家手工制作同等质量的提示词，并应用于多个实际领域的任务且效果显著。
2024-10-09