Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

模型测评

Answer

以下是关于模型测评的相关内容：

  • Llama2 模型评测：为了解其中文问答能力，筛选了具有代表性的中文问题进行提问，测试了 Meta 公开的 Llama2-7B-Chat 和 Llama2-13B-Chat 两个版本，未做任何微调和训练。测试问题涵盖通用知识、语言理解等八个类别，使用特定 Prompt 进行测试，测试结果见相应文档。发现该模型对于中文问答的对齐效果一般，基于中文数据的训练和微调十分必要。
  • 小七姐：文心一言 4.0、智谱清言、KimiChat 小样本测评：测评机制包括以同组提示词下 ChatGPT 4.0 生成的内容做对标参照，能力考量涵盖复杂提示词理解和执行、推理能力、文本生成能力、提示词设计能力、长文本归纳总结能力，测评轮次包括复杂提示词理解和执行、推理能力、文本生成能力、提示词设计能力、长文本归纳总结能力，每轮次均有不同的任务和模型测试次数。
  • 斯坦福发布大模型排行榜 AlpacaEval：相对于人工标注，全自动化的 AlpacaEval 经济成本和时间成本低。从统计角度探讨了区分模型的评估数据，AlpacaEval 支持两种模式的模型评估方式，评测过程分为选择评估集并计算输出、计算 golden 输出、选择自动标注器并计算胜率三步。
Content generated by AI large model, please carefully verify (powered by aily)

References

模型评测

为了能够更加清晰地了解Llama2模型的中文问答能力，我们筛选了一些具有代表性的中文问题，对Llama2模型进行提问。我们测试的模型包含Meta公开的Llama2-7B-Chat和Llama2-13B-Chat两个版本，没有做任何微调和训练。测试问题筛选自AtomBulb，共95个测试问题，包含：通用知识、语言理解、创作能力、逻辑推理、代码编程、工作技能、使用工具、人格特征八个大的类别。测试中使用的Prompt如下，例如对于问题“列出5种可以改善睡眠质量的方法”：Llama2-7B-Chat的测试结果见meta_eval_7B.md，Llama2-13B-Chat的测试结果见meta_eval_13B.md。通过测试我们发现，Meta原始的Llama2 Chat模型对于中文问答的对齐效果一般，大部分情况下都不能给出中文回答，或者是中英文混杂的形式。因此，基于中文数据对Llama2模型进行训练和微调十分必要。

小七姐：文心一言4.0、智谱清言、KimiChat 小样本测评

测评三家国产大模型，以同组提示词下ChatGPT 4.0生成的内容做对标参照[智谱清言](https://chatglm.cn/main/detail)[文心一言4.0](https://yiyan.baidu.com/)[Kimi Chat](https://kimi.moonshot.cn/chat/)[heading3]二、能力考量[content]复杂提示词理解和执行（结构化提示词）推理能力（CoT表现）文本生成能力（写作要求执行）提示词设计能力（让模型设计提示词）长文本归纳总结能力（论文阅读）[heading3]三、测评轮次[heading4]第一轮：复杂提示词理解和执行[content]1.任务一：Markdown+英文title提示词测试，1个任务4个模型（4次）2.任务二：Markdown+中文title提示词测试，1个任务4个模型（4次）3.任务三：中文title+自然段落提示词测试，1个任务4个模型（4次）[heading4]第二轮：推理能力（CoT表现）[content]逐步推理任务，遍历3个不同类型任务+4个大模型（12次）[heading4]第三轮：文本生成能力（写作要求执行）[content]根据提示词生成文本任务，遍历3个不同类型任务+4个大模型（12次）[heading4]第四轮：提示词设计能力（让模型设计提示词）[content]按提示词要求生成提示词，逐步推理任务，遍历3个不同类型任务+4个大模型（12次）[heading4]第五轮：长文本归纳总结能力（论文阅读）[content]按提供的长文本（上传或在线）进行归纳总结，逐步推理任务，遍历3个不同类型任务+4个大模型（12次）

斯坦福发布大模型排行榜AlpacaEval

图注：人类一致性：标注者与交叉标注集中人类多数票之间的一致性。价格：每1000个标注的平均价格。时间：计算1000个标注所需的平均时间。相对于人工标注，全自动化的AlpacaEval仅需花费约1/22的经济成本和1/25的时间成本。另外，还有一个关键问题：什么评估数据可以最好地区分模型。团队从统计角度出发，在AlpacaEval的所有子集上检验这个问题。下图显示了AlpacaEval每个子集的80个实例上每对模型的配对t检验的p值。例如，我们看到Self-Instruct数据集产生的统计能力最小，这表明可以从评估集中删除该数据集。图注：不同基准评估数据集的质量02如何使用AlpacaEval评估模型AlpacaEval支持两种模式的模型评估方式：alpaca_eval：直接根据目标模型输出的响应来评估模型。alpaca_eval evaluate_from_model：根据HuggingFace已注册模型或这API提供商来端到端评测模型。评测过程分为以下3步：1.选择一个评估集，并计算指定为model_outputs的输出。默认情况下，我们使用来自AlpacaEval的805个示例。Copy1.计算golden输出reference_outputs。默认情况下，在AlpacaEval上使用text-davinci-003的输出。2.通过annotators_config选择指定的自动标注器，它将根据model_outputs和reference_outputs计算胜率。这里建议使用alpaca_eval_gpt4或claude。根据不同的标注器，使用者还需要在环境配置中设定API_KEY。

Others are asking
有没有大模型测评网站
以下是一些大模型测评网站： 玉宝搞过的 LLM 在线评估网站：https://www.llmrank.cn/ ，可看到国内各个闭源大模型的 HUMANEVAL 测评得分，并能与 QWEN2 对比。 Compass Arena：由上海人工智能实验室和魔搭社区联合推出，集齐了国内主流的 20 多款大模型，包括阿里通义千问、百度文心一言、腾讯混元、讯飞星火、字节跳动豆包、智谱 AI、百川智能、零一万物、月之暗面等，用户可在平台选择大模型的两两“对战”，实名或匿名对战皆可。测评地址：https://opencompass.org.cn/arena 。 中文大模型评测收集与调研相关网站： InfoQ + 极客帮：https://www.guotaixia.com/post/5124.html GAOKAOBench：https://github.com/OpenLMLab/GAOKAOBench ，是以中国高考题目为数据集，测评大模型语言理解能力、逻辑推理能力的测评框架。 清华安全大模型测评：http://115.182.62.166:18000 ，清华收集的一个评测集，涵盖了仇恨言论、偏见歧视言论、犯罪违法、隐私、伦理道德等八大类别，包括细粒度划分的 40 余个二级安全类别。 JioNLP 个人测评：评测数据集：https://github.com/dongrixinyu/JioNLP/wiki/LLM 评测数据集 ，考察 LLM 模型对人类用户的帮助效果、辅助能力，可否达到一个【智能助手】的水平。 EduTEP：华东师范大学计算机科学与技术学院 EduNLP 团队组建智能教育算法测评小组，开发智能教育可信评测平台（EduTEP）。EduTEP 对比多种大模型在教育领域中的综合性能，针对 K12 教育发布首个 CALMEDU 评测框架与 CALMEDU001 评测报告。 娱乐资本论：从实用角度出发，分析大模型在各种文本应用场景，如小红书带货文案、抖音直播文案、知乎问答、小说创作、公关信写作、歌词生成、淘宝商品详情页文案、广告宣传片文案、剧本创意策划等方面的综合表现。 全面的模型测评网站：https://lmsys.org/blog/20230503arena/
2025-02-15
你是一个专业的AI工具测评师，用过市场上的所有AI工具，请制作一个PPT，介绍一个如何使用AI进行办公提效，并根据你的经验，对使用过的AI工具进行分类对比和测评，对比结果以表格形式呈现，需要包括是否收费，国内是否可用，主要面向对象，优点和缺点，突出功能等
以下是为您制作的关于如何使用 AI 进行办公提效以及 AI 工具分类对比和测评的 PPT 内容： 幻灯片 1：封面 标题：AI 助力办公提效及工具测评 幻灯片 2：目录 AI 在办公中的应用场景 常用 AI 办公工具分类对比 各工具的详细测评 幻灯片 3：AI 在办公中的应用场景 辅助文档处理 自动生成会议记录 办公文件分类管理 语言学习纠错 幻灯片 4：常用 AI 办公工具分类对比（表格形式） |工具名称|是否收费|国内是否可用|主要面向对象|优点|缺点|突出功能| |||||||| |平安好医生 APP|部分功能收费|是|医疗工作者和患者|辅助医生诊断，提高准确性|可能存在误判|辅助疾病诊断| |腾讯会议|部分高级功能收费|是|企业和个人|自动生成会议记录，方便回顾|语音识别准确性有待提高|会议记录生成| |字体管家 APP|部分字体收费|是|设计和文字工作者|生成多种书法字体|字体版权问题|书法字体生成| |醒图 APP|部分功能收费|是|摄影爱好者|提供构图建议，提升照片质量|对复杂场景的建议有限|摄影构图建议| |游戏内商城推荐功能|部分游戏收费|是|游戏玩家|根据需求推荐道具|推荐的精准度因人而异|游戏道具推荐| |彩云天气分时预报|部分功能收费|是|出行人群|提供精准分时天气预报|天气变化的不确定性|分时天气预报| |医渡云病历分析系统|收费|是|医疗机构|分析病历辅助诊断|数据安全性|病历分析| |讯飞听见会议总结功能|部分功能收费|是|企业和个人|自动总结会议发言内容|对复杂语言理解有限|会议发言总结| |书法临摹软件|部分功能收费|是|书法爱好者|提供临摹指导和评价|对不同书法风格的适应性|临摹辅助| |下厨房口味调整功能|部分功能收费|是|烹饪爱好者|根据反馈调整菜谱口味|口味调整的局限性|菜谱口味调整| |英语流利说纠错功能|部分课程收费|是|语言学习者|帮助纠正错误|对口语表达的纠错有限|语言学习纠错| |豆瓣电影剧情分析工具|免费|是|电影爱好者|提供剧情深度解读|分析的主观性|剧情分析| |腾讯文档分类功能|部分高级功能收费|是|企业和个人|自动分类办公文件|分类准确性依赖数据|文件分类| |美丽修行定制方案功能|部分功能收费|是|美容护肤人群|定制个性化护肤方案|方案的普适性|护肤方案定制| 幻灯片 5：总结 强调 AI 在办公领域的重要性和潜力 鼓励根据实际需求选择合适的 AI 工具提升办公效率 以上 PPT 内容仅供参考，您可以根据具体需求进行修改和完善。
2025-02-10
模型能力测评方法有哪些，比如ragas这种
以下是一些常见的模型能力测评方法： 1. 从模型角度（generation）： 回答真实性：评估模型结果的真实性，减少模型幻觉。 回答相关度：衡量结果与问题的相关性，避免南辕北辙。 2. 从检索角度（retrieval）： 召回率（recall）：考查相关信息在返回的检索内容中的包含程度，越全越好。 准确率（precision）：评估返回的检索内容中有用信息的占比，越多越好。 RAGAS 是一个用于 RAG 评估的知名开源库，您可以通过了解和使用。 RAG 具有一定的优势和局限性： 优势： 能够解决大语言模型技术中输出结果的不可预测性、知识的局限性、幻觉问题、数据安全性等问题。 可以让大模型从权威的、预先确定的知识来源中检索、组织相关信息，更好地控制大模型生成的文本输出，并且用户可以深入了解 LLM 如何生成最终的结果。 可以和微调结合使用。 局限性： 适合打造专才，不适合打造通才，不适合为模型提供通用领域知识。 难以让模型保持稳定的风格或结构输出，降低 token 消耗等，需要使用微调技术解决。
2025-02-07
模型能力测评方法
以下是关于模型能力测评方法的相关内容： 测评机制： 测评目标：测评三家国产大模型，以同组提示词下 ChatGPT 4.0 生成的内容做对标参照，包括智谱清言（https://chatglm.cn/main/detail）、文心一言 4.0（https://yiyan.baidu.com/）、Kimi Chat（https://kimi.moonshot.cn/chat/）。 能力考量：包括复杂提示词理解和执行（结构化提示词）、推理能力（CoT 表现）、文本生成能力（写作要求执行）、提示词设计能力（让模型设计提示词）、长文本归纳总结能力（论文阅读）。 测评轮次： 第一轮：复杂提示词理解和执行，包括 Markdown+英文 title 提示词测试、Markdown+中文 title 提示词测试、中文 title+自然段落提示词测试。 第二轮：推理能力（CoT 表现），逐步推理任务，遍历 3 个不同类型任务和 4 个大模型。 第三轮：文本生成能力（写作要求执行），根据提示词生成文本任务，遍历 3 个不同类型任务和 4 个大模型。 第四轮：提示词设计能力（让模型设计提示词），按提示词要求生成提示词，逐步推理任务，遍历 3 个不同类型任务和 4 个大模型。 第五轮：长文本归纳总结能力（论文阅读），按提供的长文本（上传或在线）进行归纳总结，逐步推理任务，遍历 3 个不同类型任务和 4 个大模型。 测评过程： 用 5 组提示词分别测试模型的复杂提示词执行能力、推理能力、文本生成能力、用提示词设计提示词的能力、长文本归纳总结能力。每一轮中提示词和问题相同，观察国产三家模型的生成结果，并以 ChatGPT 4.0 生成的内容做对照参考。需要注意的是，本测评是主观需求主观视角，不具有权威性。
2025-02-07
2024年度中文大模型基准测评报告
以下是关于 2024 年度中文大模型基准测评报告的相关信息： 2024 年 7 月 10 日： 《SuperCLUE：中文大模型基准测评 2024 年上半年报告》指出，2024 年上半年中文大模型技术取得显著进展，国内外模型差距缩小至 5%以内。国内开源模型如 Qwen272B 表现优异，超越众多闭源模型。端侧小模型发展迅速，落地可行性大幅提升。该报告通过多维度、多层次测评体系，全面评估了大模型的通用能力和专项能力，为行业发展提供了客观数据支持。同时也指出，尽管大模型在多领域展现潜力，但仍面临技术挑战和应用落地问题。 2024 年 11 月 8 日： SuperCLUE 团队发布的新一期《SuperCLUE：中文大模型基准测评 2024 年 10 月报告》中有四点核心发现：1）OpenAI 发布 o1 后，全球大模型竞争加剧；2）国内大模型第一梯队竞争激烈，持续迭代表现不俗；3）国内外大模型在不同任务上表现各有优势；4）端侧小模型表现惊艳。 此外，Sora：大型视觉模型的背景、技术、局限性和机遇综述【官方论文】的参考文献包括： T.Shen,R.Jin,Y.Huang,C.Liu,W.Dong,Z.Guo,X.Wu,Y.Liu,和 D.Xiong,“大型语言模型对齐：一项调查”，arXiv 预印本 arXiv:2309.15025，2023 年。 X.Liu,X.Lei,S.Wang,Y.Huang,Z.Feng,B.Wen,J.Cheng,P.Ke,Y.Xu,W.L.Tam,X.Zhang,L.Sun,H.Wang,J.Zhang,M.Huang,Y.Dong,和 J.Tang,“Alignbench：大型语言模型中文对齐的基准测试”，2023 年。 P.Christiano,J.Leike,T.B.Brown,M.Martic,S.Legg,和 D.Amodei,“基于人类偏好的深度强化学习”，2023 年。 T.Yu,Y.Yao,H.Zhang,T.He,Y.Han,G.Cui,J.Hu,Z.Liu,H.T.Zheng,M.Sun,和 T.S.Chua,“RLHFV：通过细粒度校正人类反馈实现可信赖的 MLLMs 行为对齐”，2023 年。 M.S.Jahan 和 M.Oussalah,“使用自然语言处理进行仇恨言论自动检测的系统综述。”，《神经计算》，第 126232 页，2023 年。 OpenAI,“Sora 安全。”https://openai.com/sorasafety，2024 年。
2024-12-27
RAG 如何测评？
RAG（检索增强生成）的测评方法如下： 1. 可以使用 TruLens 来实现 RAG 三角形的评估方法，具体步骤为： 在 LangChain 中，创建一个 RAG 对象，使用 RAGPromptTemplate 作为提示模板，指定检索系统和知识库的参数。 在 TruLens 中，创建一个 TruChain 对象，包装 RAG 对象，指定反馈函数和应用 ID。反馈函数可以使用 TruLens 提供的 f_context_relevance、f_groundness、f_answer_relevance，也可以自定义。 使用 with 语句来运行 RAG 对象，并记录反馈数据。输入一个问题，得到一个回答，以及检索出的文档。 查看和分析反馈数据，根据 RAG 三角形的评估指标，评价 RAG 的表现。 2. 评估 RAG 生成的文本质量，常用的评估方法包括自动评估指标（如 BLEU、ROUGE 等）、人工评估和事实验证，以衡量生成文本的流畅性、准确性和相关性。 3. 评估 RAG 检索的效果，包括检索的准确性、召回率和效率，其好坏直接影响生成文本的质量。 4. 通过用户调查、用户反馈和用户交互数据来实现用户满意度评估。 5. 对于生成多模态内容的 RAG 系统，需要通过多模态评估指标来评估不同模态之间的一致性和相关性。 6. 对于需要实时更新的 RAG 任务，要考虑信息更新的及时性和效率进行实时性评估。 7. 为了进行客观的评估，通常会使用基准测试集来进行实验和比较不同的 RAG 系统。这些基准测试集包含了多样化的任务和查询，以涵盖不同的应用场景。 评估方法和指标的选择取决于具体的任务和应用场景。综合使用多种评估方法可以更全面地了解 RAG 系统的性能和效果，评估结果可以指导系统的改进和优化，以满足用户的需求。
2024-12-13
有关国产大模型介绍及对比
以下是关于国产大模型的介绍及对比： 过去一年，国内大模型取得了显著进步。综合能力超过 GPT 3.5 和 GeminiPro 的国产模型有 11 个，如百度的文心一言 4.0、阿里云的通义千问 2.0 和 Qwen 72BChat、OPPO 的 AndesGPT、清华&智谱 AI 的智谱清言、字节跳动的云雀大模型等。在 SuperCLUE 测评中，国外模型平均成绩为 69.42 分，国内模型平均成绩为 65.95 分，差距约 4 分，且国内外平均水平差距在缩小。 国内开源模型在中文上表现优于国外开源模型，如百川智能的 Baichuan213BChat、阿里云的 Qwen72B、Yi34BChat 均优于 Llama213BChat。国内大模型竞争格局方面，从国内 TOP19 大模型的数量来看，创业公司和大厂的占比几乎持平。 此外，还有针对国产大模型的测评机制，包括以同组提示词下 ChatGPT 4.0 生成的内容做对标参照，对复杂提示词理解和执行、推理能力、文本生成能力、提示词设计能力、长文本归纳总结能力等方面进行多轮测评。 国外的代表性大模型如 GPT4 的不同版本、Claude2、Llama2 有较好的稳定性表现。国内开源模型总体表现较好，成绩最好的开源模型在中文某些场景或任务上接近 GPT 4，大版本的模型通常优于中小版本，众多创业公司是开源模型的主力。
2025-03-10
LLM大模型与运维
以下是关于 LLM 大模型与运维的相关内容： 部署方面： 本地部署包括三大部分：本地部署大语言模型、本地部署 FastGPT+OneAPI、本地部署 HOOK 项目或 COW。 下载并安装 Ollama：根据电脑系统，从 https://ollama.com/download 下载，双击打开点击“Install”，安装完成后将下方地址复制进浏览器中确认：http://127.0.0.1:11434/ 。 下载 qwen2:0.5b 模型：Windows 电脑点击 win+R 输入 cmd 回车，Mac 电脑按下 Command（⌘）+Space 键打开 Spotlight 搜索输入“Terminal”或“终端”，然后复制命令行粘贴回车等待自动下载完成。 训练方面： 模型训练比推理复杂得多，是一个计算量极大的过程。获取参数面临计算复杂性问题。例如训练 Llama2 70B 这样的开源模型，需要约 10TB 的文本，通常来源于互联网的抓取，大约 6000 个 GPU，运行约 12 天，费用约 200 万美元，得到的参数文件约 140GB，压缩比约 100 倍，且是有损压缩。 整体架构方面： 基础层：为大模型提供硬件支撑，数据支持，如 A100、数据服务器等。 数据层：包括静态的知识库和动态的三方数据集。 模型层：有 LLm（如 GPT，一般使用 transformer 算法）或多模态模型（如文生图、图生图等，训练数据为图文或声音等多模态数据集）。 平台层：如大模型的评测体系或 langchain 平台等，提供模型与应用间的组成部分。 表现层：即应用层，是用户实际看到的地方。
2025-03-09
lora模型
LoRA 模型相关信息如下： Fooocus 程序默认用到了 3 个 SDXL 的模型，包括一个 base、一个 Refiner 和一个 LoRA。LoRA 模型默认放在 Fooocus_win64_1110\\Fooocus\\models\\loras 。如果单独安装，需要下载三个模型： SDXL 基础模型：https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors refiner 模型：https://huggingface.co/stabilityai/stablediffusionxlrefiner1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensors LoRA 模型：https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_offset_examplelora_1.0.safetensors 若部署了 SD 秋叶包，也可共用模型（大模型和 LoRA），可在 Fooocus_win64_1110\\Fooocus\\modules\\path.py 中修改路径为秋叶包模型对应的路径，配置好后点击 run.bat 文件启动。 Lora 全称 LowRank Adaptation Models，中文翻译为低阶自适应模型，作用在于影响和微调画面，通过它可以再现人物或物品的特征。大模型训练复杂且对电脑配置要求高，LoRA 采用在原模型中插入新的数据处理层的方式，避免修改原有模型参数，训练轻量化，显存达到 6G 即可开启训练。 有利用新版 SDXL 生成的 lora 如针线娃娃，需要使用 SDXL1.0 的模型才可以运行，触发词是 BJ_Sewing_doll。想体验可添加公众号【白马与少年】，回复【SDXL】。
2025-03-09
最近的论文AI模型
以下是关于 AI 模型的相关知识： 1. 概念：生成式 AI 生成的内容称为 AIGC。 2. 概念与关系： AI 即人工智能。 机器学习是电脑找规律学习，包括监督学习、无监督学习、强化学习。 监督学习使用有标签的训练数据，目标是学习输入和输出之间的映射关系，包括分类和回归。 无监督学习的数据没有标签，算法自主发现规律，经典任务如聚类，例如让模型将一堆新闻文章根据主题或内容特征分成相似组。 强化学习从反馈中学习，以最大化奖励或最小化损失，类似训小狗。 深度学习是一种参照人脑有神经网络和神经元（因层数多而称深度）的方法，神经网络可用于监督学习、无监督学习、强化学习。 生成式 AI 可以生成文本、图片、音频、视频等内容形式。 LLM 是大语言模型，对于生成式 AI，生成图像的扩散模型不是大语言模型；对于大语言模型，生成只是其中一个处理任务，如谷歌的 BERT 模型，可用于语义理解（不擅长文本生成），像上下文理解、情感分析、文本分类。 3. 技术里程碑：2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出 Transformer 模型，它完全基于自注意力机制（SelfAttention）处理序列数据，无需依赖循环神经网络（RNN）或卷积神经网络（CNN）。
2025-03-09
【深度拆解】ChatGPT-4o背后的技术革新：从语言模型到多模态跨越
ChatGPT4o 背后的技术革新具有重要意义。人类的感知多样，仅靠语言描述世界远远不够，多模态理解非常有用，能更全面学习世界、理解人类需求等。2023 年 9 月 GPT4v 发布，将大语言模型竞赛带入多模态模型时代，如 ChatGPT 能看图说话、画图，Google 的 Gemini 支持多种模态，但 OpenAI 常抢先发布。今年 5 月 OpenAI 发布 GPT4o，向智能体方向迈进，其是之前技术的集大成者，通过端到端神经网络混合训练视觉、语音和文本数据，平均音频输入反应时间为 300 毫秒，能感悟人类表达的情绪等。OpenAI 未公开 GPT4o 技术细节，唯一线索来自内部炼丹师的博客 AudioLM。此外，GPT4 是 OpenAI 的多模态工具，在编程任务中表现出色，ChatGPT 是用户友好界面，可与高级语言模型交互。2024 年 5 月 14 日 OpenAI 发布 GPT4o，效率高、价格降低、延迟缩短。9 月 16 日 OpenAI 推出 o1 系列模型，在复杂任务中表现优异，o1mini 适合编码任务，两个模型已在 ChatGPT 中提供，有免费或收费版本。
2025-03-09
我想整理现在国内和国外的大语言模型产品并需要你整理差异还有时间轴
以下是对国内外大语言模型产品的整理及差异： 国内大语言模型： 通用模型：如文心一言、讯飞星火等，能够处理自然语言。 垂直模型：专注于特定领域，如小语种交流、临床医学、AI 蛋白质结构预测等。 具有代表性的项目：“悟道・天鹰”（北京智源人工智能研究院）是首个具备中英文双语知识、支持商用许可协议、国内数据合规需求的开源语言大模型；文心一言（百度）可用以文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成。 国外大语言模型： 具有代表性的项目：GPT4（OpenAI）是目前最先进的自然语言生成模型，可用于回答问题、撰写文章等；Gemini Ultra（Google）是多模态人工智能模型，采用神经网络架构，对标 GPT4，可用于回答问题、生成代码、处理文本等；Claude 3 Opus（Anthropic）是多模态模型，能处理超过 1 百万 token 的输入，具有实时聊天、数据处理、分析预测等功能，实现了接近完美的召回率。 时间轴方面： 国内：去年 7 月大模型百花齐放。 国外：相关模型也在不断发展和更新。 在工作原理上，大语言模型通常包括训练数据、算力、模型参数等要素。在训练数据一致的情况下，模型参数越大能力越强。Transformer 架构是大语言模型训练的常见架构，具备自我注意力机制能理解上下文和文本关联。同时，大模型可能存在幻觉，即因错误数据导致给出错误答案，优质数据集对其很重要。此外，Prompt 分为 system prompt、user prompt 和 assistant prompt，写好 Prompt 的法则包括清晰说明、指定角色、使用分隔符、提供样本等。还可以基于通用大模型进行 Fine tuning 微调，以适应特定领域的需求。
2025-03-07