Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

2024年度中文大模型基准测评报告

Answer

以下是关于 2024 年度中文大模型基准测评报告的相关信息：

2024 年 7 月 10 日：

  • 《SuperCLUE：中文大模型基准测评 2024 年上半年报告》指出，2024 年上半年中文大模型技术取得显著进展，国内外模型差距缩小至 5%以内。国内开源模型如 Qwen2-72B 表现优异，超越众多闭源模型。端侧小模型发展迅速，落地可行性大幅提升。该报告通过多维度、多层次测评体系，全面评估了大模型的通用能力和专项能力，为行业发展提供了客观数据支持。同时也指出，尽管大模型在多领域展现潜力，但仍面临技术挑战和应用落地问题。

2024 年 11 月 8 日：

  • SuperCLUE 团队发布的新一期《SuperCLUE：中文大模型基准测评 2024 年 10 月报告》中有四点核心发现：1）OpenAI 发布 o1 后，全球大模型竞争加剧；2）国内大模型第一梯队竞争激烈，持续迭代表现不俗；3）国内外大模型在不同任务上表现各有优势；4）端侧小模型表现惊艳。

此外，Sora：大型视觉模型的背景、技术、局限性和机遇综述【官方论文】的参考文献包括：

  • [125]T.Shen,R.Jin,Y.Huang,C.Liu,W.Dong,Z.Guo,X.Wu,Y.Liu,和 D.Xiong,“大型语言模型对齐：一项调查”，arXiv 预印本 arXiv:2309.15025，2023 年。
  • [126]X.Liu,X.Lei,S.Wang,Y.Huang,Z.Feng,B.Wen,J.Cheng,P.Ke,Y.Xu,W.L.Tam,X.Zhang,L.Sun,H.Wang,J.Zhang,M.Huang,Y.Dong,和 J.Tang,“Alignbench：大型语言模型中文对齐的基准测试”，2023 年。
  • [127]P.Christiano,J.Leike,T.B.Brown,M.Martic,S.Legg,和 D.Amodei,“基于人类偏好的深度强化学习”，2023 年。
  • [128]T.Yu,Y.Yao,H.Zhang,T.He,Y.Han,G.Cui,J.Hu,Z.Liu,H.-T.Zheng,M.Sun,和 T.-S.Chua,“RLHF-V：通过细粒度校正人类反馈实现可信赖的 MLLMs 行为对齐”，2023 年。
  • [129]M.S.Jahan 和 M.Oussalah,“使用自然语言处理进行仇恨言论自动检测的系统综述。”，《神经计算》，第 126232 页，2023 年。
  • [130]OpenAI,“Sora 安全。”https://openai.com/sora#safety，2024 年。
Content generated by AI large model, please carefully verify (powered by aily)

References

4.4 历史更新

《[SuperCLUE：中文大模型基准测评2024年上半年报告](https://waytoagi.feishu.cn/record/JwxwrnmGheycFKcWXsbclGCjn4c)》2024年上半年，中文大模型技术取得显著进展，国内外模型差距缩小至5%以内。国内开源模型如Qwen2-72B表现优异，超越众多闭源模型。端侧小模型发展迅速，落地可行性大幅提升。SuperCLUE团队发布的报告，通过多维度、多层次测评体系，全面评估了大模型的通用能力和专项能力，为行业发展提供了客观数据支持。报告还指出，尽管大模型在多领域展现潜力，但仍面临技术挑战和应用落地问题。

4.4 历史更新

李继刚新写这个段子手效果太好了，提示词更新了：[李继刚：用Claude做卡片](https://waytoagi.feishu.cn/wiki/OWTow2oPViaMZ4ky2CKcRI30nGg)《[SuperCLUE：中文大模型基准测评2024年10月报告](https://waytoagi.feishu.cn/record/Opt7r6AyZeCNSec1Pp3ci7n9n6d)》SuperCLUE团队在新一期的[大模型评测报告](https://mp.weixin.qq.com/s/YvAnoCyalUU28ujDSgEqkg)中，有四点核心发现：1）OpenAI发布o1后，全球大模型竞争加剧；2）国内大模型第一梯队竞争激烈，持续迭代表现不俗；3）国内外大模型在不同任务上表现各有优势；4）端侧小模型表现惊艳。

Sora：大型视觉模型的背景、技术、局限性和机遇综述 【官方论文】

[125]T.Shen,R.Jin,Y.Huang,C.Liu,W.Dong,Z.Guo,X.Wu,Y.Liu,和D.Xiong,“大型语言模型对齐：一项调查”，arXiv预印本arXiv:2309.15025，2023年。[126]X.Liu,X.Lei,S.Wang,Y.Huang,Z.Feng,B.Wen,J.Cheng,P.Ke,Y.Xu,W.L.Tam,X.Zhang,L.Sun,H.Wang,J.Zhang,M.Huang,Y.Dong,和J.Tang,“Alignbench：大型语言模型中文对齐的基准测试”，2023年。[127]P.Christiano,J.Leike,T.B.Brown,M.Martic,S.Legg,和D.Amodei,“基于人类偏好的深度强化学习”，2023年。[128]T.Yu,Y.Yao,H.Zhang,T.He,Y.Han,G.Cui,J.Hu,Z.Liu,H.-T.Zheng,M.Sun,和T.-S.Chua,“RLHF-V：通过细粒度校正人类反馈实现可信赖的MLLMs行为对齐”，2023年。[129]M.S.Jahan和M.Oussalah,“使用自然语言处理进行仇恨言论自动检测的系统综述。”，《神经计算》，第126232页，2023年。[130]OpenAI,“Sora安全。”https://openai.com/sora#safety，2024年。

Others are asking
2024 AI工具排行榜
以下是 2024 年部分 AI 工具的相关信息： 开发者工具： 23 年 12 月至 24 年 3 月的访问量排行榜中，非大厂的 Top1 公司是 Langchain，其 3 月 PV 为 356 万，单 PV 价值为 56.18 美元。 赛道方面，天花板潜力 TAM 为 120 亿美元，总体趋势平稳增长，月平均增速为 82 万 PV/月，原生产品占比高。 竞争方面，Top1 占 19%，Top3 占 54%，马太效应弱，网络效应强，大厂已入局，技术门槛中。 教育工具： 23 年 12 月至 24 年 3 月的访问量排行榜中，非大厂的 Top1 公司是 Quizlet，其 3 月 PV 为 1.3 亿。 赛道方面，天花板潜力 TAM 约为 30 亿，总体趋势快速增长，月平均增速为 1793 万 PV/月，原生产品占比低。 竞争方面，Top1 占 45%，Top3 占 76%，马太效应弱，网络效应弱，大厂未入局，技术门槛中。 此外，在展望 2025 时，AI 行业的创新机会方面，2024 年 9 月 OpenAI 发布了新一代语言模型 o1，业界推测其采用了全新的训练与推理方案，结合强化学习技术，显著增强了推理能力，可能借鉴了下围棋的 AlphaGo Zero 的技术思路。
2025-01-26
2024年视频换脸技术
2024 年视频换脸技术面临一些挑战和发展趋势： 挑战方面： 可控性和一致性存在挑战，如人脸转动中保持观感不变形、多个生成片段保持人物一致性、遵循生成指令等，目前视频生成的体感仍需改进，需要底层模型的进步。 成本较高，生成一段 5 秒视频的成本最低约为 1 元人民币，限制了 C 端玩法和大规模应用。 发展趋势： 原生多模态成为 AI 架构的主流选择，从 OpenAI 的 GPT4V 到 Anthropic 的 Claude3V 和 xAI 的 Grok1.5V 等，行业正从简单的模态叠加向真正的多模态融合迈进。原生多模态模型采用统一的编码器解码器架构，在预训练阶段完成多模态信息的深度融合，提升了模型的理解能力，实现了模态间的无缝转换和互补增强，能够处理更复杂的任务。 自 2023 年末开始，Runway、Pika、Meta、Google 等不断推出视频生成/编辑工具，2024 年是 AI 视频技术逐渐成熟并开始商用的一年，下半年或 2025 年可能会看到 AI3D 技术的突破。抖音的成功证明音频、视频加入泛社交/娱乐产品会带来质的飞跃，AI 陪聊赛道中视频、音频技术的加入也将带来内容生产和社交方式的质变。
2025-01-24
2024大模型典型应用案例集
以下是 2024 大模型的一些典型应用案例及相关信息： 《2024 大模型典型示范应用案例集》汇集了 97 个优秀案例，展示了大模型技术在教育、医疗、金融、政务等多个行业和领域的应用。案例由阿里云、百度、华为等领先企业实施，上海成为应用落地的热点地区，大中型企业是主要试验场。AI 智能体和知识库成为提升大模型落地实效的关键手段。 在智能终端行业，中国超半数手机厂商都在使用文心大模型，包括三星、荣耀、vivo、OPPO、小米等主流手机品牌；上汽大众、吉利汽车、蔚来汽车、长安汽车等十余家车企已接入百度文心大模型。 整体来看，在主流大模型厂商中，百度表现突出，拿下最关键的中标项目数量、中标金额两项第一。截至 11 月，其文心大模型日均调用量超过 15 亿次，千帆平台帮助客户精调了 3.3 万个模型、开发了 77 万个企业应用。今年三季度财报披露，百度智能云营收达 49 亿元，同比增长 11%，其增长主要由互联网、教育、金融等行业对模型训练和推理的高需求带动。 企业想要真正将大模型在自身场景落地，需要具备构建算力、数据治理、模型训练、场景落实、应用搭建、持续运营、安全合规等整套能力。 相关报告： 《信达证券：AI 行业设计领域专题报告：Adobe AI 功能覆盖全面，Canva、美图等力争上游》 《中国信通院：大模型基准测试体系研究报告（2024 年）》 《埃森哲：人工智能行业：2024 在生成式人工智能时代重塑工作、劳动力和员工》 此外，还有一些相关活动，如： 2024 年是国内大模型技术加速落地的关键年份，各大厂商如百度、阿里、字节等在 AI 大模型领域展开激烈竞争。百度凭借 40 个中标项目和 2.74 亿元中标金额在行业中处于领先地位。尤其在金融、智能终端等行业，百度文心大模型的应用广泛，表现亮眼。 🏮「非遗贺春」魔多蛇年春节 AI 模型创作大赛，大赛时间 2024 年 12 月 24 日2025 年 1 月 15 日。大赛奖池【￥12000】现金奖励+官方高含金量荣誉证书+会员与算力激励+流量激励。双赛道同时开启，赛道一【春节】+赛道二【爱非遗 AI 传承】。本次活动由浙江省非遗保护中心（浙江省非遗馆）指导×浙江省非遗保护基金会主办×魔多 AI 联合承办，由提供社区传播支持。
2025-01-16
2024年人工智能指数报告 下载
以下是为您提供的 2024 年人工智能指数报告的相关下载信息： 1. 《》由微软和领英联合发布，揭示了人工智能（AI）在工作场所的快速增长和深远影响。 2. 可在知识星球下载的报告： 《》深入分析了 AI Agent 的市场定义、发展阶段、核心组件及其在企业用户场景中的应用。 《》企业实施 AI Agent 的主要目标是降低运营成本，尤其是在知识库管理、数据分析、营销与客户服务等领域。 3. 《》数据处理应从模型为中心转向数据为中心，并强调向量数据库在提升模型服务能力中的核心作用。 4. 斯坦福大学发布的基础模型透明度指数相关报告：在上一届 SOAI 发布后不久，斯坦福大学发布了其首个基础模型透明度指数，模型开发者的平均得分为 37 分。在团队的中期更新中，这一分数攀升至 58 分。2024 年 5 月，该指数的最新一期基于 100 项指标，评估了 14 家领先的基础模型开发者的透明度，这些指标涵盖“上游”因素数据、劳动力、计算、围绕能力和风险的“模型级”因素、围绕分布的“下游”标准以及社会影响。计算和使用政策的评分出现了最强劲的改善，而“上游”评分仍然疲弱。 5. 《2024 年人工智能现状：辉煌、戏谑和“牛市”》报告链接：
2025-01-11
2024年人工智能指数报告
以下是关于 2024 年人工智能指数报告的相关内容： 斯坦福大学发布的基础模型透明度指数显示，模型开发者的平均得分从最初的 37 分攀升至中期更新的 58 分。2024 年 5 月的最新一期基于 100 项指标评估了 14 家领先的基础模型开发者的透明度，其中计算和使用政策的评分改善强劲，“上游”评分仍疲弱。 2024 年 AI 年度报告的十大预测包括：好莱坞级别的制作公司开始使用生成式人工智能制作视觉特效；美国联邦贸易委员会或英国竞争与市场管理局基于竞争理由调查微软/OpenAI 的交易；在全球人工智能治理方面进展有限；一首由人工智能创作的歌曲进入公告牌 Hot 100 前 10 名或 Spotify 2024 年热门榜单；随着推理工作负载和成本的显著增长，一家大型人工智能公司收购或建立专注于推理的人工智能芯片公司。同时也有错误预测，如生成式人工智能媒体公司在 2024 年美国选举期间的滥用行为未受到调查，自我改进的人工智能智能体在复杂环境中未超越现有技术最高水平。 预测还覆盖了人工智能领域的多个方面，如主权国家向美国大型人工智能实验室投资超 100 亿美元引发国家安全审查；完全无编码能力的人创建的应用或网站走红；前沿实验室在案件审判后对数据收集实践方式发生重大转变；早期欧盟人工智能法案实施结果比预期宽松；开源的 OpenAI o1 替代品在推理基准测试中超越；挑战者未能突破英伟达市场地位；对人形机器人投资水平下降；苹果在设备上的研究成果加速个人设备上人工智能的发展；人工智能科学家生成的研究论文被主要机器学习会议或研讨会接受；以“生成式人工智能”为元素互动的视频游戏取得突破性地位。
2025-01-11
2024ai 大事记
以下是 2024 年 AI 大事纪的相关内容： 1 月： 斯坦福大学 Mobile Aloha。 1 月 10 号 LumaAl Genie 文生 3D。 1 月 11 号 GPT store 上线。 MagnificAl 高清放大爆火。 1 月最后一天苹果 Vision Pro 宣布发售。 3 月： 潞晨科技发布 OpenSora。 Suno 发布 V3 版本爆火。 4 月：英伟达发布硬件股价飙升。 5 月： 苹果发布 AI 芯片。 张吕敏发布 IC light。 7 月：快手开源 LivePortrait 模型，表情迁移。 8 月：StabilityAI 老板成立新公司发布 flux 大模型。 9 月： 阿里云发布模型，海螺 AI 参战。 Google 发布 GameGen 实时生成游戏。 通义千问 2.5 系列全家桶开源。 华为发布 cloud matrix 云计算基础设施。 GPT 高级语音模式上线。 Meta 发布 AI 眼镜 Orion。 AI 代码编辑器 cursor 爆火。 10 月： Pika 发布 1.5 模型。 诺奖颁发给 AI 奠基人。 特斯拉发布机器人。 Adobe 发布 Illustrator+Al 生成矢量图。 智谱 AI 发布 autoGLM。 腾讯混元开源 3D 模型。 云深处发布机器人山猫机器狗。 Apple 发布 Mac mini。 12 月： 李飞飞发布空间智能成果。 腾讯开源混元视频模型。 Open AI 开 12 天发布会。 微软发布 Trellis 最强开源图生 3D。 Gemini2.0 视觉交互智能体。 智元机器人开始量产。 谷歌发布 Veo2 能生成 4K 视频。 需要注意的是，本大事记经过一定筛选，带有一定倾向性，但不包含任何广告或其他商业考量，仅以新闻热度与大众反响为依据。仅代表个人看法，如有遗漏请谅解。
2025-01-10
模型测评
以下是关于模型测评的相关内容： Llama2 模型评测：为了解其中文问答能力，筛选了具有代表性的中文问题进行提问，测试了 Meta 公开的 Llama27BChat 和 Llama213BChat 两个版本，未做任何微调和训练。测试问题涵盖通用知识、语言理解等八个类别，使用特定 Prompt 进行测试，测试结果见相应文档。发现该模型对于中文问答的对齐效果一般，基于中文数据的训练和微调十分必要。 小七姐：文心一言 4.0、智谱清言、KimiChat 小样本测评：测评机制包括以同组提示词下 ChatGPT 4.0 生成的内容做对标参照，能力考量涵盖复杂提示词理解和执行、推理能力、文本生成能力、提示词设计能力、长文本归纳总结能力，测评轮次包括复杂提示词理解和执行、推理能力、文本生成能力、提示词设计能力、长文本归纳总结能力，每轮次均有不同的任务和模型测试次数。 斯坦福发布大模型排行榜 AlpacaEval：相对于人工标注，全自动化的 AlpacaEval 经济成本和时间成本低。从统计角度探讨了区分模型的评估数据，AlpacaEval 支持两种模式的模型评估方式，评测过程分为选择评估集并计算输出、计算 golden 输出、选择自动标注器并计算胜率三步。
2025-02-06
RAG 如何测评？
RAG（检索增强生成）的测评方法如下： 1. 可以使用 TruLens 来实现 RAG 三角形的评估方法，具体步骤为： 在 LangChain 中，创建一个 RAG 对象，使用 RAGPromptTemplate 作为提示模板，指定检索系统和知识库的参数。 在 TruLens 中，创建一个 TruChain 对象，包装 RAG 对象，指定反馈函数和应用 ID。反馈函数可以使用 TruLens 提供的 f_context_relevance、f_groundness、f_answer_relevance，也可以自定义。 使用 with 语句来运行 RAG 对象，并记录反馈数据。输入一个问题，得到一个回答，以及检索出的文档。 查看和分析反馈数据，根据 RAG 三角形的评估指标，评价 RAG 的表现。 2. 评估 RAG 生成的文本质量，常用的评估方法包括自动评估指标（如 BLEU、ROUGE 等）、人工评估和事实验证，以衡量生成文本的流畅性、准确性和相关性。 3. 评估 RAG 检索的效果，包括检索的准确性、召回率和效率，其好坏直接影响生成文本的质量。 4. 通过用户调查、用户反馈和用户交互数据来实现用户满意度评估。 5. 对于生成多模态内容的 RAG 系统，需要通过多模态评估指标来评估不同模态之间的一致性和相关性。 6. 对于需要实时更新的 RAG 任务，要考虑信息更新的及时性和效率进行实时性评估。 7. 为了进行客观的评估，通常会使用基准测试集来进行实验和比较不同的 RAG 系统。这些基准测试集包含了多样化的任务和查询，以涵盖不同的应用场景。 评估方法和指标的选择取决于具体的任务和应用场景。综合使用多种评估方法可以更全面地了解 RAG 系统的性能和效果，评估结果可以指导系统的改进和优化，以满足用户的需求。
2024-12-13
SuperCLUE半年度测评报告
以下是关于 SuperCLUE 半年度测评报告的相关内容： 趋势说明： 过去半年，国内领军大模型企业实现了代际追赶。7 月与 GPT3.5 有 20 分差距，之后每月稳定且大幅提升，11 月总分超越 GPT3.5。GPT3.5 和 GPT4 在中文表现上基本一致，11 月有下滑，国内头部模型持续稳健提升。12 月国内第一梯队模型与 GPT4 差距缩小，但仍需追赶。部分国内代表性模型 7 月至 12 月的得分情况为：文心一言 50.48、54.18、53.72、61.81、73.62、75；通义千问 41.73、33.78、43.36、61.01、71.78；ChatGLM 42.46、38.49、54.31、58.53、63.27、69.91。 测评方法： 采用多维度、多视角的综合性测评方案，包括多轮开放问题 SuperCLUEOPEN 和三大能力客观题 SuperCLUEOPT。评测集共 4273 题，其中 1060 道多轮简答题（OPEN），3213 道客观选择题（OPT）。OPEN 基准使用超级模型作为评判官，对比待评估模型与基准模型，计算胜和率作为 OPEN 得分。OPT 主要测评选择题，包括基础能力、中文特性、专业与学术能力，构造统一 prompt 供模型使用，要求选取唯一选项。SuperCLUE 总分由 0.7OPEN 分+0.3OPT 分计算得出。 第三方测评特点： SuperCLUE 始终秉持中立、客观的第三方测评理念，采用自动化方式的客观评估，降低人为评估的不确定性。测评方式与真实用户体验目标一致，纳入开放主观问题测评，通过多维度多视角多层次的评测体系和对话形式，模拟应用场景，考察模型生成能力，构建多轮对话场景，全方位评测大模型。同时，不限于学术领域的测评，旨在服务产业界，从多个维度的选择和设计到行业大模型测评基准的推出，都是为产业和应用服务，反映通用大模型与产业应用的差距，引导大模型提升技术落地效果。
2024-09-20
对AI功能的新型用户体验测评
以下是关于 AI 功能新型用户体验测评的相关内容： 生成式 AI 的第二阶段： 新的开发者工具和应用框架为公司创建更先进的 AI 应用提供可重用构建块，并帮助评估、改进和监控生产中的 AI 模型性能，如 Langsmith 和 Weights & Biases 等 LLMOps 工具。 AIfirst 基础设施公司如 Coreweave、Lambda Labs、Foundry、Replicate 和 Modal 正在解除公共云的捆绑，提供大量 GPU 及良好的 PaaS 开发者体验。 生成式 AI 优先的用户体验在进化，包括新兴产品蓝图，如从基于文本的对话用户体验到新的形态如 Perplexity 的生成用户界面、Inflection AI 的语音发声等新模态，以及新的编辑体验如 Copilot 到导演模式，还有像 Midjourney 的新平移命令和 Runway 的导演模式创造的新相机般编辑体验，Eleven Labs 使通过提示操作声音成为可能。 Top100 AI 消费者应用（第三版）： 字节跳动于 2023 年底成立专注于生成式 AI 应用的研发部门 Flow，并从 2024 年初开始以其他公司名义在美国及海外推出新的 AI 应用。 在网页和移动端，新类别为审美和约会，包括三家新进入者 LooksMax AI、Umax 和 RIZZ。LooksMax 和 Umax 采集用户照片进行评分并给出“建议”，Umax 生成用户 10 分满分照片，LooksMax 分析用户声音确定吸引力。LooksMax 声称拥有超 200 万用户，Umax 声称拥有 100 万用户。 生成式 AI：下一个消费者平台： AI 能使产品个性化用户体验，早期应用已出现在教育科技和搜索中，预计这种定制将是许多 AI 启用产品的核心价值主张。后续文章将更深入研究相关领域，并分享评估消费者 AI 公司时提出的问题。
2024-08-28
国内外大模型测评
以下是关于国内外大模型测评的相关内容： 在 2023 年度的中文大模型基准测评中： 国内外大模型总体表现方面，90.63 分遥遥领先，高于其他国内大模型及国外大模型。国内最好模型文心一言 4.0（API）总分 79.02 分，距离 GPT4Turbo 有 11.61 分，距离 GPT4（网页）有 4.9 分的差距。过去 1 年国内大模型有长足进步，综合能力超过 GPT 3.5 和 GeminiPro 的模型有 11 个，如百度的文心一言 4.0、阿里云的通义千问 2.0 和 Qwen 72BChat、OPPO 的 AndesGPT、清华&智谱 AI 的智谱清言、字节跳动的云雀大模型等。在 SuperCLUE 测评中，国外模型平均成绩为 69.42 分，国内模型平均成绩为 65.95 分，差距在 4 分左右，且国内外平均水平差距在缩小，11 月差距在 10 分左右。阿里云的 Qwen72B、Yi 34BChat 均优于 Llama213BChat。 国内大模型竞争格局方面，从大厂和创业公司的平均成绩来看，大厂与创业公司差值约 6.33 分，较 11 月份差距在增大，说明大厂在大模型竞争中长期资源投入方面有一定优势。过去八个月国内模型在 SuperCLUE 基准上的前三名情况如下：12 月和 11 月的第一名是文心一言 4.0，10 月第一名是 BlueLM，9 月第一名是 SenseChat3.0，8 月第一名是 Baichuan213BChat，7 月第一名是文心一言（网页 v2.2.0），6 月第一名是 360 智脑，5 月第一名是 360 智脑。第二名在不同月份分别是通义千问 2.0、Moonshot 等。 主观和客观对比方面，通过对比模型在主观简答题 OPEN 和客观选择题 OPT 上的不同表现，国内大模型多数擅长做选择题，普遍选择题分数高于简答题分数。文心一言 4.0 和智谱清言表现相对稳定，分别为（13.38）和（14.01），GPT4 Turbo 的表现最为稳定，差值仅有 0.86。SuperCLUE 认为，客观题相对主观题更容易通过题库形式进行训练和提升，同时由于客观题中包含中文特性问题，中文模型有一定优势，应综合来看模型的评测效果。国外的代表性大模型如 GPT4 的不同版本、Claude2、Llama2 都有很好的稳定性表现，值得国内大模型进一步分析研究。
2024-08-15
有什么测评大模型可用性的自动化方案吗
评估大型模型的可用性是一个复杂的过程，涉及到多个方面的考量，包括准确性、效率、稳健性、可解释性和伦理等。虽然目前没有一个统一的自动化方案能够全面评估所有方面，但是有一些工具和方法可以用于自动化评估模型的某些特性。以下是一些常用的自动化方案和工具： 1. 单元测试和集成测试：对于模型的不同组件，可以使用单元测试来验证其是否按预期工作。集成测试则可以确保不同组件在一起时也能正常工作。 2. 基准测试和数据集：使用标准的数据集和基准测试来评估模型的性能。例如，对于自然语言处理模型，可以使用GLUE、SuperGLUE或SQuAD等数据集。 3. 模型卡片（Model Cards）：模型卡片是一种文档，用于记录模型的性能、训练数据和预期的使用场景。这可以帮助用户了解模型的适用性和限制。 4. 连续集成/连续部署（CI/CD）：使用CI/CD工具来自动化模型的测试和部署过程。例如，使用Jenkins、GitHub Actions或GitLab CI/CD来自动化测试和部署流程。 5. 自动化性能监控：使用工具如Prometheus和Grafana来监控模型的性能指标，如延迟、吞吐量和准确性。 6. 自动化回归测试：使用工具来定期运行回归测试，以确保模型的更新不会引入新的错误。 7. 可解释性和可视化工具：使用工具如LIME、SHAP或Captum来解释模型的决策，并使用TensorBoard等工具来可视化模型的训练过程。 8. 伦理和偏见检测：使用工具来检测模型输出中的偏见和伦理问题。例如，可以使用IBM的AI Fairness 360工具来检测和减轻机器学习模型中的偏见。 9. 模拟和沙盒环境：在模拟环境中测试模型的性能，以避免在实际部署中出现问题。 10. 云服务和平台：使用云服务提供商（如AWS、Google Cloud Platform、Azure）提供的自动化工具来部署和管理模型。 虽然这些工具和方法可以自动化评估模型的某些方面，但通常还需要人工参与来综合评估模型的可用性，特别是在涉及模型的可解释性和伦理问题时。因此，自动化方案应该与人工审核相结合，以确保模型的全面评估。
2024-04-17
为本地部署的stable diffusion增加中文提示词支持
要为本地部署的 Stable Diffusion 增加中文提示词支持，可以采取以下方法： 1. 如果使用的秋叶整合包，里面包含提示词联想插件。输入简单字符如“1”，能看到下方联想热门提示词，适合英文不好、记不住单词的朋友。 2. 一般情况可使用翻译软件，如 DeepL 翻译（网址：https://www.deepl.com/translator ，可下载客户端）或网易有道翻译（可通过 ctrl+alt+d 快速截图翻译），但复制粘贴来回切换较麻烦。 3. 介绍自动翻译插件 promptallinone，安装方式：在扩展面板中搜索 promptallinone 直接安装，或把下载好的插件放在“……\\sdwebuiakiv4\\extensions”路径文件夹下。安装完成后重启 webUI，可看到提示词区域变化。 一排小图标中，第一个用来设置插件语言，直接设为简体中文。 第二个图标是设置，点开后点击第一个云朵图标可设置翻译接口，点击第一行下拉菜单能选择翻译软件，有一些免费软件可任意选择并试验哪款翻译准确。 关于 Stable Diffusion 文生图写提示词： 1. 下次作图时，先选模板，点击倒数第二个按钮可快速输入标准提示词。 2. 描述逻辑通常包括人物及主体特征（服饰、发型发色、五官、表情、动作），场景特征（室内室外、大场景、小细节），环境光照（白天黑夜、特定时段、光、天空），画幅视角（距离、人物比例、观察视角、镜头类型），画质（高画质、高分辨率），画风（插画、二次元、写实）等，通过这些详细提示词能更精确控制绘图。 3. 新手可借助功能型辅助网站写提示词，如： http://www.atoolbox.net/ ，通过选项卡方式快速填写关键词信息。 https://ai.dawnmark.cn/ ，每种参数有缩略图参考，更直观选择提示词。 还可去 C 站（https://civitai.com/）抄作业，每张图有详细参数，点击复制数据按钮，粘贴到正向提示词栏，点击生成按钮下第一个按键，Stable Diffusion 可自动匹配所有参数，但要注意图像作者使用的大模型和 LORA，也可取其中较好的描述词使用。
2025-02-03
有什么工具可以把英文音频转为中文音频？
以下工具可以将英文音频转为中文音频：Whisper。它和 llama 类似，采用 make 命令编译，之后去 ggerganov/whisper.cpp下载量化好的模型，然后转换音频即可。目前 Whisper 只接受 wav 格式，可以用 ffmpeg 进行转化。输出的 srt 文件如下所示： |Size|Parameters|Englishonly model|Multilingual model|Required VRAM|Relative speed| ||||||| |tiny|39 M|tiny.en|tiny|~1 GB|~32x| |base|74 M|base.en|base|~1 GB|~16x| |small|244 M|small.en|small|~2 GB|~6x| |medium|769 M|medium.en|medium|~5 GB|~2x| |large|1550 M|N/A|large|~10 GB|1x| 一般来说，对于英文音频，small 模型通常就足够了，但如果是中文音频，最好使用最大的模型。
2025-02-02
中文word排版，美化AI
以下是关于中文 word 排版和美化以及 AI 相关的综合信息： AI 绘画方面： 例如“Pixar Style,Tiny cute and adorable Cute little mouse wearing hanfu,Delicate face,fluffy hair，anthropomorphic,cinematic lighting,baptiste monge，Chinese culture,super clear details,super clear material,closeup,complex texture,octane rendering,zbrush,8k,portraittestpar 9:16upbetaupbetaupbetaupbetaupbetaupbeta”等描述，展现了不同角色穿着汉服的绘画设定。 AI 文章排版工具： AI 文章排版工具主要用于自动化和优化文档的布局和格式，特别是学术论文和专业文档。 一些流行的工具包括： Grammarly：不仅是语法和拼写检查工具，还提供排版功能，改进文档风格和流畅性。 QuillBot：AI 驱动的写作和排版工具，改进文本清晰度和流畅性。 Latex：广泛用于学术论文排版，使用标记语言描述格式，有许多 AI 辅助的编辑器和插件。 PandaDoc：文档自动化平台，使用 AI 帮助创建、格式化和自动化文档生成，适合商业和技术文档。 Wordtune：AI 写作助手，重新表述和改进文本。 Overleaf：在线 Latex 编辑器，提供丰富模板和协作工具，适合学术写作和排版。 AI 工作流中的文章排版： 例如在处理需要加粗的内容时，跟 GPT 说明选择，等待其输出排版后的文章，点击「复制代码」，粘贴到微信 Markdown 排版器。 选择合适的 AI 文章排版工具取决于具体需求，如文档类型、出版标准和个人偏好。学术论文常用 Latex 和 Overleaf，一般文章和商业文档常用 Grammarly 和 PandaDoc 等。
2025-01-26
推荐一个可以把英文翻译为中文的AI工具
以下是一些可以将英文翻译为中文的 AI 工具推荐： 1. 浏览器插件“沉浸式翻译”： 地址：https://immersivetranslate.com/ 它支持阅读本地 PDF 等，是非常实用的英文资料和网页翻译插件。 2. 浏览器插件莫妮卡（Monica）： 地址：https://monica.im/ 集成了 GPT 的功能，可对网页文字进行翻译。 3. 利用 GPT 辅助阅读。 4. DeepL（网站）： 地址：https://www.deepl.com/translator 点击页面「翻译文件」按钮，可上传 PDF、Word 或 PowerPoint 文件进行翻译。 5. 沉浸式翻译（浏览器插件）： 地址：https://immersivetranslate.com/ 安装插件后，点击插件底部「更多」按钮，可选择多种本地文件进行翻译。 6. calibre（电子书管理应用）： 地址：https://calibreebook.com/zh_CN 下载并安装 calibre，并安装翻译插件「Ebook Translator」。 7. 谷歌翻译（网页）： 地址：https://translate.google.com/ 先将 PDF 转成 Word，再点击谷歌翻译「Document」按钮上传 Word 文档。 8. 百度翻译（网页）： 地址：https://fanyi.baidu.com/ 点击导航栏「文件翻译」，可上传多种格式文件，支持选择领域和导出格式，但进阶功能基本需付费。 9. 彩云小译（App）： 下载后点击「文档翻译」，可导入多种格式文档并开始翻译，但有免费次数限制且进阶功能需要付费。 10. 微信读书（App）： 下载 App 后将 PDF 文档添加到书架，打开并点击页面上方「切换成电子书」，轻触屏幕唤出翻译按钮。 11. 浏览器自带的翻译功能： 对于一些过大或不支持的 PDF，可转成 HTML 格式，然后使用浏览器自带的网页翻译功能。
2025-01-25
AI工具可以把英文翻译成中文吗
AI 工具可以将英文翻译成中文。例如，在一些案例中，会使用谷歌将中文台词翻译成英文，然后进行校对和润色。像 Whisper 这样的工具能很好地识别视频或音频中的语言，包括英文，对于中文的处理可能需要选择 large 尺寸效果会更好。此外，在处理翻译问题时，还会涉及到将英文翻译为中文以生成双语字幕等情况。国内的出门问问的魔音工坊也可用于相关处理。但需注意，AI 只是辅助工具，不能替代人的思考，且可能会犯错，给 AI 的信息应尽可能准确。
2025-01-25
哪个中文AI工具比较好用呢
以下是一些好用的中文 AI 工具： 内容仿写方面： 秘塔写作猫：https://xiezuocat.com/ 是 AI 写作伴侣，能推敲用语、斟酌文法、改写文风，还能实时同步翻译。支持全文改写，一键修改，实时纠错并给出修改建议，智能分析文章属性并打分。 笔灵 AI 写作：https://ibiling.cn/ 是智能写作助手，能应对多种写作需求，支持一键改写/续写/扩写，智能锤炼打磨文字。 腾讯 Effidit 写作：https://effidit.qq.com/ 是由腾讯 AI Lab 开发的智能创作助手，能提升写作效率和创作体验。更多相关工具可查看：https://www.waytoagi.com/sites/category/2 （内容由 AI 大模型生成，请仔细甄别） 图像生成方面： 可灵：由快手团队开发，主要用于生成高质量的图像和视频，图像质量高，但价格相对较高，有不同的收费档次，轻度用户也有免费点数和较便宜的包月选项。 通义万相：在中文理解和处理方面表现出色，可选择多种艺术和图像风格，操作界面简洁直观，用户友好度高，目前免费，每天签到获取灵感值即可。但存在一些局限性，如某些类型图像无法生成，处理非中文语言或国际化内容可能不够出色，处理多元文化内容时可能存在偏差。 PPT 制作方面： Gamma：在线 PPT 制作网站，通过输入文本和想法提示快速生成幻灯片，支持嵌入多媒体格式。https://gamma.app/ 美图 AI PPT：由美图秀秀团队推出，通过输入文本描述生成专业 PPT 设计，有丰富模板库和设计元素。https://www.xdesign.com/ppt/ Mindshow：AI 驱动的 PPT 辅助工具，提供智能设计功能，如自动布局、图像选择和文本优化等。https://www.mindshow.fun/ 讯飞智文：由科大讯飞推出，利用语音识别和自然语言处理技术优势，提供智能文本生成、语音输入、文档格式化等功能。https://zhiwen.xfyun.cn/
2025-01-25
算法基准测试有什么好的工具
算法基准测试是评估算法性能的重要手段，有许多工具可以用于算法基准测试，以下是几种常用的算法基准测试工具： 1. Presidio：这是一个由 Microsoft 开发的开源工具，用于检测文本中的个人可识别信息（PII）元素。Presidio 采用命名实体识别和正则表达式匹配的组合来检测 PII。 2. Python 的 eval 函数：这个函数可以用于执行算术运算，处理生成的思维链中的所有方程式。当思维链中包含多个方程式时，可以通过字符串匹配将外部计算器的结果从一个方程式传递到下一个方程式。 3. Gemini 模型：这是一个多模态模型，可以用于评估文本、图像、音频和视频方面的表现。Gemini 模型使用了 50 多个基准测试作为一个整体的工具来评估模型在不同任务上的性能。 4. BoolQ：这是一个用于评估自然语言处理（NLP）模型在问答任务中的性能的基准测试。 5. NarrativeQA：这是一个用于评估 NLP 模型在文本理解和生成任务中的性能的基准测试。 6. ScrollsQasper：这是一个用于评估 NLP 模型在文本理解和生成任务中的性能的基准测试。 7. ScrollsQuality：这是一个用于评估 NLP 模型在文本理解和生成任务中的性能的基准测试。 8. XLsum：这是一个用于评估 NLP 模型在文本摘要任务中的性能的基准测试。 9. XLSum：这是一个用于评估 NLP 模型在文本摘要任务中的性能的基准测试。 10. GSM8k：这是一个用于评估 NLP 模型在数学问题解决任务中的性能的基准测试。 11. Hendryck 的 MATH pass\@1：这是一个用于评估 NLP 模型在数学问题解决任务中的性能的基准测试。 12. MathStackExchange：这是一个用于评估 NLP 模型在数学问题解决任务中的性能的基准测试。 13. MathAMC 20222023 问题：这是一个用于评估 NLP 模型在数学问题解决任务中的性能的基准测试。 以上是一些常用的算法基准测试工具，你可以根据具体需求选择适合的工具进行测试。
2024-05-23