Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

llm项目

Answer

以下是一些与 LLM 项目相关的信息：

Content generated by AI large model, please carefully verify (powered by aily)

References

LLM开源中文大语言模型及数据集集合

Luotuo-Chinese-LLM：地址：[https://github.com/LC1332/Luotuo-Chinese-LLM](https://github.com/LC1332/Luotuo-Chinese-LLM)简介：囊括了一系列中文大语言模型开源项目，包含了一系列基于已有开源模型（ChatGLM,MOSS,LLaMA）进行二次微调的语言模型，指令微调数据集等。Linly：地址：[https://github.com/CVI-SZU/Linly](https://github.com/CVI-SZU/Linly)简介：提供中文对话模型Linly-ChatFlow、中文基础模型Linly-Chinese-LLaMA及其训练数据。中文基础模型以LLaMA为底座，利用中文和中英平行增量预训练。项目汇总了目前公开的多语言指令数据，对中文模型进行了大规模指令跟随训练，实现了Linly-ChatFlow对话模型。ChatYuan地址：[https://github.com/clue-ai/ChatYuan](https://github.com/clue-ai/ChatYuan)简介：元语智能发布的一系列支持中英双语的功能型对话语言大模型，在微调数据、人类反馈强化学习、思维链等方面进行了优化。ChatRWKV：地址：[https://github.com/BlinkDL/ChatRWKV](https://github.com/BlinkDL/ChatRWKV)简介：开源了一系列基于RWKV架构的Chat模型（包括英文和中文），发布了包括Raven，Novel-ChnEng，Novel-Ch与Novel-ChnEng-ChnPro等模型，可以直接闲聊及进行诗歌，小说等创作，包括7B和14B等规模的模型。

无需微调，仅用提示词工程就能让 LLM 获得 tool calling 的功能

大家好，我是一个开源项目作者ailm。目前，绝大多数小型本地开源大语言模型以及部分商用大模型接口都不支持稳定的tool calling功能。而现有的解决方案是微调LLM，这导致大量的时间和算力被浪费。本文提出一种仅使用提示词工程和一些精巧的代码设计，即可让LLM获得稳定的tool calling能力。本文使用多个不具备tool calling能力的LLM作为测试模型，在多个工具调用任务上进行实验，成功率为100%。本文所有工作是基于comfyui开发，适合完全没有代码基础的小伙伴们复现并且按自己的想法修改我的工作。

XiaoHu.AI日报

🔔Xiaohu.AI日报「1月29日」✨✨✨✨✨✨✨✨1⃣️📘LLMs-from-scratch项目：详细解释LLMs的工作原理。提供创建自己的LLM的逐步指南。适合企业团队、初创公司和教育机构学习。🔗https://github.com/rasbt/LLMs-from-scratch🔗https://x.com/xiaohuggg/status/1751890557805449693?s=202⃣️💡SliceGPT-微软开发的大语言模型压缩方法：在保持高性能的同时大幅减少模型参数。允许在更少的GPU上运行，提高运行速度。显著降低了在消费级GPU上的总计算量。🔗https://arxiv.org/abs/2401.15024🔗https://x.com/xiaohuggg/status/1751880365307011182?s=203⃣️👁️🌐VisualWebArena-自主智能体的视觉网络任务基准测试：评估智能体在网络环境中的规划、推理和执行任务能力。着重于视觉信息的重要性和多模态智能体评估。提供深入的定量和定性分析，揭示LLM智能体的限制。🔗https://arxiv.org/abs/2401.13649🔗https://jykoh.com/vwa🔗https://x.com/dotey/status/1751746302155632925?s=204⃣️🔥百川智能的Baichuan 3模型：中文任务评测表现卓越，超越GPT-4。在医疗领域和中华传统文化理解方面表现突出。引入创新技术，提高训练效率和数据质量。🔗https://x.com/xiaohuggg/status/1751830719222124727?s=205⃣️📱Apple Vision Pro最新宣传片：🔗https://x.com/xiaohuggg/status/1751789758186238100?s=20

Others are asking
如何写适配多个llm的提示词
以下是关于如何写适配多个 LLM 的提示词的详细内容： 实现原理： 提示词工程主要由两部分代码组成，即提示词注入和工具结果回传。提示词注入用于将工具信息及使用工具的提示词添加到系统提示中，它包含 TOOL_EAXMPLE、tools_instructions、REUTRN_FORMAT 三个部分。TOOL_EAXMPLE 用于提示 LLM 如何理解和使用工具，编写时应注意用无关紧要的工具作示例以免 LLM 混淆。tools_instructions 是将通用工具字典转换成 LLM 可读的工具列表，实际使用时可动态调整以让 LLM 知晓可用工具及使用方法。REUTRN_FORMAT 定义了调用 API 的格式。工具结果回传则是解析 tool calling 的输出，并将工具返回的内容再次嵌入 LLM，利用正则表达式抓取输出中的“tool”和“parameters”参数，对于 interpreter 工具使用另一种正则表达式提取 LLM 输出的代码，以提高成功率。对于不接受某些角色的 LLM 接口，可改为回传给 user 角色。 相关成果： 目前绝大多数小型本地开源大语言模型以及部分商用大模型接口不支持稳定的 tool calling 功能，现有的微调 LLM 解决方案会浪费大量时间和算力。本文提出仅使用提示词工程和精巧的代码设计，让 LLM 获得稳定的 tool calling 能力。使用多个不具备该能力的 LLM 作为测试模型，在多个工具调用任务上实验成功率达 100%，且基于 comfyui 开发，适合无代码基础的人员复现和修改。
2025-03-03
什么是llm
LLM（大型语言模型）是一种具有重要地位和强大功能的人工智能系统。 从不同角度来看： 它更像是新操作系统的核心程序，能够协调跨多种模式的输入与输出（如文本、音频、视觉），具备代码解释和运行程序的能力，还拥有浏览器/上网功能、嵌入式数据库用于文件和内部内存存储与检索等。 在开发中，LLM 是 LangChain 平台与各种大模型进行交互的核心模型，是一个抽象概念，输入是字符串表示的用户请求或问题，输出也是字符串表示的模型回答或结果，能调用不同大模型完成不同语言任务，让开发者无需关心大模型细节，还能灵活选择和切换大模型，甚至自己封装 LLM 实现特定语言逻辑和功能。 简单理解，LLM 就像一个非常聪明、知识丰富的“朋友”，能够通过学习大量文字数据来理解和生成自然语言，回答各种问题、写故事、完成作文等。可以把它想象成一个从小读了很多书、知识不断丰富的小朋友，虽然不是真人而是计算机程序，但能处理和学习海量文字数据，这些数据来源广泛。如今的搜索引擎背后可能就有 LLM 的支持，能更准确完整地回答问题。 总的来说，LLM 是一种通过学习大量文本数据，能够理解和生成自然语言的人工智能系统。
2025-03-01
anythingLLM和RAG Flow哪个部署更容易
RAG Flow 和 LLM 的部署难易程度如下： RAG Flow： 公网 MaaS：通常只需要一个 API key 即可对接，默认提供了通义千问。比较特殊的是 OpenAI 的接口上提供了修改 endpoint，也就是支持中间商。 本地部署：目前仅支持 Xinference 和 Ollama 方式部署。但是实际上只要是 API 接口一致，对接方式一致都可以用该方式对接。此处基础 Url 只需要写到 v1 为止，不需要写 embeddings 的二级接口。添加模型后需要在“系统模型配置”中设置，方能让模型生效。 LLM：关于 LLM 的部署难易程度，上述内容中未给出直接对比信息。但 Dify.AI 作为一个开源的大规模语言模型应用开发平台，具有快速部署等特点，用户可以在 5 分钟内部署定制化的聊天机器人或 AI 助手。 综合来看，仅根据所提供的信息，难以确切判断 RAG Flow 和 LLM 哪个部署更容易，还需结合更多具体的技术细节和实际需求进行评估。
2025-02-27
帮我推荐一本入门llm的书
以下是为您推荐的入门 LLM 的相关资源： 1. 《皇子：LLM 经典论文速读版，看完感觉自己通透了》：包含 31 篇 LLM 的经典论文速读版，涵盖大语言模型架构、RAG、预训练、微调、提示词等内容。阅读前可安装浏览器插件“沉浸式翻译”方便中文阅读，将 arxiv PDF 论文原地址域名中的 x 更换成 5 可调整为 HTM 版本方便阅读。 2. 课程学习： 首先学习大语言模型（LLM）入门者的课程，这是了解 LLM 的基础。 进一步学习面向开发者的课程，帮助更好地应用 LLM 于实际项目中。 3. AI 大神 Karpathy 再发的 LLM 入门介绍视频：时长三个半小时，详细介绍 LLM 训练的全部过程，包括预训练、有监督微调和强化学习。即使没有技术背景也能看懂，将提供对 ChatGPT 等 LLM 完整训练流程的直观理解，包含许多示例，并可能帮助思考当前的能力、所处的位置以及未来的发展方向。
2025-02-23
如何在本地服务器上微调LLM
在本地服务器上微调 LLM 可以参考以下内容： 1. 提示词工程： 提示词工程主要由提示词注入和工具结果回传两部分代码组成。 提示词注入用于将工具信息及使用工具的提示词添加到系统提示中，其中 INSTRUCTION 包含 TOOL_EAXMPLE、tools_instructions、REUTRN_FORMAT 三个部分。TOOL_EAXMPLE 用于提示 LLM 如何理解和使用工具，编写时应注意用无关紧要的工具作示例。tools_instructions 可通过输入不同工具动态调整，让 LLM 得知可用工具及使用方法。REUTRN_FORMAT 定义调用 API 的格式。 工具结果回传阶段利用正则表达式抓取输出中的“tool”和“parameters”参数，对于 interpreter 工具使用另一种正则表达式提取 LLM 输出的代码，提高成功率。通过识别 LLM 返回的调用工具字典，提取对应值传入工具函数，将结果以 observation 角色返回给 LLM，对于不接受相关角色的 LLM 接口，可改为回传给 user 角色。 2. 微调方法： 传统微调：采用在通用数据集上预训练的模型，复制模型后在新的特定领域数据集上重新训练，但大型语言模型微调面临训练时间长、计算成本高等挑战。 参数有效调优：这是一种创新的调优方法，旨在通过仅训练一部分参数来减少微调 LLM 的挑战，参数可以是现有模型参数的子集或全新的参数。 为使微调达到最佳效果，应从明确目标和高质量数据集开始，使用体现所需输出类型的数据，进行迭代测试，从小的渐进变化开始并评估结果。 对于 OpenAI 的模型，微调包括使用其提供的 API 在数据集上进一步训练，需调整超参数并监控性能。对于开源 LLM，微调可能需要更多实践工作，包括设置训练环境、管理数据流及调整模型架构。 对于需要快速迭代新用例的场景，微调作用较小。要实现微调功能，需创建大型训练数据集，整理成适当格式，启动训练任务并评估性能。建立模型改进工作流程，监控性能变化，依据反馈改进模型，记录生成的模型及评分指标，许多 LLMOps 平台能自动收集和显示最佳数据，方便微调。
2025-02-21
在coze上实现notebookllm
以下是关于在 Coze 上实现 NotebookLLM 的相关信息： LLM 作为知识问答工具有缺陷，如无法实时获取最新信息、存在“幻觉”问题、无法给出准确引用来源等。搜索引擎虽体验不够简便直接，但加上 LLM 可能带来更优信息检索体验。 在生成标题、导语、大纲时，因为涉及文本理解与创作，这是 LLM 节点的工作，需要对其进行配置。为减少 token 消耗和节省模型调度费用，在满足预期情况下，应尽量减少大模型处理环节。经过实测，豆包·function call 32k 模型能在一轮对话中稳定生成相关内容。每个大模型节点配置项丰富，入门用户主要关注一些方面，如在“标题、导语、大纲”节点中，希望 LLM 接收原文信息后一次性生成所需内容，还需视实际情况调大模型的最大回复长度，并设计填入用户提示词。
2025-02-19
项目管理如何运用，用好AI
以下是关于项目管理如何运用和用好 AI 的相关内容： 在创建项目管理流程图方面，可以使用 Lucidchart 按照以下步骤操作： 1. 注册并登录：。 2. 选择模板：在模板库中搜索“项目管理流程图”。 3. 编辑图表：根据项目需求添加和编辑图形和流程步骤。 4. 优化布局：利用 AI 自动布局功能，优化图表的外观。 5. 保存和分享：保存图表并与团队成员分享，或导出为 PDF、PNG 等格式。 适合软件项目经理的 AI 工具主要包括以下几类： 1. 项目管理和任务跟踪工具：如 Jira、Trello 等已开始集成 AI 功能，可辅助制定计划、分配任务、跟踪进度等。 2. 文档和协作工具：微软的 Copilot 可集成到 Office 套件中，为项目文档撰写、编辑等提供助手功能。云存储服务如 Google Drive 也开始提供 AI 驱动的文档管理和协作功能。 3. 风险管理和决策支持工具：可帮助识别和分析项目风险，并提供决策建议。 4. 沟通和协作工具：AI 助手可辅助进行团队沟通协调、客户关系维护等。 5. 创意生成工具：如文心一格、Vega AI 等，可帮助快速生成创意图像素材。 在管理经验方面，应做到沟通明确，善于提供上下文，让 AI 更有效地执行任务；明晰 AI 能力边界，善于合理授权并监督检查；擅长任务拆解和整合，提升 AI 协作效率。 需要注意的是，湖南省医保局正式表态，明确禁止使用人工智能生成医疗处方。
2025-03-05
AI在项目管理的应用
AI 在项目管理中有广泛的应用，以下是一些常见的方面： 1. 项目管理和任务跟踪工具：如 Jira、Trello 等软件已开始集成 AI 功能，可辅助项目经理制定计划、分配任务和跟踪进度。 2. 文档和协作工具：微软的 Copilot 能集成到 Office 套件中，为项目文档撰写和编辑提供帮助。云存储服务如 Google Drive 也提供 AI 驱动的文档管理和协作功能。 3. 风险管理和决策支持工具：部分 AI 工具可帮助项目经理识别和分析项目风险，并提供决策建议。 4. 沟通和协作工具：AI 助手能辅助项目经理进行团队沟通协调和客户关系维护。 5. 创意生成工具：像文心一格、Vega AI 等 AI 绘画工具，可帮助项目经理快速生成创意图像素材。 如果您需要创建项目管理的示意图，比如流程图，可以按照以下步骤使用 Lucidchart： 1. 注册并登录：。 2. 选择模板：在模板库中搜索“项目管理流程图”。 3. 编辑图表：根据项目需求添加和编辑图形及流程步骤。 4. 优化布局：利用 AI 自动布局功能优化图表外观。 5. 保存和分享：保存图表并与团队成员分享，或导出为 PDF、PNG 等格式。 目前市面上有众多应用 AI 的产品，涵盖以下几个方面： 1. 辅助创作与学习：如 AI 智能写作助手、AI 语言学习助手、诗歌创作助手、书法字体生成器、漫画生成器等，为用户的学习和创作提供支持。 2. 推荐与规划：包括 AI 图像识别商品推荐、美食推荐平台、旅游行程规划器、时尚穿搭建议平台、智能投资顾问等，根据用户需求和偏好推荐合适的产品、服务或制定个性化计划。 3. 监控与预警：如 AI 宠物健康监测设备、家居安全监控系统、天气预报预警系统、医疗诊断辅助系统等，实时监测各种情况并提供预警。 4. 优化与管理：涉及办公自动化工具、物流路径优化工具、家居清洁机器人调度系统、金融风险评估工具等，提高工作效率和管理水平。 5. 销售与交易：有 AI 艺术作品生成器、书法作品销售平台、摄影作品销售平台、汽车销售平台、房地产交易平台等，为各类产品和服务提供销售渠道。
2025-03-05
有ai产品吗？ 咨询一下，能进入面试的自建ai agent项目具体要达到一个什么水准啊？
目前有一些 AI 面试官的相关产品，例如： 1. 用友大易 AI 面试产品：具有强大技术底座、高度场景贴合度、招聘全环节集成的解决方案、先进防作弊技术及严密数据安全保障。能完成面试、初筛并自动发送面试邀约。 2. 海纳 AI 面试：通过在线方式、无需人为干预完成自动面试、自动评估，精准度高达 98%，面试效率比人工方式提升 5 倍以上，候选人到面率提升最高达 30%。 3. InterviewAI：在线平台，提供面试职位相关问题及 AI 生成的推荐答案。候选人用设备麦克风回答，每个问题最多回答三次，并收到评估、建议和得分。 此外，Cognition 发布了首位 AI 软件工程师 Devin，它是一个自主 Agents，能通过使用自己的 shell、代码编辑器和网络浏览器解决工程任务，成功通过知名人工智能公司的实际工程面试，还在 Upwork 上完成了实际工作。在无辅助情况下正确解决了 13.86%的问题，远超之前最先进模型。 在其他领域，也有相关的 AI 项目和产品，如： 1. 软件层具有独特多元化行为动作生成及控制 AI Agent 的产品，能实现人类所有基本行为动作的生成及流程过渡，硬件层具有独特并行通信架构，容错率高，力矩密度前沿，深度耦合软件算法，实现 24 小时全天续航无休。 2. 百奥几何的生成式 AI 大模型赋能蛋白质设计，应用在包括生物医药、化工、医美、食品等整个生物制造领域，其生成式 AI 蛋白质大模型 GeoFlow 已达国际领先水平。 3. 行云致力于打造软件亲和、高显存规格的大模型推理芯片，用异构、白盒的硬件形态重塑大模型计算系统，解决大模型产业的算力成本和供应问题。
2025-03-02
如何让AI写项目申请书
要让 AI 写项目申请书，可以参考以下步骤： 1. 明确自身身份：向 AI 说明您在项目中的角色和具备的专业技能，使 AI 按照相应的水准进行思考和创作。 2. 阐述项目目标：清晰地告知 AI 项目要达成的具体成果和要求，让其围绕目标来撰写申请书。 3. 制定项目规则：包括项目的规范、流程、标准等，例如格式要求、语言风格、引用规范等，AI 会严格遵循这些规则进行写作。 4. 确定文件存放位置：规划好申请书的保存和整理方式，方便后续查找和使用。 5. 指定使用工具：明确告知 AI 可以使用的资源、框架和库等，保证申请书的统一性和专业性。 6. 说明测试标准：提前告知 AI 如何对申请书进行评估和检验，使其考虑到可测试性，并可能主动提供测试用例。 7. 提供参考资料：为 AI 提供相关的优秀范例和学习资料，帮助其避免常见错误，提高申请书的质量。 此外，还需注意以下几点： 1. 创建文件：在项目的根目录下新建一个名为“.cursorrules”的文件。 2. 编写规则：根据项目需求，在文件中明确定义关键规则，如项目目标、编码标准、文件结构等，并随着项目需求的变化实时更新。 3. 借鉴他人：网上有很多开源的“.cursorrules”文件可供参考学习，如“cursor.directory”（官方地址：https://cursor.directory/ ）和“awesomecursorrules”（地址：https://github.com/PatrickJS/awesomecursorrules/tree/main/rules ）。 本质上，AI 规则和“.cursorrules”都是对 AI 辅助创作的系统提示词，只是作用范围有所不同。AI 规则影响所有项目，而“.cursorrules”仅影响当前项目。可以将通用要求放在 AI 规则里，项目独有的要求放在“.cursorrules”里，以提高开发效率。
2025-03-02
AI 项目企业落地方向和案例。
以下是关于 AI 项目企业落地方向和案例的相关内容： AI 企业落地应用方面，有文章能带你快速搞懂本轮 AI 大模型革命的核心知识信息，从历史到今天，从原理到应用，从产业到趋势，以通俗易懂但不失专业严谨的方式带你走入 AI 的世界。 Anthropic 在 AI Engineer Summit 2025 上分享了企业应用 AI 的最佳实践，并总结了常见错误。核心挑战包括如何入手、如何评估效果、技术选择困惑（如是否需要微调）。关键经验是评估先行，明确“智能度、成本、延迟”之间的平衡，避免过早微调，先进行基础优化。案例方面，Intercom 通过评估优化 AI Agent Fin，使其处理 86%的客服请求，其中 51%无需人工介入。相关链接： 此外，还有用飞书+DeepSeek R1 搭建自动化 AI 工作流的相关内容。流程包括 URL 内容抓取➝DeepSeek R1 翻译➝自动改写➝生成文章。飞书提供快速启动模板，支持翻译、OCR 等任务。工作流链接： 。 宝玉 Q&A 中提到处理大规模代码，可使用 XML 包裹，超大代码可上传 GitHub 供 AI 分析，AI 还可生成代码并搜索相关库。查看内容： 。ChatGPT 免费用户可使用 GPT4o mini 语音版，免费用户可体验自然对话节奏，Plus/Pro 用户享特权。
2025-02-27
构建项目 ，如何通过ai生成可视化数据报表，设计方案
以下是一个通过 AI 生成可视化数据报表的设计方案： 1. 理解需求：明确查询要求，例如适应特定尺寸（如宽 1734px、高 1071px）的 TSX 代码，确保生成的组件符合尺寸要求，避免出现滚动条。 2. 生成静态代码：创建一个静态的 React 组件，将所有数据和组件进行硬编码。 3. 实现数据可视化：构建一个复杂的数据可视化平台，支持多种图表类型、实时数据更新、自定义仪表板和数据钻取功能。 4. 设计用户界面：为复杂的数据可视化平台编写 TSX 代码，界面包括多个图表、定制仪表板和实时数据更新，尺寸为宽 1734px 和高 1071px。 5. 定义 React 组件：定义一个用于渲染主界面的 React 组件，包括网格布局、图表组件、导航 UI 组件、按钮和输入字段等，并加入模拟实时更新和自定义仪表板的开关和切换等组件。 6. 规划 UI 结构：设计包含头部、侧边栏和主内容区的 UI 结构，主内容区展示多个图表，并考虑自定义控制。 7. 探索图标资源：从 'lucidereact' 提取图标，如主页、用户和搜索等，使界面更加直观和易用。
2025-02-27