Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

小模型场景落地路线图

Answer

实施小模型（如轻量级机器学习模型或嵌入式AI模型）的场景落地需要精细的规划和执行。以下是一个详细的路线图，涵盖从概念到部署的各个阶段。

路线图

1. 需求分析

  • 目标定义: 明确项目的目标和期望结果，确定需要解决的问题和应用场景。
  • 可行性研究: 评估技术可行性、市场需求和成本效益。
  • 需求收集: 收集和分析来自利益相关者的需求，明确模型功能和性能指标。

2. 数据准备

  • 数据收集: 收集相关数据，这可以来自数据库、传感器、API等。
  • 数据清洗: 处理缺失值、异常值和重复数据。
  • 数据标注: 对数据进行分类和标注，以便用于监督学习模型。
  • 数据分割: 将数据分为训练集、验证集和测试集。

3. 模型选择

  • 模型探索: 调研和选择适合项目需求的小模型，如TinyML模型、MobileNet、SqueezeNet等。
  • 预训练模型: 考虑使用预训练模型进行微调，以节省时间和计算资源。

4. 模型训练

  • 训练环境搭建: 配置所需的硬件和软件环境（如TensorFlow Lite、PyTorch Mobile）。
  • 模型训练: 在训练集上训练模型，并使用验证集进行调优。
  • 超参数调优: 通过网格搜索或贝叶斯优化等方法优化模型超参数。

5. 模型优化

  • 模型压缩: 采用剪枝、量化等技术减少模型大小和计算量。
  • 模型精简: 删除不必要的特征和层，进一步简化模型结构。
  • 模型加速: 使用硬件加速（如TPU、GPU）优化模型推理速度。

6. 部署准备

  • 平台选择: 确定模型的部署平台（如移动设备、嵌入式系统、边缘设备）。
  • 代码整合: 将模型集成到应用程序或设备固件中。
  • 性能测试: 在目标环境中测试模型的性能，包括速度、内存占用和功耗等。

7. 模型部署

  • 部署环境搭建: 搭建生产环境，确保与开发环境一致。
  • 持续集成: 设置CI/CD管道，确保模型的持续集成和部署。
  • 安全措施: 实施必要的安全措施，保护模型和数据的隐私与安全。

8. 监控与维护

  • 监控系统: 部署监控系统，实时跟踪模型的性能和使用情况。
  • 模型更新: 定期更新和重新训练模型，以应对数据分布变化和新需求。
  • 用户反馈: 收集用户反馈，优化模型和应用程序。

9. 文档与培训

  • 文档编写: 编写详细的技术文档和用户手册。
  • 培训支持: 为使用和维护模型的人员提供培训和支持。

工具和技术

  • 数据处理: Pandas, NumPy, OpenCV
  • 模型训练: TensorFlow, PyTorch, scikit-learn
  • 模型优化: TensorFlow Lite, ONNX, TensorRT
  • 部署平台: Docker, Kubernetes, AWS Lambda, GCP Functions
  • 监控工具: Prometheus, Grafana, ELK Stack

实例项目

智能家居设备中的语音识别

  • 需求分析: 在智能家居设备中实现语音命令识别。
  • 数据准备: 收集和标注家居环境中的语音命令数据。
  • 模型选择: 使用MobileNet模型进行语音识别。
  • 模型训练: 在收集的语音数据上训练模型，并进行超参数调优。
  • 模型优化: 使用量化技术将模型大小减小到适合嵌入式设备。
  • 部署准备: 将模型集成到智能家居设备的固件中。
  • 模型部署: 在生产环境中部署，并进行性能测试和优化。
  • 监控与维护: 实时监控语音识别的性能，收集用户反馈进行改进。

通过上述路线图，开发团队可以系统地实现小模型在不同场景下的落地，从而确保模型的高效性和实用性。

Content generated by AI large model, please carefully verify (powered by aily)

References

周鸿祎免费课AI系列第一讲

还有最后一个，我觉得大模型道路之三，是加速场景落地，2023年的重点是大模型本身，大模型光做一个聊天机器人是没有意义的，在企业内部你光跟机器人聊天，聊得最多，它跟你的业务系统无法融合，跟你的应用无法结合，还是没有用。所以，2024年我觉得在场景应用，场景应用除了To B的场景，很多传统的To C的场景都值得重做一遍。大家想想，苹果肯定要把它的手机场景重塑一遍，微软把它的Office365，浏览器、Bing搜索重塑了一遍，所以我讲的不是加持，是重塑。你要重新思考，如果我有一个专有大模型，我这个大模型怎么改变我的功能和用户体验。所以，我很赞同国际上一个公司说的话，我先找场景，场景找好了，再训一个自己的大模型。

周鸿祎免费课AI系列第一讲

还有最后一个，我觉得大模型道路之三，是加速场景落地，2023年的重点是大模型本身，大模型光做一个聊天机器人是没有意义的，在企业内部你光跟机器人聊天，聊得最多，它跟你的业务系统无法融合，跟你的应用无法结合，还是没有用。所以，2024年我觉得在场景应用，场景应用除了To B的场景，很多传统的To C的场景都值得重做一遍。大家想想，苹果肯定要把它的手机场景重塑一遍，微软把它的Office365，浏览器、Bing搜索重塑了一遍，所以我讲的不是加持，是重塑。你要重新思考，如果我有一个专有大模型，我这个大模型怎么改变我的功能和用户体验。所以，我很赞同国际上一个公司说的话，我先找场景，场景找好了，再训一个自己的大模型。

周鸿祎免费课AI系列第一讲

大模型会两个极端，一个极端是越做越大，一个极端是越做越小。这里的小模型是个不准确的说法，大跟小，都是对的。所谓小模型就是“小参数的、小数据”的大模型，它的架构是大模型，但是它的规模比较小。比如说，英伟达推出Chat with RTX，大模型在终端上跑，像三星对苹果的刺激，没有人评价这个事儿，但是这个事儿很重要。现在手机的算力已经过剩了。如果手机就给大家刷视频，玩游戏，实际上手机的算力是过剩的。所以，手机上现在已经能，刚才讲了Mobile LLama的版本不到1B的参数量已经能在手机上跑。这个小模型的概念是什么？我和大家讲两点：它不是和OpenAI去比全功能，它往往是一个垂直模型，是个专业模型。它不是用在最高精尖的领域，比如苹果，让Siri更好地理解人的讲话，根本不需要GPT4，甚至GPT3.5都不需要，一个小模型就完全可以来胜任。

Others are asking
DeepSeek应用场景
DeepSeek 的应用场景包括： 1. 智能对话：能够进行自然流畅的对话交流。 2. 文本生成：生成各种类型的文本内容。 3. 语义理解：准确理解文本的语义。 4. 计算推理：进行相关的计算和推理。 5. 在实际场景中的应用，如工作、学习、生活和社交等方面，帮助解决各种问题。 在实际使用中，DeepSeek 在文字能力方面表现突出，尤其在中文场景中符合日常写作习惯，但在专业论文总结方面稍弱。数学能力经过优化表现不错，编程能力略逊于 GPT（据用户反馈）。
2025-02-26
AI在教育领域的结合场景
AI 在教育领域有以下结合场景： 1. 个性化学习平台：通过集成算法和大数据分析，实时跟踪学生学习进度，诊断学习难点，提供个性化学习建议和资源。例如 Knewton 平台，通过分析数百万学生行为模式，精准预测学习难点并提前给出解决方案，提升学习效率。 2. 自动评估：利用自然语言处理技术（NLP）自动批改学生作文和开放性答案题。如 Pearson 的 Intelligent Essay Assessor，能够分析和理解写作内容，给出准确评分和反馈，减轻教师批改负担，提高评估效率和一致性。 3. 智能辅助教学工具：如 AI 教师引导学生通过对话学习、解答疑问并提供即时反馈。Google 的 AI 教育工具 AutoML 用于创建定制学习内容，提高学习动机和知识掌握程度。 4. 虚拟现实（VR）和增强现实（AR）：学生可通过 VR 头盔进入虚拟化学实验室进行安全实验操作并得到 AI 系统反馈。如 Labster 的虚拟实验室平台，提供高科技实验室场景，让学生尝试复杂实验流程。 5. 提前收集教育领域需求：包括办公提效、家校沟通、个性化教育、心理疏导、备课体系、作业批改、出题建议、建立孩子成长体系记录、孩子成长的游戏、朗读评判、文生图和视频在备课中的应用、学科教育辅助、分析学生行为并给出策略、教师模拟培训和公开课备课辅助等。 6. 相关企业和产品：具身智能、3D 眼镜、AI 绘本、AI 图书、学习机、飞书多维表格、蚂蚁智能体、Coze 智能体、Zeabur 云平台、0 编码平台、大模型（通义、智谱、kimi、deepseek 等）、编程辅助、文生图（可灵、即梦等）。
2025-02-25
在办公场景中，deepseek有哪些最新的应用场景？
在办公场景中，DeepSeek 有以下最新的应用场景： 1. 作为赋能职场的多场景 AI 工具，支持从创意到实现的全流程智能化服务，能快速将创意转化为高质量视频，具备角色一致性技术与分镜自动成片功能，并且支持美学意象风格短片创作。 2. 提供基础模型和深度思考模型两种模式，分别适用于高效便捷任务和复杂推理分析任务。 3. 可用于制作可视化图表、PPT 大纲及设计海报等，通过智能体框架实现人机高效协作。 相关报告发布在，如： 民生证券：《 华创证券:《 此外，清华大学陶炜博士生团队撰写的《》详细介绍了 DeepSeek 的应用场景，包括智能对话、文本生成、语义理解、计算推理等，并通过多个实际场景（如工作、学习、生活和社交）展示了如何利用 DeepSeek 解决问题，还强调了提示语设计的重要性，指出通过精准的提示语可以引导 AI 生成高质量的内容，并提出了提示语设计的策略和技巧。
2025-02-25
AI如何赋能售前售中售后等业务场景
AI 能够在以下售前售中售后等业务场景中发挥重要作用： 1. 医疗保健： 售前：通过分析患者数据，为潜在患者提供个性化的医疗建议和服务介绍。 售中：辅助医生进行诊断，如医学影像分析。 售后：为患者提供个性化的康复方案和护理建议。 2. 金融服务： 售前：利用信用评估为潜在客户提供贷款可能性的初步评估和相关产品介绍。 售中：进行风控和反欺诈，确保交易安全。 售后：提供投资分析和客户服务，解答客户疑问。 3. 零售和电子商务： 售前：通过产品推荐和个性化搜索，吸引潜在客户。 售中：提供动态定价和优化购物体验。 售后：利用聊天机器人解决客户售后问题。 4. 制造业： 售前：展示产品的制造优势和质量保障。 售中：确保生产过程的高效和质量控制。 售后：进行预测性维护，为客户提供优质的售后维护服务。 5. 交通运输： 售前：通过虚拟试驾等方式展示产品特点。 售中：提供智能导购服务，帮助客户选择合适的车型。 售后：持续监测车辆状态，提供维护建议。 6. 汽车行业： 售前：AI 辅助“市场营销”和“新媒体运营”，进行热点营销、用户画像预测等。 售中：提升“销售体验”，如智能“试驾”、“金牌销售”智能导购等。 售后：监测车辆使用情况，提供相关服务。 7. 企业运营： 售前：协助准备营销材料和市场分析。 售中：提供销售策略咨询。 售后：处理法律文书和人力资源相关事务。 8. 教育： 售前：为潜在学生提供学习规划建议。 售中：定制化学习内容。 售后：审核论文和提供后续学习支持。 9. 游戏/媒体： 售前：进行游戏定制化推广和出海文案宣传。 售中：提供动态生成的游戏体验和媒体内容。 售后：处理用户反馈和优化内容。 10. 金融/保险： 售前：提供个人金融理财顾问服务。 售中：处理贷款信息和风险评估。 售后：进行保险理赔处理和客户服务。 11. 生命科学： 售前：介绍研发成果和服务。 售中：协助医疗过程中的诊断和治疗。 售后：提供术后护理和康复辅助。
2025-02-24
WaytoAGI 知识库有什么应用场景
WaytoAGI 知识库具有以下应用场景： 1. 在飞书 5000 人大群中，内置了智能机器人“waytoAGI 知识库智能问答”，可根据文档及知识进行回答。使用时在飞书群里发起话题时即可，它能自动回答用户关于 AGI 知识库内的问题，对多文档进行总结、提炼；在内置的“waytoAGI”知识库中搜索特定信息和数据，快速返回相关内容；提供与用户查询相关的文档部分或引用，帮助用户获取更深入的理解；通过互动式的问答，帮助群成员学习和理解 AI 相关的复杂概念；分享有关 AGI 领域的最新研究成果、新闻和趋势；促进群内讨论，提问和回答，增强社区的互动性和参与度；提供访问和下载 AI 相关研究论文、书籍、课程和其他资源的链接；支持多语言问答，满足不同背景用户的需求。 2. WaytoAGI 是由一群热爱 AI 的专家和爱好者共同建设的开源 AI 知识库，目前知识库的内容覆盖：AI 绘画、AI 视频、AI 智能体、AI 3D 等多个版块，包含赛事和活动促进大家动手实践。 3. WaytoAGI 里有个离谱村，是由 WaytoAGI 孵化的千人共创项目，让大家学习和接触 AI 更容易，更感兴趣。参与者不分年龄层，一起脑洞和创意，都可以通过 AI 工具快速简单地创作出各种各样的作品。离谱村是一个没有被定义的地方，每个人心中都有自己想象中的离谱村，不仅代表着一个物理空间，更是灵魂的避风港，激励着每一个生命体发挥其无限的想象力，创造属于自己的独特生活方式。
2025-02-24
ollama是什么，使用场景有什么
Ollama 是一个开源的框架，旨在简化在本地运行大型语言模型（LLM）的过程。 它具有以下特点和优势： 1. 支持多种大型语言模型：包括通义千问、Llama 2、Mistral 和 Gemma 等，适用于不同应用场景。 2. 易于使用：适用于 macOS、Windows 和 Linux 系统，支持 CPU 和 GPU，能让用户轻松在本地环境中启动和运行大模型。 3. 模型库：提供丰富的模型库，用户可从中下载不同参数和大小的模型以满足不同需求和硬件条件，通过 https://ollama.com/library 查找。 4. 自定义模型：用户能通过简单步骤自定义模型，如修改温度参数调整创造性和连贯性，或设置特定系统消息。 5. API 和集成：提供 REST API 用于运行和管理模型，以及与其他应用程序的集成选项。 6. 社区贡献丰富：包括多种集成插件和界面，如 Web 和桌面应用、Telegram 机器人、Obsidian 插件等。 总的来说，Ollama 是一个高效、功能齐全的大模型服务工具，不仅适用于自然语言处理研究和产品开发，也适合初学者或非技术人员使用，特别是那些希望在本地与大型语言模型交互的用户。 其使用场景包括但不限于： 1. 自然语言处理研究。 2. 产品开发。 安装方法：官方下载地址为 https://ollama.com/download 。安装完成后，在 macOS 上启动 ollama 应用程序，在 Linux 上通过 ollama serve 启动，可通过 ollama list 确认是否安装成功。运行大模型时，在命令行中输入相应命令即可，模型会自动下载到本地。在 Python 程序中使用时，需确保 ollama 服务已开启并下载好模型。
2025-02-22
金融行业落地大模型的路径
以下是金融行业落地大模型的相关路径： 1. 从整体行业情况来看： 2024 年被称为国内大模型落地元年，国内大模型项目增长迅速，中标项目数量和金额大幅增长。 大模型中标项目数前五的行业包括金融。 厂商方面，百度在金融行业的中标数量和金额排名领先。 2. 具体应用案例： 彭博发布了金融领域的大模型 BloombergGPT，并应用于其所在的垂直领域。 3. 行业人士观点： 通用模型适用不同产业，垂直模型类似于单领域专家，垂直大模型的发展有助于提升各领域模型性能。 商汤科技联合创始人杨帆认为，当模型足够大时，可能加速商业化落地，带来更好的技术能力，缩短产业应用周期。 360 公司创始人周鸿祎表示，大模型是工业革命级的生产力工具，能赋能百行千业。 4. 相关赛事推动： 举办「2024 金融行业·大模型挑战赛」，整合公开金融数据，打造多轮问答评测赛题，提供基础数据表，参赛选手可采用 GLM4 系列模型 API 并运用多种技术手段完成赛题，有多个单位提供支持。
2025-02-24
deepseek 落地案例
以下是关于 DeepSeek 的落地案例： 1. 华尔街分析师认为 DeepSeek 以小成本实现媲美领先 AI 产品的性能，并在全球主要市场 App Store 登顶。高盛认为其或改变科技格局，降低 AI 行业的进入门槛。详情：https://www.xiaohu.ai/c/xiaohuai/deepseek 2. DeepSeek 在中文场景表现优秀，日常写作和表达习惯贴近人类，但专业论文总结略弱。数学能力不错，编程能力逊于 GPT。采用 GRPO 算法替代传统 PPO，提升语言评价灵活性与训练速度。更多信息：https://x.com/imxiaohu/status/1883843200756170873 ，GRPO 详情：https://www.xiaohu.ai/c/ai/grpodeepseekr18c6cff0cdeb84937a4197066af987e43 3. 举办了全国 23 城近 4000 人玩转 DeepSeek 的活动，如郑州场展示搭建的无敌工作流，深圳场分享 DeepSeek+出海的落地方案，北京场玩起 AR+机械汪，广州场探讨如何使用 DeepSeek 辅助速通吃“霸王餐”，福州场有最年轻的分享者展示玩转 DS 的示例。同时，活动展示了飞书多维表格和 DeepSeek 的结合的强大之处，且 DeepSeek R1 大模型全面融入飞书多维表格、飞书智能伙伴创建平台等多款产品。详情：https://waytoagi.feishu.cn/wiki/KRtwwVqKKiB7PKkgzu3chsX6nzF 4. 在芯片行业，如存储芯片负责人考虑与 DeepSeek 谈 HBM4 定制合作，台积电研发中心因对方技术调整产能，ASML 总部针对对方算法调整策略，中芯国际因 DeepSeek 证明的技术提高产线利用率并获得追加投资。
2025-02-24
AI编程的落地场景是什么
以下是 AI 编程的一些落地场景： 1. 智能体开发：从最初只有对话框的 chatbot 到具有更多交互方式的应用，低代码或零代码的工作流在某些场景表现较好。 2. 证件照应用：以前实现成本高，现在可通过相关智能体和交互满足客户端需求。 3. 辅助编程： 适合原型开发、架构稳定且模块独立的项目。 对于像翻译、数据提取等简单任务，可通过 AI 工具如 ChatGPT 或 Claude 解决，无需软件开发。 支持上传图片、文档，执行代码，甚至生成视频或报表，大幅扩展应用场景。 4. 自动化测试：在模块稳定后引入，模块变化频繁时需谨慎。 5. 快速迭代与发布 MVP：尽早发布产品，不追求完美，以天或周为单位快速迭代。 需要注意的是，AI 编程虽强，但目前适用于小场景和产品的第一个版本，在复杂应用中可能导致需求理解错误从而使产品出错。在进度不紧张时可先尝试新工具，成熟后再大规模应用。同时，压缩范围，定义清晰的 MVP（最小可行产品），先完成一个 1 个月内可交付的版本，再用 1 个月进行优化迭代。
2025-02-21
对于中小企业而言，ai转型的落地过程中有什么风险和挑战？请分别回答风险和挑战是什么
对于中小企业而言，AI 转型的落地过程中存在以下风险和挑战： 风险： 1. 管理风险：使用 AI 工具评估和管理企业面临的各种风险时，可能存在对风险评估不准确、应对策略不恰当等问题，导致企业无法有效应对潜在挑战，造成不必要的损失。 2. 网络安全风险：引入 AI 驱动的网络安全解决方案时，若安全系统配置不当、软件和 AI 模型未及时更新、员工网络安全意识不足等，可能导致企业网络系统遭受网络威胁和攻击，造成数据泄露、业务中断等严重后果。 挑战： 1. 任务自动化挑战：在评估和识别日常重复性高的任务时，可能存在对任务分析不准确、目标设定不清晰的情况，影响后续自动化工具的引入和效果。同时，选择合适的自动化工具并进行有效配置和测试也具有一定难度。 2. 网络安全挑战：选择适合企业网络环境和安全需求的 AI 驱动的网络安全解决方案并非易事，需要充分了解各种方案的特点和适用性。此外，定期更新和维护安全系统、进行网络安全演练以及对员工进行培训等工作也需要投入大量的时间和精力。
2025-02-19
有哪些在企业内部落地应用AI大模型工具的实践案例？不要营销文案生成、代码开发助手、智能客服问答机器人这种太常见的
以下是一些在企业内部落地应用 AI 大模型工具的实践案例： 1. 阿里云百炼： 智能体应用：能够弥补大模型的不足，如回答私有领域问题、获取实时信息、回答专业问题等。适用于有企业官网、钉钉、微信等渠道，期望为客户提供产品咨询服务，以及缺少技术人员开发大模型问答应用的场景。典型场景包括私有领域知识问答、个性化聊天机器人、智能助手等。 内部业务助手：通过企业内部规章制度、部门结构、产品介绍等文档构建知识库，并借助 RAG 智能体实现内部知识问答功能。系统支持多源异构数据，并通过复杂文档解析和视觉增强技术，提升文档理解的准确性与深度。目前该功能已灰度上线，需提供 UID 并通过白名单进行开启。 2. 达摩院： AI 模特（虚拟换装）：支持虚拟换装、姿态编辑。 3. 电商零售： 推广文案写作：通过内置的多样化营销场景的文体模板，基于用户输入的创作主题以及参考素材，大模型即可为您生成对应的营销文案，为营销活动和宣传文案提供灵感和文案写作支持。 4. 泛企业： VOC 挖掘：是一个面向各类企业的 VOC 标签挖掘的工具。不论是用户的长短评论、帖子、还是用户和客服/销售的聊天记录、通话记录，都可以使用。通过选中或自定义标签，即可让大模型针对海量非结构化的 VOC 数据快速打标。相比于人工打标或规则打标准确率更高；对于业务标签变动频繁的情况，也能更敏捷、快速地影响。 5. 通义晓蜜：基于深度调优的对话大模型，为营销服类产品提供智能化升级所需的生成式摘要总结、质检、分析等能力应用。
2025-02-18
开一个AI数据标注公司的落地和具体实操应当如何
开设一家 AI 数据标注公司需要以下落地和具体实操步骤： 1. 市场调研 了解当前 AI 数据标注市场的需求和趋势。 分析竞争对手的优势和不足。 2. 团队组建 招聘具备数据标注技能和经验的人员，包括标注员、质检员等。 对团队进行培训，确保他们熟悉标注规范和流程。 3. 制定标注规范 明确不同类型数据的标注标准和要求。 建立质量控制流程和标准。 4. 技术和工具准备 选择适合的数据标注工具和软件。 搭建稳定的 IT 基础设施，保障数据安全和存储。 5. 寻找客户和项目 与 AI 企业、科研机构等建立联系，争取合作机会。 展示公司的标注能力和优势。 6. 项目管理 合理安排标注任务，确保按时交付。 及时处理项目中的问题和变更。 7. 质量监控 定期对标注结果进行抽检和评估。 依据质量反馈对标注流程和人员进行调整和优化。 8. 合规与法律事务 确保公司的运营符合相关法律法规。 处理好数据隐私和知识产权等问题。 9. 财务管理 制定合理的预算和成本控制策略。 确保公司的资金流稳定。 10. 持续改进 关注行业动态，不断改进标注技术和流程。 提升公司的竞争力和服务质量。
2025-02-17
你是基于什么模型
我调用的是抖音集团的云雀大模型。 此外，文中还提到了多模态大模型相关的内容，如基于多模态大型模型为现实世界提供实时说明书，后端采用 llama.cpp 挂载 LLaVA 模型并部署 Flask 应用用于数据处理，前端页面采用 HTML5 等。 同时，还有关于 Gemini 模型的介绍，它是基于 Transformer 解码器构建，经过训练以支持 32k 的上下文长度，采用高效的注意机制，能适应与各种音频和视觉输入交织的文本输入，并可以生成文本和图像输出。
2025-02-26
如何让推理大模型回答的更准确，使用什么样的提示词
要让推理大模型回答得更准确，可以通过以下提示词相关的设置和方法： 1. 参数设置： Temperature：参数值越小，模型返回结果越确定；调高参数值，可能带来更多随机、多样化或具创造性的产出。对于质量保障等任务，设置更低值以促使模型基于事实返回真实简洁结果；对于诗歌生成等创造性任务，可适当调高。 Top_p：与 Temperature 类似，用于控制模型返回结果的真实性。需要准确和事实的答案时，调低参数值；想要更多样化答案时，调高参数值。一般建议改变其中一个参数即可。 Max Length：通过调整控制大模型生成的 token 数，有助于防止生成冗长或不相关的响应并控制成本。 Stop Sequences：指定字符串来阻止模型生成 token，是控制响应长度和结构的方法之一。 Frequency Penalty：对下一个生成的 token 进行惩罚，与 token 在响应和提示中出现次数成比例，减少响应中单词的重复。 2. 提示词示例： 对于推理任务，目前已有一些涉及数学能力的改进。执行推理任务可能有难度，需要更高级的提示词工程技术，后续会介绍相关高级技术。 可以通过示例给模型说明，可能获得更准确结果，后面章节会介绍更多常见应用示例。 3. 调教方法： 像打字和写作一样，不断尝试和大模型交互是最佳方法，方法论不是关键。 可以在提示词里设定规则，也可临时更改，交互时无需遵循规则，重点是是否达成目的，未达成可重新尝试或更换模型。 用 Markdown 格式清晰表达问题，具有结构清晰、格式化强调、适用性广等优点，有助于模型更好地理解用户意图。
2025-02-26
配置“DeepSeek-R1”模型的 API key：基础 URL：https://ark.cn-beijing.volces.com/api/v3 ，填好之后，点击保存，关掉提醒弹窗。添加“DeepSeek-R1”模型。这个行为在Macbook中怎么操作，请进行指导，通过图片、文字、数据、网址等形式
在 Macbook 中配置“DeepSeekR1”模型的 API key 及添加模型的操作步骤如下： 1. 获取 DeepSeekR1 满血版密钥： 注册并登录火山引擎，点击立即体验进入控制台：https://zjsms.com/iP5QRuGW/ 。 创建一个接入点，点击在线推理创建推理接入点。 为接入点命名为 DeepSeekR1。若提示“该模型未开通，开通后可创建推理接入点”，点击“立即开通”，勾选全部模型和协议一路开通（免费）。 确认无误后，点击“确认接入”按钮。 自动返回创建页面，复制多出的接入点名称“DeepSeekR1”。 点击【API 调用】按钮，进入后点击【选择 API Key 并复制】，若没有则点击【创建 API key】，复制并保存。 2. 配置“DeepSeekR1”模型的 API key： 安装插件：使用 Chrome 或 Microsoft Edge 浏览器，点击此链接，安装浏览器插件，添加到拓展程序：https://chromewebstore.google.com/detail/pageassist%E6%9C%AC%E5%9C%B0ai%E6%A8%A1%E5%9E%8B%E7%9A%84web/jfgfiigpkhlkbnfnbobbkinehhfdhndo 。 打开聊天页面：点击右上角的插件列表，找到 Page Assist 插件，点击打开。 配置 API key：基础 URL：https://ark.cnbeijing.volces.com/api/v3 ，填好之后，点击保存，关掉提醒弹窗。 添加“DeepSeekR1”模型。 3. 环境配置指南： 首先到 deepseek 的官网（https://www.deepseek.com/），进入右上角的 API 开放平台。若没有赠送余额，可选择充值，支持美元和人民币两种结算方式及各种个性化充值方式，并创建一个 API key（注意及时保存，只会出现一次）。 以 cursor 作为代码编辑器为例，下载安装后，在插件页面搜索并安装 Roocline 。安装完后，打开三角箭头，选中 RooCline 并点击齿轮，进入设置，依次设置： API Provider：选择 DeepSeek 。 API Key：填入已创建的 key 。 模型：选择 DeepSeekreasoner 。 语言偏好设置。 记得把 HighRisk 选项都打开，最后点击 Done 保存修改。 在聊天框输入产品需求，输入需求后点击星星优化提示词，最终得到想要的结果。
2025-02-26
大模型、小模型之间的区别和联系是什么
大模型和小模型的区别与联系如下： 区别： 类型：大模型主要分为大型语言模型和大型多模态模型，前者专注于处理和生成文本信息，后者能处理包括文本、图片、音频等多种类型的信息。 应用场景：大型语言模型主要用于自然语言处理任务，如文本翻译、文本生成、情感分析等；大型多模态模型可应用于图像识别与描述、视频分析、语音识别与生成等更广泛的领域。 数据需求：大型语言模型主要依赖大量文本数据训练，大型多模态模型则需要多种类型的数据，包括文本、图片、音频等。 功能：小模型通常被设计来完成特定任务，如专门识别猫或狗；大模型像多功能的基础平台，能处理多种不同任务，应用范围广泛，拥有更多通识知识。 联系： 相对比较：小模型是相对于大模型的规模而言较小。 共同作用：在不同场景中发挥各自的优势，共同为解决问题提供支持。 在 AI 绘图模型中，大模型如同主菜或主食，小模型（Lora）如同佐料或调料包，Lora 能帮助快速实现特定风格或角色的绘制，且大模型和 Lora 要基于同一个基础模型才能搭配使用，以生成各种风格的图片。
2025-02-26
目前市面上有哪些ai可以实现免费创建并训练大模型，以满足个人需求
目前市面上有以下一些可以免费创建并训练大模型以满足个人需求的途径： 1. 免费云服务器： 阿里、腾讯对新用户提供免费试用服务器，如腾讯云的。服务器系统配置可选择【宝塔】系统。 2. 免费大模型接口： 阿里的接口，创建 API key 即可。 也有免费接口，但国内大模型通常限制一定免费额度的 Token。 谷歌的来学习如何给服务器科学上网及使用海外版 Coze。 此外，关于大模型的相关知识： 1. 架构方面： encoderonly 模型通常适用于自然语言理解任务，如分类和情感分析，最知名的代表模型是 BERT。 encoderdecoder 模型同时结合了 Transformer 架构的 encoder 和 decoder 来理解和生成内容，代表是谷歌的 T5。 decoderonly 模型更擅长自然语言生成任务，目前熟知的众多 AI 助手基本都来自此类架构。 2. 大模型的特点： 预训练数据非常大，往往来自于互联网上，包括论文、代码、公开网页等，一般用 TB 级别的数据进行预训练。 参数非常多，Open 在 2020 年发布的 GPT3 就已经达到 170B 的参数。 在技术原理方面： 1. 生成式 AI 生成的内容叫做 AIGC。 2. 相关技术名词： AI 即人工智能。 机器学习包括监督学习、无监督学习、强化学习。监督学习有标签的训练数据，算法目标是学习输入和输出之间的映射关系，包括分类和回归。无监督学习学习的数据没有标签，算法自主发现规律，经典任务包括聚类。强化学习从反馈里学习，最大化奖励或最小化损失。深度学习参照人脑有神经网络和神经元，神经网络可用于多种学习方式。 生成式 AI 可以生成文本、图片、音频、视频等内容形式。LLM 即大语言模型，生成图像的扩散模型不是大语言模型，对于大语言模型，生成只是其中一个处理任务。 3. 技术里程碑：2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出了 Transformer 模型，它完全基于自注意力机制来处理序列数据，而不需要依赖于循环神经网络或卷积神经网络。
2025-02-26
大模型是什么
大模型通俗来讲，是输入大量语料，让计算机获得类似人类的“思考”能力，从而能够理解自然语言，并进行文本生成、推理问答、对话、文档摘要等工作。 大模型的训练和使用过程可以用“上学参加工作”来类比： 1. 找学校：训练大模型需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练自己的大模型。 2. 确定教材：大模型需要的数据量特别多，几千亿序列（Token）的输入基本是标配。 3. 找老师：即用合适的算法讲述“书本”中的内容，让大模型更好理解 Token 之间的关系。 4. 就业指导：为了让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，正式干活，比如进行翻译、问答等，在大模型里称之为推导（infer）。 在大模型中，Token 被视为模型处理和生成的文本单位，会被分割并生成词汇表，数字化便于计算机处理。为让计算机理解 Token 之间的联系，还需把 Token 表示成稠密矩阵向量，这个过程称为 embedding，常见算法有基于统计的 Word2Vec、GloVe，基于深度网络的 CNN、RNN/LSTM，基于神经网络的 BERT、Doc2Vec 等。以 Transform 为代表的大模型采用自注意力（Selfattention）机制来学习不同 token 之间的依赖关系，生成高质量 embedding。 大模型的“大”指用于表达 token 之间关系的参数多，主要是模型中的权重（weight）与偏置（bias），例如 GPT3 拥有 1750 亿参数。 所谓的大模型，简而言之，就是拥有庞大参数数量的模型，通过处理和理解海量数据，能够胜任一系列复杂的任务。大模型之所以强大，一方面在于庞大的参数数量，这些参数在学习过程中不断调整，帮助模型更深入地理解和生成数据；另一方面，大模型的训练离不开大量数据，通过对各种数据的学习，模型能够掌握丰富的知识和技能。 GPT 是“生成式预训练变换器”（Generative Pretrained Transformer）的缩写，是一种大型语言模型（LLM），也是生成式人工智能的重要框架。
2025-02-26