端侧模型有哪些应用？

端侧模型未来具有良好的发展前景，主要体现在以下几个方面： 1. 技术能力提升：未来的模型能力会更强，能够更好地理解和区分布局，甚至处理不同类型的输入。例如，2024 年可能会有能将图像和文本同时作为输入，融合得很好，实现风格转换和场景一致性的工作。 2. 手机和电脑终端应用：手机和电脑终端的端侧小模型有很大前景，对端侧模型的低功耗、低算力和高智能体验有很高的要求。 3. 优势明显：端侧模型具有个性化、数据隐私安全和对联网稳定性和延时要求低的优势。 4. 潜力巨大：在汽车场景中，一些 13 14B 中小模型也超过了云端的闭源模型，说明可满足用户需求具备良好能力的端侧模型潜力很大。 然而，端侧模型也存在一些挑战： 1. 小于手机形态的产品上，不太可能通过将模型部署在端侧，创造在续航、智能体验和使用体验上的良好平衡。 2. 端侧模型的智能体验目前比云端模型差。 总体而言，端侧模型在未来的发展中机遇与挑战并存。

以下是为您推荐的国内可以通过对话微调的预训练模型相关信息： 为优化 Llama2 的中文能力，可使用以下数据： 网络数据：互联网上公开的网络数据，包括百科、书籍、博客、新闻、公告、小说等高质量长文本数据。 ：中文 Wikipedia 的数据。 ：中文悟道开源的 200G 数据。 ：Clue 开放的中文预训练数据，经过清洗后的高质量中文长文本数据。 竞赛数据集：近年来中文自然语言处理多任务竞赛数据集，约 150 个。 ：MNBVC 中清洗出来的部分数据集。 社区提供预训练版本 Atom7B 和基于 Atom7B 进行对话微调的模型参数供开放下载，关于模型的进展详见社区官网 https://llama.family。 另外，关于会话补全（Chat completions）： gpt3.5turbo 和 textdavinci003 两个模型能力相似，但前者价格只是后者的十分之一，在大部分情况下更推荐使用 gpt3.5turbo。 gpt3.5turbo 模型不支持微调。从 2023 年 3 月 1 日起，只能对基于 GPT3.5 的模型进行微调。有关如何使用微调模型的更多细节，请参阅微调指南。 从 2023 年 3 月 1 日起，OpenAI 会将您通过 API 发送的数据保留 30 天但不会使用这些数据来提升模型。 关于安仔：Coze 全方位入门剖析 免费打造自己的 AI Agent（国内版）： 目前国内版暂时只支持使用“云雀大模型”作为对话引擎，其携带上下文轮数默认为 3 轮，可修改区间是 0 到 30，具体轮数可根据业务需求决定。 在 Bot 编排页面的“技能”区域，可为 Bot 配置所需技能。不懂插件时，可选择区域右上角的“优化”按钮让 AI Bot 根据提示词自动选择插件。也可自定义添加所需插件，点击插件区域的“+”号选择加入具体插件。 在 Bot 编排页面的“预览与调试”区域，可测试 Bot 是否按预期工作，可清除对话记录以开始新的测试，确保 Bot 能理解用户输入并给出正确回应。

以下是一些个人可以使用的通过对话微调的模型相关信息： 会话补全（Chat completions）： GPT3.5 系列中，gpt3.5turbo 和 textdavinci003 有相似能力，但 gpt3.5turbo 价格仅为 textdavinci003 的十分之一，在多数情况下更推荐使用 gpt3.5turbo。不过，gpt3.5turbo 不支持微调，从 2023 年 3 月 1 日起，只能对基于 GPT3.5 的模型进行微调。 微调（Finetuning）： 案例研究： 客户支持聊天机器人：通常包含相关上下文、对话摘要及最近消息，可能需要几千个示例处理不同请求和客户问题，建议审查对话样本确保代理消息质量，可使用单独文本转换微调模型生成摘要。 基于技术属性列表的产品描述：将输入数据转换为自然语言很重要，确保完成基于所提供描述，若常查阅外部内容，自动添加此类内容可提高性能，若描述基于图像，提取图像文本描述可能有帮助。 模型（Models）： GPT3.5 模型可理解和生成自然语言或代码，其中功能最强大、最具成本效益且针对聊天优化的型号是 gpt3.5turbo，建议使用它而非其他 GPT3.5 模型，因其成本更低。 gpt3.5turbo：功能强大，针对聊天优化，成本低，会使用最新模型迭代更新，最大 Token 数 4096，训练数据截至 2021 年 9 月。 gpt3.5turbo0301：2023 年 3 月 1 日的快照，不会更新，仅在 2023 年 6 月 1 日结束的三个月内提供支持，最大 Token 数 4096，训练数据截至 2021 年 9 月。 textdavinci003：能完成任何语言任务，支持文本中插入补全，最大 Token 数 4097，训练数据截至 2021 年 6 月。 textdavinci002：与 textdavinci003 类似，使用监督微调而非强化学习训练，最大 Token 数 4097，训练数据截至 2021 年 6 月。 codedavinci002：针对代码完成任务优化，最大 Token 数 8001，训练数据截至 2021 年 6 月。 请注意，OpenAI 模型具有不确定性，相同输入可能产生不同输出，将温度设置为 0 可使输出大部分具有确定性，但可能仍有少量可变性。

大模型是指输入大量语料，使计算机获得类似人类的“思考”能力，能够进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比大模型的训练和使用过程： 1. 找学校：训练大模型需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练。 2. 确定教材：大模型需要的数据量特别多，几千亿序列（Token）的输入基本是标配。 3. 找老师：用合适的算法让大模型更好理解 Token 之间的关系。 4. 就业指导：为让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：完成就业指导后，进行如翻译、问答等工作，在大模型里称为推导（infer）。 在 LLM 中，Token 被视为模型处理和生成的文本单位，能代表单个字符、单词、子单词等，具体取决于分词方法。将输入分词时会数字化形成词汇表。 个人动手实验方面： macOS 系统可采用 GGML 量化后的模型。有名的项目如 ggerganov/llama.cpp:Port of Facebook's LLaMA model in C/C++ ，首先编译，利用 Metal 的 GPU 用相应命令编译，然后去下载模型，还提供了 WebUI，启动 server 后默认监听 8080 端口，打开浏览器可对话。 Whisper 与 llama 类似，用 make 命令编译，去指定地址下载量化好的模型，转换音频，目前只接受 wav 格式，可用 ffmpeg 转化。 张梦飞的教程《用聊天记录克隆自己的 AI 分身》全程本地操作，目标是把微信聊天记录导出，用其微调模型，最终接入微信替你回复消息。

以下是国内一些能通过对话微调的语言大模型： 教育领域：桃李（Taoli） 地址： 简介：在国际中文教育领域数据上进行了额外训练的模型，基于国际中文教育教材等构建资源库和问答数据集，并利用数据进行指令微调，让模型习得将知识应用到具体场景中的能力。 数学领域：chatglmmaths 地址： 简介：基于 chatglm6b 微调/LORA/PPO/推理的数学题解题大模型，样本为自动生成的整数/小数加减乘除运算，可 gpu/cpu 部署，开源了训练数据集等。 文化领域：Firefly 地址： 简介：中文对话式大语言模型，构造了许多与中华文化相关的数据，如对联、作诗、文言文翻译、散文、金庸小说等，以提升模型在这方面的表现。 金融领域： Cornucopia（聚宝盆） 地址： 简介：开源了经过中文金融知识指令精调/指令微调的 LLaMA7B 模型。通过中文金融公开数据+爬取的金融数据构建指令数据集，并在此基础上对 LLaMA 进行了指令微调，提高了 LLaMA 在金融领域的问答效果。基于相同的数据，后期还会利用 GPT3.5 API 构建高质量的数据集，另在中文知识图谱金融上进一步扩充高质量的指令数据集。 BBTFinCUGEApplications 地址： 简介：开源了中文金融领域开源语料库 BBTFinCorpus，中文金融领域知识增强型预训练语言模型 BBTFinT5 及中文金融领域自然语言处理评测基准 CFLEB。 XuanYuan（轩辕） 地址： 简介：国内首个开源的千亿级中文对话大模型，同时也是首个针对中文金融领域优化的千亿级开源对话大模型。在 BLOOM176B 的基础上针对中文通用领域和金融领域进行了针对性的预训练与微调，不仅可以应对通用领域的问题，也可以解答金融相关的各类问题，为用户提供准确、全面的金融信息和建议。

以下是一些在 APP 应用对接大语言模型方面比较成功的案例，可供您借鉴： 1. Poe： 由 Quora 开发，有 APP 版本，支持跨端使用。 集成了 Chat GPT、GPT4、Claude+、Claude、Dragonfly 等模型，同时支持用户自建 Chatbot。 不同语言模型回复效果有差异，适合需要调用多种大语言模型的用户。 Dragonfly 擅长给出较短的回答，并擅长在输入中给出示例时遵循指示。 Claude 更擅长创造性回复，配合 Poe 中的提问引导，非常适合在查阅资料时使用。 支持分享用户和模型的对话内容，但 GPT4、Claude+产品需要付费订阅使用。 访问地址： Poe 中的提问引导真的能够启发到用户，midjourney prompt 扩写 Chatbot 能力很惊人。 2. Perplexity.ai： 本质是个可联网的搜索引擎，完全免费，支持网页版、APP（目前支持 iOS，安卓即将推出）、Chrome 插件。 网页版能力全面，能够根据提问从互联网上搜寻信息并给出总结后的答案。 很多 Chat GPT 中调用插件才能解决的事情（联网查询、旅行、住宿、商品推荐）靠 Perplexity 就可以解决。 能给出信息来源网址，并根据搜索内容给出继续对话的问题建议。 最新推出的 Copilot 能力支持根据搜索内容进行信息补充，每 4h 内使用 5 次，调用 GPT4。 支持分享聊天内容到多渠道。 首页推荐当下流行的新闻、搜索内容。 支持筛选 Academic（包含不同领域的学术研究论文）、Wolfram｜Alpha（包含数学、科学、经济学、语言学、工程学、社会科学、文化等领域的知识库）、Wikipedia（维基百科）、Youtube、Reddit（娱乐、社交和新闻网站）、News 进行搜索。 Chrome 插件可针对当前页面给出即时摘要。 访问地址：

大模型的安全问题包括以下方面： 1. 对齐保障：通过对齐（指令调优），如 ChatGPT 从 GPT3 经过对齐而来，使其更好地理解人类意图，增加安全保障，确保不输出有害内容。对齐任务可拆解为监督微调及获取奖励模型和进行强化学习来调整输出分布。例如 LLAMA2 使用安全有监督微调确保安全，强化学习能让模型根据人类反馈更细粒度思考答案的安全性，面对训练分布外数据也能拒绝不当回答。 2. 数据过滤：在预训练阶段对数据进行过滤，如 baichuan2 采用此技术减少有害输出，但因数据关联性，仅靠此方法可能不够，模型仍可能从关联中学到有害内容，且面对不良信息时可能因缺少知识而处理不当。 3. 越狱问题：用户可能通过越狱（Jailbreak）使模型的对齐失效，重新回答各种问题。 大模型的特点包括： 1. 架构：分为 encoderonly、encoderdecoder、decoderonly 三类，目前熟知的 AI 助手多为 decoderonly 架构，由 transformer 衍生而来。 2. 规模：预训练数据量大，来自互联网的多种来源，且参数众多，如 GPT3 已达 170B 的参数。 GPT3 与 ChatGPT 相比，除形式不同外，安全性也有差别。

AI 在科研领域中的应用广泛，特别是在医疗健康方面： 抗癌方面：AI 能够提前诊断胰腺癌，如相关研究表明其有可能提前三年做出诊断。 抗衰老方面：通过筛查大量化合物，发现高效的药物候选物，其药理学性质优于已知的抗衰老物质。 早期疾病防治方面：例如在帕金森病的研究中，利用神经网络分析患者体液中的生物标志物，可在症状出现前几年发现疾病。 发现新靶基因：两名高中生与医疗技术公司合作，借助 AI 发现了与胶质母细胞瘤相关的三个新靶基因。 寻找治疗方法：如亚利桑那大学与哈佛大学共同利用人工智能对健康神经元在疾病进展过程中的分子变化进行研究，以识别阿尔茨海默病的原因和潜在药物靶点。 国内外情况对比： 在医疗 AI 领域，中美存在较大差异。美国医疗支出占 GDP 比重约 17%，中国约 7%。美国医生独立行医，有独立决策权，议价能力和意愿较强；中国政府和医院集采议价能力强，采购流程复杂。此外，由于存在“灰色收入”“医患不信任”“考核评比”等问题，中国医院、医生对于可能记录、审查自己言行的应用普遍持抵触态度。在中国的落地场景中，“AI 协助医生”不如“AI 独立诊断”，机械套用美国的 AI 医疗应用模式在中国基本行不通。

以下是应用 AI 进行高效学习的方法： 英语学习： 1. 智能辅助工具：利用如 Grammarly 这样的 AI 写作助手进行英语写作和语法纠错，改进英语表达和写作能力。 2. 语音识别和发音练习：使用如 Call Annie 这样的语音识别应用进行口语练习和发音纠正，获取实时反馈和建议。 3. 自适应学习平台：使用如 Duolingo 这样的自适应学习平台，借助 AI 技术为您量身定制学习计划，提供个性化的学习内容和练习。 4. 智能导师和对话机器人：利用如 ChatGPT 这样的智能对话机器人进行英语会话练习和对话模拟，提高交流能力和语感。 数学学习： 1. 自适应学习系统：使用如 Khan Academy 这样的自适应学习系统，结合 AI 技术为您提供个性化的数学学习路径和练习题，进行精准推荐。 2. 智能题库和作业辅助：利用如 Photomath 这样的智能题库和作业辅助工具，通过图像识别和数学推理技术为您提供数学问题的解答和解题步骤。 3. 虚拟教学助手：使用如 Socratic 这样的虚拟教学助手，借助 AI 技术为您解答数学问题、提供教学视频和答疑服务，帮助理解和掌握数学知识。 4. 交互式学习平台：参与如 Wolfram Alpha 这样的交互式学习平台的数学学习课程和实践项目，利用 AI 技术进行数学建模和问题求解。 学习一门外语的通用方法： 1. 设定目标：明确学习目标和时间表，分阶段完成学习任务。 2. 多样化练习：结合听、说、读、写多种方式进行练习，全面提升语言技能。 3. 模拟真实环境：尽量多与母语者交流，或使用 AI 对话助手模拟真实对话场景。 4. 定期复习：使用 AI 工具的复习功能，根据记忆曲线定期复习已学内容，巩固记忆。 通过结合 AI 技术和传统学习方法，可以更高效、更个性化地进行学习，并取得更好的学习效果。但请注意，内容由 AI 大模型生成，请仔细甄别。

要学会 AI 应用，您可以参考以下步骤： 1. 了解 AI 基本概念： 阅读「」部分，熟悉 AI 的术语和基础概念，包括其主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅： 在「」中，您将找到一系列为初学者设计的课程，特别推荐李宏毅老师的课程。 通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 3. 选择感兴趣的模块深入学习： AI 领域广泛（比如图像、音乐、视频等），您可以根据自己的兴趣选择特定的模块进行深入学习。 掌握提示词的技巧，它上手容易且很有用。 4. 实践和尝试： 理论学习之后，实践是巩固知识的关键，尝试使用各种产品做出您的作品。 在知识库提供了很多大家实践后的作品、文章分享，欢迎您实践后的分享。 5. 体验 AI 产品： 与现有的 AI 产品进行互动，如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人，了解它们的工作原理和交互方式。 6. 学习 Python 编程： 至少熟悉以下内容： Python 基础： 基本语法：了解 Python 的基本语法规则，比如变量命名、缩进等。 数据类型：熟悉 Python 中的基本数据类型，如字符串（String）、整数（Integer）、浮点数（Float）、列表（List）、元组（Tuple）、字典（Dictionary）等。 控制流：学习如何使用条件语句（if）、循环语句（for 和 while）来控制程序的执行流程。 函数： 定义和调用函数：学习如何定义自己的函数，以及如何调用现有的函数。 参数和返回值：理解函数如何接收参数和返回结果。 作用域和命名空间：了解局部变量和全局变量的概念，以及它们是如何在 Python 中工作的。 模块和包： 导入模块：学习如何导入 Python 标准库中的模块或者第三方库。 使用包：理解如何安装和使用 Python 包来扩展程序的功能。 面向对象编程（OOP）： 类和对象：了解面向对象编程的基本概念，包括类的定义和实例化。 属性和方法：学习如何为类定义属性和方法，以及如何通过对象来调用它们。 继承和多态：了解类之间的继承关系以及如何实现多态。 异常处理： 理解异常：了解什么是异常，以及它们在 Python 中是如何工作的。 异常处理：学习如何使用 try 和 except 语句来处理程序中可能发生的错误。 文件操作： 文件读写：学习如何打开文件、读取文件内容以及写入文件。 文件与路径操作：理解如何使用 Python 来处理文件路径，以及如何列举目录下的文件。 希望以上内容对您有所帮助。

AI 在高中生中的应用主要包括以下方面： 1. 医疗领域： AI 提前三年诊断胰腺癌。 两名高中生与医疗技术公司合作，发现与胶质母细胞瘤相关的新靶基因。 AI 帮助抗衰老，筛查高效的药物候选物。 使用 AI 寻找阿尔兹海默症的治疗方法。 AI 帮助早期诊断帕金森。 2. 生成式 AI： 能使产品个性化用户体验，例如在教育科技和搜索中，对八岁儿童和高中生使用不同的语言进行解释。 3. 思维培养： 尽管 AI 能在象棋等领域超越人类，但高中生仍能因热爱而参与，这有助于培养兴趣和思维。 写作方面，虽然可以使用 AI 总结关键信息，但手写笔记更有助于深入思考和学习。

AI 在信息检索领域有广泛的应用，以下为您详细介绍： 1. 存在能联网检索的 AI，它们通过连接互联网，实时搜索、筛选并整合所需数据，为用户提供更精准和个性化的信息。例如： ChatGPT Plus 用户现在可以开启 web browsing 功能，实现联网功能。 Perplexity 结合了 ChatGPT 式的问答和普通搜索引擎的功能，允许用户指定希望聊天机器人在制定响应时搜索的源类型。 Bing Copilot 作为一个 AI 助手，旨在简化您的在线查询和浏览活动。 还有如 You.com 和 Neeva AI 等搜索引擎，提供基于人工智能的定制搜索体验，并保持用户数据的私密性。 2. Notion CEO 认为，AI 是 Notion 的机会。在 language model 出现之前，在知识库搜索内容通常需要很精确的关键词，甚至要询问同事信息存放的数据库。但现在可以直接询问 Notion AI 想要搜寻的问题，很快就能得到答案。 3. 在信息爆炸的时代，AI 技术极大地提升了信息检索和处理的效率。近期热门融资的 AI 产品中，有多种在信息检索方面表现出色的，比如： You.com：多种搜索模式且重隐私的搜索引擎。 Genspark：通过 Sparkpages 来满足用户个性化的搜索需求。 Rockset：刚被 OpenAI 收购的提供实时搜索和分析数据库服务的公司。 需要注意的是，以上内容由 AI 大模型生成，请仔细甄别。