大模型企业落地方案主要包括以下几个方面:
此外,大模型在实际应用中存在一些问题,如知识的局限性、幻觉问题和数据安全性问题,而 RAG 是解决上述问题的一套有效方案,它可以让大模型从权威的、预先确定的知识来源中检索、组织相关信息,更好地控制大模型生成的文本输出,并且用户可以深入了解 LLM 如何生成最终的结果。RAG 可以和微调结合使用,两者并不冲突。
解决大模型落地问题,总结来说主要有三方面:提高内容可信;解决算力成本高、训练重复和资源紧缺的问题;大模型价格需要不断降低,或使用垂直领域模型落地。首先是提高内容可信问题。周伯文对钛媒体App表示,我们应该做一个具备通用能力的大模型,能够解决不同用户的实际问题,而且需要不断通过商业交付去应用、反馈,甚至需要评测以解决内容可信问题。中国科学院院士、清华大学人工智能研究院名誉院长张钹认为,ChatGPT没有解决的就是自我学习的能力,这是ChatGPT最致命的地方,因此需要把更多数据去优化以进一步解决实际应用问题。“不要认为ChatGPT能解决全部的人工智能问题,没有重新学习的能力,不可能应对变化。国内、国外都一样,我问美国的ChatGPT也是这样来答的,问中国的ChatGPT,有的做得比较好,有的也是错误的。这就给我们提出一个问题,我们要把它用到这些决策问题上面去,这个重大问题需要进一步解决。”张钹表示。旷视科技物流业务事业部的负责人徐庆才在最近一次交流中提到,目前大模型需要走向垂直化,可以结合场景用一个模型和一个框架下统一去提高内容精准度。“目前依然有一定差距,这个差距来自于现在技术上的不可实现,来自于现在没有找到一个好的方式实现这个东西,这就是我们现在需要来看,现在新技术到底能不能够弥合这个点,我们判断这些问题很快都会被解决。”徐庆才表示。其次是解决算力成本高、训练重复资源却紧缺的问题。一家AI算力公司联合创始人张新(化名)对钛媒体App提到,以GPT-3模型为例,现有千卡集群训练一个月,单次训练周期一个月,总成本超过1200万美金。今年上半年,全行业(训练卡)在涨价,持续涨价超过25%。但在这样一个情况下,今天仍然没有人能够用商业化的国产芯片去做大模型的训练。
目前,百度智能云拥有全栈AI技术,形成端到端的AI优化机制。在IaaS层,百度智能云百舸AI异构计算平台解决大模型应用中的算力问题。它提供了从集群创建到模型训练、推理的完整算力管理方案,显著提升了算力管理能力和模型训练效率。百舸平台通过引入自动故障预测与任务迁移技术,确保了高达99.5%的有效训练时间,大模型应用落地提供了强大的算力支撑。在Paas层,百度智能云千帆大模型平台解决大模型的调用、开发和应用开发问题,支持调用文心大模型全系列模型,还提供了全面的工具链,支持定制化的模型开发。在应用开发上,千帆大模型平台通过AppBuilder,提供企业级Agent和企业级RAG开发能力。更重要的是,千帆平台可以将企业应用中产生的数据经过评估和对齐进一步反馈到模型中,形成良性循环,持续优化模型性能。在SaaS层,百度智能云提供了丰富的常用应用供客户选择,包括数字人平台曦灵、智能客服应用客悦等等。依托百度智能云打造的大模型落地全栈生态的领先优势,百度大模型获得了最多行业企业客户的认可。IDC发布的《中国生成式AI应用开发平台市场:企业统一AI开发平台的雏形》报告显示,在战略领先、数据集成、模型调优、模型部署、加速计算能力、工程化能力、平台生态、用户体验7大评估项目中,百度智能云获得七项满分,位于所有大模型平台厂商第一名。数据来源:IDC《中国生成式AI应用开发平台市场:企业统一AI开发平台的雏形》报告
大语言模型技术的本质导致了大模型的输出结果具有不可预测性,此外,静态的训练数据导致了大模型所掌握的知识存在截止日期,无法即时掌握最新信息。因此,当我们将大模型应用于实际业务场景时会发现,通用的基础大模型无法满足我们的实际业务需求。主要存在以下原因:知识的局限性:模型自身的知识完全源于它的训练数据,而现有的主流大模型(ChatGPT、文心一言、通义千问…)的训练集基本都是抓取网络公开的数据用于训练,对于一些实时性的、非公开的或离线的数据是无法获取到的,这部分知识也就无从具备。幻觉问题:大模型的底层原理是基于数学概率的文字预测,即文字接龙。因此大模型存在幻觉问题,会在没有答案的情况下提供虚假信息,提供过时或通用的信息,从可信度低非权威来源的资料中提供结果等。数据安全性:对于企业来说,数据安全至关重要,没有企业愿意承担数据泄露的风险,将自身的私域数据上传第三方平台进行训练。因此如何大模型落地应用时如何保障企业内部数据安全是一个重要问题。而RAG是解决上述问题的一套有效方案。它可以让大模型从权威的、预先确定的知识来源中检索、组织相关信息,更好地控制大模型生成的文本输出,并且用户可以深入了解LLM如何生成最终的结果。并且,RAG可以和微调结合使用,两者并不冲突。RAG类似于为模型提供教科书,允许它基于特定查询检索信息。这该方法适用于模型需要回答特定的询问或解决特定的信息检索任务。然而,RAG不适合教模型来理解广泛的领域或学习新的语言,格式或样式。微调类似于让学生通过广泛的学习内化知识。这种方法当模型需要复制特定的结构、样式或格式时非常有用。以下是RAG与微调从维度方面的比较:参考资料:《Retrieval-Augmented Generation for Large Language Models:A Survey》(https://arxiv.org/pdf/2312.10997.pdf)