大模型存在以下局限性：
大语言模型技术的本质导致了大模型的输出结果具有不可预测性，此外，静态的训练数据导致了大模型所掌握的知识存在截止日期，无法即时掌握最新信息。因此，当我们将大模型应用于实际业务场景时会发现，通用的基础大模型无法满足我们的实际业务需求。主要存在以下原因：知识的局限性：模型自身的知识完全源于它的训练数据，而现有的主流大模型（ChatGPT、文心一言、通义千问…）的训练集基本都是抓取网络公开的数据用于训练，对于一些实时性的、非公开的或离线的数据是无法获取到的，这部分知识也就无从具备。幻觉问题：大模型的底层原理是基于数学概率的文字预测，即文字接龙。因此大模型存在幻觉问题，会在没有答案的情况下提供虚假信息，提供过时或通用的信息，从可信度低非权威来源的资料中提供结果等。数据安全性：对于企业来说，数据安全至关重要，没有企业愿意承担数据泄露的风险，将自身的私域数据上传第三方平台进行训练。因此如何大模型落地应用时如何保障企业内部数据安全是一个重要问题。而RAG是解决上述问题的一套有效方案。它可以让大模型从权威的、预先确定的知识来源中检索、组织相关信息，更好地控制大模型生成的文本输出，并且用户可以深入了解LLM如何生成最终的结果。并且，RAG可以和微调结合使用，两者并不冲突。RAG类似于为模型提供教科书，允许它基于特定查询检索信息。这该方法适用于模型需要回答特定的询问或解决特定的信息检索任务。然而，RAG不适合教模型来理解广泛的领域或学习新的语言，格式或样式。微调类似于让学生通过广泛的学习内化知识。这种方法当模型需要复制特定的结构、样式或格式时非常有用。以下是RAG与微调从维度方面的比较：参考资料：《Retrieval-Augmented Generation for Large Language Models:A Survey》（https://arxiv.org/pdf/2312.10997.pdf）
其次，今天凌晨第一批吃螃蟹的用户已经体验过了，从各群、各微、各推的反馈来看，复杂问题的思考过程长达30s，而相对简单的问题则要5-10s之间。就连OpenAI给出的模型速度示例中，o1-preview的速度也是偏慢的。最后，让人有点郁闷的是，新模型（o1-preview/mini）的使用条数太少了，而且冷却时间相当长，按照少数AI先锋（@陈财猫）的测试，o1-preview的冷却时间长达7天。这一周几十条的用量也顶多算是打打牙祭...最后，我想分享一些个人的思考和感悟。随着这两年来对模型发展的观察，我看到了一个明显的趋势：仅仅依靠生成式应用的场景是相当有限的。尤其是toB领域，我们遇到的更多是对准确性要求极高的场景，甚至需要100%准确的情况，比如安全领域和金融领域，这些都是差之毫厘谬之千里的业务。而大模型的局限性也是常常在于此（幻觉）。但推理模型的准确率不断攀升、甚至达到完全可信的地步确实是一件非常惊喜又恐怖的事情。之前让模型干创意的活儿，现在又能干精确的活儿，这属于全场景覆盖！这意味着AI技术可以渗透到更多行业、更多高精尖业务中去！同时，我回想起老师曾经对我说过的一句话："不管现在的大模型处理速度多慢，操作多么繁琐，只要能保证最终结果的正确性，它就拥有无限的可能性。"我觉得老师的话不无道理，不要看现在新模型的推理速度慢，但这些都可以通过增配新硬件去解决，只要钱到位，这都不是问题。况且，这也可能是慢思考系统的一种呢？你说对吧！再者，在今年上半年，甚至是上个月，很多人还在担忧大模型的前景。但OpenAI推出的新模型无疑给这个行业注入了一剂强心剂，为整个领域带来了新的活力和希望。这是令人赞叹和振奋的。
游戏最大的不确定因素是，如果AI模型没有调用工作流，Agent就会直接回答问题，这会导致游戏状态无法正确跳转，对局失败（如果不用大模型的话，体验会很好，可是AI程度在哪里？）为了解决这个问题，我们增强了模型的调用能力，并在工作流中增加了多个容错机制，尽可能减少错误发生。但开发难度不小，并且只要大模型不调用工作流一次，那么后续大模型不调用工作流的概率会很大。在多次试错中我们发现，模型总会优先调用知识库（给模型提供了很多候选对话，以激发用户的游戏兴趣）进行问题回复，尽管已经将知识库的触发条件上升到最严格；而不设置知识库的情况下，模型提的问题可能很发散，与图灵测试的初衷比较违背（根本原因还是模型水平不够）。一个折中的解决办法是，把知识库中的数据放到代码里（没错，类似于把css和js写到html中）然后删除掉知识库，这样可以缓解模型调用知识库的问题，但却是很反程序设计的解耦和逻辑，并且修改起来更麻烦。