以下是关于让 AI 理解原理图并优化的相关知识:
对于您作为硬件工程师让 AI 快速理解原理图并优化的需求,目前可能需要进一步探索如何将原理图的特征和相关信息转化为适合 AI 处理和理解的形式,或许可以借鉴上述将专业知识与大模型结合的方法,以及利用高效的数据库和模型架构来提高处理效率。
2、观点——在端到端算法的时代,不应该继续使用冯诺依曼架构。3、在存算一体(在存储单元里做计算)的芯片之上,一定会诞生一种全新的算法。说明——对比人脑,我们用一碗米饭或者用一顿饭就可以支撑我们半天的工作或者大量的脑力消耗,不需要去花几千度电或者是上大量的能耗才能完成,所以使用存算一体的方式是未来AI硬件下一步的发展趋势。运行一个几百亿个参数的大模型最好的架构一定是存算一体的架构,因为它避免了所有的数据的搬运。4、现在大模型在通用知识方面很强,但对专业领域知识一无所知。怎么把领域知识结合进大模型里面去——这个是阻碍大模型更大规模应用的最关键的问题。5、把大模型和你的私域知识结合的5种方法:按对模型改造侵入性划分,可以从左到右分为:重新训练——微调——RAG——关键词工程1.重新训练(拿私域数据重新训练大模型)2.微调(拿私有数据fine-tuning大模型)3.RAG(将知识库里的知识搜索送进大模型)4.关键词工程(写好提示词)5.加长Context——当Context能无限长的时候,理论上讲可以把关于你的知识和记忆都prefill到Context里边去;好,我们今天看到了5种解法,下面就问哪一种是最有希望的?留在桌子上的只有长Context和RAG两个选项。学术界有两派人,很有意思的是,做深度学习的人,大家好像偏向于用RAG;以前做过搜索的人(了解搜索有哪些坑),大家会偏向于用Long Context~
2、观点——在端到端算法的时代,不应该继续使用冯诺依曼架构。3、在存算一体(在存储单元里做计算)的芯片之上,一定会诞生一种全新的算法。说明——对比人脑,我们用一碗米饭或者用一顿饭就可以支撑我们半天的工作或者大量的脑力消耗,不需要去花几千度电或者是上大量的能耗才能完成,所以使用存算一体的方式是未来AI硬件下一步的发展趋势。运行一个几百亿个参数的大模型最好的架构一定是存算一体的架构,因为它避免了所有的数据的搬运。4、现在大模型在通用知识方面很强,但对专业领域知识一无所知。怎么把领域知识结合进大模型里面去——这个是阻碍大模型更大规模应用的最关键的问题。5、把大模型和你的私域知识结合的5种方法:按对模型改造侵入性划分,可以从左到右分为:重新训练——微调——RAG——关键词工程1.重新训练(拿私域数据重新训练大模型)2.微调(拿私有数据fine-tuning大模型)3.RAG(将知识库里的知识搜索送进大模型)4.关键词工程(写好提示词)5.加长Context——当Context能无限长的时候,理论上讲可以把关于你的知识和记忆都prefill到Context里边去;好,我们今天看到了5种解法,下面就问哪一种是最有希望的?留在桌子上的只有长Context和RAG两个选项。学术界有两派人,很有意思的是,做深度学习的人,大家好像偏向于用RAG;以前做过搜索的人(了解搜索有哪些坑),大家会偏向于用Long Context~
先解释一下什么是向量检索,向量检索实际就是数据库检索,只是这个数据库本身是向量数据库。当我们把文本存储到向量数据库中时,会将该文本转换为向量值来进行存储,而并不是存储原始的文本数据。向量数据库针对高维向量的相似性搜索效率较高,RAG模型需要在大量的文本中检索与当前生成上下文最相关的片段,这通常通过计算向量之间的相似度来实现。所以我们一般情况下构建RAG时通常则是使用向量数据库来存储原始数据。那么当我们在问Trae一个问题:“帮我把当前的代码给优化一下”时,此时是先把当前的本地代码和该问题一起丢给模型,然后让模型来优化完再输出的吗?不是这样的。首先我们的请求是先到Trae自己的服务器上,然后Trae自己的服务器再去请求对应的模型,然后返回数据。其次,当我们发送一个问题:“帮我把当前的代码给优化一下”时,此时并不会真正的把当前本地的代码文件也发送到Trae的云端,而只是发送你的“文件名”加“问题”给到Trae的云端即可。而对于你当前的这个代码文件,实际在最开始Trae打开你的项目进行索引构建的时候,已经将你的项目文件全部在云端构建好了。我们来抓包验证一下:此时我选中代码文件的13-16行,然后问题是“帮我优化一下这个代码”然后抓包看该请求的具体内容:首先我们可以看到该请求是直接先发送到了Trae自己的服务器,然后我们把对应的请求内容json格式化看一下: