直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

计算两个文本的相识度代码实现

回答

以下是关于计算两个文本相似度的代码实现相关内容：

在文本处理中，文本会先转为 tokens，再转为向量，然后放到计算机中运算以找出规律。在文本转为向量后，可以通过欧式距离或 cosin 角度来计算两个文本之间的相似性。例如，使用 SBERT 算法时，对于描述主体相同的情况（如屏幕相关的描述）会设为高相似性。文本统计单位“1”通常是以二级类别来衡量，比如屏幕模糊，它包括画面模糊、边缘模糊、文本模糊等细分情况。若要统计三级类别，目前多采用人工统计。同时，文本统计单位“1”是一个 clustering 概念，因为在向量空间中难以找到完全相同的两个单位，更多是距离较近的单位，所以统计通常以 clustering 计算。

另外，在初级菜鸟学 Langchain 实录中，对于文本相似度检索过程，包括读入文字、进行文字清洗、文本句子切分、文本向量化、计算相似度以及取前几的答案等步骤，详情可见 https://github.com/yuanzhoulvpi2017/DocumentSearch 。

内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

分析：GPT+SBERT做用研统计

本段介绍文本挖掘的底层思考。1.在文本世界，文本会转为tokens，再转为向量，放到计算机里面运算，找出规律(model)。1.在文本转为向量后，通过欧式距离或cosin角度计算两个文本之间的相似性。下图是是将向量通过主成分分析降维到2维空间，看到文本聚类效果。1.文本单位定义1.1.以屏幕显示质量和设备兼容性在二维分布为例，属于两个不同的clustering（类别）。1.2.假如我们统计屏幕边缘模糊，在使用SBERT算法时，会将屏幕色彩艳丽，文本模糊等设为高相似性，因为他们都在描述（主体：屏幕）+（形容词）。所以我们不能将三级类目作为文本统计项，即定义为基本单位“1”。1.3.文本基本单位“1”是以二级类别来衡量，即屏幕模糊。它包括画面模糊、边缘模糊、文本模糊等细分情况。若真的需要统计三级类别情况，目前只能人工统计。1.4.声明：屏幕模糊是极少部分用户个案，XREAL屏幕质量比其他厂商好。文本统计单位“1”是一个clustering概念，因为向量空间难以找到100%一样的两个单位，更多距离更近的单位，所以统计以clustering计算。

邬嘉文：AI做用户研究｜Claude 3 Opus可以直接输出用户研究报告

本段介绍文本挖掘的底层思考。1.在文本世界，文本会转为tokens，再转为向量，放到计算机里面运算，找出规律(model)。1.在文本转为向量后，通过欧式距离或cosin角度计算两个文本之间的相似性。下图是是将向量通过主成分分析降维到2维空间，看到文本聚类效果。1.文本单位定义1.1.以屏幕显示质量和设备兼容性在二维分布为例，属于两个不同的clustering（类别）。1.2.假如我们统计屏幕边缘模糊，在使用SBERT算法时，会将屏幕色彩艳丽，文本模糊等设为高相似性，因为他们都在描述（主体：屏幕）+（形容词）。所以我们不能将三级类目作为文本统计项，即定义为基本单位“1”。1.3.文本基本单位“1”是以二级类别来衡量，即屏幕模糊。它包括画面模糊、边缘模糊、文本模糊等细分情况。若真的需要统计三级类别情况，目前只能人工统计。1.4.声明：屏幕模糊是极少部分用户个案，XREAL屏幕质量比其他厂商好。文本统计单位“1”是一个clustering概念，因为向量空间难以找到100%一样的两个单位，更多距离更近的单位，所以统计以clustering计算。

初级菜鸟学 Langchain 实录：Langchain 做简单 RAG

这里就讲简单的retrieve的过程。[heading4]Table表格[heading5]方法1:读入表格markdown格式，嵌入template。[content]这里举例为GLM的例子，Azure openai同理。[heading5]方法2：直接使用function call。[content]绕过langchain定义数据库读取的方式。这里我只尝试了GLM的官方方法。这里的parse_function_call是GLM的SDK开放的工具。我的理解是大模型从用户输入的语言提炼出函数所需的参数变量然后进行传参完成数据库查询。[heading4]Text文字[heading5]文字相似度检索过程[content]读入文字，进行文字清洗-->文本句子切分-->文本向量化->计算相似度-->取前几的答案为输入详情见https://github.com/yuanzhoulvpi2017/DocumentSearch脚本简单易懂，不再赘述。Part1不用学习框架，快速实现。氮素过于简单，写得太死，不利于后期持续开发，如果有好的方法尝试基本重开【正常人开发都不会这样的。。除非很紧急没空看文档】[heading3]Part2用Langchain做table和text的RAG[heading4]Table表格[heading5]法1：运用Agent:[heading5]法2：运用Chain：[heading4]Text文字[content]RetrievalQA.from_chain_type[heading3]Part3使用Agent把文本多种文档组合起来！[content]这里只示范文本和数据库表格等等，别的我觉得就是差不多类似的写法！主要用chain。Agent套来套去也可以，就是容易眼花。。[heading3]最后[content]https://gitee.com/cyz6668/langchain-simple-rag整理好了，欢迎踩踩

其他人在问
如何计算两耳文本的相识度
计算两耳文本的相似度通常可以通过以下步骤和方法： 1. 文本预处理：将文本转为 tokens，再转为向量。 2. 相似度计算：在文本转为向量后，通过欧式距离或 cosin 角度来计算两个文本之间的相似性。 3. 聚类分析：可以将向量通过主成分分析降维到 2 维空间，观察文本聚类效果。 4. 文本单位定义：文本统计单位“1”通常是以二级类别来衡量，例如屏幕模糊，它包括画面模糊、边缘模糊、文本模糊等细分情况。若要统计三级类别情况，目前多采用人工统计。 5. 算法应用：使用 SBERT 算法时，会将描述主体相同且带有相似形容词的文本设为高相似性。但在某些情况下，不能将三级类目作为文本统计项。 6. 借助工具：如可以询问 Claude 两段文本在含义上是否大致相同，通过特定的提示格式让 Claude 进行判断和回答。
2024-12-19
文本转markdown工具有哪些
以下是一些文本转 Markdown 的工具： ShowMeAI 周刊提到的好用的转换工具，但未具体指明。 XiaoHu.AI 日报中提到的 Zerox OCR 工具，它是开源的 GPT OCR 工具，支持将 PDF、DOCX 转换为 Markdown，可并发处理，还能选择特定页面及模型选项。详细介绍可参考：
2024-12-16
免费的文本转音频
以下是一些免费的文本转音频工具和相关的人工智能音频初创公司： 免费的文本转音频工具： Eleven Labs：https://elevenlabs.io/ ，是一款功能强大且多功能的 AI 语音软件，能高保真地呈现人类语调和语调变化，并能根据上下文调整表达方式。 Speechify：https://speechify.com/ ，是一款人工智能驱动的文本转语音工具，可作为多种应用程序使用，用于收听网页、文档、PDF 和有声读物。 Azure AI Speech Studio：https://speech.microsoft.com/portal ，提供了支持 100 多种语言和方言的语音转文本和文本转语音功能，还提供了自定义的语音模型。 Voicemaker：https://voicemaker.in/ ，可将文本转换为各种区域语言的语音，并允许创建自定义语音模型。 人工智能音频初创公司： ，将书面内容转化为引人入胜的音频，并实现无缝分发。 ，提供专业音频、语音、声音和音乐的扩展服务。 （被 Spotify 收购），提供完全表达的 AI 生成语音，带来引人入胜的逼真表演。 ，利用合成媒体生成和检测，带来无限可能。 ，一键使您的内容多语言化，触及更多人群。 ，生成听起来真实的 AI 声音。 ，为游戏、电影和元宇宙提供 AI 语音演员。 ，为内容创作者提供语音克隆服务。 ，超逼真的文本转语音引擎。 ，使用单一 AI 驱动的 API 进行音频转录和理解。 ，听起来像真人的新声音。 ，从真实人的声音创建逼真的合成语音的文本转语音技术。 ，生成听起来完全像你的音频内容。 请注意，以上内容由 AI 大模型生成，请仔细甄别。
2024-12-16
推荐一下可以将文本生成思维导图的软件
以下是一些可以将文本生成思维导图的软件： 1. GitMind：免费的跨平台思维导图软件，支持多种模式，可通过 AI 自动生成思维导图。 2. ProcessOn：国内的思维导图+AIGC 工具，能利用 AI 生成思维导图。 3. AmyMind：轻量级在线思维导图工具，无需注册登录，支持自动生成节点。 4. Xmind Copilot：Xmind 推出的基于 GPT 的 AI 思维导图助手，可一键拓展思路，生成文章大纲。 5. TreeMind：“AI 人工智能”思维导图工具，输入需求后由 AI 自动完成思维导图生成。 6. EdrawMind：提供一系列 AI 工具，包括 AI 驱动的头脑风暴功能，有助于提升生产力。 总的来说，这些 AI 思维导图工具都能通过 AI 技术自动生成思维导图，提高制作效率，为知识工作者带来便利。
2024-12-16
国内文本生成视频AI工具
以下是一些国内的文本生成视频 AI 工具： 1. Hidreamai：有免费额度，支持文生视频、图生视频，提示词使用中文、英文都可以，文生视频支持正向提示词、反向提示词、运镜控制、运动强度控制，支持多尺寸，可以生成 5s 和 15s 的视频。网址：https://hidreamai.com//AiVideo 2. ETNA：由七火山科技开发的文生视频 AI 模型，可以根据用户简短的文本描述生成相应的视频内容。生成的视频长度在 8 15 秒，画质可达到 4K，最高 38402160，画面细腻逼真，帧率 60fps，支持中文，时空理解。网址：https://etna.7volcanoes.com/ 此外，将小说转换成 AI 视频通常包括文本分析、角色与场景生成、视频编辑与合成等步骤，您可以利用以下工具： 1. Stable Diffusion（SD）：一种 AI 图像生成模型，可以基于文本描述生成图像。网址：https://github.com/StabilityAI 2. Midjourney（MJ）：适用于创建小说中的场景和角色图像。网址：https://www.midjourney.com 3. Adobe Firefly：Adobe 的 AI 创意工具，可以生成图像和设计模板。网址：https://www.adobe.com/products/firefly.html 4. Pika AI：文本生成视频的 AI 工具，适合动画制作。网址：https://pika.art/waitlist 5. Clipfly：一站式 AI 视频生成和剪辑平台。网址：https://www.aihub.cn/tools/video/clipfly/ 6. VEED.IO：在线视频编辑工具，具有 AI 视频生成器功能。网址：https://www.veed.io/zhCN/tools/aivideo 7. 极虎漫剪：结合 Stable Diffusion 技术的小说推文视频创作提效工具。网址：https://tiger.easyartx.com/landing 8. 故事 AI 绘图：小说转视频的 AI 工具。网址：https://www.aihub.cn/tools/video/gushiai/ 更多的文生视频的网站可以查看这里：https://www.waytoagi.com/category/38 。请注意，内容由 AI 大模型生成，请仔细甄别。
2024-12-15
文本生成视频
以下是一些关于文本生成视频的相关信息： 文本生成视频的 AI 产品： Pika：一款出色的文本生成视频 AI 工具，擅长动画制作，支持视频编辑。 SVD：Stable Diffusion 的插件，可在图片基础上生成视频，由 Stability AI 开源。 Runway：老牌 AI 视频生成工具，提供实时涂抹修改视频的功能，但收费。 Kaiber：视频转视频 AI，能将原视频转换成各种风格的视频。 Sora：由 OpenAI 开发，可生成长达 1 分钟以上的视频。 更多产品可查看： 小白使用 Pika Labs 生成视频的攻略： 功能：直接发送指令或上传图片生成 3 秒动态视频。 费用：目前内测免费。 操作步骤： 加入 Pika Labs 的 Discord 频道：在浏览器中打开链接，点击加入邀请 https://discord.gg/dmtmQVKEgt 。 在 generate 区生成：左边栏出现狐狸头像表示操作成功，若未成功点开头像邀请机器人至服务器。接着在 Discord 频道左侧找到“generate”子区进入。 生成视频：输入/create，在弹出的 prompt 文本框内输入描述，如/create prompt:future war,4Kar 16:9，按 Enter 发送出去即可生成视频；也可上传本地图片生成对应指令动态效果。 下载保存：喜欢的效果可在右上角点击下载保存到本地。若对生成的视频不满意，可点击再次生成按钮优化效果。 Adobe Firefly 中的“生成视频”（测试版）： 可将书面描述转换为视频剪辑。 使用文本提示定义内容、情感和设置（包括摄像机角度）以指导摄像机移动并创建传达所需情绪和信息的视频。 还可以合并图像，为视频生成提供视觉提示。 操作步骤： 在，选择“生成视频”。 在 Generate video 页面上，在 Prompt 字段中输入文本提示，也可使用 Upload 部分中的 Image 选项上传图像用于第一帧，并为视频剪辑提供方向参考。 在 General settings 部分，确定 Aspect ratio 和 Frames per second。
2024-12-15
怎么用已经公布的源代码，自己拥有一个私人ai。详细步骤让小白都能成功，并且列出硬件设施。
以下是使用已公布的源代码拥有一个私人 AI 的详细步骤，适合小白操作，并列出所需的硬件设施： 硬件设施： 云服务器 步骤： 1. 利用云服务器，在宝塔面板的终端安装相关命令。可通过以下链接获取详细信息：https://docs.dify.ai/v/zhhans/gettingstarted/installselfhosted/dockercompose 。这些命令在宝塔面板的终端安装，安装的 dockercompose 文件位于 /root/dify/docker 目录下。 2. 检查运行情况，使用 docker compose ps 命令，如果 nginx 容器无法运行，可能是 80 端口被占用。将终端输出的代码粘贴给 AI ，按照 AI 的方法检查谁占用了端口，并停止占用进程。确保每一步成功后再进行下一步，可将代码复制询问 AI 以确认。 3. 在浏览器地址栏输入公网 IP（可在腾讯云服务器或宝塔面板地址栏查看，去掉后面的:8888），随便填写邮箱密码建立一个知识库，在知识库中选择设置。 4. 选择模型，国内模型通常有免费额度，例如智谱 AI 。点击设置，从智谱 AI 获取钥匙，进入智谱官网用手机号注册，添加 API keys 并复制。查看免费额度（智谱在资源包管理中查看，赠送 500 万一个月）。 5. 回到之前的页面，复制钥匙并保存，随便创建一个应用。 6. 可以先选择智谱 glm4 进行测试，聊两句看是否有回应，然后点击发布。 7. 点击 api 秘钥，创建一个并复制。
2024-12-20
怎么用已经公布的源代码，自己拥有一个私人ai。详细步骤，并且列出硬件设施，说明jetson orin nano可以使用什么模型？
目前已公布的源代码种类繁多，要利用其拥有一个私人 AI 并非简单直接的过程，且需要一定的技术知识和经验。 一般来说，以下是大致的步骤： 1. 选择合适的源代码：根据您的需求和技术能力，从众多已公布的源代码中选择适合的项目。 2. 环境搭建：安装所需的开发工具、编程语言和相关依赖库。 3. 数据准备：收集和整理适合训练和优化模型的数据。 4. 代码理解与修改：深入理解所选源代码的结构和逻辑，根据您的需求进行必要的修改和优化。 5. 训练模型：使用准备好的数据对模型进行训练。 6. 评估与优化：对训练好的模型进行评估，根据评估结果进行进一步的优化。 关于硬件设施，Jetson Orin Nano 是一款性能不错的嵌入式计算设备。它可以支持多种模型，例如常见的深度学习模型如卷积神经网络（CNN）、循环神经网络（RNN）等。但具体能使用哪些模型，还取决于模型的规模、计算需求以及您对性能和资源的要求。
2024-12-20
cursor好用吗？不会写代码的人可以用它来开发app吗
Cursor 是一款很好用的工具，具有以下优点： 1. 它是对话式的编程工具，集代码编写、报错调试、运行于一体，可在一个页面里丝滑实现，且以对话方式进行，能消除学习代码的恐惧感。 2. 让小白可以无压力入门代码，解决实际问题，也能提高专业程序员的效率。 3. 基于 VS code 开发，是目前使用体验最好的 AI coding IDE，不具备代码能力的人通过自然语言描述能快速开发一些项目。 4. 继承了 vscode 的强大功能和用户界面，几乎一模一样，还深度集成了 gpt 等大模型，无缝融入了包括 IntelliJ IDEA、Visual Studio Code 和 GitHub 在内的主流开发环境和代码库中。 5. 体量小，启动快，编程效率高。 然而，Cursor 也有一些局限性： 1. 比较适合简单、原型类的项目，当应用比较复杂和商业化时，会比较困难，需要考虑长期维护、用户场景和稳定性等因素。 2. 代码编写只是开发中的一环，程序员的工作还包括需求评估沟通、架构设计、调试部署等多个模块，而且大语言模型面对复杂项目可能面临改好一个 bug，产生一个新 bug 的情况。 总的来说，对于不会写代码的人，Cursor 可以帮助他们入门和开发一些简单的项目，但不能完全替代专业程序员。目前 Cursor 新账号有 2 周 pro 体验，成本为 0，值得一试。它支持多种语言，如 python、java、C等，在国内可以直接使用，还提供了 3 种订阅模式。
2024-12-16
哪个ai可以帮我写Excel代码
以下是一些可以帮助您写 Excel 代码的 AI 工具： 1. ChatGPT：您可以直接向它提问，它能为您生成相关代码。例如，对于批量处理每月周报的操作，如 30 个文件合并、标准化和删除无效数据等，您可以向 ChatGPT 寻求帮助。而且在询问过程中，它甚至能补充如何用快捷键打开 Excel 开发模式等信息。 2. Excel Labs：这是一个 Excel 插件，新增了基于 OpenAI 技术的生成式 AI 功能，可在 Excel 中直接利用 AI 进行数据分析和决策支持。 3. Microsoft 365 Copilot：微软推出的 AI 工具，整合了 Word、Excel、PowerPoint、Outlook、Teams 等办公软件。用户通过聊天形式告知需求，Copilot 会自动完成数据分析或格式创建等任务。 4. Formula Bot：提供数据分析聊天机器人和公式生成器两大功能，用户能通过自然语言交互式地进行数据分析和生成 Excel 公式。 5. Numerous AI：支持 Excel 和 Google Sheets 的 AI 插件，除公式生成外，还能根据提示生成相关文本内容、执行情感分析、语言翻译等任务。 随着技术发展，未来可能会有更多 AI 功能集成到 Excel 中，进一步提高工作效率和数据处理的智能化水平。但请注意，内容由 AI 大模型生成，请仔细甄别。
2024-12-15
无代码生成App
以下是一些无代码生成 App 的相关信息： 在 ProductHunt 2023 年度最佳产品榜单的无代码工具类别中： Bento（免费）是一个链接合集页面，内容丰富设计美观，能美化展示所有内容和链接，展示个性和品味。Linktree 在年底收购了 Bento。 PlyBeta 可使用无代码方式在 APP 中构建内部功能，适用于众多应用程序，为团队提供动力。 Dora AI 能用一次 prompt 生成网站，支持文字转网站、生成式 3D 互动、高级 AI 动画。 Albato 3.0（免费可用）能通过直观的构建器将应用程序集成到自动化工作流中。 Coze 是字节跳动推出的一站式 AI 开发平台，支持无代码生成 AIAgent，能简化 AI 开发过程，让用户无需编写代码创建、管理和部署 AI 工具。它有国内版和国际版，提供多样化模型选择和丰富的插件能力，还具备自动构建、定制 Prompt 等功能，其插件系统和记忆库功能强大。 GPTPilot 作为 AI 开发者伴侣，在代码生成质量不断完善的基础上结合图片理解和文档内容理解可实现无代码开发项目。它能自动编写代码、配置开发环境等，开发者可在一旁监督开发过程，还能通过交互式开发明确需求。
2024-12-14
编写一个python代码其中附件是一个名为data.csv的CSV格式文件，提取表格中数据，行列保持一致进行如下格式转换：‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‭‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‭‬ （1）按行进行倒序排列；‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‭‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫
以下是一个使用 Python 实现读取 CSV 文件并按行倒序排列的代码示例： ```python import pandas as pd 读取 CSV 文件 data = pd.read_csv 按行倒序排列 reversed_data = data.iloc 打印结果 print ``` 在上述代码中，首先使用 `pandas` 库的 `read_csv` 函数读取 `data.csv` 文件，然后使用 `iloc` 索引和切片操作 `` 实现按行倒序排列。
2024-12-12
通过提示词可以提高模型的数学计算能力吗
通过提示词可以在一定程度上提高模型的数学计算能力。例如 PoT 技术，它是思维链技术的衍生，适用于数值推理任务，会引导模型生成一系列代码，再通过代码解释器工具进行运算，这种方式能显著提升模型在数学问题求解上的表现。PoT 作为 CoT 的衍生技术，遵循零样本和少样本的学习范式，零样本 PoT 与 CoT 方法相似，不需要大量样本即可进行有效推理，少样本 PoT 也通过较少样本优化模型表现。但需要注意的是，大模型在解决数学问题时可能存在不够可靠的情况。
2024-12-20
我是一名计算机专业学生，给我一份进入ai行业的指南
以下是为您提供的进入 AI 行业的指南： 一、学习计划 如果您想入门强化学习，可以将搞懂 DQN 算法作为目标。参考链接：https://github.com/ty4z2008/Qix/blob/master/dl.md 。但需注意，其中资料众多，如同大海捞针，所以在学习前要先明确目的。 二、信息源 1. 简报 TLDR AI： The Sequence： Deep Learning Weekly： Ben’s Bites： Last week in ai： Your guide to AI： 2. 播客 No Priors podcast hosted by Sarah Guo 和 Elad Gil Robot Brains Podcast hosted by Pieter Abbeel Lex Fridman Podcast hosted by Lex Fridman The Gradient podcast hosted by Daniel Bashir Generally Intelligent hosted by Kanjun Qiu Last Week in AI 3. 会议 World AI Cannes Festival 三、知识获取 欢迎来到“AI 企业落地应用”专栏，这里会分享 AI 技术在商业场景中的应用案例和经验。为方便不同背景的读者，文章会采用通俗有趣的方式讲解知识，可能存在专业性不严谨的情况，会有标注提示。对于超纲或专业的内容，也会有标注，可放心跳过。文末会有论文推荐导引，帮助您了解技术细节。
2024-12-19
Coze中可以使用数学计算式么
在 Coze 中，数学中的变量是可以使用的。例如在数学方程式“y = 2x + 3”中，x 和 y 都是变量。在数学中，变量是用来表示未知数或可以改变的数值。 Coze 是由字节跳动推出的 AI 聊天机器人和应用程序编辑开发平台，专为开发下一代 AI 聊天机器人而设计。它具有多语言模型支持、插件系统、知识库功能、数据库和记忆能力、工作流设计、多代理模式、免费使用、易于发布和分享等特点。 COZE 是字节跳动旗下子公司推出的 AI Agent 构建工具，允许用户在无编程知识的基础上，使用自然语言和拖拽等方式构建 Agent。记账管家是基于 COZE 平台的能力搭建的一个记账应用，可以自动记账并计算账户余额，且不会丢失记账记录。
2024-12-11
哪种AI更擅长数学模型搭建与计算
以下几种 AI 在数学模型搭建与计算方面表现较为出色： 1. Llama 3.1：是迄今为止最大版本，在推理、数学、多语言和长上下文任务中能够与 GPT4 相抗衡。 2. AlphaGeometry：在奥林匹克级几何问题基准测试中表现出色，解决了 30 题中的 25 题，接近人类国际数学奥林匹克金牌得主的表现。 3. 由 DeepSeek、零一万物、知谱 AI 和阿里巴巴开发的中国模型：在 LMSYS 排行榜上取得了优异的成绩，尤其在数学和编程方面表现尤为出色，且中国模型更能优先考虑计算效率。 4. MathGLM 系列模型： MathGLM2B：在训练数据充足的情况下，能够准确地执行多位算术运算，准确率几乎可以达到 100%，结果显著超越 GPT4。 MathGLMLarge：采用不同变体作为骨干来训练，赋予其基本的语言理解能力，使其能够有效理解数学应用题中包含的语言信息。 大型语言模型处理数学计算的一些解决办法包括： 1. 引入编程插件：将数学问题转化为编程问题，并引入编程插件来处理。 2. 教会模型数学法则：教导语言模型数学计算的规则。 3. 标准化自然数加法计算 prompt 模板：创建标准模板，使语言模型按预定义规则和步骤执行加法计算。 4. 结合图像模型：对于涉及空间概念的数学问题，结合图像模型辅助处理。 5. 提供充足的语料和样本：为语言模型提供充足的数学计算样本和语料，让模型从中学习并改进数学计算能力。
2024-12-10
AI与计算机编程的关系
AI 与计算机编程有着密切的关系。 过去，捕获并利用计算可还原性的主要方法是开发正式的描述事物的方式，通常使用数学和数学公式。而人工智能提供了一种新的利用计算可简化性的途径。在训练神经网络中，能够捕捉某些规律从而做出预测。 当前的技术发展与操作系统的发展轨迹相似，如 Windows、OS X 和 Linux 与 GPT、PaLM、Claude 和 Llama/Mistral 的关系。大多数现有应用也能移植到新平台。 对于更有经验的程序员，关注点不仅在代码正确性，还有整体代码质量。如 OpenAI Codex 模型的最新版本编写冗长的平均水平代码，将其转化为理想且正确的代码可能比从头编写更慢。虽然生成性编程是开发人员生产力的重要步骤，但目前还不清楚这种改进是否显著不同于以往。生成式 AI 能让程序员更优秀，但仍需编程。 总之，AI 为编程带来了新的方式和可能性，但编程依然是重要且不可替代的。
2024-12-04