Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

计算两个文本的相识度代码实现

Answer

以下是关于计算两个文本相似度的代码实现相关内容：

在文本处理中，文本会先转为 tokens，再转为向量，然后放到计算机中运算以找出规律。在文本转为向量后，可以通过欧式距离或 cosin 角度来计算两个文本之间的相似性。例如，使用 SBERT 算法时，对于描述主体相同的情况（如屏幕相关的描述）会设为高相似性。文本统计单位“1”通常是以二级类别来衡量，比如屏幕模糊，它包括画面模糊、边缘模糊、文本模糊等细分情况。若要统计三级类别，目前多采用人工统计。同时，文本统计单位“1”是一个 clustering 概念，因为在向量空间中难以找到完全相同的两个单位，更多是距离较近的单位，所以统计通常以 clustering 计算。

另外，在初级菜鸟学 Langchain 实录中，对于文本相似度检索过程，包括读入文字、进行文字清洗、文本句子切分、文本向量化、计算相似度以及取前几的答案等步骤，详情可见 https://github.com/yuanzhoulvpi2017/DocumentSearch 。

Content generated by AI large model, please carefully verify (powered by aily)

References

分析：GPT+SBERT做用研统计

本段介绍文本挖掘的底层思考。1.在文本世界，文本会转为tokens，再转为向量，放到计算机里面运算，找出规律(model)。1.在文本转为向量后，通过欧式距离或cosin角度计算两个文本之间的相似性。下图是是将向量通过主成分分析降维到2维空间，看到文本聚类效果。1.文本单位定义1.1.以屏幕显示质量和设备兼容性在二维分布为例，属于两个不同的clustering（类别）。1.2.假如我们统计屏幕边缘模糊，在使用SBERT算法时，会将屏幕色彩艳丽，文本模糊等设为高相似性，因为他们都在描述（主体：屏幕）+（形容词）。所以我们不能将三级类目作为文本统计项，即定义为基本单位“1”。1.3.文本基本单位“1”是以二级类别来衡量，即屏幕模糊。它包括画面模糊、边缘模糊、文本模糊等细分情况。若真的需要统计三级类别情况，目前只能人工统计。1.4.声明：屏幕模糊是极少部分用户个案，XREAL屏幕质量比其他厂商好。文本统计单位“1”是一个clustering概念，因为向量空间难以找到100%一样的两个单位，更多距离更近的单位，所以统计以clustering计算。

邬嘉文：AI做用户研究｜Claude 3 Opus可以直接输出用户研究报告

本段介绍文本挖掘的底层思考。1.在文本世界，文本会转为tokens，再转为向量，放到计算机里面运算，找出规律(model)。1.在文本转为向量后，通过欧式距离或cosin角度计算两个文本之间的相似性。下图是是将向量通过主成分分析降维到2维空间，看到文本聚类效果。1.文本单位定义1.1.以屏幕显示质量和设备兼容性在二维分布为例，属于两个不同的clustering（类别）。1.2.假如我们统计屏幕边缘模糊，在使用SBERT算法时，会将屏幕色彩艳丽，文本模糊等设为高相似性，因为他们都在描述（主体：屏幕）+（形容词）。所以我们不能将三级类目作为文本统计项，即定义为基本单位“1”。1.3.文本基本单位“1”是以二级类别来衡量，即屏幕模糊。它包括画面模糊、边缘模糊、文本模糊等细分情况。若真的需要统计三级类别情况，目前只能人工统计。1.4.声明：屏幕模糊是极少部分用户个案，XREAL屏幕质量比其他厂商好。文本统计单位“1”是一个clustering概念，因为向量空间难以找到100%一样的两个单位，更多距离更近的单位，所以统计以clustering计算。

初级菜鸟学 Langchain 实录：Langchain 做简单 RAG

这里就讲简单的retrieve的过程。[heading4]Table表格[heading5]方法1:读入表格markdown格式，嵌入template。[content]这里举例为GLM的例子，Azure openai同理。[heading5]方法2：直接使用function call。[content]绕过langchain定义数据库读取的方式。这里我只尝试了GLM的官方方法。这里的parse_function_call是GLM的SDK开放的工具。我的理解是大模型从用户输入的语言提炼出函数所需的参数变量然后进行传参完成数据库查询。[heading4]Text文字[heading5]文字相似度检索过程[content]读入文字，进行文字清洗-->文本句子切分-->文本向量化->计算相似度-->取前几的答案为输入详情见https://github.com/yuanzhoulvpi2017/DocumentSearch脚本简单易懂，不再赘述。Part1不用学习框架，快速实现。氮素过于简单，写得太死，不利于后期持续开发，如果有好的方法尝试基本重开【正常人开发都不会这样的。。除非很紧急没空看文档】[heading3]Part2用Langchain做table和text的RAG[heading4]Table表格[heading5]法1：运用Agent:[heading5]法2：运用Chain：[heading4]Text文字[content]RetrievalQA.from_chain_type[heading3]Part3使用Agent把文本多种文档组合起来！[content]这里只示范文本和数据库表格等等，别的我觉得就是差不多类似的写法！主要用chain。Agent套来套去也可以，就是容易眼花。。[heading3]最后[content]https://gitee.com/cyz6668/langchain-simple-rag整理好了，欢迎踩踩

Others are asking
有免费好用的文本转语音工具吗
以下是一些免费好用的文本转语音工具： 1. Eleven Labs：https://elevenlabs.io/ 这是一款功能强大且多功能的 AI 语音软件，能生成逼真、高品质的音频，可高保真地呈现人类语调和语调变化，并能根据上下文调整表达方式。 2. Speechify：https://speechify.com/ 这是一款人工智能驱动的文本转语音工具，可将文本转换为音频文件，能作为 Chrome 扩展、Mac 应用程序、iOS 和 Android 应用程序使用，适用于收听网页、文档、PDF 和有声读物。 3. Azure AI Speech Studio：https://speech.microsoft.com/portal 这是一套服务，赋予应用程序“听懂、理解并与客户进行对话”的能力，提供了支持 100 多种语言和方言的语音转文本和文本转语音功能，还提供了自定义的语音模型。 4. Voicemaker：https://voicemaker.in/ 这一 AI 工具可将文本转换为各种区域语言的语音，并允许创建自定义语音模型，易于使用，适合为视频制作画外音或帮助视障人士。 此外，还有日语文本转语音软件 VOICEVOX，它提供多种语音角色，适用于不同场景，可调整语音的语调、速度、音高，开源且可商用。链接： 内容由 AI 大模型生成，请仔细甄别。
2025-02-12
我现在通过ai文本输出这一幅画的描述，那我通过什么软件或者是网站能让它形成一幅图，那最关键的是我形成的这幅图可以在ai或者是ps这种绘图软件上直接进行每一个元素的编辑。怎样我才能最快的做出来。
以下是一些可以根据您的 AI 文本描述生成图片，并能在 AI 或 PS 等绘图软件上直接编辑每个元素的软件和网站： 1. Stable Diffusion 模型：可以根据您输入的文本指令生成图片，生成的图片样式取决于您输入的提示词。 2. Anifusion：这是一款基于人工智能的在线工具，您只需输入文本描述，其 AI 就能将其转化为完整的漫画页面或动漫图像。具有以下功能和特点： AI 文本生成漫画：根据输入的描述性提示生成漫画。 直观的布局工具：提供预设模板，也支持自定义漫画布局。 强大的画布编辑器：可在浏览器中直接优化和完善生成的艺术作品。 多种 AI 模型支持：高级用户可访问多种 LoRA 模型实现不同艺术风格和效果。 商业使用权：用户对创作的作品拥有完整商业使用权。 在进行 AI 作图时，还需注意以下创作要点： 1. 注重趣味性与美感的结合，趣味性可通过反差、反逻辑、超现实方式带来视觉冲击，美感要在美术基础不出错的前提下实现形式与内容的结合。 2. 像纹身图创作要强调人机交互，对输出图片根据想象进行二次和多次微调，确定情绪、风格等锚点再发散联想。 3. 编写提示词时要用自然语言详细描述画面内容，避免废话词，例如 Flux 对提示词的理解和可控性较强。
2025-02-11
长文本理解能里较强的AI
以下是一些长文本理解能力较强的 AI 模型： 1. 智谱·AI 的 ChatGLM26B32k：这是第二代 ChatGLM 长上下文对话模型，在 ChatGLM26B 的基础上进一步强化了对于长文本的理解能力，能够更好地处理最多 32K 长度的上下文。在实际使用中，如果上下文长度基本在 8K 以内，推荐使用 ChatGLM26B；如果需要处理超过 8K 的上下文长度，推荐使用 ChatGLM26B32K。此外，还有 ChatGLM26B32kint4 版本，它是 ChatGLM26B32K 的 int4 版本。 2. 通义千问的 Qwen2.51M：推出 7B、14B 两个尺寸，在处理长文本任务中稳定超越 GPT4omini，同时开源推理框架，在处理百万级别长文本输入时可实现近 7 倍的提速。首次将开源 Qwen 模型的上下文扩展到 1M 长度。在上下文长度为 100 万 Tokens 的大海捞针任务中，Qwen2.51M 能够准确地从 1M 长度的文档中检索出隐藏信息。其开源平台包括 Huggingface（https://huggingface.co/spaces/Qwen/Qwen2.51MDemo）和 Modelscope（https://www.modelscope.cn/studios/Qwen/Qwen2.51MDemo）。
2025-02-09
文本整理
以下是关于文本整理的相关内容： 总结类应用： 大型语言模型在概括文本方面的应用令人兴奋，可在 Chat GPT 网络界面中完成，也可通过代码实现。包括对产品评论的摘要任务，还介绍了文字总结的不同类型，如 4.1 文字总结、4.2 针对某种信息总结、4.3 尝试“提取”而不是“总结”、4.4 针对多项信息总结。 创建并使用知识库： 创建知识库并上传文本内容的上传方式及操作步骤： Notion：在文本格式页签下选择 Notion，依次进行授权、登录选择页面、选择数据、设置内容分段方式（自动分段与清洗或自定义）等操作，最后完成内容上传和分片。 自定义：在文本格式页签下选择自定义，输入单元名称，创建分段并输入内容，设置分段规则，最后保存。 本地文档：在文本格式页签下选择本地文档，拖拽或选择要上传的文档（支持.txt、.pdf、.docx 格式，每个文件不大于 20M，一次最多上传 10 个文件），选择内容分段方式（自动分段与清洗或自定义），完成上传和分片。
2025-02-07
如何让AI总结超长文本
以下是让 AI 总结超长文本的一些方法和策略： 1. 对于需要进行很长对话的应用，可对前面的对话进行总结或筛选。当输入大小达到预定阈值长度时，触发总结部分对话的查询，或将先前对话的总结作为系统消息包含在内，也可在后台异步总结。 2. 对于超长文档，如一本书，可以使用一系列查询来总结文档的每一部分，然后将部分总结连接并再次总结，递归进行直至完成整个文档的总结。在总结某一点内容时，可包括前文的运行总结。 3. 除聊天内容外，还能让 AI 总结各种文章（不超过 2 万字），直接全选复制全文发送给 GPT 即可。 4. 对于 B 站视频，可利用视频字幕进行总结。若视频有字幕，可安装油猴脚本获取字幕，然后复制发送给 AI 执行总结任务。 5. 在当今世界，大型语言模型可用于概括文本，如在 Chat GPT 网络界面中操作。还可针对不同情况，如文字总结、针对某种信息总结、尝试“提取”而非“总结”、针对多项信息总结等。
2025-02-06
据文本自动生成思维导图的软件
以下是一些可以根据文本自动生成思维导图的软件： 1. GPTs 结合 Gapier 这个提供免费 Action 的第三方平台，可以利用 Actions 调取其提供的 API 直接获取内容对应的思维导图。 2. GitMind：免费的跨平台 AI 思维导图软件，支持多种模式，可通过 AI 自动生成思维导图。 3. ProcessOn：国内思维导图+AIGC 的工具，能利用 AI 生成思维导图。 4. AmyMind：轻量级在线 AI 思维导图工具，无需注册登录，支持自动生成节点。 5. Xmind Copilot：Xmind 推出的基于 GPT 的 AI 思维导图助手，可一键拓展思路，生成文章大纲。 6. TreeMind：“AI 人工智能”思维导图工具，输入需求即可由 AI 自动完成思维导图生成。 7. EdrawMind：提供一系列 AI 工具，包括 AI 驱动的头脑风暴功能，帮助提升生产力。 此外，以下是一些可以绘制逻辑视图、功能视图、部署视图的工具： 1. Lucidchart：流行的在线绘图工具，支持多种视图创建，用户可通过拖放界面轻松创建架构图。 2. Visual Paradigm：全面的 UML 工具，提供创建各种架构视图的功能。 3. ArchiMate：开源建模语言，与 Archi 工具配合使用，支持逻辑视图创建。 4. Enterprise Architect：强大的建模、设计和生成代码工具，支持多种视图创建。 5. Microsoft Visio：广泛使用的图表和矢量图形应用程序，提供丰富模板。 6. draw.io（现称 diagrams.net）：免费在线图表软件，支持多种类型图表创建。 7. PlantUML：文本到 UML 转换工具，通过编写描述性文本自动生成相关视图。 8. Gliffy：基于云的绘图工具，提供创建多种架构图的功能。 9. Archi：免费开源工具，用于创建 ArchiMate 和 TOGAF 模型，支持逻辑视图创建。 10. Rational Rose：IBM 的 UML 工具，支持创建多种视图。 需要注意的是，部分内容由 AI 大模型生成，请仔细甄别。
2025-02-06
如何计算两耳文本的相识度
计算两耳文本的相似度通常可以通过以下步骤和方法： 1. 文本预处理：将文本转为 tokens，再转为向量。 2. 相似度计算：在文本转为向量后，通过欧式距离或 cosin 角度来计算两个文本之间的相似性。 3. 聚类分析：可以将向量通过主成分分析降维到 2 维空间，观察文本聚类效果。 4. 文本单位定义：文本统计单位“1”通常是以二级类别来衡量，例如屏幕模糊，它包括画面模糊、边缘模糊、文本模糊等细分情况。若要统计三级类别情况，目前多采用人工统计。 5. 算法应用：使用 SBERT 算法时，会将描述主体相同且带有相似形容词的文本设为高相似性。但在某些情况下，不能将三级类目作为文本统计项。 6. 借助工具：如可以询问 Claude 两段文本在含义上是否大致相同，通过特定的提示格式让 Claude 进行判断和回答。
2024-12-19
写微信小程序，用哪个 ai 代码助手最好
以下是一些适用于写微信小程序的 AI 代码助手推荐： 1. DIN： 搭建 OneAPI 以汇聚整合多种大模型接口。 搭建 FastGpt 作为知识库问答系统。 搭建 chatgptonwechat 接入微信，并配置 FastGpt 把知识库问答系统接入到微信。 2. Cursor： 可通过任意 AI 工具获得代码，专业代码模型表现更优。 网址：https://www.cursor.com/ 3. Deepseek（新手推荐）： 网址：https://www.deepseek.com/zh 方便获取游戏代码，国内能访问，网页登录方便，目前完全免费。 4. 通义灵码： 在 Pytharm 中，“文件”“设置”“插件”红色框位置搜索“通义灵码”进行安装（目前免费）。 5. JetBrains 自身的助手插件： 在 Pytharm 中，“文件”“设置”“插件”红色框位置搜索“Jetbrains AI assistant”进行安装（收费，目前有 7 天免费试用）。 6. Marscode 及 Tencent cloud AI code Assistant 等。 7. 无影的晓颖 AI 助手： 内置在云电脑里，使用流畅，但需要在无影的云电脑中。 需要注意的是，不同的 AI 代码助手在生成特定代码时可能有不同的表现，您可以根据自己的需求和实际使用体验进行选择。
2025-02-17
我怎样用低代码工具去构建我的AI智能体？LLM应用？
以下是关于如何用低代码工具构建 AI 智能体和 LLM 应用的一些建议： 在构建基于 LLM 的应用时，Anthropic 建议先寻找最简单的解决方案，只在必要时增加复杂度。智能系统通常会以延迟和成本为代价来换取更好的任务表现，开发者需要考虑这种权衡是否合理。当需要更复杂的解决方案时，工作流适合需要可预测性和一致性的明确任务，而智能体则更适合需要灵活性和模型驱动决策的大规模场景。不过，对于许多应用来说，优化单个 LLM 调用（配合检索和上下文示例）通常就足够了。 目前有许多框架可以简化智能系统的实现，例如： 1. LangChain 的 LangGraph。 2. 亚马逊 Bedrock 的 AI Agent 框架。 3. Rivet（一个拖放式 GUI 的 LLM 工作流构建器）。 4. Vellum（另一个用于构建和测试复杂工作流的 GUI 工具）。 这些框架通过简化标准的底层任务（如调用 LLM、定义和解析工具、链接调用等）使入门变得容易，但它们往往会创建额外的抽象层，可能会使底层提示词和响应变得难以调试，也可能诱使开发者在简单设置就足够的情况下增加不必要的复杂性。建议开发者先直接使用 LLM API，许多模式只需要几行代码就能实现。如果确实要使用框架，请确保理解底层代码。 此外，还有以下相关工具和应用： 1. VectorShift：能在几分钟内构建和部署生成式人工智能应用程序，利用大型语言模型（例如 ChatGPT）构建聊天机器人、文档搜索引擎和文档创建工作流程，无需编码。 2. Unriddle：帮助更快阅读、写作和学习的工具，能简化复杂的主题，找到信息，提问并立即获得答案。 工具使用或函数调用通常被视为从 RAG 到主动行为的第一个半步，为现代人工智能栈增加了一个新的层。一些流行的原语如网页浏览（Browserbase、Tiny Fish）、代码解释（E2B）和授权+认证（Anon）已经出现，它们使 LLM 能够导航网络、与外部软件（如 CRM、ERP）交互并运行自定义代码。Omni 的计算 AI 功能体现了这种方法，它利用 LLM 直接输出适当的 Excel 函数到电子表格中，然后执行计算并自动生成复杂查询供用户使用。 详细示例请参考：https://github.com/anthropics/anthropiccookbook/tree/main/patterns/agents
2025-02-17
我需要以无代码的形式搭建一个数据大屏，有哪些工具可以满足我的需求
目前市面上有一些无代码工具可以帮助您搭建数据大屏，例如： 1. 阿里云 DataV：提供丰富的可视化组件和模板，操作相对简单。 2. 腾讯云图：支持多种数据源接入，具备强大的可视化编辑能力。 3. 帆软 FineReport：功能较为全面，能满足多样化的大屏搭建需求。 您可以根据自己的具体需求和使用习惯选择适合的工具。
2025-02-17
AI 在生成单元测试代码方面有什么新的进展与方向？
AI 在生成单元测试代码方面有以下新的进展与方向： 1. 基于规则的测试生成： 测试用例生成工具：如 Randoop 可基于代码路径和规则为 Java 应用程序生成测试用例，Pex 是微软开发的能为.NET 应用自动生成高覆盖率单元测试的工具。 模式识别：Clang Static Analyzer 利用静态分析技术识别代码模式和潜在缺陷来生成测试用例，Infer 是 Facebook 开发的能自动生成测试用例以帮助发现和修复潜在错误的工具。 2. 基于机器学习的测试生成： 深度学习模型：DeepTest 利用深度学习模型为自动驾驶系统生成测试用例以模拟不同驾驶场景并评估系统性能，DiffTest 基于对抗生成网络（GAN）生成测试用例来检测系统的脆弱性。 强化学习：RLTest 利用强化学习生成测试用例，通过与环境交互学习最优测试策略以提高测试效率和覆盖率，A3C 是基于强化学习通过策略梯度方法生成高质量测试用例的工具。 3. 基于自然语言处理（NLP）的测试生成： 文档驱动测试生成：Testim 是 AI 驱动的测试平台，能通过分析文档和用户故事自动生成测试用例以减少人工编写时间，Test.ai 利用 NLP 技术从需求文档中提取测试用例以确保测试覆盖业务需求。 自动化测试脚本生成：Selenium IDE 结合 NLP 技术可从自然语言描述中生成自动化测试脚本，Cucumber 使用 Gherkin 语言编写的行为驱动开发（BDD）框架能通过解析自然语言描述生成测试用例。 此外，峰瑞资本投资的 AI Coding 创业公司 Babel 专注于 AI Agent 的研发，其核心产品 Test Gru 已在美国上线，能为客户自动生成单元测试，客户侧 PR 接受率约为 70%。还有如 Cursor 等工具，可借助其生成测试代码提升代码可靠性，但使用时也需注意方法，如使用 Git 管理代码版本、对 AI 代码进行 Review 等。
2025-02-14
用AI处理销售数据需要写代码吗
用 AI 处理销售数据不一定需要写代码，这取决于具体的情况和所使用的工具。 Python 是常用于自动化处理数据的语言之一，在处理销售数据时，它有丰富的库可用于各种任务，如数据收集、处理等。相关的 AI 脚本提示可按照操作意图分类，例如 Web Scraping Prompts、Data Processing Prompts 等。 如果您不熟悉代码，ChatGPT 等工具也能在一定程度上帮助您处理销售数据。 另外，让 AI 写出您想要的代码时，可通过创建优质的.cursorrules 来明确相关要求，例如说明自己是谁、要做什么、项目的规矩、文件存放位置、使用的工具、测试方法、参考资料以及 UI 要求等。 在处理数据库相关的销售数据时，若不会写 SQL 代码，可借助 AI 帮忙。例如向豆包提供具体需求，如操作的数据表、执行的操作及相关条件等，它能为您生成相应的 SQL 语句。
2025-02-11
一、学习内容 1. AI工具的操作：了解并掌握至少一种AI工具的基本操作，如智能代码、流程管理、智能报表、数据分析、图像识别、文字生成等。 2. AI工具在本职工作的应用：思考并提出AI工具如何帮助你更高效地完成本职工作，包括但不限于提高工作效率、优化工作流程、节约成本、提升交付质量等。 3. AI工具在非本职工作的潜力推演：探索AI工具如何在你的非本职工作领域发挥作用，比如在公司管理、团队领导、跨部门合作、团队发展以及市场研究等方面。提出这些工具如何被有效利用，以及它们可能带来的改
以下是关于学习 AI 的相关内容： 一、AI 工具的操作 要了解并掌握至少一种 AI 工具的基本操作，如智能代码、流程管理、智能报表、数据分析、图像识别、文字生成等。 二、AI 工具在本职工作的应用 思考并提出 AI 工具如何帮助更高效地完成本职工作，包括但不限于提高工作效率、优化工作流程、节约成本、提升交付质量等。 三、AI 工具在非本职工作的潜力推演 探索 AI 工具在非本职工作领域，如公司管理、团队领导、跨部门合作、团队发展以及市场研究等方面的作用，思考如何有效利用这些工具以及它们可能带来的改变。 四、学习路径 1. 对于不会代码的学习者： 20 分钟上手 Python+AI，在 AI 的帮助下可以完成很多基础的编程工作。若想深入，需体系化了解编程及 AI，至少熟悉 Python 基础，包括基本语法（如变量命名、缩进等）、数据类型（如字符串、整数、浮点数、列表、元组、字典等）、控制流（如条件语句、循环语句）、函数（定义和调用函数、参数和返回值、作用域和命名空间）、模块和包（导入模块、使用包）、面向对象编程（类和对象、属性和方法、继承和多态）、异常处理（理解异常、异常处理）、文件操作（文件读写、文件与路径操作）。 2. 新手学习 AI： 了解 AI 基本概念，建议阅读「」部分，熟悉术语和基础概念，浏览入门文章。 开始 AI 学习之旅，在「」中找到为初学者设计的课程，推荐李宏毅老师的课程，也可通过在线教育平台（如 Coursera、edX、Udacity）按自己节奏学习并获证书。 选择感兴趣的模块深入学习，掌握提示词技巧。 实践和尝试，理论学习后通过实践巩固知识，在知识库分享实践作品和文章。 体验 AI 产品，如 ChatGPT、Kimi Chat、智谱、文心一言等聊天机器人，了解其工作原理和交互方式。 五、工具推荐 1. Kimi 智能助手：ChatGPT 的国产平替，上手体验好，适合新手入门学习和体验 AI。不用科学网、不用付费、支持实时联网，是国内最早支持 20 万字无损上下文的 AI，对长文理解做得好，能一次搜索几十个数据来源，无广告，能定向指定搜索源（如小红书、学术搜索）。 PC 端： 移动端（Android/ios）： 2. 飞书：汇集各类 AI 优质知识库、AI 工具使用实践的效率工具，助力人人成为效率高手。
2025-02-07
非计算机专业出身，怎样快速入门ai
对于非计算机专业出身想要快速入门 AI 的人，以下是一些建议： 1. 了解 AI 基本概念： 阅读「」部分，熟悉 AI 的术语和基础概念，包括其主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅： 在「」中，您能找到为初学者设计的课程，特别推荐李宏毅老师的课程。 通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 3. 选择感兴趣的模块深入学习： AI 领域广泛，比如图像、音乐、视频等，您可以根据自己的兴趣选择特定的模块进行深入学习。 掌握提示词的技巧，它上手容易且很有用。 4. 实践和尝试： 理论学习之后，实践是巩固知识的关键，尝试使用各种产品做出您的作品。 在知识库提供了很多大家实践后的作品、文章分享，欢迎您实践后的分享。 5. 体验 AI 产品： 与现有的 AI 产品进行互动，如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人，了解它们的工作原理和交互方式。 此外，对于不会代码的您，20 分钟上手 Python + AI 的方法如下： 在深入学习 AI 时，许多朋友发现需要编程，变得头大。同时，各类教程都默认您会打命令行，导致入门十分困难。鉴于此，就有了这份简明入门，旨在让大家更快掌握 Python 和 AI 的相互调用，并使您在接下来的 20 分钟内，循序渐进的完成以下任务： 1. 完成一个简单程序。 2. 完成一个爬虫应用，抓取公众号文章。 3. 完成一个 AI 应用，为公众号文章生成概述。 一些背景： 1. 关于 Python： Python 就像哆拉 A 梦，它拥有一个百宝袋，装满了各种道具，被称为标准库。当遇到问题时，都可以拿出来直接使用。 如果百宝袋里的道具不够用，还可以打电话给未来百货，去订购新道具。在这里：打电话对应 pip 一类的工具，可以用来订购任何的道具；未来百货对应 GitHub 一类的分享代码的平台，里面啥都有。 Python 被全世界广泛使用，尤其是在 AI 领域，所以遍地是大哥。 2. 关于 OpenAI API： OpenAI 通过两种方式提供服务：其一，通过 ChatGPT，提供开箱即用的服务，直接对话即可，简单直观；其二，通过 OpenAI API，提供更加灵活的服务，通过代码调用，来完成更多自动化任务，比如全自动将本地的 1 万本小说，从中文翻译成英文。 欢迎来到“AI 企业落地应用”专栏，在这里，我们将分享 AI 技术在真实商业场景中落地应用的有趣案例故事和实战经验教训。做为铺垫和开始，这是一篇能带你快速搞懂本轮 AI 大模型革命相关核心知识信息的文章，我们将从历史到今天，从原理到应用，从产业到趋势，用尽可能通俗易懂但又不失专业严谨的方式，带你快速走入 AI 的世界，跟上 AI 大势。阅读提示：为了方便没有计算机学习背景但又热衷学习 AI 应用的伙伴更好的阅读，下面的内容可能会使用打比方、作类比的方式来让那些晦涩枯燥的知识变得更为有趣和更容易入心入脑，帮助于您在学习应用 AI 的路上走得更加顺畅和稳健，但这也势必会一定程度带来专业性上的不严谨，我们将会显性的做出标注提示，方便您识别，您可以关注文末的论文推荐导引，去了解真实的技术细节。此外，文章中可能还会涉及一些相对专业和可能超纲的知识内容，我们也将会显性的做出标注提示，告诉您这部分内容即使不懂，也完全没关系，可以放心跳过，不必焦虑。
2025-02-16
如何基于你的模型对一台工业设备（钢板划线印字装备）进行故障诊断和预测性维护，从以下几个方面进行分析 1.技术栈：数据采集与通讯，数据库，算法，前端，微服务、应用等，并进行软件选型 2.硬件选型：工业设备、边缘计算设备，软件部署硬件，分别列出性能最优和国产化替代方案 3.算法创新性：要求可发表高水平论文和申请发明专利 4.算法通用性：考虑如何通过一个通用模型经过简单配置适应不同船舶建造工业设备的故障诊断和预测性维护 5.考虑前后合理性，若以此进行招标，如何描述招标内容
以下是为您整合的相关内容： Transformer 模型和 BERT 模型： 模型训练与评估：定义模型后，传递训练数据集和验证数据集及训练时期数，训练完成后评估性能，如达到 85%准确率。 模型性能可视化：绘制准确性和随时间的损失图。 保存与加载模型：使用 model.save 方法导出并保存模型到本地路径，保存后可加载进行预测。 预测示例：对不同情感的评论句子进行预测。 部署模型到 Vertex AI：检查模型签名，上传本地保存的模型到 Google Cloud 存储桶，在 Vertex 上部署模型并获得在线预测。 提示工程： 策略：将复杂任务分解为更简单的子任务。 技巧：使用意图分类识别用户查询中最相关的指令。例如在故障排除场景中，根据客户查询分类提供具体指令，如检查路由器连接线、询问路由器型号、根据型号提供重启建议等。模型会在对话状态变化时输出特定字符串，使系统成为状态机，更好控制用户体验。 OpenAI 官方指南： 战术：将复杂任务拆分为更简单的子任务。 策略：使用意图分类来识别与用户查询最相关的指令。例如在故障排除场景中，基于客户查询分类向 GPT 模型提供具体指令。已指示模型在对话状态变化时输出特殊字符串，将系统变成状态机，通过跟踪状态等为用户体验设置护栏。
2025-02-12
对于编程纯小白，如果我想使用cursor之类的AI软件进行编程，实现自己的一些想法，那么我需要具备哪些编程或者计算机方面的基础知识
对于编程纯小白，如果想使用 Cursor 之类的 AI 软件进行编程实现自己的想法，需要具备以下编程或计算机方面的基础知识： 1. 下载 Cursor：访问 https://www.cursor.com/ 进行下载。 2. 注册账号：可以使用自己的邮箱（如 google、github、163、qq 邮箱）直接登录，接受二维码登录。 3. 安装中文包插件。 4. 在设置中进行 Rule for AI 配置。 5. 清晰表达需求：例如做一个贪吃蛇游戏，在网页中玩。需要明确游戏的规则和逻辑，如游戏界面是在矩形网格上进行，玩家控制蛇的移动方向（上、下、左、右），游戏界面上会随机出现食物，蛇吃到食物身体增长，存在撞墙或撞自己的死亡条件，吃到食物可得分，游戏难度会递增，游戏结束时能看到得分等。 对于纯小白，如果需求远比 AI 直出的内容复杂，无法一次性直出，那就需要耐下性子，在 AI 的帮助下一步一步来，并在这个过程中学会一点点编程。
2025-02-08
我想要一个能够计算工程预算的软件或者AI，请问我推荐
目前市面上有一些能够计算工程预算的软件和具备相关功能的 AI 工具。例如广联达，它是一款在建筑工程领域广泛使用的预算软件，功能较为全面和专业。还有鲁班软件，也在工程预算计算方面有一定的优势。 此外，一些新兴的 AI 工具如某些基于大数据和机器学习算法的在线预算计算平台，能够根据您输入的工程参数和要求，快速生成较为准确的预算结果。但在选择时，您需要考虑软件的适用性、价格、操作便捷性等因素，以满足您的具体需求。
2025-01-30
微调所需要的算力计算公式
微调所需算力的计算较为复杂，会受到多种因素的影响。以下是一些相关的要点： 在一些教程中，如“大圣：全网最适合小白的 Llama3 部署和微调教程”，提到微调可能需要购买算力，预充值 50 元。 对于大型语言模型（LLM）的微调，由于模型规模大，更新每个权重可能需要很长时间的训练工作，还需考虑计算成本和服务麻烦。 调整用于微调的超参数通常可以产生产生更高质量输出的模型。例如，在某些情况中，可能需要配置以下内容： 模型：可选择“ada”、“babbage”、“curie”或“davinci”之一。 n_epochs：默认为 4，指训练模型的时期数。 batch_size：默认为训练集中示例数量的 0.2%，上限为 256。 learning_rate_multiplier：默认为 0.05、0.1 或 0.2，具体取决于 final batch_size。 compute_classification_metrics：默认为假，若为 True，在分类任务微调时在每个 epoch 结束时在验证集上计算特定分类指标。配置这些超参数可通过 OpenAI CLI 上的命令行标志传递。
2025-01-06
GPU的计算特性
GPU（图形处理器）具有以下计算特性： 1. 专门在个人电脑、工作站、游戏机和一些移动设备（如平板电脑、智能手机等）上做图像和图形相关运算工作的微处理器。 2. 诞生源自对 CPU 的减负，使显卡减少了对 CPU 的依赖，并进行部分原本 CPU 的工作，尤其是在 3D 图形处理时。 3. 所采用的核心技术有硬件 T&L（几何转换和光照处理）、立方环境材质贴图和顶点混合、纹理压缩和凹凸映射贴图、双重纹理四像素 256 位渲染引擎等，硬件 T&L 技术可以说是 GPU 的标志。 4. 生产商主要有 NVIDIA 和 ATI。 5. 在矩阵乘法方面表现出色，早期使用游戏用的 GPU 能使运算速度提高 30 倍。 6. 随着 AI 领域的发展而不断发展，例如在训练神经网络方面发挥重要作用。
2025-01-06