Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

目前有自动化可以抽取/格式化文档 然后抽取知识图谱的应用么?

Answer

目前,确实存在可以自动化抽取和格式化文档,进而构建知识图谱的应用。这些应用通常结合了自然语言处理(NLP)、机器学习、深度学习等技术来实现信息抽取和知识图谱的自动化构建。以下是一些相关的应用和技术:

  1. DeepKE:DeepKE是一个开源的中文知识图谱抽取框架,支持实体识别、关系抽取和属性抽取。它提供了一个统一的框架,可以在不同场景下实现不同的功能,如命名实体识别(NER)、关系抽取(RE)和属性抽取(AE)。
  2. 华为云知识图谱构建平台:华为云提供了一站式的知识图谱构建平台,该平台支持从非结构化数据中抽取信息,并构建知识图谱。
  3. 自动化信息抽取:自动化信息抽取技术是构建知识图谱的基础,它能够从大规模数据中获取结构化的命名实体及其属性或关联信息。
  4. 基于规则的关系抽取:基于规则的关系抽取是一种从文本数据中识别和提取实体之间关系的自动化过程,主要依赖于预定义的规则或模式。
  5. 产业政策知识图谱的自动化构建:有研究提出了自动化的产业政策知识图谱构建框架,用于梳理政策文本,这表明自动化技术可以应用于特定领域的知识图谱构建。
  6. 大模型与知识图谱结合:大模型结合知识图谱的构建,主要应用于对非结构化文档的信息抽取,以改善图谱构建过程中的信息抽取困难。

这些技术和应用展示了自动化抽取和格式化文档,以及构建知识图谱的可行性。它们通过减少人工参与,提高了构建知识图谱的效率和准确性。不过,需要注意的是,尽管自动化技术在知识图谱构建中发挥着重要作用,但仍然需要领域专家的参与来确保抽取结果的准确性和相关性。此外,自动化构建知识图谱的过程中可能会遇到一些挑战,如实体消歧、关系多样性、文本歧义性等问题,这些问题可能需要进一步的人工干预或更高级的算法来解决。

Content generated by AI large model, please carefully verify (powered by aily)
Others are asking
我需要一个能用于命名实体识别的prompt,针对具体的抽取事例为我提供一个这样的模板,要保证抽取结果的准确性。
以下是一个用于命名实体识别的 Prompt 模板示例: “请从以下文本中准确识别出所有的命名实体,并按照人物、地点、组织、时间等类别进行分类:” 通过这样明确的指令,能够引导模型更有针对性地进行命名实体的抽取,从而提高抽取结果的准确性。
2024-09-08
能够模仿产品经理,把我的需求描述整理成格式化的PRD的工具有什么
以下是一些能够模仿产品经理,把您的需求描述整理成格式化 PRD 的工具: 1. 用户研究、反馈分析:Kraftful(kraftful.com) 2. 脑图:Whimsical(whimsical.com/aimindmaps)、Xmind(https://xmind.ai) 3. 画原型:Uizard(https://uizard.io/autodesigner/) 4. 项目管理:Taskade(taskade.com) 5. 写邮件:Hypertype(https://www.hypertype.co/) 6. 会议信息:AskFred(http://fireflies.ai/apps) 7. 团队知识库:Sense(https://www.senseapp.ai/) 8. 需求文档:WriteMyPRD(writemyprd.com) 9. 敏捷开发助理:Standuply(standuply.com) 10. 数据决策:Ellie AI(https://www.ellie.ai/) 11. 企业自动化:Moveworks(moveworks.com)
2025-02-09
完善程序实现格式化输出a,b,c=‘唐代’,‘将近酒’,‘李白’ print(' '.fomat(a,b,c))
您提供的程序存在一些错误。正确的实现方式应该是: ```python a = '唐代' b = '将近酒' c = '李白' print ``` 这样就可以实现格式化输出这三个变量的值了。
2024-12-09
智能识别图片或文本内容,格式化录入表格中
以下是智能识别图片或文本内容并格式化录入表格的方法: 1. 可以使用通义听悟、飞书妙记、钉钉闪记进行录音转文字,以钉钉闪记为例: 第一步打开钉钉闪记。 结束录音后点击“智能识别”。 点击智能摘要,获得本次会议的纪要。 如果需要更多内容,复制所有文案或下载文本文件到GPT、GLM、通义千问等大语言模型对话框中,再将会议内容发送。 2. 该场景对应的关键词库(12 个):会议主题、参与人员、讨论议题、关键观点、决策、时间、地点、修改要求、文本格式、语言风格、列表、段落。 3. 提问模板(3 个): 第一步:用飞书会议等软件整理好会议记录,并分段式发给 ChatGPT 生成总结: 请根据以下会议资料,整理会议的关键信息,包括:会议主题、参与人员、讨论议题、关键观点和决策。 会议资料: 时间:XXX 年 XXX 月 XXX 日 地点:XXXX 参与人员:XXX、XXX 会议主题:XXXX 讨论内容: Speaker1:XXX Speaker2:XXX Speaker3:XXX 第二步:检查生成的总结: 请根据我提供的会议补充信息和修改要求,对 XXX 部分进行修改: 会议补充信息:XXXX 修改要求:XXXX 第三步:优化文本格式和风格 请将生成的总结,以 XXX 形式呈现(例如:以列表的形式、以段落的形式、使用正式/非正式的语言风格) 请给上述会议总结,提供修改意见,并根据这个修改意见做最后的调整
2024-10-09
LlamaIndex 对比 langchain Extraction 哪个对提取自然语言中的格式化数据更好一些?
如果您需要从自然语言文本中提取格式化数据,LLamaIndex 可能是一个更好的选择,因为它提供了各种 Pydantic 程序,可以帮助您将输入的文本字符串转换为结构化的 Pydantic 对象。 然而,如果您的任务不涉及自然语言,或者您更熟悉 LangChain 的工作方式,那么 LangChain Extraction 也可能是一个不错的选择,因为它可以帮您提取非自然语言文本中的格式化数据。
2024-04-01
有没有什么工具,能根据需求进行数据库设计文档生成的
以下是为您提供的相关信息: COZE 工作流中关于数据库节点的教程: 1. 在 SQL 输入中添加 SQL 代码,如果不会写 SQL 语言或不懂代码,可以借助 AI 帮助。例如将相关需求发送给豆包,如学习特定文档并根据具体需求撰写用于工作流的 SQL 语句。 2. 向豆包提出具体要求,如指定数据库表名称(如“user_question_answer”)和存储字段名称(“create_time”“answer”“question”),并说明数据写入的需求。 3. 豆包会回复生成的 SQL 语句(如“INSERT INTO user_question_answer”),将其复制到数据库节点里 SQL 的位置。 4. 试运行时提供输入内容并选择第一步使用的 bot,成功后发布工作流即可记录对应数据到数据库。 另外,欧盟数据法案英文版.pdf 中提到:成员国主管当局应确保对违反本法规规定义务的行为处以处罚。在这样做时,应考虑到所涉公共利益、违规行为的性质、严重程度、复发和持续时间、所开展活动的范围和种类以及违规者的经济能力。委员会应在必要时考虑特定部门的条件和自愿数据共享机制的现有做法,为企业间数据共享合同制定和推荐非强制性示范合同条款。这些示范合同条款应主要是帮助特别是小企业签订合同的实用工具。当广泛和完整地使用时,这些示范合同条款也应具有有益的效果,影响关于访问和使用数据的合同设计,从而在访问和共享数据时更广泛地导致更公平的合同关系。为消除通过联网产品和相关服务的物理组件(如传感器)获得或生成的数据库中的数据持有者声称根据第 96/9/EC 号指令第 7 条享有的特殊权利(如果此类数据库不符合特殊权利的条件)从而阻碍用户根据本法规有效行使访问和使用数据以及与第三方共享数据的权利的风险,本法规应明确该特殊权利不适用于此类数据库,因为保护要求未得到满足。
2025-03-06
请给我推荐一些AI写小说相关的文档和学习资料
以下是为您推荐的一些 AI 写小说相关的文档和学习资料: 1. 《🐋全新 AI 整活计划:DeepSeek 小说家 2025 年 2 月 9 日》 介绍了关于提示词编写及 AI 应用的探讨,包括理性决策提示词的编写方法、示例的价值、自用与他用提示词的区别、改进指令遵循、AI 应用于软件开发等方面。 还分享了关于写作方式、好文字的定义、模型特点与推荐等内容。 2. 《陈财猫:如何用 AI 写出比人更好的文字?》 提到了两个技巧,一是“显式归纳与列出你想要的文本特征”,二是“通过 prompt 中的描述与词语映射到预训练数据中的特定类型的文本,从而得到想要的相似样本”。 3. 《Stuart:教你用 coze 写起点爆款小说《夜无疆》,做到高中生文笔水平》 介绍了一个能写出至少高中水平小说的 coze 工作流,包括用 bing 搜索相关内容、将搜索结果结构化、用大模型草拟大纲、写文章等核心节点。
2025-03-05
我想要知识库里的ai系统学习文档,要怎么获取
您可以通过以下方式获取 AI 系统学习文档: 1. 观看李弘毅老师的生成式 AI 导论、吴达的生成式 AI 入门视频等,并整理成学习笔记,在整理过程中学习更多知识,还能与大家交流互动。 2. 等待社区共创内容,通过共创做小项目来反向推动学习。 3. 原子将分享 30 分钟快速体验 AI 工具并教爸妈理解相关内容。 4. 学习 A16Z 推荐的包括 GPT 相关知识、Transformer 模型运作原理,及大语言模型词语接龙原理等基础知识。 5. 查看如介绍 GPT 运作原理、Transformer 模型、扩散模型等的经典必读文章。 6. 推荐看 open AI 的官方 Cookbook,小琪姐做了中文精读翻译,也可查看 cloud 的相关内容。 7. 查看历史脉络类资料,如整理了 open AI 的发展时间线和万字长文回顾等。 相关内容的获取链接为:https://waytoagi.feishu.cn/minutes/obcn7mvb3vu6k6w6t68x14v5?t=2727000 、https://waytoagi.feishu.cn/minutes/obcn7mvb3vu6k6w6t68x14v5?t=2806000 、https://waytoagi.feishu.cn/minutes/obcn7mvb3vu6k6w6t68x14v5?t=2942000 。
2025-03-05
我想要系统学习AI,请问文档在哪里?
以下是一些可供您系统学习 AI 的资源: 1. 通往 AGI 之路知识库: 其中包含关于 AI 知识库使用及 AIPO 活动的介绍,包括使用情况、发起背景、内容安排及相关资源等。 有 AIPO 线下活动及 AI 相关探讨,涉及活动规则、玩法以及 AI 在科技发展中的地位和研究方向。 介绍了 way to AGI 社区活动与知识库,包括活动安排、材料准备、知识库使用和内容更新情况。 提供了关于 AI 知识库及学习路径的介绍。 包含 AI 相关名词解释,如 AGI、AIGC、agent、prompt 等,建议通过与 AI 对话或李继刚老师的课程来理解。 说明了知识库的信息来源,如赛博蝉星公众号、国外优质博主的 blog 或 Twitter 等,推荐订阅获取最新信息并投稿。 介绍了社区共创项目,如 AIPU、CONFIUI 生态大会,每月有切磋大会等活动,还发起了新活动 AIPO。 提供了学习路径,如李弘毅老师的生成式 AI 导论等高质量学习内容,可系统化学习或通过社区共创活动反推学习,鼓励整理学习笔记并分享交流。 有经典必读文章,如介绍 GPT 运作原理、Transformer 模型、扩散模型等的文章,还包括软件 2.0 时代相关内容。 为初学者入门推荐了 open AI 的官方 Cookbook,小琪姐做了中文精读翻译,也可查看 cloud 的相关内容。 整理了 open AI 的发展时间线和万字长文回顾等历史脉络类资料。 2. 通往 AGI 之路的相关平台: 网站: 公众号:通往 AGI 之路 B 站: 小红书: X(Twitter): 内置知识库 AI 助手 此外,还有【法律法规】《人工智能法案》2023.06.pdf_TEXTS ADOPTED 中的相关内容,但此部分主要涉及法规方面。
2025-03-05
deepseek相关的文档
以下是与 DeepSeek 相关的文档和信息: 在 2025 年 2 月 6 日的“【今晚 8 点】聊聊你怎么使用 DeepSeek!”中,提到了以下内容: DP 模型的功能:能进行自然语言理解与分析、编程、绘图,如 SVG、MA Max 图表、react 图表等。 使用优势:可以用更少的词让模型做更多事,思维发散,能给出创意思路和高级内容。 存在问题:思维链长不易控制,可能输出看不懂或胡编乱造的内容,增加纠错成本。 审核方法:可以用其他大模型来解读 DP 模型给出的内容。 使用建议:使用时要有自己的思维雏形,多看思考过程,避免被模型冲刷原有认知。 使用场景:包括阅读、育儿、写作、随意交流等方面。 案例展示:通过与孩子共读时制作可视化互动游戏,以及左脚踩右脚式的模型交互来展示 DP 模型的应用。 音系学研究:对音系学感兴趣,通过对比不同模型的回答来深入理解,如 bug 和 DIFF SIG,探讨语言概念在音系学下的心理印象等。 大模型取队名:与大模型进行多轮对话来取队名,通过不断约束和披露喜好,最终得到满意的队名及相关内容。 此外,2 月 6 日的宝玉日报中提到: Dario Amodei 认为 DeepSeek 进入前沿 AI 竞赛,但美国应保持领先优势。 强调“没有民族主义敌意”,依旧欢迎华裔科学家加入 Anthropic。 批评 DeepSeek 安全性差,称其“测试过的模型里最糟糕”。相关文稿:
2025-03-05
利用 AI,基于需求文档生成 测试用例
以下是关于利用 AI 基于需求文档生成测试用例的相关内容: 基于规则的测试生成: 测试用例生成工具: Randoop:基于代码路径和规则生成测试用例,适用于 Java 应用程序。 Pex:微软开发的智能测试生成工具,自动生成高覆盖率的单元测试,适用于.NET 应用。 模式识别: Clang Static Analyzer:利用静态分析技术识别代码模式和潜在缺陷,生成相应的测试用例。 Infer:Facebook 开发的静态分析工具,自动生成测试用例,帮助发现和修复潜在错误。 基于机器学习的测试生成: 深度学习模型: DeepTest:利用深度学习模型生成自动驾驶系统的测试用例,模拟不同驾驶场景,评估系统性能。 DiffTest:基于对抗生成网络(GAN)生成测试用例,检测系统的脆弱性。 强化学习: RLTest:利用强化学习生成测试用例,通过与环境交互学习最优测试策略,提高测试效率和覆盖率。 A3C:基于强化学习的测试生成工具,通过策略梯度方法生成高质量测试用例。 基于自然语言处理(NLP)的测试生成: 文档驱动测试生成: Testim:AI 驱动的测试平台,通过分析文档和用户故事自动生成测试用例,减少人工编写时间。 Test.ai:利用 NLP 技术从需求文档中提取测试用例,确保测试覆盖业务需求。 自动化测试脚本生成: Selenium IDE + NLP:结合 NLP 技术扩展 Selenium IDE,从自然语言描述中生成自动化测试脚本。 Cucumber:使用 Gherkin 语言编写的行为驱动开发(BDD)框架,通过解析自然语言描述生成测试用例。 基于模型的测试生成: 状态模型: GraphWalker:基于状态模型生成测试用例,适用于复杂系统的行为测试。 Spec Explorer:微软开发的模型驱动测试工具,通过探索状态模型生成测试用例。 场景模拟: Modelbased Testing:基于系统模型自动生成测试用例,覆盖各种可能的操作场景和状态转换。 Tosca Testsuite:基于模型的测试工具,自动生成和执行测试用例,适用于复杂应用的端到端测试。 实践中的应用示例: Web 应用测试:使用 Testim 分析用户行为和日志数据,自动生成高覆盖率的测试用例,检测不同浏览器和设备上的兼容性问题。 移动应用测试:利用 Test.ai 从需求文档中提取测试用例,确保覆盖关键功能和用户路径,提高测试效率和质量。 复杂系统测试:采用 GraphWalker 基于系统状态模型生成测试用例,确保覆盖所有可能的状态和操作场景,检测系统的边界情况和异常处理能力。 相关工具和平台: Testim:AI 驱动的自动化测试平台,生成和管理测试用例。 Test.ai:基于 NLP 技术的测试用例生成工具,适用于移动应用和 Web 应用。 DeepTest:利用深度学习生成自动驾驶系统测试用例。 GraphWalker:基于状态模型生成测试用例,适用于复杂系统的行为测试。 Pex:微软开发的智能测试生成工具,自动生成高覆盖率的单元测试。 此外,在编程中,用户故事也很重要。其目的在于确保开发团队能够理解用户需求,并从用户角度设计和开发功能。常规模板为:“作为。”在卡密系统中,写用户故事有三点作用:让执行者了解想要做什么样的应用,从而更准确地搭建代码框架;中途作为关键的上下文信息,确保方向不偏移;可以让 Cursor 依据用户故事生成对应的测试用例,保持功能的完整和准确。可以在 Cursor 里生成 MVP 的用户故事(用其他 AI 功能生成也可以),如点击 Cursor 后,选择提前创建的一个文件夹,创建需求文档,输入简短的需求描述,让 AI 帮助生成用户故事,然后按照实际情况接受并修改。
2025-03-05
知识图谱构建
知识图谱是一种揭示实体之间关系的语义网络,能够对现实世界的事物及其相互关系进行形式化描述。它于 2012 年 5 月 17 日由 Google 正式提出,初衷是提高搜索引擎能力,增强用户搜索质量和体验,实现从网页链接到概念链接的转变,支持按主题检索和语义检索。 知识图谱构建的关键技术包括: 1. 知识抽取:通过自动化技术抽取可用的知识单元,如实体抽取(命名实体识别)、关系抽取(提取实体间关联关系)、属性抽取(采集特定实体的属性信息)。 2. 知识表示:包括属性图、三元组等。 3. 知识融合:在同一框架规范下进行异构数据整合、消歧、加工、推理验证、更新等,包括实体对齐(消除实体冲突等不一致性问题)、知识加工(统一管理知识)、本体构建(明确定义概念联系)、质量评估(计算知识置信度)、知识更新(迭代扩展知识)。 4. 知识推理:在已有知识库基础上挖掘隐含知识。 在 LLM 落地思考方面,NLP 与知识图谱是主要的落地类型,但存在一些问题。如实现某个 NLP 任务时,需要大量人工标注和长时间训练,交付后较难新增意图和泛化任务,有时使用句式规则方式更好维护更新;构建知识图谱复杂,需与行业专家深度讨论,预见企业长远业务发展制定 schema,周期长且易与业务错位。而 LLM 出现后对 NLP、NLG、KG 有较大提升,带来更好更多的落地可能。 在以问题驱动的 AI+内容创作中,随着学习深入,可使用大模型帮助构建和扩展知识图谱。
2025-02-27
知识图谱
知识图谱是一种揭示实体之间关系的语义网络,可以对现实世界的事物及其相互关系进行形式化地描述。它于 2012 年 5 月 17 日由 Google 正式提出,初衷是提高搜索引擎的能力,增强用户的搜索质量和体验,实现从网页链接到概念链接的转变,支持按主题检索和语义检索。 知识图谱的关键技术包括: 1. 知识抽取: 实体抽取:通过命名实体识别从数据源中自动识别命名实体。 关系抽取:从数据源中提取实体之间的关联关系,形成网状知识结构。 属性抽取:从数据源中采集特定实体的属性信息。 2. 知识表示:包括属性图和三元组。 3. 知识融合: 实体对齐:消除异构数据中的实体冲突、指向不明等不一致性问题。 知识加工:对知识统一管理,形成大规模的知识体系。 本体构建:以形式化方式明确定义概念之间的联系。 质量评估:计算知识的置信度,提高知识质量。 知识更新:不断迭代更新,扩展现有知识,增加新知识。 4. 知识推理:在已有的知识库基础上挖掘隐含的知识。 在国家人工智能产业综合标准化体系建设指南中,知识图谱标准规范了知识图谱的描述、构建、运维、共享、管理和应用,包括知识表示与建模、知识获取与存储、知识融合与可视化、知识计算与管理、知识图谱质量评价与互联互通、知识图谱交付与应用、知识图谱系统架构与性能要求等标准。
2025-02-27
ai的研究是否可以分为神经网络与知识图谱两个大的分类?
AI 的研究可以分为多个不同的分类,并非仅仅局限于神经网络与知识图谱这两个大的分类。 在常见的分类中: 非监督学习:最著名的是聚类,只需提供大量数据,让 AI 自行找出有趣信息。 迁移学习:在任务 A 中学习的内容可用于帮助完成任务 B,在计算机视觉领域有较多应用。 强化学习:根据输出好坏给予奖励或惩罚,利用“奖励信号”让 AI 自动学习最大化奖励,但需要大量数据。 生成对抗网络:由生成器和判别器构成,两者不断训练和竞争,提高生成真实数据的能力,广泛应用于多种领域。 此外,从技术和应用的角度来看: 知识图谱:在搜索等场景中展示关键信息,如人物相关信息、酒店信息等。 在企业中建构人工智能方面,NLG 可作为全新场景讨论,生成内容分为根据任务要求生成标准结果和根据信息进行内容创作两类,分别偏向 B 端和 C 端。NLP 能做的事情较标准化,LLM 的出现对其有提升和冲击。知识图谱领域本身有多种技术路径,与 LLM 可能是互补关系。 对于希望精进的学习者,还需要了解 AI 的背景知识,包括基础理论、历史发展、数学基础(统计学、线性代数、概率论),掌握算法和模型(监督学习、无监督学习、强化学习),学会评估和调优(性能评估、模型调优),以及神经网络基础(网络结构、激活函数)等。
2025-02-12
以知识图谱的形式生成一张涉及大模型概念的知识图谱
以下是一张涉及大模型概念的知识图谱: 大模型 Embedding 技术 句子和文档嵌入 Doc2Vec:扩展了 Word2Vec,能够为整个文档生成统一的向量表示。 Average Word Embeddings:将一段文本中所有单词的嵌入取平均作为整体的文本表示。 Transformers Sentence Embeddings:如 BERT 的标记对应的向量,或者专门针对句子级别的模型如 SentenceBERT。 实体/概念嵌入 Knowledge Graph Embeddings:如 TransE、DistMult、ComplEx 等,用于将知识图谱中的实体和关系嵌入到低维向量空间中。 其他类型 图像 Embeddings:使用卷积神经网络(CNN)进行图像特征提取,得到的特征向量即为图像嵌入。 音频 Embeddings:在语音识别和声纹识别中,将声音信号转化为有意义的向量表示。 用户/物品 Embeddings:在推荐系统中,将用户行为或物品属性映射到低维空间以进行协同过滤或基于内容的推荐。 图 Embeddings:用于学习图结构的表示学习方法,将图中的节点和边映射到低维向量空间中。通过学习图嵌入,可以将复杂的图结构转化为向量表示,以捕捉节点之间的结构和关联关系。这些方法可以通过 DeepWalk、Node2Vec、GraphSAGE 等算法来实现。图嵌入在图分析、社交网络分析、推荐系统等领域中广泛应用,用于发现社区结构、节点相似性、信息传播等图属性。 关键技术标准 机器学习标准:规范机器学习的训练数据、数据预处理、模型表达和格式、模型效果评价等,包括自监督学习、无监督学习、半监督学习、深度学习和强化学习等标准。 知识图谱标准:规范知识图谱的描述、构建、运维、共享、管理和应用,包括知识表示与建模、知识获取与存储、知识融合与可视化、知识计算与管理、知识图谱质量评价与互联互通、知识图谱交付与应用、知识图谱系统架构与性能要求等标准。 大模型标准:规范大模型训练、推理、部署等环节的技术要求,包括大模型通用技术要求、评测指标与方法、服务能力成熟度评估、生成内容评价等标准。 自然语言处理标准:规范自然语言处理中语言信息提取、文本处理、语义处理等方面的技术要求和评测方法,包括语法分析、语义理解、语义表达、机器翻译、自动摘要、自动问答和语言大模型等标准。 智能语音标准:规范前端处理、语音处理、语音接口和数据资源等技术要求和评测方法,包括深度合成的鉴伪方法、全双工交互、通用语音大模型等标准。 计算机视觉标准:规范图像获取、图像/视频处理、图像内容分析、三维计算机视觉、计算摄影学和跨媒体融合等技术要求和评价方法,包括功能、性能和可维护性等标准。 生物特征识别标准:规范生物特征样本处理、生物特征数据协议、设备或系统等技术要求,包括生物特征数据交换格式、接口协议等标准。 国内大模型 通用模型:如文心一言、讯飞星火等,处理自然语言。 垂直模型:专注特定领域如小语种交流、临床医学、AI 蛋白质结构预测等。 大模型的体验 以‘为什么我爸妈结婚的时候没有邀请我参加婚礼’和‘今天我坐在凳子上’为例,体验了 Kimi、通义千问、豆包等大模型的回答和续写能力,发现回复有差异,且大模型基于统计模型预测生成内容。 大语言模型的工作原理 包括训练数据、算力、模型参数,在训练数据一致情况下,模型参数越大能力越强,参数用 b 链形容大小。 Transformer 架构:Transformer 是大语言模型训练架构,17 年出现用于翻译,具备自我注意力机制能理解上下文和文本关联,其工作原理是单词预测,通过嵌入、位置编码、自注意力机制生成内容,模型调教中有控制输出的 temperature。 大模型幻觉:大模型通过训练数据猜测下一个输出结果,可能因错误数据导致给出错误答案,优质数据集对其很重要。 Prompt 的分类和法则 分为 system prompt、user prompt 和 assistant prompt。 写好 prompt 的法则包括清晰说明、指定角色、使用分隔符、提供样本等,核心是与模型好好沟通。 Fine tuning 微调:基于通用大模型,针对特定领域任务提供数据进行学习和调整,以适应特定领域的需求。 RAG 概念:未对 RAG 的具体内容进行详细阐述,仅提出了这个概念。
2025-02-11
我是一名初中老师,我想了解符合我应用的知识图谱的相关知识
很抱歉,目前没有关于初中老师适用的知识图谱的相关具体内容。但一般来说,知识图谱是一种以图形化方式展示知识之间关系的技术。对于初中老师而言,知识图谱可以用于组织和呈现学科知识,帮助学生更好地理解知识点之间的关联。例如在数学学科中,可以将代数、几何等不同领域的知识点通过知识图谱进行关联,让学生清晰看到知识的体系结构。您可以根据教学的具体学科和需求,有针对性地构建和运用知识图谱。
2025-02-09
人工智能历史图谱
人工智能的历史可以追溯到二十世纪中叶。 起初,符号推理流行,带来了专家系统等重要进展,但因提取知识复杂、成本高等问题,20 世纪 70 年代出现“人工智能寒冬”。 随着计算资源便宜和数据增多,神经网络方法在计算机视觉、语音理解等领域展现出色性能,过去十年“人工智能”常被视为“神经网络”的同义词。 在国际象棋对弈程序方面,早期以搜索为基础,发展出阿尔法贝塔剪枝搜索算法,后来采用基于案例的推理,如今基于神经网络和强化学习,能从自身错误中学习,学习速度快于人类。 在创建“会说话的程序”方面,早期如 Eliza 基于简单语法规则,现代助手如 Cortana、Siri 等是混合系统,使用神经网络转换语音、识别意图,未来有望出现完整基于神经网络的模型处理对话,如 GPT 和 TuringNLG 系列神经网络取得成功。 近期神经网络研究在 2010 年左右有巨大发展,大型公共数据集出现,如 ImageNet 催生了相关挑战赛。2012 年卷积神经网络用于图像分类使错误率大幅下降,2015 年微软研究院的 ResNet 架构达到人类水平准确率,此后神经网络在图像分类、对话语音识别、自动化机器翻译、图像描述等任务中表现成功。 在过去几年,大型语言模型如 BERT 和 GPT3 取得巨大成功,得益于大量通用文本数据,可先预训练再针对具体任务专门化。
2024-12-25