Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

调研一下AI安全治理这个方向的国内外的团队和人。包括AI安全治理的子方向，每一个子方向国内外有哪些科研院所的哪些团队在做相关方向的工作，以及这些团队有哪些骨干成员，他们有哪些观点。以及这个团队有哪些治理成果，尽量详细

Answer

以下是关于 AI 安全治理方向的国内外团队和人的相关调研：

国外团队和人员：

  • OpenAI：首席科学家 Ilya 对模型安全较为关注，提出了通过“指令层次结构”来修复“忽略所有先前指令“攻击的方法，并已在 GPT-40 Mini 中得到部署。
  • Anthropic：在多重越狱方面的工作表明了“警告防御”的潜力，在前面和后面添加警告文本，以警示模型不要被越狱。
  • Gray Swan AI 的安全专家：试用“断路器”，专注于重新映射有害表示，效果比标准拒绝训练更好。
  • 图灵奖得主 Hinton：支持对 AI 监管，认为大模型及其驱动的 AI 必须引入安全性监管，防止其失控或对人类造成伤害，并在网上签署了联名公开信。
  • 英国：创建了世界上第一个人工智能安全研究所 AISA，具有在部署前对高级模型进行评估、建立国家能力并开展研究、协调国际合作伙伴等核心功能，还发布了 Inspect 框架用于 LLM 安全评估，并宣布与美国等效机构签署谅解备忘录，计划在美国旧金山设立办事处。

国内团队和人员：目前调研内容中未提及国内相关团队和人员的具体信息。

在观点方面，Bengio、Hinton、姚期智等著名研究者认为大模型及其驱动的 AI 必须引入安全性监管，确保大模型是 Safety 的，防止其失控或对人类造成伤害，并签署了联名公开信表达对于 AI 失控的担忧，呼吁学术界和工业界对大模型进行监管。吴恩达和 Lecun 则认为模型的能力不足以使其脱离人类的限制。

治理成果方面，英国通过其高级研究与发明机构（ARIA）花费 5900 万英镑开发“守门员”，负责了解和减少在能源、医疗保健和电信等关键领域中其他人工智能代理的风险。英国政府还计划设立一个“AI 安全研究实验室”。美国能源部一直在利用其内部测试床评估人工智能可能对关键基础设施和能源安全带来的风险。LLM 测试初创公司 Haize Labs 与 Hugging Face 合作创建了首个红队抵抗组织基准，汇编了常用的红队数据集并根据模型评估它们的成功率。Scale 根据私人评估推出了自己的稳健性排行榜。

Content generated by AI large model, please carefully verify (powered by aily)

References

从 0 到 1 了解大模型安全，看这篇就够了

第二类是白盒攻击：在知道模型参数的情况下对模型进行攻击。例如，下面的工作就是基于梯度的攻击，它自动地找出一段最能引起LLM对毒性问题做出肯定回答的字符串。下面是一些针对越狱问题可以采用的防御手段：接下来是未来与展望;11月以来,LLM最大的一个事件就是OPENAI首席科学家ilya联合董事会解雇了OPENAI的灵魂人物之一：sam altman据匿名人士透露,解雇sam altman正是因为ilya认为过快的商业化将会导致模型安全失控,产生不安全的AI或大模型为什么ilya会有AI必须安全的思想呢,这就不得不提到图灵奖得主,被誉为DL三巨头之一的hinton,hinton是ilya的老师,同时也是支持对AI监管的重要人物之一。bengio,hinton,姚期智等著名研究者认为,大模型及其驱动的AI必须引入安全性监管,确保大模型是Safety的,防止其失控或对人类造成伤害.并且他们在网上签署了联名公开信,用于表达对于AI失控的担忧,呼吁学术界和工业界对大模型进行监管。在10月份,吴恩达以及hinton lecun bengio对于AI安全的问题在社交媒体上进行了激烈的探讨,hinton教授和bengio教授都认为AI安全至关重要而吴恩达和lecun则认为,模型的能力不足以使其脱离人类的限制这场争论的开端就是这封联名信从更长远的角度来说,AI究竟是会成为终结者系列电影中失控，屠杀人类的机器人，还是会像超能陆战队一样，成为我们的伙伴呢？

2024人工智能报告｜一文迅速了解今年的AI界都发生了什么？

随着AI不断发展，AI应用中的新功能带来新漏洞，现有企业，研究学者已加强对“越狱”的研究。OpenAI提出了通过“指令层次结构”来修复“忽略所有先前指令“攻击的方法。这确保LLM不会为用户和开发人员的指令分配同等优先级。这已在GPT-40 Mini中得到部署。Anthropic在多重越狱方面的工作表明了“警告防御”的潜力，它在前面和后面添加警告文本，以警示模型不要被越狱。与此同时，Gray Swan AI的安全专家已试用“断路器”。它不是试图检测攻击，而是专注于重新映射有害表示，这样模型要么拒绝遵守，要么产生不连贯的输出。他们发现这比标准拒绝训练效果更好。LLM测试初创公司Haize Labs与Hugging Face合作创建了首个红队抵抗组织基准。它汇编了常用的红队数据集并根据模型评估它们的成功率。同时，Scale根据私人评估推出了自己的稳健性排行榜。除了越狱之外，还可能存在更隐蔽的攻击虽然越狱通常是安全挑战中早已公开的事实，但潜在的攻击面要广泛得多，涵盖从训练到偏好数据和微调的所有内容。例如伯克利和麻省理工学院的研究人员创建了一个看似无害的数据集，但它会训练模型响应编码请求产生有害输出。当应用于GPT-4时，该模型始终按照有害指令行事，同时避开常见的保护措施。安全研究LLM能否提高自身可靠性？

2024人工智能报告｜一文迅速了解今年的AI界都发生了什么？

全球治理英国创建了世界上第一个人工智能安全研究所，美国迅速跟进世界首个人工智能安全研究所AISA有三个核心功能：在部署前对高级模型进行评估；建立国家能力并开展研究；协调国际合作伙伴。AISA还发布了Inspect，一个用于LLM安全评估的框架，涵盖核心知识、推理能力和自主能力等方面。英国宣布与美国等效机构签署谅解备忘录，双方同意共同开发测试，并计划在美国旧金山设立办事处。政府急于填补关键国家基础设施中的漏洞英国通过其高级研究与发明机构（ARIA），花费了5900万英镑来开发一个“守门员”——一种先进的系统，负责了解和减少在能源、医疗保健和电信等关键领域中其他人工智能代理的风险。英国政府还报道称计划设立一个“AI安全研究实验室”，旨在汇集政府关于敌对国家使用进攻性AI的知识。美国能源部一直在利用其内部测试床评估人工智能可能对关键基础设施和能源安全带来的风险。随着攻击面扩大，开发人员加大了对“越狱”的研究

Others are asking
AI安全治理这个方向的国内外的团队和人
以下是 AI 安全治理方向的国内外团队和人员相关信息： 美国：拜登签署了 AI 行政命令，美国政府已就 AI 治理框架与多国进行了广泛协商，包括澳大利亚、巴西、加拿大、智利、欧盟、法国、德国、印度、以色列、意大利、日本、肯尼亚、墨西哥、荷兰、新西兰、尼日利亚、菲律宾、新加坡、韩国、阿联酋和英国等。此外，美国迅速跟进世界首个人工智能安全研究所 AISA，美国能源部也一直在利用其内部测试床评估人工智能可能对关键基础设施和能源安全带来的风险。 英国：创建了世界上第一个人工智能安全研究所 AISA，AISA 有在部署前对高级模型进行评估、建立国家能力并开展研究、协调国际合作伙伴等三个核心功能，还发布了用于 LLM 安全评估的框架 Inspect。英国通过其高级研究与发明机构（ARIA）花费 5900 万英镑开发“守门员”系统，负责了解和减少关键领域中其他人工智能代理的风险，还计划设立“AI 安全研究实验室”。 OpenAI：OpenAI LP 约有 100 名员工，分为技术能力（推动 AI 系统功能发展）、安全保障（确保系统符合人类价值观）和政策治理（确保适当治理系统）三个主要方向。
2025-02-20
国际做AI安全 治理的团队
以下是一些国际上从事 AI 安全治理的团队和相关情况： 英国创建了世界上第一个人工智能安全研究所（AISA），其具有在部署前对高级模型进行评估、建立国家能力并开展研究、协调国际合作伙伴等三个核心功能，还发布了用于 LLM 安全评估的框架 Inspect。英国宣布与美国等效机构签署谅解备忘录，并计划在美国旧金山设立办事处。此外，英国通过其高级研究与发明机构（ARIA）花费 5900 万英镑开发“守门员”系统，负责了解和减少关键领域中其他人工智能代理的风险，还报道称计划设立一个“AI 安全研究实验室”，旨在汇集政府关于敌对国家使用进攻性 AI 的知识。 美国能源部一直在利用其内部测试床评估人工智能可能对关键基础设施和能源安全带来的风险。 需要注意的是，全球在 AI 治理上的合作存在尴尬局面，承诺多而实际行动少。同时，国家和地区法规存在角力，美国和欧盟等国家或地区正在通过有争议的国家层面立法。
2025-02-20
适合团队一起应用开发的AI
以下是一些适合团队一起应用开发的 AI 类型及示例场景： 1. 智能体应用（Assistant）： 简介：基于上下文对话，自主决策并调用工具来完成复杂任务的对话式 AI 应用。通过简单配置可快速上手实现基本功能。 示例场景：客户服务（了解诉求、解决问题，如查询订单状态、处理退款等）、个人助理（管理日程安排、提醒事项、发送邮件等）、技术支持（了解技术问题，提供解决方案，排除故障）。 参考链接： 2. 工作流应用（Workflow）： 简介：将复杂任务拆解为若干子任务，以提高工作流程可控性的流程式 AI 应用。用户可通过拖拽节点创建自定义任务流程。 示例场景：AI 翻译（实现初步翻译、内容审校、再次优化的翻译流程，提升翻译质量）。 参考链接： 3. 智能体编排应用： 简介：支持多智能体协作的流程式 AI 应用，能编排多个智能体的执行逻辑，使多个智能体自动规划和执行任务。 示例场景：综合调研报告（组建报告撰写团队，包括负责写作意图识别、大纲书写、总结摘要、智能绘图、事件研判、段落撰写、文笔润色等任务的智能体）、软件开发团队（组建智能体开发团队，包括负责需求分析、系统设计、编码实现、测试调试、文档编写等任务的智能体）。 参考链接： 此外，还有以下摊位展示的相关 AI 应用： 1. 简单高效地构建 AI+装修，AI+行业应用平台，并进行模型的训练和微调。 2. ai+家庭教育咨询与体验服务。 3. 摄影+AI 效果叠加。 4. ai 模型部署，使用，交流的一站式平台。 5. 自传语伴：帮助普通人轻松撰写自传，用户通过与 AI 聊天讲述人生故事，生成自传。 在 6 月 3 日的参赛 bot 试玩分享中，讨论了多个团队的相关产品，包括： 1. AI 秒学团队的儿童绘本故事生成：将新闻转化为绘本故事，结合李普村的 AI 会话和分镜，使用 ByteDance AI 画图。 2. Lux 珀尔团队的卡通头条：在海外版搜索新闻应用中，根据用户选择生成不同风格的图片。 3. 吴琪的 AI 工具：通过简单提问生成小朋友喜欢的图片。 4. 核心搭子团队的产品：帮助父母辟谣的 AI，可识别三种体裁，根据疑问生成对应回复并保存知识，有热情和冷淡回复两种模式。 5. 学以致用团队的产品：提供日本市场实时信息的工具。 6. 李小白聊天机器人：具备陪聊、诗句生成、新闻展示等功能。 7. 两款智能写作机器人：喵喵日报（从 100 条新闻中挑选 5 条科技咨询定时推送，可根据用户问题自动搜索和重新组稿）、芋头小宝（帮助用户列出文章框架、生成配图以及汇总新闻等）。
2025-02-18
角色：你是一名房地产开发公司的总经理 背景：现在要在公司内部推广AI工具的使用，通过具体AI工具解决公司内部各部门具体问题，来提升工作效率。 任务：请你完成年度AI提升工作效率的工作策划， 要求：工作策划要有目标、行动计划、团队人员需求及分工、具体AI工具及对应解决的问题、需要费用明细及资源需求、有哪些风险点
由于您提供的内容中没有具体的相关信息，以下为您生成一份较为通用的房地产开发公司年度 AI 提升工作效率的工作策划示例，您可以根据实际情况进行调整和完善。 一、目标 通过在公司内部推广 AI 工具的使用，在本年度内实现各部门工作效率提升 30%以上，降低人力成本 15%左右，提高项目质量和客户满意度。 二、行动计划 1. 第一季度 进行市场调研，了解适合房地产开发行业的 AI 工具。 组织内部培训，让员工初步了解 AI 工具的应用。 2. 第二季度 针对各部门需求，选择并引入相应的 AI 工具进行试点应用。 建立数据收集和分析机制，为 AI 工具的优化提供支持。 3. 第三季度 对试点部门的应用效果进行评估和总结。 根据评估结果，对 AI 工具进行调整和优化。 4. 第四季度 在全公司范围内推广成熟的 AI 工具应用。 对全年的 AI 应用效果进行总结和评估。 三、团队人员需求及分工 1. 成立 AI 推广小组 组长：负责整体工作的规划和协调。 技术专家：负责 AI 工具的选型、配置和技术支持。 培训师：负责组织员工培训和指导使用。 数据分析师：负责收集和分析数据，为工具优化提供依据。 部门联络人：每个部门指定一名联络人，负责与推广小组沟通本部门的需求和问题。 四、具体 AI 工具及对应解决的问题 1. 智能客服系统 解决客户咨询响应不及时的问题，提高客户满意度。 2. 项目管理 AI 工具 优化项目进度安排和资源分配，提高项目管理效率。 3. 市场分析 AI 工具 精准分析市场趋势和客户需求，为项目定位提供依据。 五、需要费用明细及资源需求 1. 费用明细 AI 工具采购费用：万元。 培训费用：万元。 技术支持和维护费用：万元。 数据采集和分析费用：万元。 2. 资源需求 服务器和存储设备，以支持 AI 工具的运行和数据存储。 足够的网络带宽，确保数据传输的流畅性。 六、风险点 1. 员工对新技术的接受度和适应能力可能较低，需要加强培训和引导。 2. AI 工具的应用效果可能不如预期，需要及时调整和优化。 3. 数据安全和隐私保护可能存在风险，需要建立完善的防护机制。
2025-02-13
一、学习内容 1. AI工具的操作：了解并掌握至少一种AI工具的基本操作，如智能代码、流程管理、智能报表、数据分析、图像识别、文字生成等。 2. AI工具在本职工作的应用：思考并提出AI工具如何帮助你更高效地完成本职工作，包括但不限于提高工作效率、优化工作流程、节约成本、提升交付质量等。 3. AI工具在非本职工作的潜力推演：探索AI工具如何在你的非本职工作领域发挥作用，比如在公司管理、团队领导、跨部门合作、团队发展以及市场研究等方面。提出这些工具如何被有效利用，以及它们可能带来的改
以下是关于学习 AI 的相关内容： 一、AI 工具的操作 要了解并掌握至少一种 AI 工具的基本操作，如智能代码、流程管理、智能报表、数据分析、图像识别、文字生成等。 二、AI 工具在本职工作的应用 思考并提出 AI 工具如何帮助更高效地完成本职工作，包括但不限于提高工作效率、优化工作流程、节约成本、提升交付质量等。 三、AI 工具在非本职工作的潜力推演 探索 AI 工具在非本职工作领域，如公司管理、团队领导、跨部门合作、团队发展以及市场研究等方面的作用，思考如何有效利用这些工具以及它们可能带来的改变。 四、学习路径 1. 对于不会代码的学习者： 20 分钟上手 Python+AI，在 AI 的帮助下可以完成很多基础的编程工作。若想深入，需体系化了解编程及 AI，至少熟悉 Python 基础，包括基本语法（如变量命名、缩进等）、数据类型（如字符串、整数、浮点数、列表、元组、字典等）、控制流（如条件语句、循环语句）、函数（定义和调用函数、参数和返回值、作用域和命名空间）、模块和包（导入模块、使用包）、面向对象编程（类和对象、属性和方法、继承和多态）、异常处理（理解异常、异常处理）、文件操作（文件读写、文件与路径操作）。 2. 新手学习 AI： 了解 AI 基本概念，建议阅读「」部分，熟悉术语和基础概念，浏览入门文章。 开始 AI 学习之旅，在「」中找到为初学者设计的课程，推荐李宏毅老师的课程，也可通过在线教育平台（如 Coursera、edX、Udacity）按自己节奏学习并获证书。 选择感兴趣的模块深入学习，掌握提示词技巧。 实践和尝试，理论学习后通过实践巩固知识，在知识库分享实践作品和文章。 体验 AI 产品，如 ChatGPT、Kimi Chat、智谱、文心一言等聊天机器人，了解其工作原理和交互方式。 五、工具推荐 1. Kimi 智能助手：ChatGPT 的国产平替，上手体验好，适合新手入门学习和体验 AI。不用科学网、不用付费、支持实时联网，是国内最早支持 20 万字无损上下文的 AI，对长文理解做得好，能一次搜索几十个数据来源，无广告，能定向指定搜索源（如小红书、学术搜索）。 PC 端： 移动端（Android/ios）： 2. 飞书：汇集各类 AI 优质知识库、AI 工具使用实践的效率工具，助力人人成为效率高手。
2025-02-07
企业落地AI的怎么开展，有哪些团队，场景一般是哪些
企业落地 AI 可以按照以下步骤开展： 1. 启动试点项目来获得动能：选择几个小项目，在 6 12 个月内展示成效，项目可以内部进行或外包。尽量选择能够成功而非最有价值的项目。 2. 建立公司内部的人工智能团队：搭建集中统一的 AI 团队，再从中挑选人员协助不同业务部门，便于统一管理。同时建立全公司范围内的平台，如软件平台、工具或数据基础设施。 3. 提供广泛的人工智能培训：高层了解 AI 能为企业做什么，进行策略制定和资源分配；部门领导了解如何设置项目方向、资源分配与监控进度；培养内部工程师，开展相关项目。 4. 制定人工智能策略：深度了解 AI 并结合自身业务制定策略，设置与 AI 良性循环相一致的公司策略，如网络搜索或农业公司的案例。同时考虑创建数据策略，如战略数据采集，建造统一的数据仓库。 企业落地 AI 常见的场景包括： 1. 智能扬声器：包括探测触发词或唤醒词、语音识别、意图识别、执行相关程序等环节。 2. 自动驾驶汽车：涉及汽车检测、行人检测、运动规划等方面，需要多种传感器和技术。 人工智能团队的角色通常有： 1. 软件工程师：负责软件编程工作，在团队中占比 50%以上。 2. 机器学习工程师：创建映射或算法，搜集和处理数据。 3. 机器学习研究员：开发机器学习前沿技术，可能需要发表论文或专注研究。 4. 应用机器学习科学家：从学术文献中寻找技术解决问题。 5. 数据科学家：检测和分析数据。 6. 数据工程师：整理数据，确保其安全、易保存和读取。 7. AI 产品经理：决定用 AI 做什么，判断其可行性和价值。
2025-01-27
在日常工作中，AI可以做什么 ？
在日常工作中，AI 具有广泛的应用，主要包括以下方面： 1. 医疗保健： 医学影像分析，辅助诊断疾病。 加速药物研发，识别潜在药物候选物和设计新治疗方法。 提供个性化医疗方案。 控制手术机器人，提高手术精度和安全性。 2. 金融服务： 风控和反欺诈，降低金融机构风险。 评估借款人信用风险，辅助贷款决策。 分析市场数据，辅助投资决策。 提供 24/7 客户服务，回答常见问题。 3. 零售和电子商务： 分析客户数据，推荐可能感兴趣的产品。 改善搜索结果，提供个性化购物体验。 动态调整产品价格。 提供聊天机器人服务，解决客户问题。 4. 制造业： 预测机器故障，避免停机。 检测产品缺陷，提高产品质量。 优化供应链，提高效率和降低成本。 控制工业机器人，提高生产效率。 5. 交通运输： 智能推荐路线，预测交通拥堵。 此外，AI 还能在工作中帮助人们从单调重复的任务中解放出来，例如输入数据、填写文件等，让人们有更多时间从事专业训练相关的工作。同时，流媒体服务利用 AI 推荐节目和影片，导航软件利用 AI 规划最佳路线等，这些都是 AI 在日常生活中的应用实例。
2025-02-20
我是ai小白，该如何学习ai。并利用ai赚钱
以下是为 AI 小白提供的学习 AI 并利用其赚钱的建议： 一、学习 AI 1. 了解基本概念 阅读「」，熟悉 AI 的术语和基础概念，包括人工智能的主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 浏览入门文章，了解 AI 的历史、当前应用和未来发展趋势。 2. 开始学习之旅 参考「」中的课程，特别推荐李宏毅老师的课程。 通过在线教育平台（如 Coursera、edX、Udacity）按照自己的节奏学习，并争取获得证书。 3. 选择感兴趣的模块深入学习 AI 领域广泛，如图像、音乐、视频等，可根据兴趣选择特定模块深入学习。 掌握提示词技巧，因其上手容易且实用。 4. 实践和尝试 理论学习后进行实践，巩固知识。 尝试使用各种产品制作作品，并在知识库分享实践成果。 5. 体验 AI 产品 与 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人互动，了解其工作原理和交互方式。 二、利用 AI 赚钱 目前利用 AI 赚钱的方式多样，例如： 1. 开发 AI 相关应用或服务，满足特定市场需求。 2. 利用 AI 提升工作效率，在现有工作中创造更多价值从而获得更高收入。 3. 为企业提供 AI 咨询和解决方案服务。 但要注意，成功利用 AI 赚钱需要深入的知识和技能积累，以及对市场需求的敏锐洞察。 此外，还可以参考《雪梅 May 的 AI 学习日记》，其中作者分享了适合纯小白的学习模式，即输入→模仿→自发创造。同时，学习资源大多免费开源，可减轻学习成本。另外，《【AI 学习笔记】小白如何理解技术原理与建立框架（通俗易懂内容推荐）》中也有关于 AI 技术原理和相关概念的详细介绍，有助于建立知识框架。
2025-02-20
AI 阅读
以下是为您整理的关于 AI 阅读的相关内容： 1. 1 月 19 日的 Xiaohu.AI 日报中提到： AWPortrait 1.3 人像模型更新，优化了棚拍质感、皮肤肌理，增强户外场景优化，提高对面部表情的识别。 Meta AI 的自奖励语言模型采用新型训练方法，自生成训练数据，在 AlpacaEval 2.0 排行榜上表现优异。 微软推出为学生设计的 AI 阅读教练工具，能创造 AI 生成故事，通过语音转文本 AI 分析阅读流利性。 Stefano Rivera 的 AI 交互式“MR 木偶秀”利用多种 AI 工具，包括 3D 渲染、场景构建、音乐和语音技术。 KREA AI 实时生图有新功能，提供文本到图像、背景去除和橡皮擦工具，可实时生成图像提高创作便捷性。 推荐开源知识库程序 Outline，其特点为美观、实时协作、功能丰富，支持 Markdown、即时搜索、与 Slack 集成等。 2. GPT1 到 Deepseek R1 所有公开论文《The 2025 AI Engineer Reading List》中提到：挑选了 50 篇涉及人工智能工程 10 个领域（LLMs、基准、提示、RAG、代理、CodeGen、视觉、语音、扩散、微调）的论文/模型/博客。如果从零开始，可以从此处入手。该系列中所有演讲者的精选文章为 2024 年做了总结，因开办论文俱乐部的文章，多次被要求为从零开始的人推荐阅读清单。这里为人工智能工程师策划了“必读书目”。
2025-02-20
ai入门学习
以下是新手学习 AI 的全面指南： 1. 了解 AI 基本概念： 建议阅读「」部分，熟悉 AI 的术语和基础概念，包括其主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅： 在「」中，您将找到一系列为初学者设计的课程，特别推荐李宏毅老师的课程。 通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 3. 选择感兴趣的模块深入学习： AI 领域广泛（比如图像、音乐、视频等），您可以根据自己的兴趣选择特定的模块进行深入学习。 一定要掌握提示词的技巧，它上手容易且很有用。 4. 实践和尝试： 理论学习之后，实践是巩固知识的关键，尝试使用各种产品做出您的作品。 在知识库提供了很多大家实践后的作品、文章分享，欢迎您实践后的分享。 5. 体验 AI 产品： 与现有的 AI 产品进行互动是学习 AI 的另一种有效方式。尝试使用如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人，了解它们的工作原理和交互方式。 此外，还有以下相关的学习内容： 1. 入门指南：强化学习： 原文地址：https://mp.weixin.qq.com/s/pOO0llKRKL1HKG8uz_Nm0A 学习深度强化学习的第一个算法可以选择 DQN，并以搞懂它作为入门目标。 2. 写给不会代码的您：20 分钟上手 Python+AI： 在深入学习 AI 时，编程可能会带来挑战，但这份指南旨在让大家更快掌握 Python 和 AI 的相互调用。 您可以在接下来的 20 分钟内，循序渐进地完成以下任务：完成一个简单程序、完成一个爬虫应用抓取公众号文章、完成一个 AI 应用为公众号文章生成概述。 关于 Python：Python 拥有丰富的标准库，还可以通过 pip 工具从类似 GitHub 的平台订购新的工具，在 AI 领域被广泛使用。 关于 OpenAI API：OpenAI 通过 ChatGPT 提供开箱即用的服务，也通过 OpenAI API 提供更加灵活的服务，可通过代码调用完成更多自动化任务。
2025-02-20
免费生成音乐的ai 软件
以下是一些免费生成音乐的 AI 软件： ：与 DAW 集成的生成音乐工具，100%免版权费。 ：为创意媒体提供的伦理音乐 AI。 ：AI 音乐创作平台和探索声音宇宙的个人音乐制作人。 ：通过音乐赋予您新的创作和表达方式。 ：使用 AI 改变您的歌唱声音。 ：为您的创造力和生产力提供 AI 音乐。 ：使用 AI 生成声音、音效、音乐、样本、氛围等。 ：带有 AI 助手并支持本地 VST 插件的网页 DAW。 ：Audacity®音频编辑器的网页版。 此外，Riffusion 推出了 FUZZ 这一全新音乐生成模型，基于扩散模型，支持永久免费开放（只要服务器能撑住）。FUZZ 通过生成声谱图（Spectrogram）并转换为音频，可输入提示词（音乐类型、乐器、情绪等）生成风格匹配的音乐，支持无缝风格过渡，如从“爵士小号独奏”平滑切换到“电子舞曲节奏”。
2025-02-20
雪梅May的AI学习笔记
以下是雪梅 May 的 AI 学习笔记相关内容： 1. 作者介绍： 适合纯 AI 小白，可参考此日记，学习模式为输入→模仿→自发创造。 学习内容因 AI 节奏快可能不适用，可去 waytoAGI 社区找感兴趣的最新内容。 学习时间有空就进行，目前作者进行到 90 天。 2024 年保持较好学习状态，若觉得难做到不用有压力。 学习资源免费开源。 2. 第一阶段： DAY5 2024.5.26：开始使用 kimi，抱着每天问 100 个问题的心态调整思考模式。 DAY6 2024.5.31：应朋友推荐学习吴恩达生成式人工智能课程，在 B 站有资源，抽空 3 天学完。 DAY7 2024.6.1：探索用 AI 解决真实问题，如写行业研究报告。 3. 2024 年 12 月 31 日历史更新（归档）： 雪梅 May 挑战 100 天与 AI 学习的过程，分为系统性学习、模仿实践、研究 Prompt 提示词阶段，学习路线图适合新人参考。 Meta 首席 AI 科学家 LeCun 访谈，指出 AI 根本局限，阐述不同于主流 LLM 的技术路径。 少卿的《AI 帮你赢，谈双重主体性》，强调将 AI 视为方法，提供实用应用框架。
2025-02-20
未来5年AI的发展方向
未来 5 年 AI 的发展方向可能包括以下几个方面： 1. 模型发展：从小模型阶段向更强大的模型演进，如 GPT 的出现标志着 AGI 的拐点，Sora 的出现打开了 AGI 的大门，未来可能加大算力和训练，与具身机器人结合，加速智能提升。 2. 能力提升：从能与人类交流到具备对世界力量的感知和与物理世界互动的能力，逐步发展到强人工智能。 3. 应用拓展：在关键领域改变成本结构和提高生产力，如降低医疗、教育等领域的成本，使服务更易获得和负担得起。AI 涉及的领域不断扩大，应用范围更加广泛。 4. 社会影响：可能带来更好的教育、更健康的人口和更有生产力的人，解放人力去解决更重要的问题，创造更美好的社会。但也需要政府和民营企业共同努力，进行人员再培训和能力增强，以应对可能的就业机会变化。 5. 技术突破：如没有编码能力的人独自创建的应用程序或网站走红，OpenAl o1 的开源替代品在推理基准测试中超越它，苹果设备上的研究成果加速个人设备上 AI 的发展等。同时，在一些领域也存在挑战，如对人形机器人的投资水平可能下降，挑战者难以对 NVIDIA 的市场地位造成重大打击等。此外，还可能面临国家安全审查、立法实施等方面的问题。
2025-02-20
AIagent的发展方向
AI Agent 被认为是大模型未来的主要发展方向之一，其发展具有以下特点和阶段： 从原理上看，中间的“智能体”通常是 LLM 或大模型，为其增加了工具、记忆、行动、规划四个能力。目前行业里主要用到的是 langchain 框架，它通过代码或 prompt 的形式将 LLM 与 LLM 之间以及 LLM 与工具之间进行串接。 在人工智能的发展历程中，AI Agent 并非一蹴而就，其发展可分为几个阶段，并受到符号主义、连接主义、行为主义的影响。在人工智能的黎明时期，符号人工智能作为主导范式，以对符号逻辑的依赖著称，代表之作是基于知识的专家系统。其特点是基于逻辑和规则系统，使用符号来表示知识，通过符号操作进行推理。优点是推理过程明确、可解释性强，缺点是知识获取困难、缺乏常识、难以处理模糊性。时间为 20 世纪 50 70 年代。 近期出现的各类 AI 搜索引擎不断颠覆传统搜索引擎，如 perplexity.ai、metaso、360 搜索、ThinkAny 等。AI Agent 在辅助高效处理信息和简便信息表达方面表现出色，例如智能摘要能辅助快速筛选信息，自然语言描述可生成美观可用的图片。在工作流方面，每个人应根据自身情况找到适合的工具，如产品经理可使用 AI 进行用户画像、竞品调研、设计产品测试用例、绘制产品功能流程图等。关于 AI Agent 的未来，曾被认为异想天开的想法都可能成为现实，技术迭代会不断向前。
2025-02-15
现在AI发展的主要方向现状说明
目前 AI 的发展主要呈现以下几个方向和现状： 1. 技术范式的革新：传统的 Scaling Law 遭遇瓶颈，OpenAI 的 o 系列模型开创了从“快思考”到“慢思考”训推双管齐下的新道路。 2. 多模态能力的跃迁：从 Sora 的视频生成到原生多模态的崛起，再到世界模型的尝试，AI 开始真正理解和模拟立体世界。例如，除传统的文生视频、图生视频能力迭代外，当前的主要技术发展还围绕着通过转绘改变画风、视频内人物识别和替换方向。 在服务头部创作者方面，未来会逐渐转向编辑器能力增强，强化视频细节可控性，并逐渐将剪辑、音效生成匹配等后期制作任务智能化。 影视后期方向，未来可以将动捕演员的表演直接转化为虚拟角色，提高特效制作效率。 专业领域，创作者未来可以快速通过草图分镜验证效果。 随着实时生成能力的进一步提升，生成成本的下降，AI 实验性艺术在博物馆、展览等互动应用将会增多。 在 C 端大众消费侧，看好 AI 视频在小说、网文阅读、短情景剧等内容消费方向发挥潜力；人物识别和替换也可以衍生电商平台虚拟试衣间能力。 Viggle、DomoAI 的产品中的模板套用能力若以更低成本开放在短视频产品中，可能会带来短视频平台效果模板新的爆发周期。 3. 从“训练时代”向“推理时代”的转变：市场的关注焦点从去年基础模型能力的提升，到今年模型的落地应用和场景化。AI 的能力需要转化为实际的产品和服务，满足用户需求才是核心。 4. 前沿技术点： 数学基础：线性代数、概率论、优化理论等。 机器学习基础：监督学习、无监督学习、强化学习等。 深度学习：神经网络、卷积网络、递归网络、注意力机制等。 自然语言处理：语言模型、文本分类、机器翻译等。 计算机视觉：图像分类、目标检测、语义分割等。 前沿领域：大模型、多模态 AI、自监督学习、小样本学习等。 无论是技术研究还是应用实践，数学和编程基础都是必不可少的。同时需要紧跟前沿技术发展动态，并结合实际问题进行实践锻炼。
2025-02-15
AI 在生成单元测试代码方面有什么新的进展与方向？
AI 在生成单元测试代码方面有以下新的进展与方向： 1. 基于规则的测试生成： 测试用例生成工具：如 Randoop 可基于代码路径和规则为 Java 应用程序生成测试用例，Pex 是微软开发的能为.NET 应用自动生成高覆盖率单元测试的工具。 模式识别：Clang Static Analyzer 利用静态分析技术识别代码模式和潜在缺陷来生成测试用例，Infer 是 Facebook 开发的能自动生成测试用例以帮助发现和修复潜在错误的工具。 2. 基于机器学习的测试生成： 深度学习模型：DeepTest 利用深度学习模型为自动驾驶系统生成测试用例以模拟不同驾驶场景并评估系统性能，DiffTest 基于对抗生成网络（GAN）生成测试用例来检测系统的脆弱性。 强化学习：RLTest 利用强化学习生成测试用例，通过与环境交互学习最优测试策略以提高测试效率和覆盖率，A3C 是基于强化学习通过策略梯度方法生成高质量测试用例的工具。 3. 基于自然语言处理（NLP）的测试生成： 文档驱动测试生成：Testim 是 AI 驱动的测试平台，能通过分析文档和用户故事自动生成测试用例以减少人工编写时间，Test.ai 利用 NLP 技术从需求文档中提取测试用例以确保测试覆盖业务需求。 自动化测试脚本生成：Selenium IDE 结合 NLP 技术可从自然语言描述中生成自动化测试脚本，Cucumber 使用 Gherkin 语言编写的行为驱动开发（BDD）框架能通过解析自然语言描述生成测试用例。 此外，峰瑞资本投资的 AI Coding 创业公司 Babel 专注于 AI Agent 的研发，其核心产品 Test Gru 已在美国上线，能为客户自动生成单元测试，客户侧 PR 接受率约为 70%。还有如 Cursor 等工具，可借助其生成测试代码提升代码可靠性，但使用时也需注意方法，如使用 Git 管理代码版本、对 AI 代码进行 Review 等。
2025-02-14
基于大模型的应用开发主要包括哪些方向和相应的技术栈？
基于大模型的应用开发主要包括以下方向和相应的技术栈： IaaS 层： 百度智能云百舸 AI 异构计算平台，解决大模型应用中的算力问题，提供从集群创建到模型训练、推理的完整算力管理方案，通过引入自动故障预测与任务迁移技术，确保高达 99.5%的有效训练时间，为大模型应用落地提供强大的算力支撑。 PaaS 层： 百度智能云千帆大模型平台，解决大模型的调用、开发和应用开发问题，支持调用文心大模型全系列模型，提供全面的工具链，支持定制化的模型开发。通过 AppBuilder，提供企业级 Agent 和企业级 RAG 开发能力，还能将企业应用中产生的数据经过评估和对齐进一步反馈到模型中，形成良性循环，持续优化模型性能。 SaaS 层： 百度智能云提供丰富的常用应用供客户选择，如数字人平台曦灵、智能客服应用客悦等。 此外，还有一些其他的技术栈和框架，如： Langchain：是当前大模型应用开发的主流框架之一，提供了一系列的工具和接口，其核心在于“链”概念，包括 Model I/O、Retrieval、Chains、Agents、Memory 和 Callbacks 等组件，生态系统还包括 LangSmith、LangGraph 和 LangServe 等工具。 Ollama：是一个开箱即用的用于在本地运行大模型的框架。
2025-02-14
非结构化数据治理
以下是关于非结构化数据治理的相关信息： 在 AI 新产品方面： JamGPT AI Debug 小助手：https://jam.dev/jamgpt ChatGPT2D 用于生成二维知识图谱：https://www.superusapp.com/chatgpt2d/ Motörhead by metal 是用于 LLM 的开源内存和信息检索服务器：https://github.com/getmetal/motorhead 在网页抓取工具方面： Hexomatic：https://hexomatic.com/ WebscrapeAI：https://webscrapeai.com/ Kadoa：https://www.kadoa.com/ 在个人数据处理方面： Bloks 可自动处理个人笔记、任务列表和会议记录：https://www.bloks.app/ Lettria 用于处理个人文本材料：https://www.lettria.com/ Quadratic 可使用 AI、Python、SQL 和公式分析个人数据：https://www.quadratichq.com/?ref=producthunt 在向量数据库方面，以电影网站为例，传统搜索在处理语义搜索和对非结构化数据（如图像、音频等）的相似性搜索时存在问题，比如用户输入“电影像《星球大战》一样令人兴奋”或上传一张电影《银翼杀手》的海报，传统关系数据库或 Excel 难以理解和返回相关搜索结果。 在金融行业，非结构化数据主要涉及报告（如年度报告、季度报告等公司财务报告）、公告（如董事会公告、监事会公告、股东大会公告等）、上市资料（如招股说明书等公司上市相关文件）。
2025-01-24
人工智能的场景应用及其对社会治理的新挑战，注意场景应用和社会治理的对应，同时突出新挑战
以下是关于人工智能的场景应用及其对社会治理新挑战的相关内容： 场景应用： 医疗领域：如利用 AI 技术预测蛋白质结构，加速科学研究和救命药物的开发，在对抗疟疾、抗生素耐药性和塑料垃圾等方面取得巨大进展。 气候领域：通过 AI 技术应对气候变化。 对社会治理的新挑战： 可能产生新的风险，如使用 AI 可能带来的未知问题。 复杂的 AI 技术可能引发公众的不安。 涉及数据获取、计算能力、可持续性以及内容生产者和 AI 开发者权利平衡等重要问题，需要综合考虑。 需确保在保护权利持有者和支持 AI 开发者获取所需数据之间保持恰当平衡。
2025-01-23
全球人工智能治理研究报告
以下是为您整合的关于全球人工智能治理研究报告的相关内容： 2024 AI 年度报告： 正确预测： 好莱坞级别的制作公司开始使用生成式人工智能来制作视觉特效。 美国联邦贸易委员会（FTC）或英国竞争与市场管理局（CMA）基于竞争理由调查微软/OpenAI 的交易。 在全球人工智能治理方面，进展非常有限，会超出高层次的主动承诺。 一首由人工智能创作的歌曲进入公告牌 Hot 100 前 10 名或 Spotify 2024 年热门榜单。 随着推理工作负载和成本的显著增长，一家大型人工智能公司（例如 OpenAI）收购或建立了一个专注于推理的人工智能芯片公司。 错误预测： 有生成式人工智能媒体公司因其在 2024 年美国选举期间的滥用行为受到调查。 自我改进的人工智能智能体在复杂环境中（例如 AAA 级游戏、工具使用、科学探索）超越了现有技术的最高水平。 科技 IPO 市场解冻，至少看到一家以人工智能为重点的公司上市（例如 DBRX）。 2024 人工智能报告： 英国创建了世界上第一个人工智能安全研究所，美国迅速跟进。世界首个人工智能安全研究所 AISA 有三个核心功能：在部署前对高级模型进行评估；建立国家能力并开展研究；协调国际合作伙伴。AISA 还发布了 Inspect，一个用于 LLM 安全评估的框架，涵盖核心知识、推理能力和自主能力等方面。英国宣布与美国等效机构签署谅解备忘录，双方同意共同开发测试，并计划在美国旧金山设立办事处。 政府急于填补关键国家基础设施中的漏洞。英国通过其高级研究与发明机构（ARIA），花费了 5900 万英镑来开发一个“守门员”——一种先进的系统，负责了解和减少在能源、医疗保健和电信等关键领域中其他人工智能代理的风险。英国政府还报道称计划设立一个“AI 安全研究实验室”，旨在汇集政府关于敌对国家使用进攻性 AI 的知识。美国能源部一直在利用其内部测试床评估人工智能可能对关键基础设施和能源安全带来的风险。随着攻击面扩大，开发人员加大了对“越狱”的研究。 2024 年人工智能现状： 全球治理的尴尬局面：全球在 AI 治理上的合作就像一场尴尬的华丽晚宴，大家都不知道该说些什么——承诺满天飞，实际行动却寥寥无几。 国家和地区法规的角力：疫情之后，越发魔幻的世界让我产生了世界在玩一种很新的“闭关锁国”，美国和欧盟等国家或地区正在通过有争议的国家层面立法，科技公司在这场与监管巨头的博弈中，还需面对自身可持续性目标的挑战——发展 AI 的排放量简直就像是一场全国范围的 SUV 自驾游，环保得让人哭笑不得。
2025-01-02
2024年《全球人工智能治理研究报告》议题“国家主权原则和人工智能发展”的内容及理解
以下是 2024 年《全球人工智能治理研究报告》中关于“国家主权原则和人工智能发展”的相关内容： 在 2024 年人工智能发展状况的安全与全球治理方面： 英国创建了世界上第一个人工智能安全研究所（AISA），其有三个核心功能：在部署前对高级模型进行评估；建立国家能力并开展研究；协调国际合作伙伴。AISA 还发布了 Inspect 框架用于 LLM 安全评估。英国宣布与美国等效机构签署谅解备忘录，并计划在美国旧金山设立办事处。 英国通过其高级研究与发明机构（ARIA），花费 5900 万英镑开发“守门员”系统，负责了解和减少关键领域中其他人工智能代理的风险。英国政府还计划设立“AI 安全研究实验室”，旨在汇集政府关于敌对国家使用进攻性 AI 的知识。美国能源部利用内部测试床评估人工智能对关键基础设施和能源安全的风险。 在技术和方法方面： 离线直接比对方法不会很快大规模取代 RLHF。谷歌 DeepMind 团队发现 RLHF 在涵盖总结、有用性、对话性等数据集上的测试中胜出，能更有效地改善生成任务。Cohere for AI 探索放弃近端策略优化 RLHF 中的算法，有利于其 RLOO 训练器，可降低 GPU 使用率和提高训练速度。 但 RLHF 存在可能滋生谄媚行为的问题，如 Anthropic 认为 SOTA AI 助手表现出奉承行为是因为人类偏好数据等。开发透明度虽在提高，但仍有很大改进空间。 在安全研究方面： 随着 AI 发展，新功能带来新漏洞，开发人员加大了对“越狱”的研究。OpenAI 提出通过“指令层次结构”修复攻击，Anthropic 表明“警告防御”的潜力，Gray Swan AI 的安全专家试用“断路器”。LLM 测试初创公司 Haize Labs 与 Hugging Face 合作创建首个红队抵抗组织基准。除越狱外，还存在更隐蔽的攻击，潜在攻击面广泛，涵盖从训练到偏好数据和微调等内容。 对于“国家主权原则和人工智能发展”的理解，可能需要综合考虑各国在人工智能安全研究和治理方面的举措，以及技术发展对国家主权可能产生的影响。各国积极建立相关机构和采取措施，表明在人工智能快速发展的背景下，维护国家主权和安全的重要性。同时，技术发展中的问题和挑战也需要各国共同协作应对，以实现人工智能的健康、安全和可持续发展。
2024-12-31