AI编程

AI 工作流是将 AI 工具引入到工作流程的各个环节中，以提高工作效率。 在说 AI 工作流之前，要先了解工作流的概念。工作流即工作流程，比如写公众号文章，可拆分为选题、列大纲写初稿、改稿、写标题、排版、发布等步骤，每个步骤都有明确的输入和产出，环环相扣。 搭建 AI 工作流有一套工作流： 1. 找到一个熟悉的工作场景，如写文章、做 PPT 等。 2. 拆解工作流程，例如写文章可拆分为选题、写稿、改稿、写标题等步骤。 3. 针对每个步骤嵌入工具，可参考他人经验，灵活选择最优解，目的是提高工作效率，而非增加工作的含 AI 量。 搭建 AI 工作流需要三层能力： 1. 了解各种 AI 工具，知晓其特点和用途。 2. 学会写提示词，以便向 AI 清晰表述任务。 3. 搭建 AI 智能体，使多个 AI 工具协同工作，自动完成任务。

以下是上一周 AI 的一些新进展： 应用形态的重构方面，AI Agent 取得突破，为机器人赋予自主行动能力，AI 编程工具的进展或预示人机协作模式的变革。 2 月，OpenAI 发布视频生成模型 Sora，实现高质量文本生成视频，开创 AI 视频生成新纪元。 3 月，Suno 发布 V3 版本，AI 音乐生成进入生产力可用状态。 4 月，Meta 发布高性能开源大模型 Llama3，降低了 AI 技术的准入门槛。 5 月，GPT4 发布，RayBan 与 Meta 合作的智能眼镜销量突破百万，字节上线即梦 AI。 6 月，快手发布可灵，Apple Intelligence 发布。 9 月，OpenAI 发布 o1 预览版。 10 月，Rosetta 和 AlphaFold 算法的研发者因在蛋白质结构设计和预测中的突破性贡献获得诺贝尔化学奖，约翰·霍普菲尔德和杰弗里·辛顿因人工神经网络和深度学习的开创性贡献获诺贝尔物理学奖，Anthropic 大模型 Claude 3.5 Sonnet 获得“computer use”功能。 12 月，OpenAI 发布 o3 系列模型。 此外，还有一些关于 AI 的讨论和话题，如把 350 万条 Midjourney 提示词放进一张可视化图里，2 套权威的 AI 术语表，天工新功能的定位靠近元宇宙，NotebookLM 与 AI 播客的关系，Bob 类似于更轻巧的能选多种大模型的桌面端应用“豆包”，Monica.im 的发展，物圆 TreLoop 的情况，对 AGI 距离的讨论，Arc 浏览器的状态，李开复关于 AI 应用爆发和 AGI 的观点，李继刚的 Prompt 玩法，OpenAI 研究副总裁离职，15 岁开发者的开源项目被收购，关于 AI 编程效率的讨论等。

以下是搭建 AI 自动剪辑视频插件的详细步骤： 一、开通服务 1. 先获取搭建完成后需要用到的各种模型的 key。 首先注册火山引擎：https://volcengine.com/L/4lZ8oszvY20/ ，邀请码：KL9ZC1IF 。这个项目会使用到不少 Token，刚好火山现在还有赠送 Token 的活动，若未注册，使用此邀请码和链接注册可获得 375 万的 Token。 开通各项服务和拿到各个服务的 Key： 获取 LLM_ENDPOINT_ID、VLM_ENDPOINT_ID、CGT_ENDPOINT_ID、ARK_API_KEY 。注册后点击：控制台，进入火山方舟控制台（https://console.volcengine.com/ark/region:ark+cnbeijing/model?vendor=Bytedance&view=LIST_VIEW）。创建一个接入点，点击在线推理创建推理接入点。命名并选择 Doubaopro32k 模型。重复此步骤创建 Doubaovisionpro32k、Doubao视频生成模型这两个推理点。创建完成后，复制推理点的 ID 并对应填入相应位置。然后继续点击“API key 管理”创建一个并复制下来，这就是 ARK_API_KEY 。 获取 TOS_BUCKET 。 二、服务部署 1. 购买服务器：直接点击去购买：https://buy.cloud.tencent.com/lighthouse?blueprintType=APP_OS&blueprintOfficialId=lhbpr8j2ftq0&regionId=8&zone=apbeijing3&bundleId=bundle_rs_mc_med1_02&loginSet=AUTO&from=lhconsole 。 2. 根据以下配置购买即可。 3. 购买并付款完成后，回到服务器“控制台”。 4. 点击服务器卡片的空白处，去添加防火墙。按照如下方式添加：8887、8080 端口，点击确定即可。 5. 点击右上角的“登录”按钮，扫码验证后，看到一个命令行窗口。下边出现代码，复制的时候，注意复制全。代码已分好步骤，每次只需要复制粘贴一行，然后点击一次回车。回车后，只有最左边显示中括号对话前缀时，不要操作。若 ctrl+v 粘贴不进去，试试 shift+ctrl+v 粘贴。 6. 在命令行中，一条一条输入： echo\"8887\">/www/server/panel/data/port.pl sudo kill9$ sudo/etc/init.d/bt default 7. 保存并打开你的外网面板地址，输入账号和密码。 8. 选择已有账号登录，然后会有一个账号绑定页，这个是宝塔的账号，如有就直接登录，没有就去注册一个。注意，注册完成之后，要返回原页面登录！不要停留在宝塔的注册功能页。 9. 直接关掉推荐，来到文件。点击根目录，打开 home 文件。 10. 点击：文件目录上方的“终端”，出现下方窗口。 11. 粘贴输入：git clone https://github.com/volcengine/aiapplab.git 。 12. 然后关闭终端窗口，刷新一下会看到有一个 aiapplab 文件夹，打开文件夹找到 demohouse/chat2cartoon 文件夹，看到有一个“.env”。 13. 然后把提前准备的那些 key 和 token，对应的粘贴进去。 14. 粘贴完成之后，继续进入 backend 文件夹，然后打开“终端”输入以下命令： python3 m venv.venv source.venv/bin/activate pip install poetry==1.6.1 poetry install poetry run python index.py 15. 依次完成后，会如下图所示，看到下图到后端就启动成功了，把这个页面保持如下，不要关掉页面。保持这个终端是打开的。 16. 重新复制打开一个新的浏览器标签页面。返回上级文件夹，进入/home/aiapplab/demohouse/chat2cartoon/frontend/src/routes 。

以下是一些可以帮助您为队伍生成海报的 AI 工具： 1. Canva（可画）：https://www.canva.cn/ 这是一个非常受欢迎的在线设计工具，提供大量模板和设计元素，用户通过简单拖放操作即可创建海报，其 AI 功能可帮助选择合适的颜色搭配和字体样式。 2. 稿定设计：https://www.gaoding.com/ 稿定智能设计工具采用先进的人工智能技术，自动分析和生成设计方案，稍作调整即可完成完美设计。 3. VistaCreate：https://create.vista.com/ 这是一个简单易用的设计平台，提供大量设计模板和元素，用户可使用 AI 工具创建个性化海报，其智能建议功能可帮助快速找到合适的设计元素。 4. Microsoft Designer：https://designer.microsoft.com/ 通过简单拖放界面，用户可快速创建演示文稿、社交媒体帖子等视觉内容，还集成丰富模板库和自动图像编辑功能，如智能布局和文字优化，大大简化设计流程。 此外，如果您想制作视频海报，以下是一些工具和相关活动信息供您参考： 1. 活动：6 月 10 号端午节视频海报 玩法介绍：参赛者需根据端午节主题自由发挥，用 AI 转化成不长于 6 秒视频。 视频工具建议： 。不局限于 Dreamina、PixVerse、Runway、Pika、LiblibAI、SVD、Deforum、AnimateDiff 。 参与规则： 格式限制：投稿文件宽高比为 9:16，竖屏视频海报，不长于 8 秒。文生视频、图生视频均可。 提交的作品必须是原创，不得抄袭他人作品。 请确保内容健康、积极，符合博物馆日的主题。 不建议出现鲜血、武器、鬼怪骷髅、知名人物、18X 等不符合国家政策的内容，违规内容可能导致无法计入评选名单。 不在时间内提交的自动失去评选资格。 提交时间：6 月 10 日 18:00 前提交。 如果您想了解如何用 AI 快速做一张满意的海报，可参考以下方法： 1. 需求场景：当您想在社交平台发布内容但干巴巴的文字点赞少、网上图片质量差易撞图、相册照片不合适等情况，可考虑自己制作。 2. 大致流程： 主题与文案：确定海报主题后，可借助 ChatGPT 等文本类 AI 工具协助完成文案。 风格与布局：选择想要完成的风格意向，背景不一定是空白的，可根据文案和风格灵活调整画面布局。 生成与筛选：使用无界 AI，输入关键词，生成并挑选一张满意的海报底图。 配文与排版：将上述素材进行合理排版，得到成品。排版同样可以参考 AIGC 海报成果。 请注意，以上内容由 AI 大模型生成，请仔细甄别。

以下是关于 Google 图片视频 AI 的相关信息： Google 发布了 AI 视频 Veo2 和 AI 绘图 Imagen3。 关于 AI 视频 Veo2： 官网介绍可申请 waitlist，链接为 https://labs.google/fx/zh/tools/videofx 。 引入了改进后的物理引擎，能模拟真实世界动态变化。 能更好地捕捉和模拟人类动作、运动轨迹，并高精度呈现。 具有电影级视觉效果，能生成有深度感和层次感的场景。 提供灵活的镜头控制选项，允许用户调节镜头角度、视角和焦距等参数。 关于 AI 绘图 Imagen3： 绘图链接为 https://labs.google/fx/tools/imagefx 。 是最高质量的文本到图像模型，能生成比之前模型更好细节、更丰富光照和更少干扰伪影。 在图像细节和清晰度上有显著提高，生成的图像更生动、真实，细节更丰富。 相关报道和链接： 数字生命卡兹克：Google 全新发布 AI 视频 Veo2、AI 绘图 Imagen3 何以凌越，https://mp.weixin.qq.com/s/4ACndSdfG8az3gdLn5QLIQ 。 量子位：谷歌版 Sora 升级 4K 高清！一句话控制镜头运动，跑分叫板可灵海螺，https://mp.weixin.qq.com/s/8H286tyxbTeZrtEBDZHaA 。 锤爆 Sora，尺度最大，谷歌发布最强视频模型 Veo2，叫板海螺可灵，https://mp.weixin.qq.com/s/sMECORvSikuKHNaEzPor6Q 。 谷歌版 Sora 来了，4K 高清暴击 OpenAI！视频生图新卷王，更理解物理世界，https://mp.weixin.qq.com/s/PFeyrX2q9mWd6GIrJ9qdWQ 。 谷歌的 Imagen 3 终于来了——它是最好的 AI 图像生成器吗？https://mp.weixin.qq.com/s/gcyGvA6_9mxN9yz__jRRHQ 。 测评： ，Google 视频和图像生成模型更新包括 Veo 2、Imagen 3 和一个新工具 Whisk 。

以下是 AI 发展的大事记与时间线： 2022 年 11 月 30 日，OpenAI 发布基于 GPT 3.5 的 ChatGPT。 2024 年 3 月，AI 发展持续升温，潞晨科技发布 OpenSora，Suno 发布 V3 版本爆火。 2024 年 4 月，英伟达发布硬件股价飙升。 2024 年 5 月，苹果发布 AI 芯片，张吕敏发布 IC light，AI 竞争白热化，伊莉雅离开 OpenAI 并成立新公司，估值超五亿美金。 2024 年 7 月，快手开源 LivePortrait 模型，表情迁移。 2024 年 8 月，StabilityAI 老板成立新公司发布 flux 大模型。 2024 年 9 月，阿里云发布模型，海螺 AI 参战，Google 发布 GameGen 实时生成游戏，通义千问 2.5 系列全家桶开源，华为发布 cloud matrix 云计算基础设施，GPT 高级语音模式上线，Meta 发布 AI 眼镜 Orion，AI 代码编辑器 cursor 爆火。 2024 年 10 月，Pika 发布 1.5 模型，诺奖颁发给 AI 奠基人，特斯拉发布机器人，Adobe 发布 Illustrator+Al 生成矢量图，智谱 AI 发布 autoGLM，腾讯混元开源 3D 模型。 在更早的时间： 1943 年，心理学家麦卡洛克和数学家皮特斯提出了机器的神经元模型，为后续的神经网络奠定了基础。 1950 年，伟大的计算机先驱图灵最早提出了图灵测试，做为判别机器是否具备智能的标准。 1956 年，在美国一个小镇的达特茅斯学院中，马文·明斯基和约翰·麦凯西拉着香农大佬站台背书，共同发起召开了著名的达特茅斯会议，在这次会议上，人工智能 Artifical Intelligence 一词被正式提出，并做为一门学科被确立下来。 2024 年的其他进展： 2 月，OpenAI 发布视频生成模型 Sora，首次实现高质量文本生成视频，开创 AI 视频生成新纪元。 3 月，Suno 发布 V3 版本，AI 音乐生成方向进入生产力可用状态。 4 月，Meta 发布高性能开源大模型 Llama3，降低了 AI 技术的准入门槛。 5 月，GPT4 发布，RayBan 与 Meta 合作的智能眼镜销量突破百万，字节上线即梦 AI。 6 月，快手发布可灵。 9 月，OpenAI 发布 o1 预览版。 10 月，Rosetta 和 AlphaFold 算法的研发者因在蛋白质结构设计和预测中的突破性贡献获得诺贝尔化学奖，约翰·霍普菲尔德和杰弗里·辛顿因人工神经网络和深度学习的开创性贡献获诺贝尔物理学奖，Anthropic 大模型 Claude 3.5 Sonnet 获得“computer use”功能。 12 月，OpenAI 发布 o3 系列模型。

以下是一些常见的 AI 编程工具： 1. GitHub Copilot：由 GitHub 联合 OpenAI 和微软 Azure 团队推出，支持多种语言和 IDE，能为程序员快速提供代码建议，助其更快、更少地编写代码。 2. 通义灵码：阿里巴巴团队推出，基于通义大模型，提供行级/函数级实时续写、自然语言生成代码等多种能力。 3. CodeWhisperer：亚马逊 AWS 团队推出，由机器学习技术驱动，为开发人员实时提供代码建议。 4. CodeGeeX：智谱 AI 推出的开源免费 AI 编程助手，基于 130 亿参数的预训练大模型，可快速生成代码提升开发效率。 5. Cody：代码搜索平台 Sourcegraph 推出的 AI 代码编写助手，借助强大的代码语义索引和分析能力，了解开发者的整个代码库。 6. CodeFuse：蚂蚁集团支付宝团队为国内开发者提供的免费 AI 代码助手，基于自研的基础大模型微调的代码大模型。 7. Codeium：由 AI 驱动的编程助手工具，通过提供代码建议等帮助软件开发人员提高编程效率和准确性。 更多辅助编程 AI 产品，还可以查看这里：https://www.waytoagi.com/category/65 。每个工具的功能和适用场景可能不同，您可以根据自身需求选择最适合的工具。 此外，Addy Osmani 解析了 AI 编程的优缺点，强调 AI 辅助编码虽强大，但仍有难点。v0、Bolt 适合初学者，Cursor、Cline 更适合资深工程师，不同任务需选择合适工具。关键建议包括精准定义需求、选择合适模型、规划 token 限制，并持续测试 AI 代码输出。原文：https://addyo.substack.com/p/the70problemhardtruthsabout 翻译：https://mp.weixin.qq.com/s/ZQA8quhAEwUUsT2p_IjG0g?token=1639803888&lang=zh_CN 。 在进行 AI 编程时，需了解其边界和限制。编程准则第一条是能不编尽量不编，优先找线上工具，其次找插件，最后是本地应用。对于 API 功能，先找现成的开源工具，然后考虑付费服务，找不到现成方案时再考虑自己编程。

以下是学习 AI 编程的一些建议： 1. 借助 AI 学习编程的关键：打通学习与反馈循环。从“Hello World”起点开始，验证环境、建立信心、理解基本概念，形成“理解→实践→问题解决→加深理解”的学习循环。 2. 选择流行的语言和框架，如 React、Next.js、TailwindCSS 等。 3. 先运行再优化，小步迭代，一次解决一个小功能。 4. 借助 AI 生成代码后请求注释或解释，帮助理解代码。 5. 遇到问题时采取三步走：复现、精确描述、回滚。 6. 要明确 AI 是强大的工具，但仍需人工主导，掌握每次可运行的小成果才能实现持续提升。 此外，您还可以参考以下活动和资源： 1. 李继刚提示工程演讲：乔哈里视窗与提示词技巧。 2. 参加 3 月 22 日 AIPO 校园创投活动 AI 编程闪电秀，该活动由 AI 开源社区“通往 AGI 之路”发起，国内首个 AI 原生 IDE“Trae”联合组织。包括 3 月 13 日和 19 日晚 8 点从 0 到 1 线上共学，3 月 22 日下午 50+所高校线下项目路演，3 月 24 日晚 8 点全国精选高校项目线上展示。参与线上课程可获得 WaytoAGI x Trae AI 编程结业证书，参与线下路演可角逐最佳创业者/投资人证书。 3. 对于具体的项目，如开发 P2P 传输程序，要做好项目初始化与配置，包括 Rust 环境配置，可通过官网获取安装指南，使用 rustup 工具管理 Rust 版本。使用 cargo new<project_name>创建新的 Rust 项目，生成基本的文件结构和 Cargo.toml 文件用于管理项目依赖。

通过 AI 编程完成一个项目可以参考以下方式： 1. 使用 Trae 工具： Trae 有 Chat 和 Builder 两种模式。Chat 模式一般用于和 AI 编程助手对话，沟通产品需求、规划产品功能、讨论错误修复等情况。Builder 模式在讨论清楚需求后，可直接开干，AI 会自动创建和修改所有文件，您只需要下指令并点击操作，适合非技术背景的同学。 不同模式下可选择不同的模型。Chat 时最好使用 R1 这样的慢思考模型来梳理产品脉络或深度思考问题。Builder 时，若对速度要求高，可选择 V3 这样的快思考模型，但有时多思考能节省解 bug 的时间。 Trae 支持引用三种形式的上下文，包括 Code 代码片段、File 单个文件、Folder 整个文件夹。按“”或者点击【引用】按钮即可引用上下文，让 AI 助手更有针对性地完成任务。 例如用六边形小球题来体验 Trae 的使用流程：输入 prompt 后，AI 开始思考和开发，中间会提示安装必要的依赖组件，几十秒后基础版创建完成，可继续让 AI 优化改进。 2. 重构代码的体验： o1 pro 重构代码适用于单个或少数几个文件的代码重构，提示词简单直接。重构质量可靠，极少出错，若有问题重新生成一般即可解决。实践时可一边重构一边添加新功能，完成后手动 Review 和测试，有条件可让 AI 生成测试代码。 3. 教孩子学编程的经验分享： 找需求：选择实用小项目激发学习兴趣。 与 AI 结对编程：先学基础知识，借助 AI 完成第一版代码，快速构建可用版本。 解释代码：讲解代码工作原理加深理解，不清楚的地方让 AI 辅助解释，反复学习并修改代码观察效果。 迭代功能：在基础版本上不断增加新功能，通过迭代完善程序，同时在实践中学习。 4. 个人经历分享： 有人在一个月内，在 AI 的帮助下完成了多个项目，如 Obsidian 插件、vs code 插件、剧本创作平台界面、宣传页、官网多语言支持、跨平台文生视图一站式平台等，创造了“不可能完成的任务”，尽管看不懂代码和语法，也实现了高效和高质量的成果。

以下是关于 AI 编程的相关信息： Trae 国内版： 是国内首个 AI IDE，自带豆包 1.5pro 和满血版 DeepSeek R1、V3 模型。 具有国内用户友好、使用完全免费、内置预览插件等特性。 网址为 Trae.com.cn 或点击文末【阅读原文】直接访问。 借助 AI 学习编程的关键： 打通学习与反馈循环，包括验证环境、建立信心、理解基本概念等。 建议使用流行语言和框架，先运行再优化，小步迭代，借助 AI 生成代码后请求注释或解释，遇到问题三步走：复现、精确描述、回滚。 AI 编程的本质： 传统编程是指令驱动模式，程序员需将需求分解为精确指令。 AI 编程正朝目标驱动模式转变，可向 AI 系统描述目标和期望，让其自动生成或优化程序。 这种转变的根本原因在于 AI 擅长从海量数据中学习规律、进行模式识别和预测，能处理传统编程的短板领域。 AI 编程的核心挑战是如何定义问题让 AI 理解并解决，而非侧重代码生成和技术实现。

目前要编程一个 AI 实时翻唱的软件是一项非常复杂的任务，涉及到多个领域的知识和技术，包括语音合成、音频处理、机器学习、深度学习等。 首先，需要收集大量的原唱音频数据用于训练模型。然后，利用深度学习算法，如循环神经网络（RNN）、长短时记忆网络（LSTM）或 Transformer 架构，来学习原唱的特征和模式。 在语音合成方面，可能会用到诸如 WaveNet、Tacotron 等技术，以生成逼真的歌声。 音频处理则用于对生成的歌声进行优化和调整，例如去除噪音、增强音质等。 然而，要实现这样一个复杂的软件，需要具备深厚的编程和算法知识，以及大量的计算资源和时间来进行模型的训练和优化。

对于懂编程但不了解大模型的工程师，系统学习深度学习可以参考以下路径： 1. 掌握深度学习和自然语言处理基础： 学习机器学习、深度学习、神经网络等基础理论。 掌握自然语言处理基础，如词向量、序列模型、注意力机制等。 相关课程推荐吴恩达的深度学习课程、斯坦福 cs224n 等。 2. 理解 Transformer 和 BERT 等模型原理： 熟悉 Transformer 模型架构及自注意力机制原理。 掌握 BERT 的预训练和微调方法。 阅读相关论文，如 Attention is All You Need、BERT 论文等。 3. 学习 LLM 模型训练和微调： 进行大规模文本语料预处理。 熟悉 LLM 预训练框架，如 PyTorch、TensorFlow 等。 学会微调 LLM 模型进行特定任务迁移。 参考相关资源，如 HuggingFace 课程、论文及开源仓库等。 4. LLM 模型优化和部署： 掌握模型压缩、蒸馏、并行等优化技术。 了解模型评估和可解释性。 熟悉模型服务化、在线推理、多语言支持等。 运用相关开源工具，如 ONNX、TVM、BentoML 等。 5. LLM 工程实践和案例学习： 结合行业场景，进行个性化的 LLM 训练。 分析和优化具体 LLM 工程案例。 研究 LLM 新模型、新方法的最新进展。 6. 持续跟踪前沿发展动态： 关注顶会最新论文、技术博客等资源。 此外，为了更好地理解相关技术原理和建立框架，还可以了解以下内容： 1. 概念：生成式 AI 生成的内容称为 AIGC。 2. 概念与关系： AI 即人工智能。 机器学习是电脑找规律学习，包括监督学习、无监督学习、强化学习。 监督学习使用有标签的训练数据，目标是学习输入和输出之间的映射关系，包括分类和回归。 无监督学习的数据没有标签，算法自主发现规律，经典任务包括聚类。 强化学习从反馈里学习，最大化奖励或最小化损失，类似训小狗。 深度学习是一种参照人脑有神经网络和神经元的方法（因有很多层所以叫深度），神经网络可用于监督学习、无监督学习、强化学习。 生成式 AI 可以生成文本、图片、音频、视频等内容形式。 LLM 是大语言模型，对于生成式 AI，生成图像的扩散模型不是大语言模型；对于大语言模型，生成只是其中一个处理任务，如谷歌的 BERT 模型，可用于语义理解（不擅长文本生成），如上下文理解、情感分析、文本分类。 3. 技术里程碑：2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出了 Transformer 模型，它完全基于自注意力机制来处理序列数据，而不需要依赖于循环神经网络或卷积神经网络。