Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

如何将自有的材料做向量化处理

Answer

很抱歉,目前没有关于如何将自有的材料做向量化处理的相关内容。但一般来说,将自有材料进行向量化处理可以考虑以下步骤:

  1. 数据清洗和预处理:清理和整理材料中的噪声、错误和不一致的数据。
  2. 特征提取:根据材料的特点选择合适的特征,例如文本材料可以提取词袋模型、TF-IDF 等特征。
  3. 选择向量化方法:常见的有词向量(如 Word2Vec、GloVe 等)、文档向量(如 Doc2Vec)等。
  4. 训练模型:使用选择的向量化方法和预处理后的数据进行训练。

由于缺乏具体的材料类型和应用场景等详细信息,以上步骤仅为一般性的指导,实际操作可能会有所不同。

Content generated by AI large model, please carefully verify (powered by aily)
Others are asking
你知道Pyhton量化交易吗
Python 量化交易方面,以 Claude 3.7 为例,它在面对生成能在聚宽跑的量化交易模型这一自由命题时,给出了两个方案。一个是最简单的双均线策略,类似于红圈(均线金叉)买入,绿圈(均线死叉)卖出,同时辅以其他技术指标和指数强弱做筛选,这是量化入门策略。另一个是量价动量策略,其中包含了量化交易机构常参考的几个因子。在经历三轮报错和反馈后,Claude 很快成功跑出了一份完整的代码,其模型思路有明确的选股池和择时信号。
2025-04-14
你知道Pyhton量化交易吗
Python 量化交易方面,以 Claude 3.7 为例,它在面对生成能在聚宽跑的量化交易模型这一自由命题时,给出了两个方案。一个是最简单的双均线策略,类似于红圈(均线金叉)买入,绿圈(均线死叉)卖出,同时辅以其他技术指标和指数强弱做筛选,这是量化入门策略,相当于鸡兔同笼的经典问题。另一个是量价动量策略,其中的几个因子是量化交易机构常参考的。在经历三轮报错和反馈后,Claude 很快成功跑出了一份完整的代码,该代码有明确的选股池和择时信号。编程第一法则是当代码以奇怪方式跑起来,就不要动它。
2025-04-14
如何通过AI来实现量化
通过 AI 实现量化可以从以下几个方面入手: 1. 量化 AI 助手应用: 详细函数介绍:提供量化 API 中各个函数的详细说明和使用示例。 策略代码生成:根据具体需求,快速生成可用的量化策略代码。 错误解决方案:针对 Python 报错,提供可能的解决方案。 优化建议:帮助优化策略代码逻辑,提升策略性能。 2. 模型量化技术: 将 16 位降至 8 位或 4 位是可能的,但不能使用硬件加速浮点运算。若想对更小的类型进行硬件加速,需使用小整数和矢量化指令集。 量化过程:首先找出权重的最大值和最小值,然后将数值范围划分为整数类型中可用的桶数,8 位为 256 桶,4 位为 16 桶。这就是训练后量化(posttraining quantization),也是量化模型的最简单方法。 量化方法:市面上主要有两类量化方法,如 GPTQ(主要针对英伟达的 GPU)、GGML(侧重于 CPU 优化,主要针对苹果 M1 和 M2 芯片做优化)。 3. 相关产品推荐: Composer Trading:这是一个旨在彻底改变个人创建和管理投资策略方式的平台。它提供由人工智能驱动的策略创建工具,允许用户用自然语言解释目标、策略和风险关注点,AI 辅助编辑器会为其创建策略。该平台还提供各种类别的预构建策略选择,如长期、技术重点和多样化等,用户可以立即进行投资。同时,它强调数据驱动式交易方法,避免情绪或轰动影响。此外,它作为经纪商,提供全自动交易执行,采用无佣金模式,通过简单固定月度订阅透明定价。用户可以在承诺之前免费测试该平台。定制是其关键特性,每个策略都是完全可编辑的,用户可以使用无代码视觉编辑器修改策略、调整参数,并对其进行不同权重或条件应用。该平台还允许根据用户定义的标准从候选者池中进行动态选择。回测可帮助用户学习并调整战略,并且可以将其与基准或其他战略进行比较。Composer 还计算费用、滑点以及战术最终价值,提供潜在结果全面视图。
2025-03-09
我想打造一个量化交易模型
打造一个量化交易模型需要考虑以下几个方面: 一、预训练大模型与金融量化 1. 大型的系统工程 大多数量化算法的核心数据是公开的量价数据,大模型预训练的数据中最重要的也是公开数据,各家会有一些独有数据来源,但占比不大。 量化和大模型的整体算法逻辑基本类似,决定模型能力好坏的是大型系统工程能力。 作为大型系统工程,量化和大模型都需要大型的计算集群,对性能和效率有极致追求。 细节在大型系统工程中十分关键,量化交易系统包含交易执行、风控等多个方面,大模型预训练也包含大量细节。 2. 关键技术变得不公开 金融量化是非常闭源的系统,各家的交易系统是最大的秘密武器,公开部分少。 现在大模型也在往闭源方向发展,几个巨头的核心模型都开始走向闭源。 二、应用开发 1. 轻量化 MMM的部署运行 模型实现包括以下步骤: 第一步:安装运行需要的依赖项。 第二步:准备数据集,可使用模拟数据集或自己的数据集。 第三步:拆分数据。 第四步:数据预处理,进行缩放处理(归一化),让每个变量之间的关系对等。 第五步:初始化模型,数据集训练最费时间,取决于数据量大小和训练步长。 第六步:运算可视化,包括损失值、绘制残差图、所有单一变量对最终销售的贡献、Baseline 预测、所有外因对销售的贡献度等。 希望以上内容对您打造量化交易模型有所帮助。
2025-03-04
企业建立私有大模型时候,采用什么工具进行RAG,高效实习企业知识文档、表格和pdf图纸的向量化
企业建立私有大模型进行 RAG 并实现企业知识文档、表格和 PDF 图纸向量化时,可参考以下工具和方法: 1. 本地部署资讯问答机器人: 导入依赖库,如 feedparse 用于解析 RSS 订阅源,ollama 用于在 Python 程序中跑大模型(使用前需确保 ollama 服务已开启并下载好模型)。 从订阅源获取内容,通过专门的文本拆分器将长文本拆分成较小的块,并附带相关元数据,最终合并成列表返回。 为文档内容生成向量,可使用文本向量模型 bgem3,从 hf 下载好模型后,假设放置在某个路径 /path/to/bgem3,通过函数利用 FAISS 创建高效的向量存储。 2. 开发:LangChain 应用开发指南 大模型的知识外挂 RAG 加载数据,根据数据源类型选择合适的数据加载器,如网页可使用 WebBaseLoader。 将文档对象分割成较小的对象,根据文本特点选择合适的文本分割器,如博客文章可用 RecursiveCharacterTextSplitter。 将文档对象转换为嵌入并存储到向量存储器中,根据嵌入质量和速度选择合适的文本嵌入器和向量存储器,如 OpenAI 的嵌入模型和 Chroma 的向量存储器。 创建检索器,使用向量存储器检索器,传递向量存储器对象和文本嵌入器对象作为参数创建检索器对象。 创建聊天模型,根据性能和成本选择合适的聊天模型,如 OpenAI 的 GPT3 模型。 以下是使用 LangChain 构建 RAG 应用的示例代码。
2025-02-27
Ai量化交易
以下是关于 AI 量化交易的相关信息: Composer Trading 平台: 这是一个旨在改变个人创建和管理投资策略方式的平台。 提供由人工智能驱动的策略创建工具,用户可用自然语言解释目标、策略和风险关注点,AI 辅助创建策略。 自动化延伸到交易策略执行,自动处理交易和再平衡。 提供各种预构建策略选择,如长期、技术重点和多样化等,用户可立即投资。 强调数据驱动式交易方法,避免情绪或轰动影响。 作为经纪商,提供全自动交易执行,无佣金模式,通过简单固定月度订阅透明定价,用户可免费测试。 定制是关键特性,每个策略完全可编辑,用户可用无代码视觉编辑器修改、调整参数等。 支持回测,帮助用户学习并调整战略,计算费用、滑点及战术最终价值,提供潜在结果全面视图。 摊位信息: 摊位活动主题和内容:AI+交易,来定制专属于你的私人高级交易顾问。 背景:原本是 AIGC 创作者,希望将交易与 AIGC 相结合,打造私人高级交易顾问。认识到单纯迷信技术分析不可行,心态对个人投资者关键,新人不熟悉交易理论致命,成熟交易员在不熟悉行情下只能观望。借助 AI 分析行情,期望提高资金使用效率,多种策略配合提高胜率。 预训练大模型与金融量化: 大多数量化算法和大模型预训练的数据核心是公开量价数据,各家有少量独有数据,整体算法逻辑类似,决定模型能力好坏的是大型系统工程能力。 作为大型系统工程,量化和大模型都需要大型计算集群,量化对性能和效率有极致追求,交易指令速度关键,大模型在 infra 层面的提升可优化训练效率。 细节在大型系统工程中重要,量化交易系统包含交易执行、风控等多方面,任何环节问题都会导致系统失败,大模型预训练从数据到评估包含大量细节,如数据清洗、配比、顺序、训练策略等对结果起重要作用。
2025-02-21
如何用最简单的方法,训练一个自有数据的大模型
训练自有数据的大模型可以通过以下步骤实现: 1. 了解大模型的概念:大模型是输入大量语料,让计算机获得类似人类的“思考”能力,能够进行文本生成、推理问答、对话、文档摘要等工作。可以用上学参加工作来类比大模型的训练、使用过程,包括找学校(需要大量 GPU 等计算资源)、确定教材(需要大量数据)、找老师(选择合适算法)、就业指导(进行微调)、搬砖(推导)。在 LLM 中,Token 被视为模型处理和生成的文本单位,会对输入进行分词并形成词汇表。 2. 基础训练步骤: 进入厚德云模型训练数据集,如 https://portal.houdeyun.cn/sd/dataset 。 创建数据集:在数据集一栏中,点击右上角创建数据集,输入数据集名称。可以上传包含图片+标签的 zip 文件,也可单独上传照片,但建议提前打包。Zip 文件里图片名称与标签文件应当匹配,上传后等待一段时间确认创建,返回上一个页面等待上传成功并可点击详情检查,能预览数据集的图片及对应的标签。 Lora 训练:点击 Flux,基础模型会默认是 FLUX 1.0D 版本。选择数据集,触发词可有可无,模型效果预览提示词随机抽取数据集里的标签填入。训练参数可调节重复次数与训练轮数,厚德云会自动计算训练步数,可默认 20 重复次数和 10 轮训练轮数,按需求选择是否加速,点击开始训练,会显示所需消耗的算力,等待训练完成,会显示每一轮的预览图,鼠标悬浮到想要的轮次模型,中间会有生图,点击可自动跳转到使用此 lora 生图的界面,点击下方下载按钮可自动下载到本地。 3. 部署和训练自己的 AI 开源模型的主要步骤: 选择合适的部署方式,如本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署,根据自身资源、安全和性能需求选择。 准备训练所需的数据和计算资源,确保有足够的训练数据覆盖目标应用场景,并准备足够的计算资源,如 GPU 服务器或云计算资源。 选择合适的预训练模型作为基础,如开源的预训练模型 BERT、GPT 等,也可自行训练基础模型。 针对目标任务进行模型微调训练,根据具体应用场景对预训练模型进行微调训练,优化模型结构和训练过程以提高性能。 部署和调试模型,将训练好的模型部署到生产环境,对部署的模型进行在线调试和性能优化。 注意安全性和隐私保护,大模型涉及大量数据和隐私信息,需要重视安全性和合规性。 总的来说,训练自有数据的大模型需要综合考虑多方面因素,包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法,并注意优化各个环节以提高模型性能和应用效果。
2025-01-24
现在市场的中的AI大模型都有哪些,各自有什么特点
目前市场中的部分 AI 大模型及特点如下: 北京企业机构: 百度:文心一言,网址:https://wenxin.baidu.com 抖音:云雀大模型,网址:https://www.doubao.com 智谱 AI:GLM 大模型,网址:https://chatglm.cn 中科院:紫东太初大模型,网址:https://xihe.mindspore.cn 百川智能:百川大模型,网址:https://www.baichuanai.com/ 上海企业机构: 商汤:日日新大模型,网址:https://www.sensetime.com/ MiniMax:ABAB 大模型,网址:https://api.minimax.chat 上海人工智能实验室:书生通用大模型,网址:https://internai.org.cn 这些大模型在聊天状态下具有不同特点: 能生成 Markdown 格式的:智谱清言、商量 Sensechat、MiniMax 目前不能进行自然语言交流的:昇思、书生 受限制使用:MiniMax(无法对生成的文本进行复制输出,且只有 15 元的预充值额度进行体验,完成企业认证后可以进行充值) 特色功能:昇思——生图,MiniMax——语音合成 此外,阿里通义千问、360 智脑、讯飞星火等均不在首批获批名单中。据悉,广东地区获批公司分别为华为、腾讯,科大讯飞系其他地区获批产品。 中国大模型面临的真实问题包括: 原创大模型:稀少而珍贵,需要强大技术积累和持续高投入,风险大,一旦竞争力不足,投入可能付诸东流。 套壳开源大模型:务实的发展路径,需在借鉴中实现突破创新。 拼装大模型:将小模型拼接,试图整合资源实现飞跃,但整体性能并非简单相加。 在 AI 市场与 AI 产品经理方面: AI 创业市场:一方面行业大佬认为是比移动互联网更大的红利;另一方面观点有碰撞。当前 OpenAI 虽估值高但未盈利,大模型创业可能成泡沫,但 AI 应用不会。小参数大模型盛行,利于开发者。2024 下半年会有一批有代表性的 AI 应用出现。 对于 agent 智能体,个人看好在社交和游戏中的应用。
2025-01-20
我想通过AI帮我找工作,首先我想要了解当前存在哪些行业?这些行业下面的各自有哪5家头部企业?
目前存在众多行业,以下为您列举部分常见行业及其头部企业(排名不分先后): 1. 互联网行业:阿里巴巴、腾讯、百度、字节跳动、京东。 2. 金融行业:中国工商银行、中国建设银行、中国农业银行、中国银行、交通银行。 3. 制造业:华为、海尔、格力、美的、三一重工。 4. 医疗行业:恒瑞医药、迈瑞医疗、药明康德、复星医药、云南白药。 5. 能源行业:中国石油、中国石化、国家电网、中国海油、中国神华。 需要注意的是,行业的划分和头部企业的认定会随着市场变化而有所不同。您可以根据自身的专业和兴趣,进一步利用 AI 工具深入了解特定行业和企业的招聘信息。
2024-09-29
有哪些好用的中文写作AI工具,各自有什么特点
好的,以下是一些好用的中文写作 AI 工具,以及它们的特点: 秘塔写作猫:AI 写作伴侣,可以帮你推敲用语、斟酌文法、改写文风,还能实时同步翻译。 笔灵 AI 写作:智能写作助手,支持一键改写/续写/扩写,智能锤炼打磨文字,使之更加符合需求。 腾讯 Effidit 写作:智能创作助手,探索用 AI 技术提升写作者的写作效率和创作体验。 Zotero:结合 AI 技术,可以自动提取文献信息,帮助研究人员管理和整理参考文献。 Semantic Scholar:一个由 AI 驱动的学术搜索引擎,能够提供相关的文献推荐和引用分析。 百度学术智能助手:百度推出的一款学术研究辅助工具,它结合了百度在自然语言处理和大数据分析方面的技术。该工具可以帮助用户快速找到相关学术资料,提供文献推荐、资料整合和研究趋势分析等功能。 Grammarly:通过 AI 技术提供文本校对、语法修正和写作风格建议,帮助提高论文的语言质量。 Quillbot:一个基于 AI 的重写和摘要工具,可以帮助研究人员精简和优化论文内容。 知网 AI 智能写作:适合各类文档写作的场景,包括:研究报告,调研报告,资讯报告等。 Google Colab:提供基于云的 Jupyter 笔记本环境,支持 AI 和机器学习研究,便于进行数据分析和可视化。 Knitro:一个用于数学建模和优化的软件,可以帮助研究人员进行复杂的数据分析和模型构建。 ChatGPT:由 OpenAI 开发的大型语言模型,可用于学生和写作人员的多方面写作辅助。 Wordvice AI:集校对、改写转述和翻译等功能于一体的 AI 写作助手,基于大型语言模型提供全面的英文论文润色服务。 Quillbot:人工智能文本摘要和改写工具,可用于快速筛选和改写文献资料。 HyperWrite:基于 AI 的写作助手和大纲生成器,可帮助用户在写作前进行头脑风暴和大纲规划。 Wordtune:AI 驱动的文本改写和润色工具,可以帮助用户优化文章的语言表达。 Smodin:提供 AI 驱动的论文撰写功能,可以根据输入生成符合要求的学术论文。 总的来说,这些 AI 工具涵盖了文章润色的各个环节,包括校对、改写、大纲生成、内容生成等,可以有效提高写作效率和质量。科研人员和学生可以根据自身需求选择合适的工具进行使用。
2024-06-14
有什么 prompt engineering 的好材料
以下是一些关于 prompt engineering 的好材料: 文本类 Prompt 网站: Learning Prompt:授人以渔,非常详尽的 Prompt 学习资源,包括 ChatGPT 和 MidJourney,网址: FlowGPT:国外做的最大的 prompt 站,内容超全面,更新快,网址: ChatGPT Shortcut:ChatGPT 提示词网站,提供了非常多使用模板,简单修改即可指定输出,网址: ClickPrompt:轻松查看、分享和一键运行模型,创建 Prompt 并与其他人分享,网址: Prompt Extend:让 AI 帮你自动拓展 Prompt,网址: PromptPerfect:帮你自动优化提示词,你可以看到优化前后的对比,网址: PromptKnit:The best playground for prompt designers,网址: PromptPort(支持中文):AI Prompt 百科辞典,其中 prompts 是聚合了市场上大部分优质的 prompt 的词库,快速的寻找到用户需求 prompt,网址: Prompt Engineering Guide:GitHub 上点赞量非常高的提示工程指南,网址: Claude 3.7 核心提示词相关: 您可以在中找到他们往期开源的更多系统提示词,涵盖了从 Claude 3 Haiku 到现在所有的模型。 一泽 Eze 整理的相关学习资料: Claude 3.5 sonnet 内置提示词详细拆解与解说:https://mp.weixin.qq.com/s/0R4zgH3Gc5TAfAPY1oJU4A Anthropic 的三位顶级提示工程专家聊《如何当好的提示词工程师》:https://mp.weixin.qq.com/s/VP_auG0a3CzULlf_Eiz1sw 往期 Claude AI 核心系统提示词:https://docs.anthropic.com/en/releasenotes/systemprompts Claude 官方用户手册 提示工程指南:https://docs.anthropic.com/en/docs/buildwithclaude/promptengineering/overview Claude 官方提示库:https://docs.anthropic.com/en/promptlibrary/library 基本概念: 简单的提示词可以包含指令、问题等信息,也可以包含上下文、输入或示例等详细信息,以更好地指导模型获得更好的结果。 当使用 OpenAI 的聊天模型时,可以使用 system、user 和 assistant 三个不同的角色来构建 prompt,system 有助于设定 assistant 的整体行为。 提示工程就是探讨如何设计出最佳提示词,用于指导语言模型帮助我们高效完成某项任务。
2025-04-12
我是一个AI Agent初学者,现在我想要捏一款Agent,目的是喂给Agent固定材料之后对其做提问,让Agent学习完我的材料之后,在不联网的情况下对我问出的问题做出贴切材料的回答,现在请你告诉我如何操作
以下是捏制一个满足您需求的 AI Agent 的操作步骤: 1. 规划: 制定任务的关键方法,总结任务目标与执行形式。 将任务分解为可管理的子任务,确立逻辑顺序和依赖关系。 设计每个子任务的执行方法。 2. 实施: 在 Coze 上搭建工作流框架,设定每个节点的逻辑关系。 详细配置子任务节点,并验证每个子任务的可用性。 3. 完善: 整体试运行 Agent,识别功能和性能的卡点。 通过反复测试和迭代,优化至达到预期水平。 AI Agent 相关概念: AI Agent 是基于大型语言模型(LLM)和其他技术实现的智能实体,其核心功能在于自主理解、规划决策、执行复杂任务。 Chain:通常一个 AI Agent 可能由多个 Chain 组成。一个 Chain 视作是一个步骤,可以接受一些输入变量,产生一些输出变量。大部分的 Chain 是大语言模型完成的 LLM Chain。 Router:可以使用一些判定(甚至可以用 LLM 来判定),然后让 Agent 走向不同的 Chain。例如:如果这是一个图片,则 a;否则 b。 Tool:Agent 上可以进行的一次工具调用。例如,对互联网的一次搜索,对数据库的一次检索。 常见的 AI Agent 类型包括: Responser Agent:主 agent,用于回复用户(伪多模态)。 Background Agent:背景 agent,用于推进角色当前状态(例如进入下一个剧本,抽检生成增长的记忆体)。 Daily Agent:每日 agent,用于生成剧本,配套的图片,以及每日朋友圈。 Background Agent 每隔一段时间运行一次(默认 3 分钟),分析期间的历史对话,变更人物关系(亲密度,了解度等),变更反感度,如果超标则拉黑用户,抽简对话内容,提取人物和用户的信息成为“增长的记忆体”,按照时间推进人物剧本,有概率主动聊天(与亲密度正相关,跳过夜间时间)。
2025-03-23
我是一个AI Agent初学者,现在我想要捏一款Agent,目的是喂给Agent固定材料之后对其做提问,让Agent学习完我的材料之后,在不联网的情况下对我问出的问题做出贴切材料的回答
以下是为您提供的关于捏制 AI Agent 的相关知识: 一、手捏 AI Agent 的思路 在 Coze 中创建工作流驱动的 AI Agent,简单情况可分为 3 个步骤: 1. 规划 制定任务的关键方法。 总结任务目标与执行形式。 将任务分解为可管理的子任务,确立逻辑顺序和依赖关系。 设计每个子任务的执行方法。 2. 实施 在 Coze 上搭建工作流框架,设定每个节点的逻辑关系。 详细配置子任务节点,并验证每个子任务的可用性。 3. 完善 整体试运行 Agent,识别功能和性能的卡点。 通过反复测试和迭代,优化至达到预期水平。 二、AI Agent 的概念 AI Agent 是基于大型语言模型(LLM)和其他技术实现的智能实体,其核心功能在于自主理解、规划决策、执行复杂任务。 AI Agent 包括以下几个概念: 1. Chain:通常一个 AI Agent 可能由多个 Chain 组成。一个 Chain 视作是一个步骤,可以接受一些输入变量,产生一些输出变量。大部分的 Chain 是大语言模型完成的 LLM Chain。 2. Router:可以使用一些判定(甚至可以用 LLM 来判定),然后让 Agent 走向不同的 Chain。例如:如果这是一个图片,则 a;否则 b。 3. Tool:Agent 上可以进行的一次工具调用。例如,对互联网的一次搜索,对数据库的一次检索。 同时,需要三个 Agent: Responser Agent:主 agent,用于回复用户(伪多模态)。 Background Agent:背景 agent,用于推进角色当前状态(例如进入下一个剧本,抽检生成增长的记忆体)。 Daily Agent:每日 agent,用于生成剧本,配套的图片,以及每日朋友圈。 三、Agent 的“明斯基时刻” 心灵社会理论认为,智能是由许多简单的 Agent(分等级、分功能的计算单元)共同工作和相互作用的结果。这些 Agent 在不同层次上执行不同的功能,通过协作实现复杂的智能行为。 其特点包括: 1. 多重层次:心灵社会将智能划分为多个层次,从低层次的感知和反应到高层次的规划和决策,每个层次由多个 Agent 负责。 2. 功能模块:每个 Agent 类似于功能模块,专门处理特定类型的信息或执行特定任务,如视觉处理、语言理解、运动控制等。 3. 分布式智能:智能不是集中在单一的核心处理单元,而是通过多个相互关联的 Agent 共同实现。这种分布式智能能够提高系统的灵活性和鲁棒性,应对复杂和多变的环境。 同时,在《心灵社会》中,明斯基还详细描述了不同类型的 Agent 及其功能: 专家 Agent:拥有特定领域知识和技能的 Agent,负责处理复杂的任务和解决特定问题。 管理 Agent:协调和控制其他 Agent 的活动,确保整体系统协调一致地运行。 学习 Agent:通过经验和交互,不断调整和优化自身行为,提高系统在不断变化环境中的适应能力。
2025-03-23
我想找最新的关于大模型发展趋势的材料
以下是为您找到的关于大模型发展趋势的最新材料: 基础通识课中提到了 AI 模型及相关进展,包括视频生成模型、相关论文,以及 AI 在诺奖和蛋白质研究领域的应用等。还介绍了人工智能的发展历程,从早期到如今大模型和多模态模型百花齐放的阶段。同时提到大模型由数据、算法、算力构成,算法有技术架构的迭代,数据质量对生成理想的大模型至关重要,以及针对弱智 8 的问题对大模型进行测试等相关内容。 2023 年度中文大模型基准测评报告.pdf 中包含 2023 年国内大模型发展趋势、测评体系、方法说明、综合测评结果、SuperCLUE2.0 升级、四大维度测评分析及示例介绍、优秀模型案例介绍等内容。 2024 年历史更新(归档)中,有《探讨大模型未来:从 Scaling Law 到数据红利再到终极 Token 工厂》,探讨了大模型的未来,包括规模化法则、数据红利和 Token 工厂概念。还有《【AI 学习笔记】小白如何理解技术原理与建立框架(通俗易懂内容推荐)》《智变时代/全面理解机器智能与生成式 AI 加速的新工业革命》《文生图大模型基准测评首期榜单公布,DALLE 3 取得最高 76.94 分》等相关文章。
2025-03-23
帮我找下提示词学习材料
以下是为您提供的提示词学习材料: 一、关于提示词的一般理解 提示词(Prompt)是给大语言模型的输入文本,用于指定模型应执行的任务和生成的输出。它发挥着“提示”模型的作用,设计高质量的提示词需根据目标任务和模型能力精心设计,良好的提示词能让模型正确理解需求并给出符合预期的结果。示例包括直接提问型、策略建议型、翻译型、算数型、概念解释型等。 二、系统学习 Stable Diffusion 提示词的步骤 1. 学习基本概念 了解 Stable Diffusion 的工作原理和模型架构。 理解提示词如何影响生成结果。 掌握提示词的组成部分(主题词、修饰词、反面词等)。 2. 研究官方文档和教程 通读 Stable Diffusion 官方文档,了解提示词相关指南。 研究来自开发团队和专家的教程和技巧分享。 3. 学习常见术语和范例 熟悉 UI、艺术、摄影等相关领域的专业术语和概念。 研究优秀的图像标题和描述,作为提示词范例。 4. 掌握关键技巧 学习如何组合多个词条来精确描述想要的效果。 掌握使用“()”、“”等符号来控制生成权重的技巧。 了解如何处理抽象概念、情感等无形事物的描述。 5. 实践和反馈 使用不同的提示词尝试生成各种风格和主题的图像。 对比提示词和实际结果,分析原因,总结经验教训。 在社区内分享结果,请教高手,获取反馈和建议。 6. 创建提示词库 根据主题、风格等维度,建立自己的高质量提示词库。 将成功案例和总结记录在案,方便后续参考和复用。 7. 持续跟进前沿 关注 Stable Diffusion 的最新更新和社区分享。 及时掌握提示词的新技术、新范式、新趋势。 三、Claude 3.7 核心提示词相关资源 Anthropic 定期对外更新 Claude AI 的核心系统提示词,为广大提示工程师提供了宝贵的学习资料。您可以在以下链接中找到更多相关内容: 1. 中找到他们往期开源的更多系统提示词,涵盖了从 Claude 3 Haiku 到现在所有的模型。 2. Claude 3.5 sonnet 内置提示词详细拆解与解说:https://mp.weixin.qq.com/s/0R4zgH3Gc5TAfAPY1oJU4A 3. Anthropic 的三位顶级提示工程专家聊《如何当好的提示词工程师》:https://mp.weixin.qq.com/s/VP_auG0a3CzULlf_Eiz1sw 4. 往期 Claude AI 核心系统提示词:https://docs.anthropic.com/en/releasenotes/systemprompts 5. Claude 官方用户手册 提示工程指南:https://docs.anthropic.com/en/docs/buildwithclaude/promptengineering/overview 6. Claude 官方提示库:https://docs.anthropic.com/en/promptlibrary/library
2025-03-15
AI音乐发布要准备哪些材料
发布 AI 音乐通常需要准备以下材料: 1. 音频文件:确保音频质量良好。 2. 歌词: 文本歌词需做成 TXT 格式上传。 可通过自带功能将文本歌词同步为逐字歌词 TRC,修正错别字后提交。 3. 描述音乐风格:如民谣、流行、嘻哈、国风等。 4. 若为人声歌曲,还需准备歌词:可以自己创作,也可让 AI 帮忙写作。 5. 选择音乐库中的合适音乐。 此外,在一些相关教程中还提到: 收藏过的满意音乐素材、音效素材以及抖音里收藏的音乐。 音效库方面,可通过搜索相应音效,如开门声,并添加到音轨。
2025-03-11
处理 excel 表格 的 AI 工具
以下是一些可用于处理 Excel 表格的 AI 工具: 1. Excel Labs:这是一个 Excel 插件,新增了基于 OpenAI 技术的生成式 AI 功能,可在 Excel 中直接利用 AI 进行数据分析和决策支持。 2. Microsoft 365 Copilot:微软推出的整合了 Word、Excel、PowerPoint 等办公软件的 AI 工具,通过聊天形式,用户告知需求后,Copilot 会自动完成任务,如数据分析或格式创建。 3. Formula Bot:提供数据分析聊天机器人和公式生成器两大功能,用户可通过自然语言交互式地进行数据分析和生成 Excel 公式。 4. Numerous AI:支持 Excel 和 Google Sheets 的 AI 插件,除公式生成外,还能根据提示生成相关文本内容、执行情感分析、语言翻译等任务。 5. Ajelix:可处理 Excel 和 Google Sheets 表格的 AI 工具,链接为。 6. FormX.ai:能够自动从表格和文档中提取数据的 AI 工具,链接为。 随着技术的不断发展,未来可能会有更多 AI 功能被集成到 Excel 中,进一步提高工作效率和数据处理的智能化水平。内容由 AI 大模型生成,请仔细甄别。
2025-04-11
LLM模型响应时间较长,如何处理超时时间问题
处理 LLM 模型响应时间过长导致的超时问题,可以考虑以下方法: 1. 参数有效调整:这是一种新颖的微调方法,通过仅训练一部分参数来减轻微调 LLM 的挑战。这些参数可能是现有模型参数的子集,或者是一组全新的参数,例如向模型添加一些额外的层或额外的嵌入到提示中。 2. 优化提示设计:采用合适的提示方法,如零样本提示、一次性提示、Fewshot prompting 等。零样本提示是只给出描述任务的提示;一次性提示是让 LLM 执行任务的单个示例;Fewshot prompting 是让 LLM 执行任务的少量示例。同时,可以使用结构化模式设计提示,包含上下文、问题示例及相应答案等组件,以指示模型应如何响应。 3. 避免频繁调整某些参数:尤其是 Top K 和 Top P,不需要经常对其进行调整。 4. 关注模型响应质量:即使有良好的提示设计,模型输出仍可能不稳定,需要持续关注和优化。 5. 考虑成本和时间:微调大型模型可能耗时且成本高,为大模型提供服务也可能涉及额外麻烦和成本,需要综合评估和优化。
2025-04-11
cursor 长文档处理长文档
以下是关于 Cursor 长文档处理的相关信息: UI 用户界面: 当 Cursor 仅添加其他文本时,补全将显示为灰色文本。如果建议修改了现有代码,它将在当前行的右侧显示为 diff 弹出窗口。 您可以通过按 Tab 键接受建议,也可以通过按 Esc 键拒绝建议。要逐字部分接受建议,请按 Ctrl/⌘→。要拒绝建议,只需继续输入,或使用 Escape 取消/隐藏建议。 每次击键或光标移动时,Cursor 都会尝试根据您最近的更改提出建议。但是,Cursor 不会始终显示建议;有时,模型预测不会做出任何更改。 Cursor 可以从当前行上方的一行更改为当前行下方的两行。 切换: 要打开或关闭该功能,请将鼠标悬停在应用程序右下角状态栏上的“光标选项卡”图标上。 @Docs: Cursor 附带一组第三方文档,这些文档已爬取、索引并准备好用作上下文。您可以使用@Docs 符号访问它们。 如果要对尚未提供的自定义文档进行爬网和索引,可以通过@Docs>Add new doc 来实现。粘贴所需文档的 URL 后,将显示相应模式。然后 Cursor 将索引并学习文档,您将能够像任何其他文档一样将其用作上下文。 在 Cursor Settings>Features>Docs 下,您可以管理已添加的文档,包括编辑、删除或添加新文档。 @Files: 在 AI 输入框中(如 Cursor Chat 和 Cmd K),可以使用@Files 引用整个文件。如果继续在@后键入,将在策略之后看到文件搜索结果。 为确保引用的文件正确,Cursor 会显示文件路径的预览,这在不同文件夹中有多个同名文件时尤其有用。 在 Cursor 的聊天中,如果文件内容太长,Cursor 会将文件分块为较小的块,并根据与查询的相关性对它们进行重新排序。
2025-04-10
关于处理法律事务的提示词
以下是关于处理法律事务的提示词相关内容: 1. 陶力文律师观点:不能期待设计一个完美的提示词让 AI 百分百给出完美答案,应将提示词视为相对完善的“谈话方案”,成果在对话中产生。对于尝试 AI 的朋友,建议多给 AI 几轮对话修正的余地,不要期望一次输入提示词就得到想要的东西。陶律师习惯用的大模型是 KIMI,也可使用 GPT、文心一言、豆包等。其个人 Prompt 库取名为【元始洞玄灵宝枢机 AI 符法集成道藏】,库里每篇灵机符箓命名为【敕令 XXXX】。【箓】描述符箓整体所属、版本,【符】关键,涉及具体操作步骤和方法,开头赋予 AI 身份划定边界。 2. 潘帅观点:律师常用 Prompt 场景包括案例检索和类案检索。案例检索最好使用法律行业垂类的 AI 产品,通用型 AI 可能存在问题。案例检索的 Prompt 指令词结构为【案例领域或类型+明确需要查找的重点内容+查找案例的目的+其他希望 AI 做的事情】,并列举了多个具体例子,如商标侵权案件中“混淆可能性”标准的判例检索等。
2025-04-03
目前的大模型ai工具中 你觉得文本处理 写作这方面那个工具最强 最像人
目前在大模型 AI 工具中,对于文本处理和写作方面,以下是一些相关信息: 生成式人工智能的工作原理:在整体的人工智能领域,监督学习用于标记事物,一直占据很大比例。现在生成式 AI 快速崛起,强化学习与无监督学习也是重要工具。生成式 AI 由监督学习技术搭建,大语言模型使用监督学习不断预测下一个词语来生成文本,这需要大量数据。 大语言模型的应用:运用大语言模型写故事、修改文本很有用,但它可能编造故事产生错误信息,需要鉴别信息准确。网络搜索与大语言模型的区别在于网络搜索可追寻信息来源,大语言模型能提供建议与策略。 写作方面:使用大模型工具如 LLM 来写作,集思广益、头脑风暴非常有用。网页版聊天时提供更多信息,翻译也可使用 LLM,但其效果受网络文本量影响。 推荐的大模型工具:chatGPT 4.0、kimichat、智谱清言 4 等。一些国产模型如智谱和文心可以文生图。 相关工具:除了 Snapbox 外,还有 OpenCAT 等类似工具可供选择。有多种文本处理与总结工具,如 kimi 网页总结助手、ChatHub 等,以及翻译插件与 AI 对话插件、沉浸式翻译插件等。Memo Al 可以对音频视频进行转文字、字幕翻译、语音合成等,并由多种 AI 模型提炼内容精华总结、生成思维导图。 综合来看,不同的大模型工具在文本处理和写作方面各有特点,难以简单地确定哪一个最强、最像人,具体取决于您的需求和使用场景。
2025-04-01
长文本处理
以下是关于长文本处理的相关信息: 通义千问发布了一个模型并开源了两个模型,其中一个在长文本处理方面有显著提升。 开源的 Qwen2.51M 大模型推出 7B、14B 两个尺寸,在处理长文本任务中稳定超越 GPT4omini,同时开源推理框架,在处理百万级别长文本输入时可实现近 7 倍的提速,首次将开源 Qwen 模型的上下文扩展到 1M 长度。在上下文长度为 100 万 Tokens 的大海捞针任务中,Qwen2.51M 能够准确地从 1M 长度的文档中检索出隐藏信息,仅有 7B 模型出现少量错误。对于更复杂的长上下文理解任务,通义官方选择了等测试集。 Qwen2.51M 系列模型在大多数长上下文任务中显著优于之前的 128K 版本,特别是在处理超过 64K 长度的任务时表现出色。Qwen2.514BInstruct1M 模型不仅击败了 Qwen2.5Turbo,还在多个数据集上稳定超越 GPT4omini,可作为现有长上下文模型的优秀开源替代。 此外,还有关于利用 Langchain+Ollama+RSSHub 实现本地部署资讯问答机器人的内容,包括导入依赖库、从订阅源获取内容、为文档内容生成向量等步骤。其中使用了 feedparse 用于解析 RSS 订阅源,ollama 用于在 python 程序中跑大模型,文本向量模型 bgem3 具有支持多语言、长文本输入、集成多种检索能力等特点。
2025-03-31