Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

我想利用现有的20万条政务相关数据,基于qwen2.5 70B大模型构建自己的政务服务大模型,该如何做,请给出具体实现流程,谢谢!

Answer

以下是基于 qwen2.5 70B 大模型利用 20 万条政务相关数据构建政务服务大模型的大致流程:

  1. 数据准备:对 20 万条政务相关数据进行清洗、预处理和标注,使其适合模型学习。

  2. 模型选择与下载:选择 qwen2.5 70B 大模型,并按照相关说明进行下载。

  3. 本地部署:

    • 启动 OpenAI 兼容的 API 服务,根据硬件配置设置相关参数,如 --tensor-parallel-size(设置使用的 GPU 数量)、--max-model-len(定义最大输入序列长度)、--max-num-batched-tokens(设置 Chunked Prefill 的块大小)、--max-num-seqs(限制并发处理的序列数量)。
    • 遇到问题可参考Troubleshooting相关内容。
  4. 与模型交互:可以使用 Curl 或 Python 等方法与部署的模型进行交互,对于更高级的使用方式,可以探索如Qwen-Agent之类的框架。

  5. 模型训练:模型训练是一个复杂且计算量极大的过程,需要大量的计算资源和时间。

需要注意的是,构建大模型是一个复杂的任务,需要具备一定的技术知识和经验。在实际操作中,可能会遇到各种问题,需要不断调试和优化。

Content generated by AI large model, please carefully verify (powered by aily)

References

本地部署资讯问答机器人:Langchain+Ollama+RSSHub 实现 RAG

Gemma:Gemma是由Google推出的轻量级模型,Google表示,“Gemma 2B和7B与其他开放式模型相比,在其规模上实现了同类最佳的性能。”本次开发,下载的是7B模型。Mistral:Mistral是由欧洲法国Mistral AI团队推出的大模型,该模型采用了分组查询注意力(GQA)以实现更快的推断速度。本次开发,下载的是7B模型。Mixtral:Mixtral也是由Mistral AI团队推出的大模型,但Mixtral是一个8*7B的MoE模型,在大多数基准测试中都优于Llama 2 70B和GPT-3.5。Qwen:Qwen(通义千问)是由阿里巴巴推出的大模型,本次开发,下载的是7B模型。万物皆可RSS巧妇难为无米之炊。不管是获取日常新闻,还是获取A股行情,都需要有稳定靠谱的数据源。大家可能第一时间会想到爬虫,但自己去搭建和维护这样一个爬虫系统还是比较麻烦的。有没有其他更好的方式呢?这就需要用到「上古神器」RSS了!大家可能会觉得RSS已经过时了。现如今,打开手机,今日头条、微博、微信等APP时不时就会给你推送最新的资讯,日常生活工作好像没有用到RSS的场景。确实,大部分情况下,我们想要获取资讯,手机APP基本够用了。但是,如果你想针对一些特定的需求,需要从某些网站上获取最新通知或相关信息呢?比如,获取https://openai.com/blog的最新更新获取https://www.producthunt.com每天的热门产品获取https://github.com/trending每天的热门开源项目

通义千问发布一个模型开源两个模型-一个AI视觉智能体能力大幅增强,一个百万Tokens处理速度提升近7倍

使用以下命令启动服务,根据你的硬件配置进行设置:参数说明:--tensor-parallel-size设置为您使用的GPU数量。7B模型最多支持4个GPU,14B模型最多支持8个GPU。--max-model-len定义最大输入序列长度。如果遇到内存不足问题,请减少此值。--max-num-batched-tokens设置Chunked Prefill的块大小。较小的值可以减少激活内存使用,但可能会减慢推理速度。推荐值为131072,以获得最佳性能。--max-num-seqs限制并发处理的序列数量。如果遇到问题,请参考[Troubleshooting](https://huggingface.co/Qwen/Qwen2.5-7B-Instruct-1M#troubleshooting)相关内容。[heading3]4.与模型交互[content]你可以使用以下方法与部署的模型进行交互:选项1.使用Curl选项2.使用Python其他选项对于更高级的使用方式,可以探索如[Qwen-Agent](https://github.com/QwenLM/Qwen-Agent/tree/main)之类的框架。Qwen-Agent使模型能够读取PDF文件或获得更多功能。

文章:Andrej Karpathy 亲授:大语言模型入门

因此,您只需要这两个文件和一台MacBook,就可以构成一个完全独立的系统,无需连接互联网或其他设施。您可以编译C代码,得到一个可以指向参数文件的二进制文件,然后与语言模型进行交互。例如,您可以请求模型创作一首关于Scale.ai公司的诗,模型将根据指令生成文本。我之所以选择Scale.ai作为例子(您会在整个讲座中看到),是因为我最初的讲座是在Scale.ai主办的活动中进行的,因此我在整个讲座中都使用了它们的例子。在视频中,我展示的是一个运行70亿参数模型的例子,而不是700亿参数的模型,因为后者的运行速度会慢大约10倍。我的目的是让您了解文本生成的过程和外观。LLM训练当我们谈论获取这些参数时,我们面临的是一个计算复杂性问题。那么,我们是如何获得这些参数的呢?尽管run.c文件中的内容、神经网络架构以及前向传播等都可以通过算法理解和开放,但真正的魔法在于参数的获取。模型训练比模型推理要复杂得多。模型推理可以简单地在MacBook上运行,而模型训练则是一个计算量极大的过程。我们所做的可以被理解为对互联网的一大块内容进行压缩。Llama2 70B作为一个开源模型,我们对其训练方式有很多了解,因为Meta在论文中发布了相关信息。训练过程涉及大约10TB的文本,通常来源于互联网的抓取。您需要大量的互联网资源和一个GPU集群,这些专业计算机用于执行如神经网络训练这样的繁重计算任务。您需要大约6000个GPU,运行约12天,费用大约200万美元,以将这一大块文本压缩成类似于zip文件的形式。这些参数文件大约140GB,压缩比大约是100倍。但这不是无损压缩,而是有损压缩,我们得到的是训练文本的一种格式塔,而不是原始文本的完整副本。

Others are asking
AI除了政务还可以应用在哪些方面
AI 的应用领域非常广泛,除政务外,还包括以下方面: 1. 医疗保健:辅助疾病诊断、医疗影像分析、药物研发等。 2. 金融服务:风险评估、欺诈检测、投资决策等。 3. 教育领域:个性化学习、智能辅导、教学资源推荐等。 4. 制造业:质量检测、生产流程优化、设备维护预测等。 5. 交通运输:自动驾驶、交通流量预测、物流优化等。 6. 市场营销:客户细分、精准营销、市场趋势预测等。 7. 娱乐产业:游戏开发、内容创作、虚拟角色等。 8. 农业:作物监测、病虫害预测、农业资源管理等。
2025-03-05
如何用AI构建政务模型
以下是关于如何用 AI 构建政务模型的相关信息: 行业、学术界、研究组织和全球合作伙伴正在寻找解决基础模型监管相关挑战的方法。例如,基础模型的开发者正在探索将对齐理论嵌入模型的方式,政府需要与 AI 研究社区密切合作,利用研究见解并完善监管框架。 英国致力于提升在基础模型方面的能力。基础模型是一种新兴的通用 AI 类型,训练数据量大,能适应多种任务,其快速发展给政府监管带来新挑战。 需建立一个中央职能,支持单个监管机构的视野扫描活动,以实现可适应、协作和值得信赖的监管机制。该职能有助于建立一个能适应新兴趋势、召集合作伙伴共同识别趋势,并确保监管框架能应对新兴趋势的监管制度。 要确保与国际监管框架的互操作性,包括监测英国原则与国际监管方法、保证和/或风险管理以及技术标准之间的一致性,支持跨境协调与合作。此职能对于实现促进创新的监管制度至关重要,能确保英国创新者可进行国际交易,英国公司能吸引海外投资。
2025-02-27
java程序员怎么转型大模型算法工程师
以下是为 Java 程序员转型大模型算法工程师提供的一些建议: 1. 学习相关理论知识:了解大模型的基本原理,包括模型架构、预训练及微调、部署及推理等。 2. 掌握技术工具:熟悉 LLM 相关技术,如 Transformer、Prompt Tuning、RLHF、Langchain、Agent、MOE、RAG 等。 3. 提升编程能力:熟悉算法和数据结构,具备扎实的编程基础,尤其是 Python 开发。 4. 积累项目经验: 可以参考大圣的全网最适合小白的 Llama3 部署和微调教程,该教程手把手教您下载并部署 Llama3 模型,使用甄嬛数据集微调模型,并了解微调的意义和概念。但需注意,此教程不会讲解微调的技术性原理及文中用到的 Python 代码。 关注招聘信息,例如序智科技和中国移动设计院的招聘需求,了解大模型算法工程师的职责和要求,针对性地提升自己的能力。 5. 增强相关技能: 对至少 2 个框架具备源码级别的理解和优化能力,包括但不限于 Langchain、XAgent、ChatDev、DsPy、AutoGPT、BabyAGI、MetaGPT。 熟悉 GPT Function Calling 原理,熟练掌握 Prompt Engineering。 对预训练/微调(尤其是微调)熟练,熟练掌握 huggingface/deepspeed(或其他框架)。 对多模态大模型有一定了解,精通低代码平台会是加分项。 您可以根据自身情况,有针对性地进行学习和实践,逐步实现从 Java 程序员向大模型算法工程师的转型。
2025-03-12
列举出不同的 embedding模型
以下是不同的 embedding 模型: 1. 词嵌入: Word2Vec:包括 CBOW(Continuous BagofWords)和 SkipGram 模型,由 Google 提出,用于学习单词之间的语义关系。 GloVe(Global Vectors for Word Representation):由斯坦福大学开发,旨在结合全局统计信息和局部上下文窗口的优势来生成单词嵌入。 FastText:由 Facebook AI 团队推出,不仅考虑单个单词,还考虑内部字符 ngram,对于罕见词汇有更好的表现。 ELMo(Embeddings from Language Models):利用双向 LSTM 对整个句子进行建模,产生上下文敏感的单词嵌入。 2. 情景化的词嵌入: BERT(Bidirectional Encoder Representations from Transformers):由 Google 推出,利用 Transformer 架构的预训练模型,能够根据上下文提供动态的单词嵌入。 GPT(Generative Pretraining Transformer)及其后续版本 GPT2/3/4:由 OpenAI 开发,也是基于 Transformer 的自回归模型,同样能产出上下文相关的嵌入。 XLNet、RoBERTa 等都是 BERT 之后改进或扩展的预训练模型。 3. 句子和文档嵌入: Doc2Vec:扩展了 Word2Vec,能够为整个文档生成统一的向量表示。 Average Word Embeddings:将一段文本中所有单词的嵌入取平均作为整体的文本表示。 Transformers Sentence Embeddings:如 BERT 的标记对应的向量,或者专门针对句子级别的模型如 SentenceBERT。 4. 实体/概念嵌入: Knowledge Graph Embeddings:如 TransE、DistMult、ComplEx 等,用于将知识图谱中的实体和关系嵌入到低维向量空间中。 5. 其他类型: 图像 Embeddings:使用卷积神经网络(CNN)进行图像特征提取,得到的特征向量即为图像嵌入。 音频 Embeddings:在语音识别和声纹识别中,将声音信号转化为有意义的向量表示。 用户/物品 Embeddings:在推荐系统中,将用户行为或物品属性映射到低维空间以进行协同过滤或基于内容的推荐。 图 Embeddings:是用于学习图结构的表示学习方法,将图中的节点和边映射到低维向量空间中。通过学习图嵌入,可以将复杂的图结构转化为向量表示,以捕捉节点之间的结构和关联关系。这些方法可以通过 DeepWalk、Node2Vec、GraphSAGE 等算法来实现。图嵌入在图分析、社交网络分析、推荐系统等领域中广泛应用,用于发现社区结构、节点相似性、信息传播等图属性。 此外,以 OpenAI 为例,第一代嵌入模型(不推荐)包括: 所有第一代模型(以001 结尾的模型)都使用 GPT3 分词器,最大输入为 2046 个分词。 第一代嵌入由五个不同的模型系列生成,这些模型系列针对三个不同的任务进行了调整:文本搜索、文本相似性和代码搜索。 相似性嵌入:textsimilaritybabbage001、textsimilaritycurie001、textsimilaritydavinci001。 文本搜索嵌入:textsearchadaquery001、textsearchbabbagedoc001、textsearchbabbagequery001、textsearchcuriedoc001、textsearchcuriequery001、textsearchdavincidoc001、textsearchdavinciquery001。 代码搜索嵌入:codesearchadatext001、codesearchbabbagecode001、codesearchbabbagetext001。 对于001 文本嵌入(不是002,也不是代码嵌入),建议将输入中的换行符替换为单个空格,因为当存在换行符时可能会有更糟糕的结果。
2025-03-12
分布式预训练模型并行
分布式预训练模型并行主要包括以下内容: 张量并行:当模型参数增大,除流水线并行外,还可用张量并行缓解,即以前的模型并行。以矩阵乘为例,对权重矩阵 B 有按列切分和按行切分两种方案。按列切分,A 不变,每一列独立计算后结果 concat 在一起;按行切分,A 对应列切分,两部分独立计算后结果 sum 在一起。 大模型发展历程:2017 年发布的 Attention Is All You Need 论文开启了相关研究。之后有多种预训练模型,如 2018 年 Google 提出的 BERT,创新性地双向预训练并行获取上下文语义信息和使用掩码语言建模;2018 年 OpenAI 提出的 GPT,开创仅用自回归语言建模作为预训练目标;2021 年 Meta 提出的首个开源模型 LLAMA,为构建更大规模、更通用的语言模型提供方法与工具。 分布式训练的其他方面: 分布式通信原语包括点对点通信和集合通信,集合通信包含多种方式。 3D 并行包括数据并行,各自有优势和问题。 ZeRO 针对数据并行显存占用大的问题提出优化,Alpa 借鉴 AI 编译器思路对 3D 并行建模并用自动化搜索方式得到并行策略。 如果想了解更多关于 transformer 在 NLP/多模态/AIGC 的算法知识、分布式训练知识,以及如何在 TVM 上做 PTQ 量化和部署,可以关注作者 aaronxic。
2025-03-12
你说什么模型
以下是关于模型的相关信息: 我调用的是抖音集团的云雀大模型。 OpenAI API 由具有不同功能和价位的多种模型提供支持,包括 GPT4、GPT3.5、DALL·E、Whisper、Embeddings、Codex、Moderation、GPT3 等,您还可以通过微调针对特定用例对原始基本模型进行有限的定制。 在 Cursor 中,使用光标聊天、Ctrl/⌘K 和终端 Ctrl/⌘K 可以轻松在不同模型之间切换。在 AI 输入框下方有下拉列表,允许选择要使用的模型,默认准备好的模型有 GPT4o、GPT4、Claude 3.5 Sonnet 以及 Cursor 的自定义模型 cursorsmall,cursorsmall 不如 GPT4 智能但速度更快且用户可无限制访问,还可以在 Cursor Settings>Models>Model Names 下添加其他模型。
2025-03-12
请帮我推荐优化大模型+知识库的提示词技巧,重点是解决将知识库配置给大模型做RAG后,召回率不高或者不遵循指令。
以下是关于优化大模型+知识库的提示词技巧,以解决将知识库配置给大模型做 RAG 后召回率不高或者不遵循指令的问题: 首先,了解 LLM 应用性能优化的推荐路径: 1. 从 prompt 工程开始把 LLM 应用快速跑起来。 2. 若遇到表现性能不足等问题,如结构化提示词占用上下文过长,可尝试精简提示词长度;若指令遵循度不足,则加强指令约束。 3. 若提示工程无法满足要求,分析问题,若缺失知识,先简单做知识库 RAG。 4. RAG 之后若想让模型表现更收敛更稳定,尝试微调模型。 5. 微调模型后,若模型表现变好,使用更多高级 RAG 技术,构造输入输出样本,进一步用于微调模型,构建正向迭代循环。 需要注意的是,该路径有个隐藏前提:该 LLM 应用依赖外部知识,需要 RAG。若不需要外部知识,则不需要使用 RAG,可以直接进入 prompt 工程与微调的正向迭代循环。 对于 RAG 流程中的检索有用信息部分,有以下改进策略: 1. 优化索引: 按照子部分索引:将文本块再拆分为较小的文本(例如单句),然后对这些小块进行多次索引。适用于有多个主题、有冲突信息的复杂长文本信息,确保与查询相关的上下文。 按照文本框可以回答的问题索引:让 LLM 生成与拆分的文本块相关的假设性问题,并将这些问题用于索引,适用于用户没有提出非常明确的问题,减少模糊性。 按照文本块的摘要进行索引:适用于文本框中有多余信息或者与用户查询无关细节的情况。 2. 重排 rerank:搜到相似信息后,选择策略,大部分场景下选择最相似的即可。 在从知识库中检索出内容后利用大模型进行总结时,有两点需要注意: 1. 优化 Prompt,但此处不展开,可参考相关文章。 2. 选择合适的大模型,考虑上下文长度、聪明度和生成速度。若回答场景是很长的文档,可能更关注上下文长度;大多数情况下,大模型越聪明,生成速度可能越慢。
2025-03-12
大模型企业落地方案有哪些
大模型企业落地方案主要包括以下几个方面: 1. 提高内容可信: 做具备通用能力的大模型,通过商业交付应用、反馈和评测来解决内容可信问题。 不断优化数据以解决实际应用问题,如自我学习能力等。 走向垂直化,结合场景用一个模型和框架提高内容精准度。 2. 解决算力成本高、训练重复和资源紧缺的问题: 以 GPT3 模型为例,现有千卡集群训练一个月,单次训练周期一个月,总成本超过 1200 万美金,且全行业训练卡持续涨价。 目前仍无人能用商业化的国产芯片做大模型训练。 3. 降低大模型价格或使用垂直领域模型落地。 4. 以百度智能云为例: 在 IaaS 层,百舸 AI 异构计算平台解决算力问题,提供从集群创建到模型训练、推理的完整算力管理方案,提升算力管理能力和模型训练效率,确保高达 99.5%的有效训练时间,为大模型应用落地提供强大算力支撑。 在 Paas 层,千帆大模型平台解决大模型的调用、开发和应用开发问题,支持调用文心大模型全系列模型,提供全面工具链,支持定制化模型开发,通过 AppBuilder 提供企业级 Agent 和企业级 RAG 开发能力,还能将企业应用数据反馈到模型中形成良性循环,持续优化模型性能。 在 SaaS 层,提供丰富的常用应用供客户选择,如数字人平台曦灵、智能客服应用客悦等。 此外,大模型在实际应用中存在一些问题,如知识的局限性、幻觉问题和数据安全性问题,而 RAG 是解决上述问题的一套有效方案,它可以让大模型从权威的、预先确定的知识来源中检索、组织相关信息,更好地控制大模型生成的文本输出,并且用户可以深入了解 LLM 如何生成最终的结果。RAG 可以和微调结合使用,两者并不冲突。
2025-03-12
如何在20天内快速学习AI技术,并找到工作
以下是在 20 天内快速学习 AI 技术并找到工作的一些建议: 1. 基础知识学习: 了解人工智能、机器学习、深度学习的定义及其之间的关系。 简要回顾 AI 的发展历程和重要里程碑。 熟悉统计学基础,如均值、中位数、方差等统计概念。 掌握线性代数基本概念,如向量、矩阵。 学习基础的概率论知识,如条件概率、贝叶斯定理。 2. 算法和模型: 学习监督学习中的常用算法,如线性回归、决策树、支持向量机(SVM)。 熟悉无监督学习中的聚类、降维等算法。 了解强化学习的基本概念。 3. 评估和调优: 学会如何评估模型性能,包括交叉验证、精确度、召回率等。 掌握使用网格搜索等技术优化模型参数。 4. 神经网络基础: 理解神经网络的基本结构,包括前馈网络、卷积神经网络(CNN)、循环神经网络(RNN)。 了解常用的激活函数,如 ReLU、Sigmoid、Tanh。 5. 实践操作: 像案例中的二师兄一样,通过实际操作和练习来巩固所学知识,例如使用相关工具进行炼丹。 参与社群交流和项目实践,如加入 Prompt battle 社群,尝试用 GPT 和 SD 制作图文故事绘本、小说推文等项目。 需要注意的是,20 天的时间较为紧张,要保持高强度的学习和实践,同时不断总结和反思,提升自己的能力,以增加找到工作的机会。
2025-03-11
在 2025 年 环境下的 AI 小白,如何学习,学习什么,才能够赶上初始 AI 人的脚步
对于 2025 年环境下的 AI 小白,以下是一些学习建议和学习内容,以帮助您赶上初始 AI 人的脚步: 1. 积极参与相关活动: 参加类似上海火山引擎原动力大会、camelai 的现场黑客松活动等。 参与社区共学智能体搭建的课程分享。 报名参加如 VB 等各类 AI 建模和绘画活动。 2. 学习提示词: 从复制社区里他人的提示词开始,逐渐提升自己撰写提示词的能力。 了解提示词撰写的要点,如明确主体、动作、场景,避免使用专有名词和网络名词,给 AI 清晰描述。 3. 参与社区共建: 写产品体验文章等,与其他学习者交流经验。 4. 制定学习计划: 明确学习目标和步骤,例如规划参与特定的课程和活动。 5. 学习 AI 编程: 认识到不懂代码学 AI 编程入门不易,但可借助工具。 参加如 build down tree AI 编程挑战活动。 按照后续课程安排进行系统学习。 6. 学习 AI 视频制作: 重视人物设定与剧本,包括主体、动作、场景等要素。 掌握分镜处理,明确用几个镜头表述内容。 熟悉生成与后期的流程,包括抽卡、粗检和如 AI 配音剪辑、加过渡滤镜等后期处理。 做好脚本即提示词,耐心抽卡,不断提升撰写提示词能力。 选择适合自己的工具,如剪映(主力机是 MacBook Pro 可使用 final cut)。 向 ChatGPT 询问获取灵感。 总之,要相信自己,只要不停下学习的脚步,就一定能够在 AI 领域取得进步。
2025-03-10
给我30份中央人民政府网站和工业和信息部网站2020~2023年期间发布的重要的国家层面与人工智能相关政策文件,列个清单
以下是中央人民政府网站和工业和信息部网站 2020 2023 年期间发布的部分重要的国家层面与人工智能相关政策文件清单: 1. 互联网信息服务算法推荐管理规定(算法推荐规定),于 2023 年 3 月 1 日生效。 2. 互联网信息服务深度合成管理规定(深度合成规定),于 2023 年 1 月 10 日生效。 3. 生成式人工智能服务管理暂行办法(生成式 AI 办法),于 2023 年 7 月 13 日公布并于 2023 年 8 月 15 日生效。 4. 生成式人工智能服务安全基本要求(征求意见稿),于 2023 年 10 月 11 日公开征求意见,意见反馈截止日期为 2023 年 10 月 25 日。 5. 科技伦理审查办法(试行)(征求意见稿)(伦理审查办法(草案)),于 2023 年 4 月 14 日公开征求意见,意见反馈截止时间为 2023 年 5 月 3 日。 6. 国家人工智能产业综合标准化体系建设指南(征求意见稿),于 2024 年 1 月 17 日公开征集意见,意见反馈截止时间为 2024 年 1 月 31 日。 由于未能获取到 30 份相关政策文件,建议您通过中央人民政府网站和工业和信息部网站的搜索功能,以获取更全面和准确的信息。
2025-02-25
2024 年值得关注的中文大模型全景图
2024 年,AI 大模型在生产和生活中落地速度迅猛,被称为国内大模型落地元年。以下是一些值得关注的情况: 国内大模型行业形成了以百度、阿里、字节等科技大厂和创业“AI 六小虎”为主要玩家的竞争格局。 2024 年 1 至 11 月,国内大模型中标项目数量和金额大幅增长,中标项目共 728 个,是 2023 年全年的 3.6 倍;中标金额 17.1 亿元,是 2023 年全年的 2.6 倍。中标项目数前五的行业分别是运营商、能源、教育、政务、金融。 厂商方面,百度以 40 个中标项目数、2.74 亿元的中标金额排名所有厂商之首,科大讯飞居第二。 在金融行业,百度以 14 个中标数量、3734.4 万元中标金额排名第一;科大讯飞居第二。 在智能终端行业,超半数手机厂商都在使用文心大模型,包括三星、荣耀、vivo、OPPO、小米等主流手机品牌;上汽大众、吉利汽车、蔚来汽车、长安汽车等十余家车企已接入百度文心大模型。 百度表现突出,截至 11 月,其文心大模型日均调用量超过 15 亿次,千帆平台帮助客户精调了 3.3 万个模型、开发了 77 万个企业应用。今年三季度财报披露,百度智能云营收达 49 亿元,同比增长 11%。 2024 年 9 月 AI 行业大事记: 9 月 12 日:李继刚再现神级 Prompt,玩法持续翻新;Mistral 发布首个多模态模型 Pixtral 12B。 9 月 13 日:商汤 Vimi 相机开放微博小程序;元象开源中国最大 MoE 大模型 XVERSEMoEA36B;OpenAI 发布 o1 模型。 9 月 14 日:人工智能生成合成内容标识办法;Jina AI 发布 ReaderLM、Jina Embeddings V3。 9 月 18 日:DeepSeek 发文庆祝登上 LMSYS 榜单国产第一,几小时后 Qwen 新模型表示不服。 9 月 19 日:云栖大会;通义万相 AI 生视频上线;快手可灵 1.5 模型新增运动笔刷能力。 9 月 20 日:腾讯元器智能体对外发布;秘塔科技产品经理 JD 走红 AI 圈;阶跃跃问接入 Step2 万亿参数 MoE 语言大模型。 9 月 21 日:大模型测试基准研究组正式成立。 9 月 23 日:钉钉 365 会员上线。 9 月 24 日:讯飞星火 API 全新升级;豆包大模型全系列发布&更新。 9 月 25 日:Vidu API 正式开放,加速企业级视频创作;OpenAI 发布高级语音功能;西湖心辰开源 WestlakeOmni。 大模型进入产业落地后,除了大模型本身能力质量要过硬外,落地应用所需要的全栈技术能力、工程化配套工具等对落地效果有直接影响。企业想要真正将大模型在自身场景落地,需要具备构建算力、数据治理、模型训练、场景落实、应用搭建、持续运营、安全合规等整套能力,大模型的竞争正在加速成为体系化之战。
2025-02-21
2024 年中国人工智能+产业规模
目前关于 2024 年中国人工智能+产业规模的相关信息如下: 国家统计局数据显示,2022 年全国研究与试验发展(R&D)经费投入总量首次超过 3 万亿元,达到 30782.9 亿元,比上年增加 2826.6 亿元,增长 10.1%,表明国家对科技创新和算力设施的重视和持续投入。我国算力设施产业链规模巨大,已达到万亿元级别。2022 年我国算力核心产业规模达到 1.8 万亿元,预计到 2023 年,中国算力产业规模将超过 3 万亿元。 在企业数量方面,截至 2024 年 3 月,全国算力存量企业共有 75,343 家。其中,广东省、北京市和江苏省的企业数量位居前三,分别有 10,315 家、7,167 家和 6,728 家。此外,人工智能企业数量也超过 4400 家。 德勤的报告指出,中国 AI 产业快速发展,得益于政策支持、经济增长和技术创新。成长型 AI 企业作为产业创新的重要力量,数量占比高达九成,活跃于各行业领域。预计到 2025 年,中国人工智能核心产业规模将突破 5000 亿元。 在影视行业,若假设 2027 年 AI 影视市场可以获得国内总市场份额的 10%,则国内 AI 影视总市场规模预计将达约 380 亿元以上;若假设 2030 年可以获得 25%以上市场份额,则国内 AI 影视总市场规模将达千亿级别。 营销行业或成生成式 AI 最早实现商业化落地的行业之一,未来,AI 技术还将持续推动营销行业的深刻变革。
2025-02-20
最新的AI行业动态和进展有哪些,包含2025年
以下是关于最新的 AI 行业动态和进展(包含 2025 年)的内容: 2024 年: 图片超短视频的精细操控:包括表情、细致动作、视频文字匹配。 有一定操控能力的生成式短视频:风格化、动漫风最先成熟,真人稍晚。 AI 音频能力长足进展:带感情的 AI 配音基本成熟。 “全真 AI 颜值网红”出现,可以稳定输出视频,可以直播带货。 游戏 AI NPC 有里程碑式进展,出现新的游戏生产方式。 AI 男/女朋友聊天基本成熟:记忆上有明显突破,可以较好模拟人的感情,产品加入视频音频,粘性提升并开始出圈。 实时生成的内容开始在社交媒体内容、广告中出现。 AI Agent 有明确进展,办公场景“AI 助手”开始有良好使用体验。 AI 的商业模式开始有明确用例:数据合成、工程平台、模型安全等。 可穿戴全天候 AI 硬件层出不穷,虽然大多数不会成功。 中国 AI 达到或超过 GPT4 水平;美国出现 GPT5;世界上开始现“主权 AI”。 华为昇腾生态开始形成,国内推理芯片开始国产替代(训练替代要稍晚)。 AI 造成的 DeepFake、诈骗、网络攻击等开始进入公众视野,并引发担忧。 AI 立法、伦理讨论仍然大规模落后于技术进展。 2025 2027 年: AI 3D 技术、物理规则成熟:正常人无法区别 AI 生成还是实景拍摄。 全真 AI 虚拟人成熟:包含感情的 AI NPC 成熟,开放世界游戏成熟;游戏中几乎无法区别真人和 NPC。 AR/VR 技术大规模商用。 接近 AGI 的技术出现。 人与 AI 配合的工作方式成为常态,很多日常决策开始由 AI 来执行。 AI 生产的数据量超过全人类生产数据量,“真实”成为稀缺资源。 具身智能、核聚变、芯片、超导、机器人等技术有明显进展突破。 “人的模型”出现,出现“集中化 AGI”与“个人 AGI”的历史分叉。 AI 引发的社会问题开始加重,结构性失业开始出现。 AGI 对于地缘政治的影响开始显露。 此外,还有以下相关动态: 算力瓶颈不只是单纯的技术和建设问题,而是影响整个行业竞争格局的重要变量。 逐渐进入多模态灵活转换的新时代,实现文本、图像、音频、视频及其他更多模态之间的互相理解和相互转换。 人类劳动形式逐步“软件化”,复杂劳动被抽象为可调用的软件服务,劳动流程被大幅标准化和模块化,劳动能力像“即插即用”的工具一样易于获取。 AI 行业目前仍处于严重亏损的阶段,商业化进程仍有巨大提升空间。 云厂商是产业链中毋庸置疑的“链主”。 2024 年,头部 AI 应用的品类变化并不显著。创意工具(如图像和视频内容创作)依然占据最大比重。To P(面向专业用户)应用展现出强大的市场潜力,ToB(面向企业)应用发展路径相对复杂,ToC 应用面临较大的挑战。 在 AI 应用领域,Copilot 和 AI Agent 是两种主要的技术实现方式。 北美和欧洲贡献了 AI 移动应用市场三分之二的份额,众多中国 AI 公司积极出海。 2024 年 10 月的大事记包括: Gartner 发布 2025 年十大战略技术趋势。 DeepSeek 开源多模态 LLM 框架 Janus。 司南开源大模型能力评估模型 CompassJudger。 Anthropic 发布新功能 computer use,发布 Claude 3.5 Haiku,更新 Claude 3.5 Sonnet。 Stability AI 发布 Stable Diffusion 3.5。 x.AI 正式推出 API。 ComfyUI V1 官方桌面版开放内测。 华为发布纯血操作系统鸿蒙 OS NEXT。 Jina AI 推出高性能分类器 Classifier API。 OpenAI 发布图像生成模型 sCM。 Midjourney 上线外部图片编辑器。 Runway 发布动画视频功能 ActOne。 Ideogram 推出 AI 画板工具 Canvas。 Genmo 开源视频生成模型 Mochi 1。 荣耀发布操作系统 MagicOS 9.0。 美国 14 岁少年与 C.AI 聊天后离世。 新华社发文表示警惕「AI 污染」乱象。 港中文&趣丸推出 TTS 模型 MaskGCT。 科大讯飞发布讯飞星火 4.0 Turbo。 阿里通义代码模式开始内测。 Anthropic Claude 新增数据分析功能。 北京市大中小学推广 AI 学伴和 AI 导学应用。 稚晖君开源「灵犀 X1」全套资料。 OpenAI 高管 Miles Brundage 离职。
2025-02-17
r1-1.5b,7b,32b,70b的区别在哪
以下是关于 r11.5b、7b、32b、70b 区别的一些信息: 在模型规模方面,不同规模的模型具有不同的特点和应用场景。 从一些访谈和相关介绍来看: 小型模型(如 1.5b)在某些特定应用中可能已经足够好,并且成本相对较低,但在处理复杂任务和解锁新的有价值应用方面可能有限。 较大的模型(如 7b、70b)通常能够提供更强大的性能和能力,例如在提供良好的法律建议等任务中可能表现更出色。但大模型的成本也相对较高,并非所有应用都能证明其成本的合理性。 以 Qwen 2 为例,不同规模的模型具有不同的性能和处理能力: Qwen20.5B、Qwen21.5B 可处理 32k 上下文。 Qwen27B 可处理 128k 上下文。 像 baichuan7B 这样的 70 亿参数模型,在标准的中文和英文权威 benchmark 上均取得同尺寸最好的效果,支持中英双语,上下文窗口长度为 4096。 总之,不同规模的模型在性能、成本、适用场景等方面存在差异,需要根据具体需求来选择合适的模型。
2025-02-26
对于70后,学ai,怎么学
对于 70 后学习 AI,以下是一些建议: 1. 明确学习目标:确定自己学习 AI 的具体方向和应用场景,例如是对 AI 绘画感兴趣,还是希望将 AI 应用于工作中的数据分析等。 2. 基础知识学习:可以通过在线课程、书籍等途径,学习数学(如线性代数、概率论)、编程(如 Python)等基础知识。 3. 选择适合的学习路径:可以参考成功的案例,如 AI 教父辛顿的经历。辛顿在多次尝试和坚持后,最终在神经网络领域取得成就。 4. 关注行业动态:了解 AI 在教育等领域的最新应用和发展趋势,例如未来教育中 AI 与人类教师的协作方式,以及个性化学习的普及。 5. 实践与应用:通过实际项目或案例进行练习,将理论知识应用到实际中。 需要注意的是,学习 AI 是一个长期的过程,需要保持耐心和坚持不懈的精神。
2024-12-11
NVIDIA Graphics Device with CUDA capability sm_120 is not compatible with the current PyTorch installation. The current PyTorch install supports CUDA capabilities sm_37 sm_50 sm_60 sm_61 sm_70 sm_75 sm_80 sm_86 sm_90 compute_37. If you want to use th
您好,出现“NVIDIA Graphics Device with CUDA capability sm_120 is not compatible with the current PyTorch installation. The current PyTorch install supports CUDA capabilities sm_37 sm_50 sm_60 sm_61 sm_70 sm_75 sm_80 sm_86 sm_90 compute_37.”这种情况,意味着您所使用的 NVIDIA 显卡的 CUDA 计算能力(sm_120)与当前安装的 PyTorch 版本不兼容。当前安装的 PyTorch 支持的 CUDA 计算能力为 sm_37 至 sm_90 以及 compute_37 。您可能需要重新安装与您显卡 CUDA 计算能力相匹配的 PyTorch 版本,或者升级您的显卡驱动程序来解决此兼容性问题。
2024-11-30
如何让COMFYUI使用我的INTEL A770显卡?
要让 ComfyUI 使用您的 INTEL A770 显卡,以下是一些相关的步骤和信息供您参考: 首先,ComfyUI 本地安装的方法主要有以下几种: 1. 命令行安装: 如果您已经安装过 SD WebUI,可以跳到第二步。首先需要打开系统 Terminal,不同系统的 Terminal 可能有所不同。 Windows 用户:建议在有 NVIDIA 显卡的电脑上使用。需要下载 Miniconda3,输入相关命令进行安装,然后安装 pytorch 的 nightly 版本。 Mac 用户:安装需要根据电脑芯片不同输入不同代码。下载 Miniconda3 并输入相关命令进行安装,最后安装 pytorch。 2. 安装包安装:仅支持 Windows 系统且显卡必须是 Nivida。下载地址是,下载最新版本解压即可使用。 关于 ComfyUI 的硬件配置: ComfyUI 相比 WebUI 配置更低、系统资源占用更少、出图速度更快,最低可在小于 3G 的 GPU 上运行,甚至没有 GPU 光用 CPU 也可以运行,但速度极慢。SDXL 出来后提高了运行配置,最低需要 8GB 显存+32GB 运行内存,12GB 流畅运行,推荐 16GB 以上。运行内存最低 32GB,越高越好,最低配会经常爆显存。玩 SDwebui 和 ComfyUI 建议使用 6GB 以上的显存的 NVIDIA 显卡,内存在 16G 以上。硬盘会影响加载模型的速度,最好把软件和模型部署在 SSD 上。 需要注意的是,目前 ComfyUI 对于 INTEL A770 显卡的支持情况可能不太明确,您可能需要根据实际情况进行尝试和调整。
2024-10-10