直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

什么是qwen模型?

回答

Qwen(通义千问)是由阿里巴巴推出的大模型。

Qwen 具有以下特点和成就:

  1. 是国内唯一出现在 OpenAI 视野里,可以参与国际竞争的国产大模型。
  2. 多次冲进 LMSys 榜单,得分不断提高。
  3. 开源模型累计下载量突破 1600 万,国内外有海量开发者基于其开发模型和应用,尤其在企业级方面。
  4. Qwen 2 开源,具有多种尺寸的预训练和指令调整模型,包括 Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B 和 Qwen2-72B。
  5. 除英语和中文外,还接受过另外 27 种语言的数据训练。
  6. 在大量基准评估中表现出最先进的性能,代码和数学性能显著提高,全面超越 llama3。
  7. 增大了上下文长度支持,最高达到 128K tokens(Qwen2-72B-Instruct)。
  8. 在权威模型测评榜单 OpenCompass 中,Qwen1.5-110B 已领先于文心 4.0 等一众中国闭源模型,Qwen2-72B 整体性能相比 Qwen1.5-110B 又取得大幅提升,在 MMLU、GPQA、HumanEval、GSM8K、BBH、MT-Bench、Arena Hard、LiveCodeBench 等国际权威测评中获十几项世界冠军,超过美国的 Llama3。
内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

本地部署资讯问答机器人:Langchain+Ollama+RSSHub 实现 RAG

[title]本地部署资讯问答机器人:Langchain+Ollama+RSSHub实现RAGGemma:Gemma是由Google推出的轻量级模型,Google表示,“Gemma 2B和7B与其他开放式模型相比,在其规模上实现了同类最佳的性能。”本次开发,下载的是7B模型。Mistral:Mistral是由欧洲法国Mistral AI团队推出的大模型,该模型采用了分组查询注意力(GQA)以实现更快的推断速度。本次开发,下载的是7B模型。Mixtral:Mixtral也是由Mistral AI团队推出的大模型,但Mixtral是一个8*7B的MoE模型,在大多数基准测试中都优于Llama 2 70B和GPT-3.5。Qwen:Qwen(通义千问)是由阿里巴巴推出的大模型,本次开发,下载的是7B模型。万物皆可RSS巧妇难为无米之炊。不管是获取日常新闻,还是获取A股行情,都需要有稳定靠谱的数据源。大家可能第一时间会想到爬虫,但自己去搭建和维护这样一个爬虫系统还是比较麻烦的。有没有其他更好的方式呢?这就需要用到「上古神器」 RSS了!大家可能会觉得RSS已经过时了。现如今,打开手机,今日头条、微博、微信等APP时不时就会给你推送最新的资讯,日常生活工作好像没有用到RSS的场景。确实,大部分情况下,我们想要获取资讯,手机APP基本够用了。但是,如果你想针对一些特定的需求,需要从某些网站上获取最新通知或相关信息呢?比如,获取https://openai.com/blog的最新更新获取https://www.producthunt.com每天的热门产品获取https://github.com/trending每天的热门开源项目

Qwen 2开源了 模型性能超越目前所有开源模型和国内闭源模型

[title]Qwen 2开源了模型性能超越目前所有开源模型和国内闭源模型[heading1]相关参考信息可以说,Qwen是国内唯一出现在OpenAI视野里,可以参与国际竞争的国产大模型。不久前,OpenAI创始人奥特曼在X上转发了一条OpenAI研究员公布的消息,GPT-4o在测试阶段登上了Chatbot Arena(LMSys Arena)榜首位置,这个榜单是OpenAI唯一认可证明其地位的榜单,而Qwen是其中唯一上榜的国内模型。早些时候,有人做了个LMSys榜单一年动态变化视频。过去一年内,国产大模型只有Qwen多次冲进这份榜单,最早出现的是通义千问14B开源视频Qwen-14B,后来是Qwen系列的72B、110B以及通义千问闭源模型Qwen-Max,得分一个比一次高,LMSys也曾官方发推认证通义千问开源模型的实力。在顶尖模型公司的竞争中,目前为止中国模型只有通义千问真正入局,能与头部厂商一较高下。开发者用脚投票的结果,显示了Qwen系列的受欢迎程度。目前为止,Qwen系列开源模型的累计下载量突破了1600万,国内外有海量开发者都基于Qwen开发了自己的模型和应用,尤其是企业级的模型和应用。Qwen的很多忠实拥趸是海外开发者,他们时常在社交平台发表“我们为什么没有这种模型”的溢美之词(配图详见附件)。可以说,通义大模型用行动证明了开源开放的力量。七、为什么大模型的生态建设如此重要?AI大模型是全球数字技术体系的竞争,这个体系包括芯片、云计算、闭源模型、开源模型、开源生态等等。中国信息化百人会执委、阿里云副总裁安筱鹏指出,全球AI大模型竞争的制高点是AI基础大模型,因为基础大模型决定了产业智能化的天花板,商业闭环的可能性,应用生态的繁荣以及产业竞争的格局。与此同时,开源生态在整个技术体系的竞争中也有着至关重要的作用。

Qwen 2开源了 模型性能超越目前所有开源模型和国内闭源模型

5种尺寸的预训练和指令调整模型,包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B;(Qwen2-57B-A14B这个模型可以重点看看除英语和中文外,还接受过另外27种语言的数据训练;在大量基准评估中表现出最先进的性能;在大量基准评估中获得SOTA性能。代码和数学性能显著提高,全面超越llama3增大了上下文长度支持,最高达到128K tokens(Qwen2-72B-Instruct)。HF最新榜第一72B和7B可处理128k上下文57B-A14B可处理64k上下文0.5B和1.5B可处理32k上下文相比2月推出的通义千问Qwen1.5,Qwen2实现了整体性能的代际飞跃。在权威模型测评榜单OpenCompass中,此前开源的Qwen1.5-110B已领先于文心4.0等一众中国闭源模型。刚刚开源的Qwen2-72B,整体性能相比Qwen1.5-110B又取得了大幅提升。(图说:在上海人工智能实验室推出的OpenCompass大模型测评榜单上,此前开源的Qwen1.5-110B已领先于文心4.0等一众中国闭源模型)通义千问Qwen2系列模型大幅提升了代码、数学、推理、指令遵循、多语言理解等能力。在MMLU、GPQA、HumanEval、GSM8K、BBH、MT-Bench、Arena Hard、LiveCodeBench等国际权威测评中,Qwen2-72B获十几项世界冠军,超过美国的Llama3。(图说:Qwen2-72B在十多个权威测评中获得冠军,超过美国的Llama3-70B模型)

其他人在问
qwen大语言模型有视觉模式吗?
Qwen 大语言模型具有视觉模式。以下是相关信息: 有博主称 QwenVL 已迁移到 ComfyUI 中,它支持本地图像、上下文窗口多轮对话,支持 PLUS 和 MAX 双视觉模型,支持百万像素、任意规格图像,具有超强细节和文字识别能力,在开源领域表现出色,中文能力突出,目前 API 免费开放。 关于部署 Qwen 大语言模型,如在 Windows 电脑上,可点击 win+R,输入 cmd 回车;在 Mac 电脑上,按下 Command(⌘)+ Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”选择“终端”应用程序,然后复制相关命令行粘贴回车进行下载。
2024-10-11
什么是加载别人训练的qwen模型?
加载别人训练的 qwen 模型通常涉及以下步骤: 1. 对于直接调用千问的某一个大模型,如“qwenmax”模型,在 COW 中需要更改 key 和 model。在 /root/chatgptonwechat/文件夹下,打开 config.json 文件进行更改,并添加"dashscope_api_key"。获取 key 可参考视频教程或图文教程。同时,需要“实名认证”后,这些 key 才可以正常使用,若对话出现“Access to mode denied.Please make sure you are eligible for using the model.”的报错,可能是未实名认证,可点击去,或查看自己是否已认证。 2. 部署大语言模型时,如下载 qwen2:0.5b 模型,对于不同的电脑系统操作有所不同。如果是 Windows 电脑,点击 win+R,输入 cmd 点击回车;如果是 Mac 电脑,按下 Command(⌘)+ Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。之后复制相关命令行并粘贴回车,等待自动下载完成。 3. 对于 Ollama 大模型部分,为避免没下载大模型带来的报错,需要先下载 ollama,网站:网站中复制代码,然后像特定操作一样打开 ComfyUi 根目录下的 custom_nodes\\ComfyUiOllamaYN 的文件路径,在上方的路径下输入 cmd,进入到下方的命令行,右键粘贴刚才的代码,等待下载即可。
2024-10-01
怎么使用qwen2
以下是关于 Qwen2 的相关信息: 1. 性能表现:Qwen 2 开源了,其模型性能超越目前所有开源模型和国内闭源模型。在权威模型测评榜单 OpenCompass 中,此前开源的 Qwen1.5110B 已领先于文心 4.0 等一众中国闭源模型,刚开源的 Qwen272B 相比 Qwen1.5110B 整体性能大幅提升。在 MMLU、GPQA、HumanEval、GSM8K、BBH、MTBench、Arena Hard、LiveCodeBench 等国际权威测评中,Qwen272B 获十几项世界冠军,超过美国的 Llama3。 2. 训练与微调:大规模预训练后,通义千问团队对模型进行精细微调,提升了代码、数学、推理、指令遵循、多语言理解等能力,还让模型学会对齐人类价值观。微调过程遵循使训练规模化并减少人工标注的原则,探索了多种自动方法获取高质量数据,结合了有监督微调、反馈模型训练以及在线 DPO 等方法,采用在线模型合并方法减少对齐税。不久后将推出 Qwen2 的技术报告。 3. 特点:Qwen2 有 5 种尺寸的预训练和指令调整模型,包括 Qwen20.5B、Qwen21.5B、Qwen27B、Qwen257BA14B 和 Qwen272B。除英语和中文外,还接受过另外 27 种语言的数据训练,在大量基准评估中表现出最先进的性能,代码和数学性能显著提高,增大了上下文长度支持,最高达到 128K tokens(Qwen272BInstruct)。 4. 体验与下载:Qwen2 系列已上线魔搭社区 ModelScope 和阿里云百炼平台,开发者可在魔搭社区体验、下载模型,或通过阿里云百炼平台调用模型 API。同时,Qwen272binstruct 模型已上线中国大语言模型评测竞技场 Compass Arena,所有人都可以登录体验 Qwen2 的性能,或者选择 Qwen2 模型与其他大模型进行对比测评。测评地址为。Compass Arena 是由上海人工智能实验室和魔搭社区联合推出的大模型测评平台,集齐了国内主流的 20 多款大模型。 5. 开源社区影响力:Qwen 系列模型正在全球爆火,近一个月内总下载量翻倍,已突破 1600 万次。海内外开源社区已经出现了超过 1500 款基于 Qwen 二次开发的模型和应用。自今年 2 月 Qwen1.5 发布前后,就有大量开发者催更 Qwen2。6 月 7 日晚上 24 点左右 Qwen2 上线后,多个重要的开源生态伙伴火速宣布支持 Qwen2。
2024-10-01
推荐一下国内可以通过对话微调的预训练模型
以下是为您推荐的国内可以通过对话微调的预训练模型相关信息: 为优化 Llama2 的中文能力,可使用以下数据: 网络数据:互联网上公开的网络数据,包括百科、书籍、博客、新闻、公告、小说等高质量长文本数据。 :中文 Wikipedia 的数据。 :中文悟道开源的 200G 数据。 :Clue 开放的中文预训练数据,经过清洗后的高质量中文长文本数据。 竞赛数据集:近年来中文自然语言处理多任务竞赛数据集,约 150 个。 :MNBVC 中清洗出来的部分数据集。 社区提供预训练版本 Atom7B 和基于 Atom7B 进行对话微调的模型参数供开放下载,关于模型的进展详见社区官网 https://llama.family。 另外,关于会话补全(Chat completions): gpt3.5turbo 和 textdavinci003 两个模型能力相似,但前者价格只是后者的十分之一,在大部分情况下更推荐使用 gpt3.5turbo。 gpt3.5turbo 模型不支持微调。从 2023 年 3 月 1 日起,只能对基于 GPT3.5 的模型进行微调。有关如何使用微调模型的更多细节,请参阅微调指南。 从 2023 年 3 月 1 日起,OpenAI 会将您通过 API 发送的数据保留 30 天但不会使用这些数据来提升模型。 关于安仔:Coze 全方位入门剖析 免费打造自己的 AI Agent(国内版): 目前国内版暂时只支持使用“云雀大模型”作为对话引擎,其携带上下文轮数默认为 3 轮,可修改区间是 0 到 30,具体轮数可根据业务需求决定。 在 Bot 编排页面的“技能”区域,可为 Bot 配置所需技能。不懂插件时,可选择区域右上角的“优化”按钮让 AI Bot 根据提示词自动选择插件。也可自定义添加所需插件,点击插件区域的“+”号选择加入具体插件。 在 Bot 编排页面的“预览与调试”区域,可测试 Bot 是否按预期工作,可清除对话记录以开始新的测试,确保 Bot 能理解用户输入并给出正确回应。
2024-10-18
推荐一下个人可以使用的通过对话微调的模型
以下是一些个人可以使用的通过对话微调的模型相关信息: 会话补全(Chat completions): GPT3.5 系列中,gpt3.5turbo 和 textdavinci003 有相似能力,但 gpt3.5turbo 价格仅为 textdavinci003 的十分之一,在多数情况下更推荐使用 gpt3.5turbo。不过,gpt3.5turbo 不支持微调,从 2023 年 3 月 1 日起,只能对基于 GPT3.5 的模型进行微调。 微调(Finetuning): 案例研究: 客户支持聊天机器人:通常包含相关上下文、对话摘要及最近消息,可能需要几千个示例处理不同请求和客户问题,建议审查对话样本确保代理消息质量,可使用单独文本转换微调模型生成摘要。 基于技术属性列表的产品描述:将输入数据转换为自然语言很重要,确保完成基于所提供描述,若常查阅外部内容,自动添加此类内容可提高性能,若描述基于图像,提取图像文本描述可能有帮助。 模型(Models): GPT3.5 模型可理解和生成自然语言或代码,其中功能最强大、最具成本效益且针对聊天优化的型号是 gpt3.5turbo,建议使用它而非其他 GPT3.5 模型,因其成本更低。 gpt3.5turbo:功能强大,针对聊天优化,成本低,会使用最新模型迭代更新,最大 Token 数 4096,训练数据截至 2021 年 9 月。 gpt3.5turbo0301:2023 年 3 月 1 日的快照,不会更新,仅在 2023 年 6 月 1 日结束的三个月内提供支持,最大 Token 数 4096,训练数据截至 2021 年 9 月。 textdavinci003:能完成任何语言任务,支持文本中插入补全,最大 Token 数 4097,训练数据截至 2021 年 6 月。 textdavinci002:与 textdavinci003 类似,使用监督微调而非强化学习训练,最大 Token 数 4097,训练数据截至 2021 年 6 月。 codedavinci002:针对代码完成任务优化,最大 Token 数 8001,训练数据截至 2021 年 6 月。 请注意,OpenAI 模型具有不确定性,相同输入可能产生不同输出,将温度设置为 0 可使输出大部分具有确定性,但可能仍有少量可变性。
2024-10-18
个人使用可以通过对话微调的大模型
大模型是指输入大量语料,使计算机获得类似人类的“思考”能力,能够进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比大模型的训练和使用过程: 1. 找学校:训练大模型需要大量计算,GPU 更合适,只有购买得起大量 GPU 的才有资本训练。 2. 确定教材:大模型需要的数据量特别多,几千亿序列(Token)的输入基本是标配。 3. 找老师:用合适的算法让大模型更好理解 Token 之间的关系。 4. 就业指导:为让大模型更好胜任某一行业,需要进行微调(fine tuning)指导。 5. 搬砖:完成就业指导后,进行如翻译、问答等工作,在大模型里称为推导(infer)。 在 LLM 中,Token 被视为模型处理和生成的文本单位,能代表单个字符、单词、子单词等,具体取决于分词方法。将输入分词时会数字化形成词汇表。 个人动手实验方面: macOS 系统可采用 GGML 量化后的模型。有名的项目如 ggerganov/llama.cpp:Port of Facebook's LLaMA model in C/C++ ,首先编译,利用 Metal 的 GPU 用相应命令编译,然后去下载模型,还提供了 WebUI,启动 server 后默认监听 8080 端口,打开浏览器可对话。 Whisper 与 llama 类似,用 make 命令编译,去指定地址下载量化好的模型,转换音频,目前只接受 wav 格式,可用 ffmpeg 转化。 张梦飞的教程《用聊天记录克隆自己的 AI 分身》全程本地操作,目标是把微信聊天记录导出,用其微调模型,最终接入微信替你回复消息。
2024-10-18
国内能通过对话微调的语言大模型
以下是国内一些能通过对话微调的语言大模型: 教育领域:桃李(Taoli) 地址: 简介:在国际中文教育领域数据上进行了额外训练的模型,基于国际中文教育教材等构建资源库和问答数据集,并利用数据进行指令微调,让模型习得将知识应用到具体场景中的能力。 数学领域:chatglmmaths 地址: 简介:基于 chatglm6b 微调/LORA/PPO/推理的数学题解题大模型,样本为自动生成的整数/小数加减乘除运算,可 gpu/cpu 部署,开源了训练数据集等。 文化领域:Firefly 地址: 简介:中文对话式大语言模型,构造了许多与中华文化相关的数据,如对联、作诗、文言文翻译、散文、金庸小说等,以提升模型在这方面的表现。 金融领域: Cornucopia(聚宝盆) 地址: 简介:开源了经过中文金融知识指令精调/指令微调的 LLaMA7B 模型。通过中文金融公开数据+爬取的金融数据构建指令数据集,并在此基础上对 LLaMA 进行了指令微调,提高了 LLaMA 在金融领域的问答效果。基于相同的数据,后期还会利用 GPT3.5 API 构建高质量的数据集,另在中文知识图谱金融上进一步扩充高质量的指令数据集。 BBTFinCUGEApplications 地址: 简介:开源了中文金融领域开源语料库 BBTFinCorpus,中文金融领域知识增强型预训练语言模型 BBTFinT5 及中文金融领域自然语言处理评测基准 CFLEB。 XuanYuan(轩辕) 地址: 简介:国内首个开源的千亿级中文对话大模型,同时也是首个针对中文金融领域优化的千亿级开源对话大模型。在 BLOOM176B 的基础上针对中文通用领域和金融领域进行了针对性的预训练与微调,不仅可以应对通用领域的问题,也可以解答金融相关的各类问题,为用户提供准确、全面的金融信息和建议。
2024-10-18
我的app应用想要对接大语言模型,结合APP用户自身的数据,实现更精准的对话,是否有行业比较成功的案例可以借鉴
以下是一些在 APP 应用对接大语言模型方面比较成功的案例,可供您借鉴: 1. Poe: 由 Quora 开发,有 APP 版本,支持跨端使用。 集成了 Chat GPT、GPT4、Claude+、Claude、Dragonfly 等模型,同时支持用户自建 Chatbot。 不同语言模型回复效果有差异,适合需要调用多种大语言模型的用户。 Dragonfly 擅长给出较短的回答,并擅长在输入中给出示例时遵循指示。 Claude 更擅长创造性回复,配合 Poe 中的提问引导,非常适合在查阅资料时使用。 支持分享用户和模型的对话内容,但 GPT4、Claude+产品需要付费订阅使用。 访问地址: Poe 中的提问引导真的能够启发到用户,midjourney prompt 扩写 Chatbot 能力很惊人。 2. Perplexity.ai: 本质是个可联网的搜索引擎,完全免费,支持网页版、APP(目前支持 iOS,安卓即将推出)、Chrome 插件。 网页版能力全面,能够根据提问从互联网上搜寻信息并给出总结后的答案。 很多 Chat GPT 中调用插件才能解决的事情(联网查询、旅行、住宿、商品推荐)靠 Perplexity 就可以解决。 能给出信息来源网址,并根据搜索内容给出继续对话的问题建议。 最新推出的 Copilot 能力支持根据搜索内容进行信息补充,每 4h 内使用 5 次,调用 GPT4。 支持分享聊天内容到多渠道。 首页推荐当下流行的新闻、搜索内容。 支持筛选 Academic(包含不同领域的学术研究论文)、Wolfram|Alpha(包含数学、科学、经济学、语言学、工程学、社会科学、文化等领域的知识库)、Wikipedia(维基百科)、Youtube、Reddit(娱乐、社交和新闻网站)、News 进行搜索。 Chrome 插件可针对当前页面给出即时摘要。 访问地址:
2024-10-18
大模型合规
大模型的安全问题包括以下方面: 1. 对齐保障:通过对齐(指令调优),如 ChatGPT 从 GPT3 经过对齐而来,使其更好地理解人类意图,增加安全保障,确保不输出有害内容。对齐任务可拆解为监督微调及获取奖励模型和进行强化学习来调整输出分布。例如 LLAMA2 使用安全有监督微调确保安全,强化学习能让模型根据人类反馈更细粒度思考答案的安全性,面对训练分布外数据也能拒绝不当回答。 2. 数据过滤:在预训练阶段对数据进行过滤,如 baichuan2 采用此技术减少有害输出,但因数据关联性,仅靠此方法可能不够,模型仍可能从关联中学到有害内容,且面对不良信息时可能因缺少知识而处理不当。 3. 越狱问题:用户可能通过越狱(Jailbreak)使模型的对齐失效,重新回答各种问题。 大模型的特点包括: 1. 架构:分为 encoderonly、encoderdecoder、decoderonly 三类,目前熟知的 AI 助手多为 decoderonly 架构,由 transformer 衍生而来。 2. 规模:预训练数据量大,来自互联网的多种来源,且参数众多,如 GPT3 已达 170B 的参数。 GPT3 与 ChatGPT 相比,除形式不同外,安全性也有差别。
2024-10-18