Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

LLama是什么？

Answer

LLama 是 Meta 推出的一系列语言模型。

LLama 具有以下特点和应用：

  1. 在法律领域有相关的微调模型，如 Lawyer LLaMA 等，这些模型在大规模法律语料上进行了预训练和指令微调，旨在为法律从业者和用户提供准确可靠的法律咨询服务。
  2. 有专门用于编写代码的 Code Llama ，它基于 Llama 2 平台构建，包括多种模型以适应不同需求，其训练配方和模型权重可在 Github 仓库获取。
  3. 一共有 4 个模型尺寸，其出发点包括只使用公开数据集以保证数据平等，用更多数据训练更小网络等。网络结构采用 decoder-only 的方式，使用了 SentencePiece 实现的 PBE 编码方式、PreNorm 、SwiGLU 、RoPE 旋转位置编码等技术。同时还介绍了 RMSNorm 等相关技术。
Content generated by AI large model, please carefully verify (powered by aily)

References

LLM开源中文大语言模型及数据集集合

LaWGPT：基于中文法律知识的大语言模型地址：[https://github.com/pengxiao-song/LaWGPT](https://github.com/pengxiao-song/LaWGPT)简介：该系列模型在通用中文基座模型（如Chinese-LLaMA、ChatGLM等）的基础上扩充法律领域专有词表、大规模中文法律语料预训练，增强了大模型在法律领域的基础语义理解能力。在此基础上，构造法律领域对话问答数据集、中国司法考试数据集进行指令精调，提升了模型对法律内容的理解和执行能力。LexiLaw：中文法律大模型地址：[https://github.com/CSHaitao/LexiLaw](https://github.com/CSHaitao/LexiLaw)简介：LexiLaw是一个基于ChatGLM-6B微调的中文法律大模型，通过在法律领域的数据集上进行微调。该模型旨在为法律从业者、学生和普通用户提供准确、可靠的法律咨询服务，包括具体法律问题的咨询，还是对法律条款、案例解析、法规解读等方面的查询。Lawyer LLaMA：中文法律LLaMA地址：[https://github.com/AndrewZhe/lawyer-llama](https://github.com/AndrewZhe/lawyer-llama)简介：开源了一系列法律领域的指令微调数据和基于LLaMA训练的中文法律大模型的参数。Lawyer LLaMA首先在大规模法律语料上进行了continual pretraining。在此基础上，借助ChatGPT收集了一批对中国国家统一法律职业资格考试客观题（以下简称法考）的分析和对法律咨询的回答，利用收集到的数据对模型进行指令微调，让模型习得将法律知识应用到具体场景中的能力。

【翻译】不止Cursor，2024年AI代码工具终极指南，还有这么多努力的探索

!Code Llama是一组专门用于编写代码的大语言模型，基于Llama 2平台构建。它包括多种模型以适应不同需求：通用Code Llama、专门用于Python任务的Code Llama-Python，以及基于指令的Code Llama-Instruct。模型大小有7 B、13 B和34 B三种，最多可处理16 k Token输入，部分改进后最多可处理100 k Token。7 B和13 B模型还支持内容补全功能。Code Llama的训练配方和[模型权重](https://ai.meta.com/llama/)可在[Github仓库](https://github.com/facebookresearch/codellama)获取。

（2）初探LLM基座模型

Meta可谓是LLM开源一哥，LLaMA是其代表作，一共有4个模型尺寸，出发点如下只使用公开的数据集，保证所有人在数据面前平等用更多的数据训练更小网络，例如用1T的token训练7B的模型和13B模型，用1.4T的token训练33B和65B模型。这一点是参考了Chinchilla的结论。网络结构也是decoder-only的方式，跟GPT3相比异同如下使用了SentencePiece实现的PBE的编码方式使用了PreNorm，这样收敛稳定一些。同时用RMSNorm，就是LayerNorm里面没有减均值项和beta项使用SwiGLU，即swish激活+GeLU调制。由于SwiGLU引入了额外的参数矩阵，原始FFN需要做相应的砍小用了苏剑林老师提出的RoPE旋转位置编码，核心思想是通过绝对位置编码的方式实现相对位置编码，理论推导见[原文](https://zhuanlan.zhihu.com/p/359502624)RMSNormRMSNorm是本文要介绍的第3种norm，其中RMS(root mean square)是均方根的含义$$\text{RMS}(x)=\sqrt{\frac{1}{d}\sum_{i=1}^d x_i^2}$$同时省去了beta，则可以得到$$\text{RMSNorm}(x)=\frac{x}{\text{RMS}(x)}\cdot\gamma$$SwiGLU激活函数SwiGLU和前面介绍的GeGLU非常相似，只是把GeLU激活换成了Swish激活，如下所示

Others are asking
如何将ollama下载到其他盘中
要将 ollama 下载到其他盘，您可以按照以下步骤进行操作： 1. 新建环境变量：ollama 默认的模型保存路径为 Windows:C:\\Users\\%username%\\.ollama\\models 。添加环境变量添加 OLLAMA_MODELS 环境变量。 2. 进入 ollama 官网下载：地址为 https://ollama.com/ 。 3. 下载语言模型：模型地址为 https://ollama.com/library 。 选择 llama 模型下载至本地。 选择本地文件夹，在 CMD 后粘贴刚才复制的命令。 开始下载，下载完成并测试。 4. 下载图像模型：模型地址为 https://ollama.com/library 。 选择 llava 模型下载至本地。 选择本地文件夹，在 CMD 后粘贴刚才复制的命令。 开始下载，下载成功。 5. 在 Comfy 中使用： 下载并安装 ollama 节点，下载地址： ，下载完成后安装到节点目录。 在 Comfy 中调用。 此外，还有以下相关信息供您参考： 为了应对没下载大模型带来的报错，需要下载大模型。首先，下载 ollama，网站： 网站中，复制代码。然后，像建议一样打开 ComfyUi 根目录下的 custom_nodes\\ComfyUiOllamaYN 的文件路径，在上方的路径下输入 cmd，进入到下方的命令行，右键即可粘贴刚才的代码，等待下载即可。 部署大语言模型： 下载并安装 Ollama：点击进入，根据您的电脑系统，下载 Ollama：https://ollama.com/download 。下载完成后，双击打开，点击“Install”。安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 。 下载 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）。如果是 windows 电脑，点击 win+R ，输入 cmd，点击回车。如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。复制以下命令行，粘贴进入，点击回车。回车后，会开始自动下载，等待完成。（这里下载久了，可能会发现卡着不动，不知道下载了多少了。鼠标点击一下窗口，键盘点空格，就会刷新了）下载完成后您会发现，大模型已经在本地运行了。输入文本即可进行对话。
2025-01-13
如何部署ollama
以下是部署 Ollama 的详细步骤： 1. 下载并安装 Ollama： 根据您的电脑系统，点击进入 https://ollama.com/download 下载 Ollama。 下载完成后，双击打开，点击“Install”。 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 2. 下载 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）： 如果是 Windows 电脑，点击 win+R，输入 cmd，点击回车。 如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 复制以下命令行，粘贴进入，点击回车。 回车后，会开始自动下载，等待完成。（这里下载久了，可能会发现卡着不动，不知道下载了多少了。鼠标点击一下窗口，键盘点空格，就会刷新了） 下载完成后您会发现，大模型已经在本地运行了。输入文本即可进行对话。 3. 部署 Google Gemma： 首先进入 ollama.com，下载程序并安装（支持 windows，linux 和 macos）。 查找 cmd 进入命令提示符，输入 ollama v 检查版本，安装完成后版本应该显示 0.1.26，cls 清空屏幕，接下来直接输入 ollama run gemma 运行模型（默认是 2b），首次需要下载，需要等待一段时间，如果想用 7b，运行 ollama run gemma:7b 。 完成以后就可以直接对话了，2 个模型都安装以后，可以重复上面的指令切换。 4. 安装 Docker Desktop： 点击/复制到浏览器去下载 https://docs.docker.com/desktop/install/windowsinstall/ 。 下载后，双击下载项目，出现下图，点击 ok，开始加载文件。注意！！！！这里下载相对比较快，下载完成后，不要点击“close and restart”，因为这样会直接重启，导致 llama3 下载中断。 这里先不点击，等待终端的模型下载完成后，再点击重启。 重启后，点击：“Accept” 。 选择第一个，点击"Finish" 。 然后会提示您注册账号，如果打不开网页，就需要科学上网了。 按照正常的注册流程，注册账号，并登录 Docker 即可。登录后会进入 Docker Desktop。此处完成。 5. 下载 Open WebUI： 回到桌面，再打开一个新的终端窗口（可以放心多个窗口，不会互相影响）。 如果是 Windows 电脑，点击 win+R，输入 cmd，点击回车。 如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 将以下命令输入，等待下载。 出现上图，即是下载完成。 点击或复制下方地址进入浏览器：http://localhost:3000/auth/ 。 点击进行注册即可，注册输入昵称、邮箱、密码。注册完即可登录进入。 登入后，看到如下页面，点击顶部的 Model，选择“llama3:8b”。 完成。您已经拥有了一个属于自己的本地大语言模型。可以开始与他对话啦！ps.他的回复速度，取决于您的电脑配置。
2025-01-13
那个框架特别适用于RAG，比如LlamaIndex、LangChain等
LlamaIndex 是一个专为构建大型语言模型（LLM）应用而设计的开发框架，为开发人员提供了强大且灵活的工具，能更有效地理解和处理文本数据。对于熟悉 LangChain 的开发者而言，它并不陌生。 其核心优势在于对大型语言模型的深度支持，允许开发者利用如 GPT3.5 Turbo 等模型执行多种文本处理任务，如文档问答、文章生成和自动翻译等。特别地，它提供了构建文档问答系统的功能，能自动从大量文档中检索相关信息并生成答案，这在处理大量知识信息的领域极具价值。 LlamaIndex 还允许对嵌入模型进行微调以适应特定任务需求，提升文档问答系统的性能。它支持连接结构化、半结构化和非结构化等不同类型的数据源，为应用程序提供全面信息。 此外，其设计注重简化开发流程，即使复杂的 NLP 任务也能通过少量代码实现，无需深入了解底层复杂性。这种设计哲学不仅降低了开发大型语言模型应用的门槛，还极大提升了开发效率和应用性能。 LlamaIndex 的 GitHub 地址：https://github.com/runllama/llama_index/
2025-01-07
怎么微调llama2
以下是关于微调 Llama2 的相关信息： Meta 官方在 2023 年 8 月 24 日发布了 Code Llama，基于代码数据对 Llama2 进行了微调，提供三个不同功能的版本：基础模型（Code Llama）、Python 专用模型（Code LlamaPython）和指令跟随模型（Code LlamaInstruct），包含 7B、13B、34B 三种不同参数规模。不同模型能力区别如下： |模型类别|模型名称|代码续写|代码填充|指令编程| |||||| |Code Llama|CodeLlama7b|✅|✅|❌| ||CodeLlama13b|✅|✅|❌| ||CodeLlama34b|✅|❌|❌| |Code LlamaPython|CodeLlama7bPython|✅|❌|❌| ||CodeLlama13bPython|✅|❌|❌| ||CodeLlama34bPython|✅|❌|❌| |Code LlamaInstruct|CodeLlama7bInstruct|❌|✅|✅| ||CodeLlama13bInstruct|❌|✅|✅| ||CodeLlama34bInstruct|❌|❌|✅| 关于 Code Llama 的详细信息可以参考官方 Github 仓库 codellama：https://github.com/facebookresearch/codellama 基于中文指令数据集对 Llama2Chat 模型进行了微调，使得 Llama2 模型有着更强的中文对话能力。LoRA 参数以及与基础模型合并的参数均已上传至 Hugging Face，目前包含 7B 和 13B 的模型。具体信息如下： |类别|模型名称|🤗模型加载名称|基础模型版本|下载地址| |||||| |合并参数|Llama2Chinese7bChat|FlagAlpha/Llama2Chinese7bChat|metallama/Llama27bchathf|| |合并参数|Llama2Chinese13bChat|FlagAlpha/Llama2Chinese13bChat|metallama/Llama213bchathf|| |LoRA 参数|Llama2Chinese7bChatLoRA|FlagAlpha/Llama2Chinese7bChatLoRA|metallama/Llama27bchathf|| |LoRA 参数|Llama2Chinese13bChatLoRA|FlagAlpha/Llama2Chinese13bChatLoRA|metallama/Llama213bchathf|| 一旦有了基础模型，就进入计算成本相对较低的微调阶段。在这个阶段，编写标签说明，明确希望模型的表现，雇佣人员根据标签说明创建文档，例如收集 100,000 个高质量的理想问答对，根据这些数据微调基础模型。这个过程成本较低，可能只需要一天或类似的时间。然后进行大量评估，部署模型，并监控其表现，收集不当行为的实例，对不当行为进行纠正，将正确答案加入训练数据中，下次微调时模型会改进。这是一个迭代过程，公司通常在微调阶段更频繁地进行迭代。 需要指出的是，例如 Llama2 系列，Meta 在发布时就包括了基础模型和助手模型。基础模型不能直接使用，助手模型可直接用于回答问题。
2024-12-23
ollama跟llama.cpp差异
Ollama 和 llama.cpp 存在以下差异： 1. 功能特点： Ollama 是一个开源的大型语言模型服务，能方便地部署最新版本的 GPT 模型并通过接口使用，支持热加载模型文件，无需重新启动即可切换不同模型。 llama.cpp 是将 Facebook 的 LLaMA 模型在 C/C++ 中的实现。 2. 部署和使用： Ollama 的安装和使用相对简单，例如在 Mac 系统中，可通过以下两步完成：打开 ollama.com 下载应用并安装；在终端输入相应指令运行模型。 llama.cpp 编译时为利用 Metal 的 GPU 有特定命令，还需下载模型，且提供了 WebUI 供用户使用。 3. 支持的模型： Ollama 支持如 Google Gemma 等小型模型的本地部署。 llama.cpp 支持 LLaMA 模型。 4. 性能表现： Ollama 中 2b 版本反应速度快但互动话题有限，7b 版本输出内容质量相对高但可能有卡顿，对非英文语种反馈不稳定。
2024-12-09
ollama windows 安装
以下是 Ollama 在 Windows 上的安装步骤： 1. 前往 下载并安装 Ollama。 2. 安装完成后，打开 Powershell 运行相关命令。 3. 编辑 Win 版的 run_win.ps1 文件，将目录中的图片路径和触发词填写，运行即可。 4. 还可以参考以下教程： 张梦飞的【全网最细】从 LLM 大语言模型、知识库到微信机器人的全本地部署教程： 点击进入，根据电脑系统，下载 Ollama：https://ollama.com/download 。 下载完成后，双击打开，点击“Install” 。 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 。 4SeasonYou 工作流副本： 首先，下载 ollama，网站： 。 其次，在网站中，复制代码。 然后，像建议一样打开 ComfyUi 根目录下的 custom_nodes\\ComfyUiOllamaYN 的文件路径，在上方的路径下输入 cmd ，进入到下方的命令行，右键即可粘贴刚才的代码，等待下载即可。
2024-11-17