Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

LM Studio

Answer

LM Studio 是一种本地应用程序,可用于在个人电脑上运行和部署较小的开源模型。例如,对于 DeepSeek、Llama 等开源模型,除了可以使用 Together AI 等推理服务提供商在线体验和调用,还能通过 LM Studio 进行本地操作。

Content generated by AI large model, please carefully verify (powered by aily)

References

AI 大神Karpathy再发LLM入门介绍视频,入门必看!

专有模型(Proprietary Models)(03:18:38-03:19:23):对于OpenAI、Google等公司的专有模型,需要访问其官方网站或平台(如ChatGPT、Gemini AI Studio)使用。开源模型(Open-Weight Models)(03:19:23-03:21:16):对于DeepSeek、Llama等开源模型,可以使用以下方式:Inference Provider(Together AI)(03:19:23-03:21:16):使用Together AI等推理服务提供商,在线体验和调用各种开源模型。LM Studio(03:20:36-03:21:16):使用LM Studio等本地应用程序,在个人电脑上运行和部署较小的开源模型。[heading3]总结:ChatGPT的本质与未来展望[content]ChatGPT的本质(03:21:46-03:25:18):ChatGPT本质上是OpenAI数据标注员的神经网络模拟器,它模仿人类标注员在遵循OpenAI标注指南的情况下,对各种提示词的理想助手式回应。LLM的局限性(03:25:18-03:26:49):LLM并非完美,存在幻觉、瑞士奶酪式能力缺陷等问题。用户应谨慎使用,并进行人工检查和验证。LLM的优势(03:26:49-03:30:25):LLM是强大的工具,能够显著加速工作效率,并在各领域创造巨大价值。用户应将其视为工具箱中的工具,用于启发灵感、撰写初稿等,并始终对最终产品负责。LLM的未来(03:30:25-03:31:12):LLM的未来发展令人兴奋,多模态、Agent智能体、持续学习等趋势值得期待。虽然LLM仍处于早期发展阶段,但其潜力无限,未来可期。整理和翻译不易,可以的话希望给个三连,谢谢🙏

ComfyUI & LLM:如何在ComfyUI中高效使用LLM

Hello!大家好。我是科林,是comfyui LLM party插件的开发者。这个栏目的主要目的是讲解LLM(大语言模型)与ComfyUI结合的基础、进阶和高阶用法,主要围绕GitHub中已有中的LLM节点以及comfyui_LLM_party(说明:根植于ComfyUI的大语言模型智能体节点)的应用场景。个人目前将ComfyUI中LLM应用粗略分为四大类:第一类:文本方面;第二类:图像视觉方面——VLM(带视觉的LLM);第三类:LLM Agent(大语言模型智能体);最后一类:其他,这一部分是独立于这些之外的LLM节点或功能。1.文本:提示词扩写、提示词润色、与LLM对话;2.图像:图像提示词反推(Joy Caption、Florence)、OCR、LoRA训练集图像打标;3.LLM Agent:除上述所拥有的功能外,还有海量功能:如工具调用、长期/短期记忆(RAG、GraphRAG等)、本地/API大语言模型调用、封装ComfyUI工作流等。

观点:LLM落地思考

同时,采用开源或者国内智谱、文心、百川等企业提供的13B级模型,本地部署在自己的内部系统中,虽然需要投入算力,但是算力的价值已经是世界共识了,而大模型的故事可以给企业带来很多资本届的好处,因此,智能客服的大量优质大客户,会纷纷选择自己搭建智能客服平台。再结合大模型企业提供的技术服务,基于大模型搭建LangChain、RAG框架,在智能客服上还可以继续实现RPA自动流程。可以大胆的这样讲,智能客服的企业外部需求,终究是要被证伪了。4、智能客服的结局我个人的看法,痛定思痛,转化为LLM技术支持方,专注发力LLM的工程化应用方向,去为企业提供更好的LLM本地部署和工程化,走IBM的企业服务道路,可能是最好的选择了。毕竟各行各业+LLM的转型还是有很大的市场的,大厂也难以全部吃掉,甚至可以作为大厂大模型的工程分包商。(类似于华为卖企业网关、路由器等网络设备,需要在各个城市找一些工程承包商来根据每个企业办公室的具体格局布网施工一个逻辑)或者就是转变赛道了,向智齿客服,他们借助这两年国内出海的兴起,以及中东、东南亚需求的旺盛,提供在这个方向的智能客服国内服务,这可能还是有一些需求的。5、LMops最近有个很火的概念,LMops,这也是智能客服企业可以转向的一个方向。但是这个方向依旧是在强业务关联上做服务。虽然LMops确实当前挺有用的,做复杂prompt的多模型效果测试,做langchain的可视化设计,但有几个隐患点思考:

Others are asking
linux下安装 anythingLLM
以下是在 Linux 下安装 AnythingLLM 的相关指导: 1. 安装地址:https://useanything.com/download 。 2. 安装完成后会进入配置页面,主要分为三步: 第一步:选择大模型。 第二步:选择文本嵌入模型。 第三步:选择向量数据库。 3. AnythingLLM 中有 Workspace 的概念,可以创建自己独有的 Workspace 与其他项目数据进行隔离。 首先创建一个工作空间。 上传文档并且在工作空间中进行文本嵌入。 选择对话模式,提供了 Chat 模式(大模型会根据自己的训练数据和上传的文档数据综合给出答案)和 Query 模式(大模型仅仅会依靠文档中的数据给出答案)。 4. 完成上述配置后,即可与大模型进行对话。 此外,在 GitHubDaily 开源项目列表 2023 年复盘的 AIGC 部分中,也有关于 AnythingLLM 的介绍: 是一个可打造成企业内部知识库的私人专属 GPT!可以将任何文档、资源或内容转换为大语言模型(LLM)知识库,使得在对话过程中可引用到里面的内容。 本文的思路来源于视频号博主黄益贺,作者按照他的视频进行了实操,并附加了一些关于 RAG 的额外知识。
2025-03-27
anythingLLM本地部署
以下是关于本地部署大模型以及搭建个人知识库的相关内容: 一、引言 作者是大圣,一个致力于使用 AI 工具将自己打造为超级个体的程序员,目前沉浸于 AI Agent 研究。本文将分享如何部署本地大模型及搭建个人知识库,读完可学习到如何使用 Ollama 一键部署本地大模型、了解 ChatGPT 信息流转、RAG 概念及核心技术、通过 AnythingLLM 搭建本地化数据库等。 五、本地知识库进阶 如果想要对知识库进行更灵活掌控,需要额外软件 AnythingLLM,它包含所有 Open WebUI 能力,并额外支持选择文本嵌入模型和向量数据库。 安装地址:https://useanything.com/download 。安装完成后进入配置页面,主要分为三步: 1. 第一步:选择大模型。 2. 第二步:选择文本嵌入模型。 3. 第三步:选择向量数据库。 构建本地知识库: AnythingLLM 中有 Workspace 概念,可创建独有 Workspace 与其他项目数据隔离。 1. 首先创建一个工作空间。 2. 上传文档并在工作空间中进行文本嵌入。 3. 选择对话模式,提供 Chat 模式(大模型根据训练数据和上传文档综合给出答案)和 Query 模式(大模型仅依靠文档数据给出答案)。 配置完成后可进行测试对话。 六、写在最后 作者推崇“看十遍不如实操一遍,实操十遍不如分享一遍”。如果对 AI Agent 技术感兴趣,可联系作者或加其免费知识星球(备注 AGI 知识库)。 本文思路来源于视频号博主黄益贺,作者按照其视频进行实操并附加了一些关于 RAG 的额外知识。
2025-03-26
LLM的原理
LLM(大语言模型)的工作原理如下: 以“我今天吃了狮子头和蔬菜”这句话为例,在 Transformer 中,会由 Attention 层对其加入更多信息补充,如“狮子头是一道菜”“今天是星期六”等,这些补充信息作为输入给到下一个 Attention 层,层与层之间,哪些信息补充、保留、传递,由模型自主学习,最终模型把海量数据以关系网形式“消化”并保留重要相关性。 形象地说,就像人阅读文章时的连贯性注意力过程,在阅读理解时,脑子里会消化吸收记忆,记忆的不是点状知识,而是网状经验。 大模型以词向量和 Transformer 模型学习海量知识,把知识作为向量空间中的关系网存储,接受输入时通过向量空间中的匹配进行输出。 观察大模型回复,是一个字一个字流式输出的,因为大模型确实在一个字一个字地推理生成内容。比如输入法输入联想,根据输入的单个字推测下一个字,加入上下文能帮助模型理解下一个字。但存在两个问题:一是全量数据计算算力吃不消,二是仅算字的概率易被不相干信息干扰,此时词向量机制和 Transformer 模型中的 Attention 自注意力机制解决了难题。 另外,RAG 对大语言模型的作用就像开卷考试对学生,事实性知识与 LLM 的推理能力相分离,被存储在容易访问和及时更新的外部知识源中,分为参数化知识(模型训练中学习得到,隐式储存在神经网络权重中)和非参数化知识(存储在外部知识源,如向量数据库中)。
2025-03-25
notebookllm
NotebookLM 是谷歌推出的一款工具,具有以下特点和用途: 有人称它为笔记工具,有人说它是 AI 学习工具,还有人认为它是播客生成器。 只要上传文档、音频或感兴趣的网页链接,如 YouTube 等,就能轻松生成专业的播客。播客中两个主持人的对话生动自然,包含各种人类的语气和行为。 是 Google AI Lab 开发的笔记应用,基于 Gemini 1.5 Pro 的长文本理解和多模态能力。用户可通过上传文件或链接快速生成笔记和音频内容,适合教育和研究等场景。尽管产品界面设计一般,但其强大的文本理解能力在处理复杂内容时表现突出。支持协作,适合整理公众号文章、编写书稿等多种用途。 体验地址:https://notebooklm.google/
2025-03-22
如何运用LLM制作UI?
运用 LLM 制作 UI 可以参考以下几个方面: 1. 游戏 UI 方面: 游戏交互界面左上角的金币和分数可继承上一代的设计。 初始指引对话框应与其他对话 UI 样式区分开,可采用占据画面较大比例的 UI 框,用于为玩家传递必要的身份信息和任务。 小机器人跟随气泡应始终正对于摄像机,根据文本动态调整,以灵活可爱的方式呈现回复。 语音文本框位于游戏界面左下角,将传递给 LLM 的语音信息以文本形式表现出来,方便玩家判断。 操作指引框位于游戏界面右侧方,在玩家靠近特定元素时触发,用于引导玩家操作。 2. 生成图像提示词方面: 将第一步生成的提示词填入{图像描述}位置,将想生成的周边填入{周边描述}部分。参考给定的提示词示例,创作类似的提示放在左侧面板,并根据{周边描述}设计配套的右侧面板描述,表达“展示同样的内容(可以是角色、标志等)”的意思。 将提示词和 Logo 图片放到 Comfyui 工作流,可从指定链接下载相关资源。 3. 在 ComfyUI 中高效使用 LLM 方面: LLM Agent 的工作步骤包括接收指令(用户通过文本、语音等方式发出指令或提出问题)、数据处理与理解(利用内部大语言模型解析用户输入,提取关键信息)、生成响应与执行任务(根据用户需求生成回答或采取行动,如查询数据库等)、输出结果(通过文本或语音将结果反馈给用户)。
2025-03-21
更通用一点,更落地一点,主题换成学习AI&LLM吧
以下是关于学习 AI&LLM 的相关知识: 一、AI 相关概念与技术 1. 概念 生成式 AI 生成的内容称为 AIGC。 AI 即人工智能。 2. 机器学习 电脑通过找规律进行学习,包括监督学习、无监督学习、强化学习。 监督学习:使用有标签的训练数据,算法目标是学习输入和输出之间的映射关系,包括分类和回归。 无监督学习:学习的数据没有标签,算法自主发现规律,经典任务如聚类。 强化学习:从反馈中学习,以最大化奖励或最小化损失,类似训小狗。 3. 深度学习 一种参照人脑神经网络和神经元的方法(因有很多层所以叫深度)。 神经网络可用于监督学习、无监督学习、强化学习。 4. 生成式 AI 可以生成文本、图片、音频、视频等内容形式。 5. LLM(大语言模型) 对于生成式 AI,生成图像的扩散模型不是大语言模型。 对于大语言模型,生成只是其中一个处理任务,如谷歌的 BERT 模型,可用于语义理解(不擅长文本生成),如上下文理解、情感分析、文本分类。 二、技术里程碑 2017 年 6 月,谷歌团队发表论文《Attention is All You Need》,首次提出了 Transformer 模型,它完全基于自注意力机制(SelfAttention)来处理序列数据,而不需要依赖于循环神经网络(RNN)或卷积神经网络(CNN)。 三、RL 与 LLM 融合的本质与阐释 AI 本质是一堆 scaling law。今天能看到最好的模型规模在 10 的 25 到 26 次方 FLOPs 这种规模,且数量级还会持续增长,算力是必要条件。一个值得被 scale up 的架构是基础,要支持不断加入更多数据。现在“吃”的是 base model 的 scaling law,未来可能会“吃”用户数据源的 scaling law。alignment 也有 scaling law,只要能找到对的数据就能解决。当 next token prediction 足够好时,能够平衡创造性和事实性。多模态数据的引入可推迟数据瓶颈问题,如视频和多模态的卡点解决不了,文本的数据瓶颈就会很关键。在限定问题(如数学或写代码)上,数据相对好生成,通用问题还没有完全的解法,但有探索方向。统计模型没有问题。
2025-03-17
@ 在cherry studio可以是你openrouter的API吗?
在 Cherry Studio 中,不能直接将 @ 作为 OpenRouter 的 API。OpenRouter 有一些特定的使用方式和条件。 例如,Zeabur 模版自带 oneapi,支持一键部署。但想要同时使用 openrouter 和 simpleoneapi 需安装 cline 插件,将 openrouter api 放到 cline,再把 Cursor 设置换成 simpleoneapi,这样基本能在 Cursor 里使用全系大模型。 OpenRouter 新发布了 BYOK(Bring Your Own API Keys)功能,这是个第三方 Key 集成功能,能将 xAI、OpenAI、Mistral 等数十个平台的 Key 集中在一起,还能同时使用其他平台和 OpenRouter 的额度。目前支持白“赚”的平台包括 AI Studio/Cohere/DeepSeek/Mistral/SambaNova/Together/xAI 等。 在使用 OpenRouter 集成 API Key 时,不仅能整合免费额度,还能解放更多槽位。但在 Cursor 的设置里,deepseek 会与 gpt 的配置发生冲突,同一时间最多只能使用 4 个类型的模型。 如果觉得 OpenRouter 支持的模型不够,还可以使用 simpleoneapi。不过 simpleoneapi 不像 openrouter 支持直接在线配置多个 Key,熟悉代码的可以通过本地或者 Docker 启动。 另外,在进行相关实验时,需要准备本地安装好的 VS Code,在 VS Code 中安装 Cline(MCP 客户端之一),还需要注册 Cloudflare 和 Openrouter,在 Openrouter 注册后在 Keys 中申请一个 API key 并妥善保存。
2025-03-24
cherry studio中助手如何使用
以下是关于在不同场景中使用助手的方法: 在 Cherry Studio 中使用助手 1. 创建大模型问答应用 进入百炼控制台的,在页面右侧点击新增应用。在对话框,选择智能体应用并创建。 在应用设置页面,模型选择通义千问Plus,其他参数保持默认。您也可以选择输入一些 Prompt,比如设置一些人设以引导大模型更好的应对客户咨询。 在页面右侧可以提问验证模型效果。不过您会发现,目前它还无法准确回答你们公司的商品信息。点击右上角的发布。 2. 获取调用 API 所需的凭证 在我的应用>应用列表中可以查看所有百炼应用 ID。保存应用 ID 到本地用于后续配置。 在顶部导航栏右侧,点击人型图标,点击 APIKEY 进入我的 APIKEY 页面。在页面右侧,点击创建我的 APIKEY,在弹出窗口中创建一个新 APIKEY。保存 APIKEY 到本地用于后续配置。 在 Stable Diffusion 中使用 Civitai 助手 您可以去 C 站搜索下载 Civitai 助手,如果上不了 C 站可以去我的百度云盘里下载,然后放在“……\\sdwebuiakiv4\\extensions”路径文件夹下。安装完成后,重启 webUI,就可以在上方的标签选项卡中找到这个插件。 Civitai 助手的功能包括: 1. 下载预览图:它可以自动扫描您的所有文件,如果模型是从 C 站下载的,会帮您自动匹配好缩略图。对于其他来源的模型,可能无法匹配成功,需要手动添加。点击刷新旁边的按钮,再把鼠标放在模型的名字上,可以看见新的四个图标,分别是用当前生成图替换为预览图、在新标签页打开这个模型的 Civitai 页面、一键添加这个模型的触发词到关键词输入框、一键使用这个模型预览图所使用的关键词。 2. 下载文件:当您看到 C 站上喜欢的模型,只需要将网址粘贴进来,点击“从 Civitai 链接拉取模型信息”,等拉取完之后,选择要放置的文件夹和模型的版本,点击下载即可,下载完之后预览图也会自动配好。 3. 检查更新:模型和 lora 的更新迭代很快,点击这个按钮可以自动检索您电脑上目前的模型有没有更新的版本。 在 Trae 中指定上下文进行 AI 对话 通过File,您可以将指定文件中的所有内容作为与 AI 助手对话的上下文。列表中默认展示近期在编辑器中打开过的文件。您可以预览这些文件所在的目录,以免因存在同名文件而导致错选。若展示的文件非您所需,您可以通过关键词搜索所需文件。 1. 在输入框中输入,或直接点击输入框左下角的引用按钮。 2. 输入框上方显示上下文类型选择列表。 3. 在列表中选择 File(或在符号后手动输入 File),然后按下回车键。 4. 列表展示近期在编辑器中打开过的文件。将鼠标悬浮在列表中的某个条目后,左侧会展示该文件所在的目录。 5. 若推荐的文件非您所需,在File:后输入您想要的文件的名称或关键词。 6. 从列表中选择需指定为上下文的文件。 7. 在输入框的文件标识后,输入您的问题并发送。
2025-03-20
Google AI Studio 怎么下载?
要下载 Google AI Studio,您可以按照以下步骤进行操作: 1. 打开浏览器,访问 https://aistudio.google.com/prompts/new_chat 。 2. 登录您的 Google 账户。 3. 在 model 选项处选择 Gemini 2.0 Flash Experimental 模型即可。 或者您也可以通过下载 Gemini 应用(Android 或 iOS)来使用。
2025-03-18
我想让cursor帮我编程一个能在Android studio编译的Android应用,它的主要功能是接受esp32通过websocket协议发送过来的opus数据,保存opus并把数据转换成wav,再使用sherpa-onnx语音识别成文字。我该使用什么提示词让cursor帮我写出这个Android应用?
很抱歉,目前没有适用于让 Cursor 生成您所需 Android 应用的特定提示词。编写这样一个复杂的 Android 应用需要对 Android 开发、网络通信、音频处理和语音识别等多个领域有深入的了解和专业知识。您可能需要逐步向 Cursor 描述应用的架构、各个模块的功能和实现逻辑,例如先描述如何建立与 ESP32 的 WebSocket 连接,如何接收和处理 Opus 数据,如何进行数据转换以及如何调用 Sherpaonnx 进行语音识别等。但需要注意的是,仅仅依靠提示词让 Cursor 生成完整可用的复杂应用可能具有一定的局限性,建议您在具备相关基础知识的前提下,结合 Cursor 的辅助来逐步完成开发。
2025-03-06
我想让cursor帮我编程一个能在Android studio编译的Android应用,它的主要功能是接受esp32通过websocket协议发送过来的opus数据,保存opus并把数据转换成wav,再使用sherpa-onnx语音识别成文字。我该使用什么提示词让cursor帮我写出这个Android应用?
很抱歉,目前没有关于使用 Cursor 生成您所需的这种特定 Android 应用的提示词的相关内容。一般来说,您可以向 Cursor 提供以下关键信息作为提示词的参考: 1. 明确应用的功能需求,如“编写一个在 Android Studio 中编译的 Android 应用,用于接收 ESP32 通过 WebSocket 协议发送的 Opus 数据,保存 Opus 并转换为 WAV 格式,然后使用 Sherpaonnx 进行语音识别成文字。” 2. 描述应用的技术架构和关键技术点,例如“应用需基于 Android 平台,使用合适的网络库处理 WebSocket 连接,采用有效的数据存储方式保存 Opus 数据,利用特定的音频转换库将 Opus 转换为 WAV,以及集成 Sherpaonnx 语音识别库实现文字转换。” 3. 提及开发环境和工具要求,比如“在 Android Studio 开发环境中,遵循 Android 应用开发规范和最佳实践。” 但需要注意的是,Cursor 生成的代码可能并不完全满足您的需求,还需要您进行进一步的修改和完善。
2025-03-06
我是小白用户,已经建立cherry studio本地知识库,我想更自动化的使用知识库,有什么具体操作方法
以下是关于更自动化使用 cherry studio 本地知识库的具体操作方法: 使用知识库: 将知识库直接与 Bot 进行关联用于响应用户回复,或者在工作流中添加知识库节点,成为工作流中的一环。 在 Bot 内使用知识库: 1. 登录。 2. 在左侧导航栏的工作区区域,选择进入指定团队。 3. 在 Bots 页面,选择指定 Bot 并进入 Bot 详情页。 4. 在 Bot 编排页面的知识库区域,单击加号图标,添加指定的知识库。 5. (可选)添加知识库后,可以在自动调用下拉界面内,调整知识库的配置项。 配置项说明: 最大召回数量:Bot 在调用知识库匹配用户输入内容时,返回的数据片段数量,数值越大返回的内容越多。 最小匹配度:Bot 在调用知识库匹配用户输入内容时,会将达到匹配度要求的数据片段进行召回。如果数据片段未达到最小匹配度,则不会被召回。 调用方式:知识库的调用方式。 自动调用:每轮对话将自动从所有关联的知识库中匹配数据并召回。 按需调用:您需要在人设与回复逻辑中提示 Bot 调用 RecallKnowledge 方法,以约束 Bot 在指定时机从知识库内匹配数据。 6. (可选)在预览与调试区域调试 Bot 能力时,扩展运行完毕的内容可以查看知识库命中并召回的分片内容。 在工作流内使用 Knowledge 节点: 1. 登录。 2. 在左侧导航栏的工作区区域,选择进入指定团队。 3. 在页面顶部进入工作流页面,并打开指定的工作流。 4. 在左侧基础节点列表内,选择添加 Knowledge 节点。 创建知识库并上传文本内容: |上传方式|操作步骤| ||| |本地文档|1. 在文本格式页签下,选择本地文档,然后单击下一步。<br>2. 将要上传的文档拖拽到上传区,或单击上传区域选择要上传的文档。<br>目前支持上传.txt,.pdf,.docx 格式的文件内容。<br>每个文件不得大于 20M。<br>一次最多可上传 10 个文件<br>1. 当上传完成后单击下一步。<br>2. 选择内容分段方式:<br>2.1. 自动分段与清洗:系统会对上传的文件数据进行自动分段,并会按照系统默认的预处理规则处理数据。<br>2.2. 自定义:手动设置分段规则和预处理规则。<br>分段标识符:选择符合实际所需的标识符。<br>分段最大长度:设置每个片段内的字符数上限。<br>文本预处理规则:<br>替换掉连续的空格、换行符和制表符<br>删除所有 URL 和电子邮箱地址<br>1. 单击下一步完成内容上传和分片。| 创建知识库并上传表格数据: |上传方式|操作步骤| ||| |本地文档|选择将本地文件中的表格数据上传至知识库中。<br>1. 在表格格式页签下,选择本地文档,然后单击下一步。<br>2. 将要上传的文档拖拽到上传区,或单击上传区域选择要上传的文档,然后单击下一步。<br>目前支持上传.csv 和.xlsx 格式的文件内容,且表格内需要有列名和对应的数据。<br>每个文件不得大于 20M。<br>一次最多可上传 10 个文件。<br>1. 配置数据表信息后,单击下一步。<br>1.1. 指定数据范围:通过选择数据表、表头、数据起始行指定数据范围。<br>1.2. 确认表结构:系统已默认获取了表头的列名,您可以自定义修改列名,或删除某一列名。<br>1.3. 指定语义匹配字段:选择哪个字段作为搜索匹配的语义字段。在响应用户查询时,会将用户查询内容与该字段内容的内容进行比较,根据相似度进行匹配。<br>2. 查看表结构和数据,确认无误后单击下一步。<br>3. 完成上传后,单击确定。|
2025-03-06