LM Studio 是一种本地应用程序,可用于在个人电脑上运行和部署较小的开源模型。例如,对于 DeepSeek、Llama 等开源模型,除了可以使用 Together AI 等推理服务提供商在线体验和调用,还能通过 LM Studio 进行本地操作。
专有模型(Proprietary Models)(03:18:38-03:19:23):对于OpenAI、Google等公司的专有模型,需要访问其官方网站或平台(如ChatGPT、Gemini AI Studio)使用。开源模型(Open-Weight Models)(03:19:23-03:21:16):对于DeepSeek、Llama等开源模型,可以使用以下方式:Inference Provider(Together AI)(03:19:23-03:21:16):使用Together AI等推理服务提供商,在线体验和调用各种开源模型。LM Studio(03:20:36-03:21:16):使用LM Studio等本地应用程序,在个人电脑上运行和部署较小的开源模型。[heading3]总结:ChatGPT的本质与未来展望[content]ChatGPT的本质(03:21:46-03:25:18):ChatGPT本质上是OpenAI数据标注员的神经网络模拟器,它模仿人类标注员在遵循OpenAI标注指南的情况下,对各种提示词的理想助手式回应。LLM的局限性(03:25:18-03:26:49):LLM并非完美,存在幻觉、瑞士奶酪式能力缺陷等问题。用户应谨慎使用,并进行人工检查和验证。LLM的优势(03:26:49-03:30:25):LLM是强大的工具,能够显著加速工作效率,并在各领域创造巨大价值。用户应将其视为工具箱中的工具,用于启发灵感、撰写初稿等,并始终对最终产品负责。LLM的未来(03:30:25-03:31:12):LLM的未来发展令人兴奋,多模态、Agent智能体、持续学习等趋势值得期待。虽然LLM仍处于早期发展阶段,但其潜力无限,未来可期。整理和翻译不易,可以的话希望给个三连,谢谢🙏
Hello!大家好。我是科林,是comfyui LLM party插件的开发者。这个栏目的主要目的是讲解LLM(大语言模型)与ComfyUI结合的基础、进阶和高阶用法,主要围绕GitHub中已有中的LLM节点以及comfyui_LLM_party(说明:根植于ComfyUI的大语言模型智能体节点)的应用场景。个人目前将ComfyUI中LLM应用粗略分为四大类:第一类:文本方面;第二类:图像视觉方面——VLM(带视觉的LLM);第三类:LLM Agent(大语言模型智能体);最后一类:其他,这一部分是独立于这些之外的LLM节点或功能。1.文本:提示词扩写、提示词润色、与LLM对话;2.图像:图像提示词反推(Joy Caption、Florence)、OCR、LoRA训练集图像打标;3.LLM Agent:除上述所拥有的功能外,还有海量功能:如工具调用、长期/短期记忆(RAG、GraphRAG等)、本地/API大语言模型调用、封装ComfyUI工作流等。
同时,采用开源或者国内智谱、文心、百川等企业提供的13B级模型,本地部署在自己的内部系统中,虽然需要投入算力,但是算力的价值已经是世界共识了,而大模型的故事可以给企业带来很多资本届的好处,因此,智能客服的大量优质大客户,会纷纷选择自己搭建智能客服平台。再结合大模型企业提供的技术服务,基于大模型搭建LangChain、RAG框架,在智能客服上还可以继续实现RPA自动流程。可以大胆的这样讲,智能客服的企业外部需求,终究是要被证伪了。4、智能客服的结局我个人的看法,痛定思痛,转化为LLM技术支持方,专注发力LLM的工程化应用方向,去为企业提供更好的LLM本地部署和工程化,走IBM的企业服务道路,可能是最好的选择了。毕竟各行各业+LLM的转型还是有很大的市场的,大厂也难以全部吃掉,甚至可以作为大厂大模型的工程分包商。(类似于华为卖企业网关、路由器等网络设备,需要在各个城市找一些工程承包商来根据每个企业办公室的具体格局布网施工一个逻辑)或者就是转变赛道了,向智齿客服,他们借助这两年国内出海的兴起,以及中东、东南亚需求的旺盛,提供在这个方向的智能客服国内服务,这可能还是有一些需求的。5、LMops最近有个很火的概念,LMops,这也是智能客服企业可以转向的一个方向。但是这个方向依旧是在强业务关联上做服务。虽然LMops确实当前挺有用的,做复杂prompt的多模型效果测试,做langchain的可视化设计,但有几个隐患点思考: