从网站、公众号等做数据的采集能否用大模型进行接卸搞定

以下是关于 0 到 1 使用大语言模型的相关内容： Ollama 框架： 1. 支持多种大型语言模型，如通义千问、Llama 2、Mistral 和 Gemma 等，适用于不同应用场景。 2. 易于使用，适用于 macOS、Windows 和 Linux 系统，同时支持 CPU 和 GPU。 3. 提供模型库，用户可从中下载不同参数和大小的模型，通过 https://ollama.com/library 查找。 4. 支持用户自定义模型，例如修改温度参数调整创造性和连贯性，或设置特定系统消息。 5. 提供 REST API 用于运行和管理模型，以及与其他应用程序的集成选项。 6. 社区贡献丰富，包括多种集成插件和界面，如 Web 和桌面应用、Telegram 机器人、Obsidian 插件等。 7. 安装完后，确保 ollama 后台服务已启动（在 mac 上启动 ollama 应用程序，在 linux 上通过 ollama serve 启动），可通过 ollama list 确认。 大模型安全： 1. 通过对齐（指令调优）使语言模型更好理解人类意图并增加安全保障，可拆解为监督微调、获取 reward model 和强化学习调整输出分布两部分。 2. LLAMA2 专门使用安全有监督微调确保语言模型安全。 3. 强化学习通过引入人类反馈数据调整模型输出分布，使模型面对训练分布外数据时能拒绝不当回答。 4. 但 Alignment 并不足以防护所有安全问题，存在越狱（Jailbreak）情况，导致模型对齐失效。 5. 还需关注隐私问题。 大模型架构与特点： 1. 包括 encoderonly、encoderdecoder 和 decoderonly 三种架构，目前熟知的 AI 助手多为 decoderonly 架构。 2. 大模型预训练数据量大，来自互联网，参数多，如 Open 在 2020 年发布的 GPT3 已达 170B 参数。 3. GPT3 可根据任务描述和示例完成任务，ChatGPT 则通过对话完成任务，二者在形式和安全性上有差别。

以下是用大模型构建属于自己的助手的几种方法： 1. 在网站上构建： 创建百炼应用获取大模型推理 API 服务： 进入百炼控制台的，在页面右侧点击新增应用，选择智能体应用并创建。 在应用设置页面，模型选择通义千问Plus，其他参数保持默认，也可以输入一些 Prompt 来设置人设。 在页面右侧提问验证模型效果，点击右上角的发布。 获取调用 API 所需的凭证： 在我的应用>应用列表中查看所有百炼应用 ID 并保存到本地。 在顶部导航栏右侧，点击人型图标，点击 APIKEY 进入我的 APIKEY 页面，创建新 APIKEY 并保存到本地。 2. 微信助手构建： 搭建，用于汇聚整合多种大模型接口，并获取白嫖大模型接口的方法。 搭建，作为知识库问答系统，将大模型接入用于回答问题，若不接入微信，搭建完成即可使用其问答界面。 搭建接入微信，配置 FastGpt 将知识库问答系统接入微信，建议先用小号以防封禁风险。 3. 基于 COW 框架构建： COW 是基于大模型搭建的 Chat 机器人框架，可将多模型塞进微信。 基于张梦飞同学的更适合小白的使用教程：。 实现功能包括打造属于自己的 ChatBot（文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等）、常用开源插件的安装应用。 注意事项： 微信端因非常规使用有封号危险，不建议主力微信号接入。 只探讨操作步骤，请依法合规使用。 大模型生成的内容注意甄别，确保操作符合法律法规要求。 禁止用于非法目的，处理敏感或个人隐私数据时注意脱敏，以防滥用或泄露。 支持多平台接入，如微信、企业微信、公众号、飞书、钉钉等。 支持多模型选择，如 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等。 支持多消息类型，能处理文本、语音和图片，以及基于自有知识库进行定制的企业智能客服功能。 支持多部署方法，如本地运行、服务器运行、Docker 的方式。

以下是用大模型构建属于自己的助手的几种方法： 1. 在网站上构建： 创建百炼应用获取大模型推理 API 服务： 进入百炼控制台的，在页面右侧点击新增应用，选择智能体应用并创建。 在应用设置页面，模型选择通义千问Plus，其他参数保持默认，也可以输入一些 Prompt 来设置人设。 在页面右侧提问验证模型效果，点击右上角的发布。 获取调用 API 所需的凭证： 在我的应用>应用列表中查看所有百炼应用 ID 并保存到本地。 在顶部导航栏右侧，点击人型图标，点击 APIKEY 进入我的 APIKEY 页面，创建新 APIKEY 并保存到本地。 2. 微信助手构建： 搭建，用于汇聚整合多种大模型接口，并获取白嫖大模型接口的方法。 搭建，作为知识库问答系统，将大模型接入用于回答问题，若不接入微信，搭建完成即可使用其问答界面。 搭建接入微信，配置 FastGpt 将知识库问答系统接入微信，建议先用小号以防封禁风险。 3. 基于 COW 框架构建： COW 是基于大模型搭建的 Chat 机器人框架，可将多模型塞进微信。 基于张梦飞同学的更适合小白的使用教程：。 实现功能包括打造属于自己的 ChatBot（文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等）、常用开源插件的安装应用。 注意事项： 微信端因非常规使用有封号危险，不建议主力微信号接入。 只探讨操作步骤，请依法合规使用。 大模型生成的内容注意甄别，确保操作符合法律法规要求。 禁止用于非法目的，处理敏感或个人隐私数据时注意脱敏，以防滥用或泄露。 支持多平台接入，如微信、企业微信、公众号、飞书、钉钉等。 支持多模型选择，如 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等。 支持多消息类型，能处理文本、语音和图片，以及基于自有知识库进行定制的企业智能客服功能。 支持多部署方法，如本地运行、服务器运行、Docker 的方式。

在语文教学中使用大模型，可以参考以下方面： 1. 提示词设置： Temperature：参数值越小，模型返回结果越确定；调高参数值，可能带来更随机、多样化或具创造性的产出。对于质量保障等任务，可设置低参数值；对于诗歌生成等创造性任务，可适当调高。 Top_p：与 Temperature 类似，用于控制模型返回结果的真实性。需要准确答案时调低参数值，想要更多样化答案时调高。一般改变其中一个参数即可。 Max Length：通过调整控制大模型生成的 token 数，有助于防止生成冗长或不相关的响应并控制成本。 Stop Sequences：指定字符串来阻止模型生成 token，控制响应长度和结构。 Frequency Penalty：对下一个生成的 token 进行惩罚，减少响应中单词的重复。 2. 了解大模型： 大模型通俗来讲是输入大量语料，让计算机获得类似人类的“思考”能力，能进行文本生成、推理问答、对话、文档摘要等工作。 训练和使用大模型可类比上学参加工作：找学校（需要大量 GPU 计算）、确定教材（大量数据）、找老师（算法）、就业指导（微调）、搬砖（推导）。 Token 是模型处理和生成的文本单位，在将输入进行分词时会形成词汇表。 需要注意的是，在实际应用中，可能需要根据具体的教学需求和场景进行调整和实验，以找到最适合的设置和方法。

利用大模型写教案可以参考以下要点： 1. 输入的重要性：要输出优质的教案，首先要有高质量的输入。例如，写商业分析相关的教案，如果没有读过相关权威书籍，输入的信息缺乏信息量和核心概念，大模型给出的结果可能就很平庸。所以，脑海中先要有相关的知识概念，这来自于广泛的阅读和学习。 2. 对大模型的理解：大模型通过输入大量语料获得类似人类的“思考”能力，能够进行文本生成、推理问答、对话、文档摘要等工作。其训练和使用过程可以类比为上学参加工作，包括找学校（需要大量计算资源）、确定教材（大量数据）、找老师（合适的算法）、就业指导（微调）、搬砖（推导）等步骤。 3. 与大模型的交互： 提示词工程并非必须学习，不断尝试与大模型交互是最佳方法。 交互时不需要遵循固定规则，重点是是否达成目的，未达成可锲而不舍地尝试或更换模型。 用 Markdown 格式清晰表达问题，它具有结构清晰、能格式化强调关键部分、适用性广等优点，有助于大模型更好地理解用户意图。

DeepSeek 是在国内表现出色的模型之一。它发布的大一统模型 JanusPro 将图像理解和生成统一在一个模型中，具有统一 Transformer 架构，提供 1B 和 7B 两种规模，全面开源，支持商用，部署使用便捷，Benchmark 表现优异，能力更全面。同时，在 LMSYS 排行榜上，由 DeepSeek 等开发的模型取得了优异成绩，尤其在数学和编程方面表现出色。DeepSeek 在推理过程中通过多头隐式注意力减少内存需求，并且改进了 MoE 架构。但不能简单地说 DeepSeek 就是国内通用大模型第一名，其在不同方面的表现还需综合评估。

以下是关于法律咨询类如何借助 AI 来搞定的相关内容： 潘帅提出，使用 AI 进行数据分析时，应将各环节分开处理以优化性能和便于发现修正问题。针对复杂问题，律师可逐步深化细化提问方式。要给 AI 提供参考和学习内容，包括操作指南、行业最佳实践、案例研究等，并编写详细流程和知识。利用专业领域术语引导 AI 回答方向，如在处理合同纠纷时提示特定方面。使用 AI 回答后要进行交叉验证，结合自身专业知识筛选判断。还可指定 AI 模仿资深律师的风格，要求其提供多个例子和从多个角度思考，如给出多种诉讼策略并分析优劣。 陶力文律师认为不能期待设计一个完美的提示词让 AI 百分百给出完美答案，应把提示词当作相对完善的“谈话方案”，在对话中产生成果。对于尝试 AI 的朋友，建议多给 AI 几轮对话修正的余地，不要期望一次输入就得到想要的东西。 潘帅还提到了 PEMSSC 方法，包括个性化的风格、给参考或一定逻辑结构、从多个角度思考、总结概括、区分以及明确能力或角色，并分别举例说明了如何应用。

以下是为您整合的相关内容： Transformer 模型和 BERT 模型： 模型训练与评估：定义模型后，传递训练数据集和验证数据集及训练时期数，训练完成后评估性能，如达到 85%准确率。 模型性能可视化：绘制准确性和随时间的损失图。 保存与加载模型：使用 model.save 方法导出并保存模型到本地路径，保存后可加载进行预测。 预测示例：对不同情感的评论句子进行预测。 部署模型到 Vertex AI：检查模型签名，上传本地保存的模型到 Google Cloud 存储桶，在 Vertex 上部署模型并获得在线预测。 提示工程： 策略：将复杂任务分解为更简单的子任务。 技巧：使用意图分类识别用户查询中最相关的指令。例如在故障排除场景中，根据客户查询分类提供具体指令，如检查路由器连接线、询问路由器型号、根据型号提供重启建议等。模型会在对话状态变化时输出特定字符串，使系统成为状态机，更好控制用户体验。 OpenAI 官方指南： 战术：将复杂任务拆分为更简单的子任务。 策略：使用意图分类来识别与用户查询最相关的指令。例如在故障排除场景中，基于客户查询分类向 GPT 模型提供具体指令。已指示模型在对话状态变化时输出特殊字符串，将系统变成状态机，通过跟踪状态等为用户体验设置护栏。

当使用 Cursor 做网页采集文章插件总是报错时，您可以参考以下内容： 1. 技术架构方面： 采用前后端分离架构，后端基于 Coze 工作流构建业务逻辑，前端为 Chrome 浏览器插件，提供轻量级交互界面。 2. 工作流搭建方面： 配置核心组件，包括插件大模型、工作流总览、大模型节点提示词、输出节点 markdown 排版（注意 markdown 里图片的渲染格式），注意输出图片的变量用的是 contentUrl。 3. 可视化界面和 chrome 插件开发方面： 使用 Cursor 开发时，要有架构思维，懂得如何向 AI 描述想要的东西，在实践中学习。 对于 Coze 关键数据，要获取授权令牌（Token），掌握工作流调用方法。查看 Coze 的 api 开发文档，查看执行工作流的实例，需要两个关键参数，即令牌密钥和工作流开发代码。在工作流界面获取工作流 id，让 Cursor 根据相关内容写一个调用 Coze 工作流的服务，注意声明入参为 article_url 以及让 Cursor 注意中文编码。 4. 报错处理方面： 如果报错、解析结果不对，可以点击 Raw Response，查看报错或者返回值，再根据返回值调整配置输出参数。 希望以上内容对您有所帮助。

以下是为您整理的关于数据采集的 AI 工具的相关信息： 宝玉日报：数据收集采用 AI 搜索与手动下载权威资料相结合，并结构化提取数据。报告拆分按任务需求分步完成，使用 Excel 等工具进行数据处理。分析与写作中，AI 辅助分析并提供初步文字撰写，但需人工主导校验关键内容。亮点在于把 AI 作为辅助，优化信息处理和写作效率，注重人工与 AI 配合，确保数据准确性和结论可靠性。相关链接：https://baoyu.io/blog/aiwriteprofessionalregionaleconomicreport Istra 发布的 Pixtral Large 124B 聊天应用：特点是免费使用的大型多模态模型，支持网络搜索、写作画布、Flux Pro 画图。亮点是网络搜索和画图功能实用且强大，适合多场景需求。相关链接：http://chat.mistral.ai 、https://chat.mistral.ai 、https://x.com/dotey/status/1858644663046930601 RPA+财务税务问答机器人：以在京东查询感冒灵并采集价格为例，通过拖拉拽指令控件来构建机器人任务，包括打开浏览器、填写搜索框、点击搜索、采集数据等步骤，采集数据后会生成数据表格且无需代码。编辑器有拖拉拽功能适合业务人员，也可切换为 Python 界面写代码，还封装了很多控件，如 Excel 控件等。

以下是一些信息采集的 AI： 在欧盟相关法规中，提到了由委员会或市场监督机构根据《AI 法案》（特别是第 62 条）或其他相关文书收集的信息，以及支持评估《AI 法案》和相关报告的信息和分析。 4 月动态中提到的新产品： JamGPT AI Debug 小助手，网址：https://jam.dev/jamgpt ChatGPT2D 用于生成二维知识图谱，网址：https://www.superusapp.com/chatgpt2d/ Motörhead by metal 用于 LLM 的开源内存和信息检索服务器，网址：https://github.com/getmetal/motorhead 网页抓取工具：Hexomatic 网址：https://hexomatic.com/ ；WebscrapeAI 网址：https://webscrapeai.com/ ；Kadoa 网址：https://www.kadoa.com/ 个人数据处理工具：非结构化数据处理 Bloks 网址：https://www.bloks.app/ ；文本处理 Lettria 网址：https://www.lettria.com/ ；数据处理 Quadratic 网址：https://www.quadratichq.com/?ref=producthunt 能联网检索的 AI 有：ChatGPT Plus（开启 web browsing 功能）、Perplexity、Bing Copilot、You.com、Neeva AI 等。这些 AI 搜索工具结合了 AI 技术和搜索引擎，提升了数据集命中预期，为信息检索带来更多可能性。但请注意内容由 AI 大模型生成，请仔细甄别。