目前的 AI 插件产业实践中,以开发 AI Share Card 插件为例:
需要收费的 AI 插件因具体应用和服务提供商而异,常见的收费方式包括按使用量计费、订阅制等。但像上述提到的 GLM-4-flash 在特定时间内是免费的。
纯靠词生卡Prompt完成卡片样式输出,固然是非常灵活的AI智能体方案。但倘若在最终落地产品中,还是每次都依赖大模型重新生成卡片的样式代码,反而会消耗大量的输出token,耗时且不经济。此外,在实际使用中,用户通常只固定使用一到两个常用模板,对自定义样式的需求并不频繁。所以在开发AI Share Card插件的过程中,我选择将模板生成功能设计为固定的代码组件,而让大模型专注于内容总结的功能。如果用户需要选择其他模板,则通过增加更多模板选项or自定义模板代码功能实现。如此一来,对AI大模型的要求就不会动辄需要像Claude 3.5 sonnet那样高不可攀的顶级模型。处理纯文本总结任务,仅需13B或更小参数的模型,加上精调的提示词,就能产生很好的结果。一旦明确模型的任务,AI API服务的选型要求就清晰了:1.较长的上下文窗口:内容总结类任务需要较大的上下文长度;2.响应速度要快、并发支持要高:以便在多人使用插件时,保持良好的性能表现;3.免费或尽量低价:减少模型token费用。经过简单调研后,AI Share Card选用的是GLM-4-flash(没恰饭。截至2024-12,长达128k的上下文窗口,完全免费的调用价格,200 RPM高并发支持,还要什么自行车🚲~)