你是基于哪个大模型搭建的

作者[小小将](https://www.zhihu.com/people/xiaohuzc)华中科技大学工学硕士刚刚，谷歌破天荒地开源了LLM大模型Gemma：Gemma是一系列轻量级的最先进开源模型，它们是基于创建Gemini模型的相同研究和技术构建的。由Google DeepMind和Google的其他团队开发，Gemma的灵感来自于Gemini，其名称反映了拉丁语中“宝石”的意思。除了模型权重，谷歌还发布了一些工具来支持开发者的创新，促进合作，并指导Gemma模型的负责任使用。这次开源的Gemma重点如下：共两个尺寸的模型权重：Gemma 2B和Gemma 7B。每种尺寸都提供了预训练和指令调优的版本。模型地址：[Models - Hugging Face](https://link.zhihu.com/?target=https%3A//huggingface.co/models%3Fother%3Dgemma%26sort%3Dtrending%26search%3Dgoogle)，[Gemma](https://link.zhihu.com/?target=https%3A//www.kaggle.com/models/google/gemma)

在第三部分中，我们将深入探讨如何基于大模型构建模型应用。这一过程从框架选择到最终应用的搭建，涉及一系列复杂的步骤和环节。实际上，许多细节和阶段往往是在实际操作中才会逐渐显现出来。因此，开发一个大模型的应用绝非易事。在整个提示词设计层面，同样需要精细的工作。精心的设计和调试是确保整个流程顺畅运行的关键，也是保证最终应用具有实际价值的基础。这不仅仅是在对话窗口中输入文字，或者在聊天窗口中发送指令并接收输出那么简单。提示词的设计直接影响模型的输出质量和应用的实际效果。为了构建一个有效的大型语言模型应用，我们需要：1.不做工程化终究会让模型应用变得无法维护。2.根据项目需求选择一个合适的开发框架是非常关键的。3.了解业务背后的深层次需求，确保模型能够解决实际问题。根据了解到的业务需求设定流程环节。4.在每个环节中，精心设计提示词以引导模型提供准确和有用的回复。5.确保应用在提供服务的同时，遵守安全和伦理标准。6.通过不断的测试和迭代，优化模型性能和用户体验。7.成功部署应用后，还需要持续的维护和更新以适应不断变化的需求。通过这些关键点的掌握，我们可以确保构建的模型应用不仅在技术上是先进的，而且能够真正解决用户的问题，提供有价值的服务。

我们认识了Embedding（嵌入）是一个浮点数的向量（列表），两个向量之间的距离度量它们的相关性，小的距离表示高相关性，大的距离表示低相关性。知道了Embedding共有：词、句子、文档、图像等分类。还分析了Embedding在大模型中的价值。最后是Embedding的实战部分：从数据集中获取Embedding结果，并保存为csv文件。最后，本示例中的实战代码，参考的是官方最新文档的内容，加上个人测试阶段的遇到的问题、代码注释等OpenAI官网文档链接：https://platform.openai.com/docs/introduction大模型技术，除了在OpenAI官网能看到的：Embedding、Function Call和Fune Tuning等。进阶到企业级应用开发的大模型技术还会涉及到：利用开源的Embedding模型、向量数据库去做检索增强生成（RAG），以及购买GPU服务器去基于开源大模型搭建企业级大模型项目。