推荐 llama3 的一篇文章-WayToAGI

回答

以下是一篇关于 Llama3 的文章：

Llama3 正式发布，开源模型的质量又迎来再一次飞跃

数字生命卡兹克、赛博禅心、歸藏、AI 大模型在手等多家媒体都对 Llama3 进行了报道。他们认为，Llama3 的发布是开源模型质量的又一次飞跃。

在 Amazon SageMaker 上部署 Llama 3

要将 Llama 3 70B 部署到 Amazon SageMaker，我们需要创建一个 HuggingFaceModel 模型类，并定义我们的端点配置，包括 hf_model_id，instance_type 等。我们将使用一个 p4d.24xlarge 实例类型，该类型具有 8 个 NVIDIA A100 GPU 和 320GB 的 GPU 内存。Llama 3 70B 指令是一个经过优化的对话 AI 模型，这使我们能够启用 TGI 的消息 API 与 llama 交互，使用常见的 OpenAI 格式 messages。

注意：Llama 3 是一个有门槛的模型，请在提交此表单前访问模型卡并接受许可条款和可接受的使用政策。

内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

在 Amazon SageMaker 上部署 Llama 3

创建HuggingFaceModel后，我们可以使用deploy方法将其部署到Amazon SageMaker。我们将使用ml.p4d.24xlarge实例类型部署模型。TGI将自动在所有GPU上分发和分片模型。SageMaker现在将创建我们的端点并将模型部署到其中。这可能需要10-15分钟。

Llama3 正式发布，开源模型的质量又迎来再一次飞跃

数字生命卡兹克：[最强开源大模型Llama3深夜发布-世界不能没有Meta](https://mp.weixin.qq.com/s/J25GjbSp_otsBCAvCsMBDg)赛博禅心：[全网首发，Meta Llama-3全方位详解](https://mp.weixin.qq.com/s/xtv0C730DP-DQq72uLUJ3A)歸藏：[来了！Llama3正式发布，开源模型的质量又将迎来再一次飞跃](https://web.okjike.com/originalPost/662149a2a922aa28d03a1fe5)AI大模型在手：[【迎接Llama3】带来了哪些惊（改）喜（进），Llama3与Llama2的对比](https://mp.weixin.qq.com/s/0fO25tAac9KmtmkBJ1ULNg)

在 Amazon SageMaker 上部署 Llama 3

要将[Llama 3 70B](https://huggingface.co/meta-llama/Meta-Llama-3-70B-Instruct)部署到Amazon SageMaker，我们创建一个HuggingFaceModel模型类，并定义我们的端点配置，包括hf_model_id，instance_type等。我们将使用一个p4d.24xlarge实例类型，该类型具有8个NVIDIA A100 GPU和320GB的GPU内存。Llama 3 70B指令是一个经过优化的对话AI模型，这使我们能够启用TGI的[消息API](https://huggingface.co/docs/text-generation-inference/messages_api)与llama交互，使用常见的OpenAI格式messages。注意：Llama 3是一个有门槛的模型，请在提交此表单前访问[模型卡](https://huggingface.co/meta-llama/Meta-Llama-3-70B-Instruct)并接受许可条款和可接受的使用政策。