ChatGPT 的入口如下：
每个token的嵌入向量的元素显示在页面下方，而在页面上方，我们首先看到一组“hello”的嵌入，然后是一组“bye”的嵌入。上面的第二个数组是位置嵌入，其看似随机的结构只是“被学习到”的（在这种情况下是在GPT-2中）。好的，那么在嵌入模块之后，transformer的“主要事件”就来了：一系列所谓的“注意块”（GPT-2有12个，ChatGPT的GPT-3有96个）。这一切都很复杂，类似于典型的难以理解的大型工程系统，或者说生物系统。但无论如何，这里是单个“注意块”的示意表示（适用于GPT-2）：在每个注意力块中，都有一组“注意力头”【attention head】（对于GPT-2有12个，对于ChatGPT的GPT-3有96个），每个头都独立地在嵌入向量的不同值块上运行。（是的，我们不知道将嵌入向量分割成几个部分或不同部分的含义是什么好处，这只是已经“发现有效”的事情之一。)
https://openai.com/index/openai-and-apple-announce-partnership/苹果正在将ChatGPT集成到iOS、iPadOS和macOS的体验中，允许用户访问ChatGPT的功能（包括图像和文档理解），而无需在工具之间切换。在需要时，Siri还可以利用ChatGPT的智能功能。Apple用户在向ChatGPT发送任何问题以及任何文档或照片之前都会被询问，然后Siri会直接提供答案。此外，ChatGPT还将出现在Apple的系统级写作工具中，帮助用户生成他们所写内容。用户还可以利用ChatGPT图像工具生成各种风格的图像，以补充他们所写的内容。在Siri和写作工具中访问ChatGPT时，隐私保护功能已内置— OpenAI不会存储请求，并且用户的IP地址会被隐藏。用户还可以选择连接他们的ChatGPT帐户，这意味着他们的数据偏好将受ChatGPT政策的约束。由GPT-4o提供支持的ChatGPT集成将于今年晚些时候登陆iOS、iPadOS和macOS。用户无需创建帐户即可免费访问，ChatGPT订阅者可以直接通过这些体验连接他们的帐户并访问付费功能。
In the second half of this post,I go into detail about what exactly I mean by “simulating history.” I am under no illusions that these simulations are accurate:they are littered with confidently-stated falsehoods and hallucinations.Sometimes,though,hallucinations can be a feature,not a bug.At the end of this post,I include links to detailed prompts which you can use to simulate different historical settings,or customize to use with[Claude](https://claude.ai/chats)or[ChatGPT](https://openai.com/chatgpt)(the free versions of both work about equally well,though GPT-4 works best).I invite readers to share their experiences in the comments.