ChatGPT的替代，而且是英文为主的

[title]ChatGPT是在做什么，为什么它有效？[heading2]那么这些概率从何而来呢？通过足够多的英文文本，我们不仅可以获得单个字母或字母对（2-grams）的概率的相当准确的估计，还可以获得更长字母序列的概率估计。如果我们使用逐渐更长的n-gram概率【注：即第n个字母的概率分布取决于之前的n-1个字母】生成“随机单词”，我们会发现它们变得越来越“真实”：但是现在假设——与ChatGPT的做法差不多——我们处理的是整个单词，而不是字母。英语中有大约40,000个常用单词。通过查看大量英文文本（例如几百亿个单词的数百万本书），我们可以估计每个单词的出现频率。使用这个，我们可以开始生成“句子”，其中每个单词都是独立地随机选择的，具有在语料库中出现的相同的概率。这是一个示例：很明显，这是胡言乱语。那么我们该如何改进？就像处理字母时一样，我们可以开始考虑不仅仅是单个单词的概率，还可以考虑一对或更长的n-gram单词概率。对于一对单词，以下是我们从“cat”单词开始得到的5个例子：看起来更加“有道理”了。我们可以想象，如果我们能使用足够长的n-gram，基本上我们将“得到一个ChatGPT”——这意味着我们将获得能够以“正确的整体文章概率”生成文章长度的单词序列的东西。但问题在于：没有足够的文本可供我们推断这些概率。在网络爬行中可能有数千亿个单词；在已数字化的书籍中可能有另外数百亿个单词。但是，对于40,000个常用单词，即使是可能的二元组也已经有16亿个，三元组的数量是60万亿。因此，我们无法从已有的文本中估计所有这些可能性的概率。而当我们到达20个单词的“文章片段”时，可能性的数量比宇宙中的粒子数量还要大，因此从某种意义上说，它们永远都无法全部写下来。

云中江树[道阻且长——谷歌最新的Gemini多模态模型体验](https://m.okjike.com/originalPosts/65712609d027b7ac8cd169ad?s=eyJ1IjoiNjQyM2IwMDE4NDg5Njk1NGJjYzhkNWU1In0%3D&utm_source=wechat_session)谷歌最新的Gemini多模态模型系列包括Ultra、Pro和Nano三种型号，能够处理图像、音频、视频和文本。Gemini的优势在于原生多模态能力，一个模型即可完成多种任务。目前Gemini的多模态能力有限，幻觉问题和多语言表现不佳仍存在。Gemini的体验不如ChatGPT，特别是对中文的理解能力较弱。然而，谷歌在生成质量和与搜索生态结合方面有显著进步，体验比bing和GPT好。郎瀚威Will谷歌的Gemini能使用户停止流向OpenAI吗？Google和OpenAI的对比：ChatGPT粉丝会重新回到Google吗？随着时间推移，很可能OpenAI短期内有开发者优势，但长期可能回到谷歌生态OpenAI尚未充分挖掘应用端实力OpenAI尚未挖掘终端能力，并对终端覆盖有限。拭目以待2024进展！信息平权[Gemini意味着什么](https://mp.weixin.qq.com/s/r4FNyhJY-ttuS4GZ1-cP8g)先说一下后续影响1.GPT-4.5可能要被迫提前出战了2.Anthropic第一个多模态版本的Claude估计也快了（是不是像Gemini一样的端到端多模态？可能算力不支持）3.开源模型们什么时候出多模态？（这个可能更难...）4.谷歌Gemini对AI应用的意义，要超过OpenAI，对应用的诞生可以更乐观一点。5.谷歌物美价廉的TPU、以及遥遥领先的光互联网络（可与Nvlink IB一战），相关投资会加强。

尽管ChatGPT是收费的，而且还不面向中国，但现在市面上有非常多的其他选择，比如Google的Bard([11])，下图给出了一些常用服务，读者都可以去体验试试：单就写代码这个垂直领域来看，GitHub的Copilot([12])无疑是老大哥，但它并非免费，下面有几个替代品：Tabnine([13]):AI assistant that speeds up delivery and keeps your code safeCodeium([14]):Free AI Code Completion & ChatAmazon CodeWhisperer([15]):Build applications faster and more securely with your AI coding companionSourceGraph Cody([16]):The AI that knows your entire codebaseTabby([17]):Opensource,self-hosted AI coding assitantfauxpilot/fauxpilot([18]):An open-source alternative to GitHub Copilot server[heading1]总结[content]说来可笑，ChatGPT的开发者OpenAI并不像其名字那样开放，ChatGPT的源码与模型数据是不对外开放的，但不久，Meta在2023年2月份开源了LLaMA 1([19])，并在7月接着发布了进阶的Llama 2([20])，而且允许商用。Meta此举无疑极大推进的大模型的发展，坊间甚至一度流传这么一篇文章：[Google"We Have No Moat,And Neither Does OpenAI"](https://www.semianalysis.com/p/google-we-have-no-moat-and-neither"Google"We Have No Moat,And Neither Does OpenAI"")，说Meta才是大模型时代的最大赢家，OpenAI、Google都要靠边站。大模型时代到来了，你的工作离被取代还远吗？