目前没有关于字节跳动旗下即梦 AI 的模型来源以及数据训练库的准确和详细信息。但一般来说，AI 模型的训练数据可能来自多种来源，如维基百科、书籍、期刊、网络采集的图片/标题等。同时，在训练过程中可能会使用开源架构，并进行原创性的优化和突破。但对于即梦 AI 具体的情况，还需要更多确切的官方公布内容。
“Pre-trained”可以理解为一个天才少年在图书馆里孜孜不倦地学习了人类知识的精华。GPT-3的预训练数据集多达45TB，主要来自维基百科、书籍、期刊、Reddit链接、Common Crawl等数据集。经过数据清洗，数据量也达到570G，相当于500000本《红楼梦》的数量。这个天才少年阅读了海量的文本之后，无师自通，确实“学到”了很多知识。“Transformer”是一种注意力模型，也被称为变形金刚模型。该模型源于Google团队在2017年发布的一篇论文《Attention is All Your Needs》。相比于传统的序列模型，Transformer采用了完全并行的计算方式，借助GPU加速训练速度。此外，Transformer还引入了自注意力机制，能够直接对输入序列中的每个位置进行编码和解码，从而更好地捕捉序列中的长程依赖关系。通过海量的训练学习，大型的神经网络模型中存储了大量的知识，这些知识可以通过文字生成的方式进行展现。即使是在闲聊中，像ChatGPT这样的模型也能够表现出拥有更多的世界知识和某种程度的推理能力，这正是使它与众不同的原因。这种能力使得ChatGPT能够更好地理解人类语言的含义和上下文，并能够生成更加自然和流畅的语言表达。
7.即将面临的法律挑战所有这些生成式人工智能模型的共同点是，这些AI模型都是使用大量的内容数据集进行训练的，通常是通过互联网的数据集来创建。例如，"Stable Diffusion"是在超过50亿张图片/标题的基础上进行训练的，这些图片/标题都是从网络上采集而来的。目前，这些模型声称在"合理使用"的版权原则下运作，但这一论点还没有在法律得到明确的检验。显然即将到来的法律挑战可能会改变生成式人工智能的格局。大型电影公司有可能通过自己版权的优势建立专有模型，寻求竞争优势。例如，微软有很多旗下的工作室，特别是还收购了动视暴雪。8.至少在目前，不同于艺术领域，生成式AI会不会在编程领域带来巨大的变革。软件工程是游戏开发的另一个主要成本来源，但用人工智能模型生成代码需要更多的测试和验证，因此，代码生成比生成创意资产的生产力提升程度要低。我们认为，像Copilot这样的编码工具可能为工程师提供适度的性能改进，但在短期内不会和内容领域变化这么大。
面对质疑，李开复和"零一万物"团队迅速做出回应。他们承认在训练过程中确实沿用了开源架构，但强调这只是为了快速起步，进行充分的测试和对比实验。他们坚称，其发布的模型都是从零开始训练的，并进行了大量原创性的优化和突破。继“零一万物”之后，12月，一则震惊业界的消息传出：科技巨头字节跳动被曝出在其秘密研发的大模型项目中调用了OpenAI的API，并使用ChatGPT的输出数据来训练自己的模型。这一行为，恰恰触犯了OpenAI使用协议中明确禁止的条款。OpenAI的反应迅速而坚决。他们立即暂停了相关账号，并表示将进行进一步调查。如果指控属实，OpenAI可能会要求字节跳动更改其做法，甚至可能终止其账户。这种严厉的态度，展现了OpenAI对其技术和知识产权的坚决保护。