大模型可以完成文字校对工作。
通俗来讲,大模型输入大量语料,让计算机获得类似人类的“思考”能力,能够理解自然语言,进行文本生成、推理问答、对话、文档摘要等工作。
但大模型也存在一些问题,比如基于概率生成下一个字,如果对于没学过的问题,仍会基于概率生成,可能会“一本正经的胡说八道”,这种现象被称为“幻觉”。
在使用大模型进行文字校对时,模型的选择很重要。模型之间能力差异大,不适合任务的模型调优费力,应选择适合的模型。文风与语言能力是挑选模型的重要指标,要避免出现“AI 味”,比如常见的套话。
通俗来讲,大模型就是输入大量语料,来让计算机获得类似人类的“思考”能力,使之能够理解自然语言,能够进行『文本生成』、『推理问答』、『对话』、『文档摘要』等工作。既然是学习,那我们就可以用『上学参加工作』这件事来类比大模型的训练、使用过程:1.找学校::训练LLM需要大量的计算,因此GPU更合适,因此只有购买得起大量GPU的贵族学校才有资本训练自己的大模型2.确定教材::大模型顾名思义就是大,需要的数据量特别多,几千亿序列(Token)的输入基本是标配3.找老师::即用什么样的算法讲述“书本”中的内容,让大模型能够更好理解Token之间的关系4.就业指导::学完书本中的知识后,为了让大模型能够更好胜任某一行业,需要进行微调(fine tuning)指导5.搬砖::就业指导完成后,下面就要正式干活了,比如进行一次翻译、问答等,在大模型里称之为推导(infer)在LLM中,Token([2])被视为模型处理和生成的文本单位。它们可以代表单个字符、单词、子单词,甚至更大的语言单位,具体取决于所使用的分词方法(Tokenization)。Token是原始文本数据与LLM可以使用的数字表示之间的桥梁。在将输入进行分词时,会对其进行数字化,形成一个词汇表(Vocabulary),比如:The cat sat on the mat,会被分割成“The”、“cat”、“sat”等的同时,会生成下面的词汇表:|Token|ID||-|-||The|345||cat|1256||sat|1726||…|…|
Unified Re为什么,大语言模型会一本正经的“胡说八道”•LLM是基于“概率”⽣成下一个字,•如果你的问题,它没学过,它仍会基于概率做⽣成,反正总有概率⾼的下一个字,于是就“瞎编”了•它的语⾔能⼒⾮常好,⽣成的段落条理清晰,字正句圆,⼜没有⼈类说假话时的怯弱,所以就“一本正经的胡说八道”了⽐如,⽹上并没有这个⼈多少材料,你⼜不给材料,让它⼲活,它怎么办?•这种现象的专业术语叫做“幻觉”•所以它不是神,•⽽更像⼈,会犯错误永远牢记人工智能协助我们工作不是代替我们工作我们为后果负责用360 AI助手的多模型协作https://bot.360.com/cooperation用国产模型,结对检查审视,效果比单用GPT-4o强,但略差于o1
我们在使用AI创作时,是以某个模型为基础进行调优的。要写出更好的文字,选好的模型是第一步。模型之间的能力差异非常之大,以至于很多时候对效果的影响是决定性的。如果使用的模型不适合这个任务,怎么调优都很费力,不如干脆换一个更好的直接使用。但是,这就涉及到评估方法。当时我们做了一个评估的测试,实际上,从科研的角度看,评估大模型的metric有很多,比如让大模型做小学数学题(GSM8K),这也是一种著名的评估数据集。这类数据集有固定答案,但写作任务压根没有标答,这在写作任务上就不管用了。从实际角度出发,我们不得不自己去想办法来评估这些模型的能力。这是我们当时的文档标题。在我们的写作课中,学员需要紧密结合大语言模型进行创作,这是一个非常特殊的任务:写作没有标准答案,何况这还是在中文语境下的,涉及人机交互的,具有强烈风格的网络小说类型短故事、短剧剧本创作。挑选模型的第一个重要指标是文风和语言能力:你如果去网上搜“ai味”,会看到大量文章教你怎么克服AI奇怪的文风,比如“首先、其次、再者、引人入胜”这种套话,一看就觉得是ai写的。而且这种ai味很难看,不是很让人有继续阅读的欲望。那么,我们要怎么去除ai味呢?实际上,我认为去除ai味是个伪命题。我们在谈到ai味的时候实际上讲的是GPT味。大家知道,在GPT刚出的时候,为了让模型听得懂人话,要做对齐,OpenAI雇了很多便宜的肯尼亚人给他们做数据标注。我有这样一个不负责任的猜想,这些便宜又可怜的肯尼亚数字劳工在写对齐用数据的时候,肯定写了不少首先、再者、最后这样的文字,说不定还有个文档要求他们这么做。