以下是为您补充完整的内容:
对于如何通过构建合理的先验知识或模型假设,刻画出数据中的可变性,以及如何利用从少量样本中提取到的变化信息来预测未见数据的表现,我们可以参考以下方法:
在准备 LLM 数据方面,对于制作 LLM 微调数据集,首先获取文本格式非结构式和网络式结构式的数据。对于 QA 数据集,主要依靠已有的大语言模型生成,根据不同文本设定不同的提示词以获取尽可能多且信息量丰富的 QA。先对文件中的文本进行切割,将每一大部分放进一个约 200 字的 txt 文件里,然后设定提示词模板。例如对于公司产品手册,模板可以是:“你是一个聪明的 xxx 公司的 xxx 产品的产品经理。给你一段 xxxxx 有限公司 xx 产品相关的文本,你必须依据文本想出十个不同的问题和这十个问题对应的答案。你想出的问题可以被用来测试公司内部 xxx 职员的专业能力。你想出的问题可以是使用公司产品的用户会想到的问题。你想出的问题和答案必须和所给文本相关。你回答得答案必须可以让使用产品的用户理解。当你想出问题和答案后,你必须用以下格式回复:```[[ "问题 1":"$你想出的问题放在这", "答案 1":"$你想出的答案放在这", "问题 2":"$你想出的问题放在这", "答案 2":"$你想出的答案放在这", "问题 3":"$你想出的问题放在这", "答案 3":"$你想出的答案放在这", "问题 4":"$你想出的问题放在这", "答案 4":"$你想出的答案放在这" ]
[title]巧妇还要种米来炊:怎么准备LLM的数据?很接地气的经验总结[heading1]Part 03.制作LLM微调数据集对于以上文本进行如上处理后,下面我们要生成LLM所需的格式。经过以上的过程,我们现在已经得到了文本格式非结构式的数据还有网络式结构式的数据。我的需求现阶段还算比较简单,主要以QA数据集和dialogue数据集为主。对于QA数据集,我的方法主要靠已有的大语言模型生成,根据不同文本设定不同的提示词,进行尽可能地信息量大的获取QA。首先,先得对文件中的文本进行切割,我是将每一大部分放进一个txt文件里,一个txt文件大约200字(私密马赛,我的场景初步阶段还没有那么复杂),然后设定提示词模板。对于公司产品手册:template = f"""你是一个聪明的xxx公司的xxx产品的产品经理。给你一段xxxxx有限公司xx产品相关的文本,你必须依据文本想出十个不同的问题和这十个问题对应的答案。你想出的问题可以被用来测试公司内部xxx职员的专业能力。你想出的问题可以是使用公司产品的用户会想到的问题。你想出的问题和答案必须和所给文本相关。你回答得答案必须可以让使用产品的用户理解。当你想出问题和答案后,你必须用以下格式回复:```["问题1":"$你想出的问题放在这","答案1":"$你想出的答案放在这","问题2":"$你想出的问题放在这","答案2":"$你想出的答案放在这","问题3":"$你想出的问题放在这","答案3":"$你想出的答案放在这","问题4":"$你想出的问题放在这","答案4":"$你想出的答案放在这",