目前在金融股票领域的大模型有彭博发布的 BloombergGPT 以及蚂蚁金融大模型。
通用大模型能够有问必答,适用不同产业,但在特定领域表现可能不理想。而垂直大模型类似于单领域专家,虽受众有限但在特定领域更专业,比如金融领域。微调是对大模型针对特定领域的训练过程,能优化参数提高在该领域的专业性,且相比从头训练新模型更经济高效。
•百川智能发布Baichuan2—Turbo字节云雀大模型闭源通用大模型百川BaichuanYi-34B开源医疗汽车教育行业大模型MindGPT部分领域岐黄问道银河大模型..................序列猴子BlueLM AndesGPT孟子云天书玉言金融工业文化/零售/交通AInno-15B妙笔大模型[heading4]蚂蚁金融大模型[content]轩辕大模型COSMO-GPTSMore LrMo..................
戴文渊向钛媒体App表示,不是所有的场景、客户都能接受千亿参数的成本,这个需要客户选择,即便是千亿、万亿的参数只是代表你的最高能力,但最后给到客户的时候,就不一定所有的场景都能技术释放。而垂直大模型的数据生成规模会小一些,场景更易用,Chat的思维能力更高。比如,彭博此前发布了金融领域的大模型BloombergGPT,应用于其所在的垂直领域;医联则发布发布内首款医疗大语言模型MedGPT,可在真实医疗场景中发挥实际诊疗价值。无论是医疗、金融、电商等领域,都需要垂直性大模型产品。多位AI行业人士向钛媒体App指出,从产业角度来看,通用模型就是“百科全书”,能够有问必答,能够适用不同的产业土壤,而垂直模型类似于单领域的专家,虽然专业,但受众注定是少数人。但垂直大模型的发展对各个领域的模型性能持续提升。今年6月16日,OpenAI进行了更新,GPT模型的价格降低了75%,GPT-3.5-turbo的输入token价格降低了25%最新价格,每1k token,0.0001美金。奥特曼还曾提到,OpenAI正在开发新的技术,将可以使用更少的数据、更低廉的价格来训练模型。
在人工智能领域,我们通常会根据应用领域将大模型分为两类通用大模型领域特定模型。通用大模型如GPT-4.0、GPT-3.5、文新一言以及开源的通义千问、Llama2和Llama3它们通过训练获得了广泛的自然语言理解能力。这些模型类似于多面手,能够处理多种类型的语言任务。然而,尽管这些通用模型拥有强大的基础语言能力,它们在特定领域如法律或医学中的表现可能并不理想。这就像是一个语言能力已完全发展的10岁孩子,虽然可以流利交流,但要成为某一专业领域的专家,还需要学习更多相关知识。这种对大模型针对特定领域进行的训练过程称为大模型的微调。微调是一个调整过程,通过在特定领域的数据上训练模型,优化所有层的参数,以使模型在该领域表现更佳。提高其在该领域的专业性你可能会问,为什么不直接构建一个专用于法律的模型?关键在于,从头开始训练一个具备自然语言处理能力的大模型需要大量的时间和资源。小公司负担不起但是通过微调,我们可以在现有模型的基础上,更经济、更高效地适应新的应用领域。