大语言模型与医疗应用 -WayToAGI

回答

大语言模型在医疗领域有以下应用和相关项目：

XrayGLM：首个会看胸部 X 光片的中文多模态医学大模型。
- 地址：https://github.com/WangRongsheng/XrayGLM
- 简介：促进中文领域医学多模态大模型的研究发展，在医学影像诊断和多轮交互对话上有潜力。
MeChat：中文心理健康支持对话大模型。
- 地址：https://github.com/qiuhuachuan/smile
- 简介：由 ChatGLM-6B LoRA 16-bit 指令微调得到，通过扩展真实的心理互助 QA 为多轮对话，提高在心理健康支持领域的表现。
MedicalGPT
- 地址：https://github.com/shibing624/MedicalGPT
- 简介：训练医疗大模型，实现包括二次预训练、有监督微调、奖励建模、强化学习训练，并发布中文医疗 LoRA 模型。

在商业化应用方面：

彭博发布了金融领域的大模型 BloombergGPT，医联发布了医疗大语言模型 MedGPT，在其所在的垂直领域发挥实际诊疗价值。
OpenAI 对 GPT 模型进行了更新，降低了价格，且正在开发新的技术以降低训练模型的成本。
商汤科技联合创始人杨帆认为大模型能加速商业化落地，缩短产业应用周期。
360 公司创始人周鸿祎表示大模型是工业革命级的生产力工具，能赋能百行千业。

在基础通识方面：

国内大模型有通用模型如文心一言、讯飞星火等，也有垂直模型专注特定领域如小语种交流、临床医学、AI 蛋白质结构预测等。
以特定例子体验了不同大模型的回答和续写能力，大模型基于统计模型预测生成内容。
大语言模型工作原理包括训练数据、算力、模型参数，在训练数据一致情况下，模型参数越大能力越强。
Transformer 是大语言模型训练架构，具备自我注意力机制能理解上下文和文本关联，通过单词预测生成内容。
大模型可能因错误数据导致给出错误答案，优质数据集很重要。
Prompt 分为 system prompt、user prompt 和 assistant prompt，写好 prompt 有清晰说明等法则。
Fine tuning 是基于通用大模型针对特定领域任务提供数据进行学习和调整。

内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

LLM开源中文大语言模型及数据集集合

XrayGLM，首个会看胸部X光片的中文多模态医学大模型：地址：[https://github.com/WangRongsheng/XrayGLM](https://github.com/WangRongsheng/XrayGLM)简介：该项目为促进中文领域医学多模态大模型的研究发展，发布了XrayGLM数据集及模型，其在医学影像诊断和多轮交互对话上显示出了非凡的潜力。MeChat，中文心理健康支持对话大模型：地址：[https://github.com/qiuhuachuan/smile](https://github.com/qiuhuachuan/smile)简介：该项目开源的中文心理健康支持通用模型由ChatGLM-6B LoRA 16-bit指令微调得到。数据集通过调用gpt-3.5-turbo API扩展真实的心理互助QA为多轮的心理健康支持多轮对话，提高了通用语言大模型在心理健康支持领域的表现，更加符合在长程多轮对话的应用场景。MedicalGPT地址：[https://github.com/shibing624/MedicalGPT](https://github.com/shibing624/MedicalGPT)简介：训练医疗大模型，实现包括二次预训练、有监督微调、奖励建模、强化学习训练。发布中文医疗LoRA模型shibing624/ziya-llama-13b-medical-lora，基于Ziya-LLaMA-13B-v1模型，SFT微调了一版医疗模型，医疗问答效果有提升，发布微调后的LoRA权重。

七大行业的商业化应用

比如，彭博此前发布了金融领域的大模型BloombergGPT，应用于其所在的垂直领域；医联则发布发布内首款医疗大语言模型MedGPT，可在真实医疗场景中发挥实际诊疗价值。无论是医疗、金融、电商等领域，都需要垂直性大模型产品。多位AI行业人士向钛媒体App指出，从产业角度来看，通用模型就是“百科全书”，能够有问必答，能够适用不同的产业土壤，而垂直模型类似于单领域的专家，虽然专业，但受众注定是少数人。但垂直大模型的发展对各个领域的模型性能持续提升。今年6月16日，OpenAI进行了更新，GPT模型的价格降低了75%，GPT-3.5-turbo的输入token价格降低了25%最新价格，每1k token，0.0001美金。奥特曼还曾提到，OpenAI正在开发新的技术，将可以使用更少的数据、更低廉的价格来训练模型。“当模型足够大之后，它可以把问题泛化成一个通用问题自然输出，可能未来常见的99%以上的物体或事件用一个模型自己就可以去做了。带来的好处就是，很可能就会非常快的加速商业化落地，带来更好的技术能力。比起原来方式，可能会更快地缩短产业应用的周期。”商汤科技联合创始人、大装置事业群总裁杨帆对钛媒体App表示。360公司创始人、董事长周鸿祎近日表示，ChatGPT的出现，代表着超级AI时代的来临。大模型属于通用人工智能，在很多维度上已经超越了人类。同时，大模型是工业革命级的生产力工具，将会带来一场新工业革命，能赋能百行千业，就能在实体经济转型数字化、智能化过程中发挥重要作用。“我认为中国发展大模型没有不可逾越的技术障碍，要感谢OpenAI的成功给我们指明了技术方向，点明了技术路线，中国科技公司在产品化、场景化、商业化上有很大的优势，我对我们能打造这个大模型深信不疑。”周鸿祎表示，未来中国不会只有一个大模型。

02-基础通识课

[heading2]总结大语言模型的介绍与原理国内大模型的分类：国内大模型有通用模型如文心一言、讯飞星火等，处理自然语言；还有垂直模型，专注特定领域如小语种交流、临床医学、AI蛋白质结构预测等。大模型的体验：以‘为什么我爸妈结婚的时候没有邀请我参加婚礼’和‘今天我坐在凳子上’为例，体验了Kimi、通义千问、豆包等大模型的回答和续写能力，发现回复有差异，且大模型基于统计模型预测生成内容。大语言模型的工作原理：大语言模型工作原理包括训练数据、算力、模型参数，在训练数据一致情况下，模型参数越大能力越强，参数用b链形容大小。Transformer架构：Transformer是大语言模型训练架构，17年出现用于翻译，具备自我注意力机制能理解上下文和文本关联，其工作原理是单词预测，通过嵌入、位置编码、自注意力机制生成内容，模型调教中有控制输出的temperature。关于大语言模型的原理、应用及相关概念Transformer模型原理：通过不断检索和匹配来寻找依赖关系，处理词和词之间的位置组合，预测下一个词的概率，是一个偏向概率预测的统计模型。大模型幻觉：大模型通过训练数据猜测下一个输出结果，可能因错误数据导致给出错误答案，优质数据集对其很重要。Prompt的分类和法则：分为system prompt、user prompt和assistant prompt，写好prompt的法则包括清晰说明、指定角色、使用分隔符、提供样本等，核心是与模型好好沟通。Fine tuning微调：基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。RAG概念：未对RAG的具体内容进行详细阐述，仅提出了这个概念。