Financial Industry - Big Model Challenge ｜Understanding Financial Markets with Big Models

近年来，大型语言模型（LLM）在金融领域的应用取得显著进展。继「2023 金融行业·大模型挑战赛」之后，我们将举办「2024 金融行业 · 大模型挑战赛」，以期进一步推进大模型在金融行业的广泛应用。

为确保比赛内容紧贴实际应用，我们整合了所有公开的金融数据，打造了符合金融场景需求的 多轮问答评测赛题 ——金融多轮问答数据集。比赛将提供完整的基础数据表供选手使用。

参赛选手需采用 GLM-4 系列模型 API 进行比赛。选手可运用多种技术手段，如 代理方法（agentic）、文本到API（text2api）、文本到SQL（text2sql）和信息检索 等，以完成赛题。

赛题设有 中文和英文 两个测试集，选手可根据个人偏好选择其一进行优化和提升。

主办单位：清华大学基础模型研究中心

支持单位：智谱、博时基金、安硕信息、恒生聚源

社区支持：魔搭社区，WaytoAGI，ZLead硅谷委员会，Huggingface

模型支持： BigModel.cn

数据支持：恒生聚源、安硕信息、博时基金

赛题内容

参赛选手需利用GLM-4模型API以及比赛提供的金融数据，开发一个能够处理多轮问答的系统，旨在回答用户提出的金融相关问题。

本赛题涉及 多轮问答 ，并包含 中文及英文两种语言 。

根据难度和复杂度，赛题分为初级、中级、高级三个等级，描述如下：

初级： 数据基本查询（30分）

通过SQL或API等方式可查询结果，如：「某公司（或某股票代码）2022年11月2日的涨跌幅为多少？」

中级： 数据统计分析查询（40分）

在初级阶段的基础上，使用基础数据完成金融数据的统计分析、关联指标查询、公式计算等，如：「MACD即将金叉，中小板，近半年涨停次数超过10次的股票有多少家？分别是谁？」

高级： 复杂问题（30分）

股价回测、财务分析等，如：「每年的4月叠加上市公司年报和一季报。理论上新闻频次会达到了一年最高。帮我验证下，2021年在A股有多少比例的上市公司符合这个假设?」

数据结构

本次赛题数据主要分为两大类：结构化数据和非结构化数据。

结构化数据包括以下几部分：

- A股上市公司数据 ：涵盖500家A股公司（2019-2021年），包括公司基本资料（如LC_StockArchives），公司名称变更（LC_NameChange），以及公司业务信息（LC_Business）。

- 股东及股权信息 ：包括股东类型分类（LC_SHTypeClassifi）、股东名单（LC_MainSHListNew）、公司实际控制人（LC_ActualController）等信息，涉及股东持股统计、股权变动、股权冻结与质押等内容。

- 公司财务与经营状况 ：包括资产负债表（LC_BalanceSheetAll）、利润表（LC_IncomeStatementAll）、现金流量表（LC_CashFlowStatementAll）、主营业务构成（LC_MainOperIncome）以及审计意见（LC_AuditOpinion）。

- 行业及概念板块 ：包含行业分类（LC_ExgIndustry）、行业估值指标（LC_IndustryValuation）、行业财务指标（LC_IndFinIndicators）及概念板块信息（LC_COConcept）。

- 股票市场数据 ：如A股交易数据（日行情表QT_DailyQuote）、股票技术指标（CS_TurnoverVolTecIndex）及停牌复牌信息（LC_SuspendResumption）。

- 基金数据 ：涉及管理人前10家，每家50只基金（2019-2021年），包括基金概况（MF_FundArchives）、基金管理人信息（MF_InvestAdvisorOutline）及基金分红（MF_Dividend）。

- 港股和美股数据 ：涵盖20家港股公司及20家美股公司（2019-2021年），包括公司概况、员工数量变动、日行情等信息。

- 指数数据 ：包含沪深三百、中证500、中证1000、创业板指数、上证指数的基本情况（LC_IndexBasicInfo）及其成份（LC_IndexComponent）。

- 舆情数据 ：针对500家A股公司（2019-2021年）的舆情信息（PS_NewsSecurity），以及相关事件体系指引（PS_EventStru）。

非结构化数据主要涉及：

- 报告 ：年度报告、季度报告等公司财务报告。

- 公告 ：董事会公告、监事会公告、股东大会公告等。

- 上市资料 ：如招股说明书等公司上市相关文件。

赛事日程

🗓 初赛阶段（2024/12/3 - 2025/2/10）

- A榜 （2024/12/3 - 2025/2/6）：每日报名队伍有3次提交机会，实时评测，展示历史最佳成绩。

- B榜 （2025/2/7 - 2025/2/10）：评测标准与A榜相同，赛题难度提升。

初赛成绩 ：A榜（30%）+ B榜（70%）加权得出。

🗓 复赛阶段（2025/2/17 - 2025/3/9）

- A榜 （2025/2/17 - 2025/3/6）：每天5次提交机会，实时评测与排名更新。

- B榜 （2025/3/7 - 2025/3/9）：评测标准与A榜相同，赛题难度调整，挑战极限。

复赛成绩 ：A榜（30%）+ B榜（70%）加权得出。前15名晋级决赛。

🗓 决赛答辩（2025年3月底）

决赛将以线上或线下答辩形式进行，晋级队伍需准备答辩PPT、参赛总结和核心代码。

最终成绩：复赛成绩（60%）+ 答辩成绩（40%）。