复杂系统通常在变量和参数空间均具有极高的自由度，但有趣的是，许多复杂系统的整体功能却对大部分参数的扰动表现出惊人的鲁棒性。例如，深层神经网络往往拥有上千万个参数，但实际运行中，只有少数关键参数的扰动会显著影响其性能。这一现象可以用“欠定模型” (sloppy model) 的理论进行系统描述：系统行为高度依赖少数“刚性 (stiff) 参数”的组合，而绝大多数“松弛 (sloppy) 参数”的变化对系统动力学影响甚微。欠定模型在生命科学、物理学和人工智能等领域中广泛存在，揭示其内在机制对于理解复杂系统的稳健性与高效调控具有重要意义。在神经科学领域，阐明大脑网络如何在不同任务中动态分配资源，是解释个体行为差异的核心。脑网络参数（如脑区活动水平及其功能连接模式）反映着功能子网络的整合与分离过程，但参数的高维复杂性极大地增加了识别功能相关个体差异的难度。为应对这一挑战，我们提出“刚性-松弛”（stiff-sloppy）分析框架，用以区分决定系统动力学的关键参数组合和影响微弱的次要参数。结合基于功能磁共振（fMRI）数据拟合的Ising 模型与Fisher信息矩阵分析，我们发现，默认模式网络与工作记忆网络的整合与分离过程主要受刚性参数主导，而这些参数的组合又呈现出特定的低秩结构。更为重要的是，个体在这些刚性参数维度上的差异，与工作记忆行为表现高度相关；即使在剔除大量的松弛参数后，仅凭刚性参数也能实现对行为表现的稳定预测。此外，我们还将讨论这一分析框架在深度学习训练中的应用。

参考文献

1. Chen S*, Tang QY*, Toyoizumi T, Sommer W, Yu L, Zhou C. Stiff-sloppy analysis of brain networks to reveal individual differences in task performance. arXiv:2501.19106 (2025).

2. Xie Z, Tang QY, Sun M, Li P. On the Overlooked Structure of Stochastic Gradients. NeurIPS 2023: 66257-66276.

3. Tang QY*, Gu Y*, Cai Y, Sun M, Li P, Zhou X, Xie Z. Investigating the Overlooked Hessian Structure: From CNNs to LLMs. ICML 2025.

Biography

唐乾元博士现任香港浸会大学物理系助理教授及香港浸会大学深圳研究院副研究员。他在南京大学物理学院获得物理学博士学位，曾于日本东京大学、日本理化学研究所脑科学中心从事博士后研究。唐博士的研究主要聚焦于利用计算和数据驱动的方法来理解复杂的生物系统，通过结合计算、统计与物理工具，深入分析生物数据，揭示其中潜在的普适原理与物理规律。其研究论文发表在 PRL, PRR, Mol Bio Evol, PNAS等国际学术期刊以及NeurIPS, ICML等机器学习领域的国际学术会议。

Inviter: Wei-Kang Wang