数理推断（Arithmetic Reasoning）就属于这 5% 的问题，数理推断问题是指需要使用基本的四则运算来理解和解决的数学问题，小学数学应用题就属于数理推断问题范畴在线课堂。下面的表 1 是一个来自数理推断数据集 GSM8K[3] 的示例：
LLM 如 ChatGPT 面对这样 “简单” 的问题，却无法回答正确，如图 2 所示，让人不敢相信这是在 NLP 各领域屠榜的大模型的回答在线课堂。实际上，这是由于 LLM 本质还是概率模型，直接输出的答案并不是基于计算和推理，而是基于概率和感知的，也就是 System 1。