- LogiQA：这是由公务员考试题目组成的逻辑推理数据集，包含演绎推理、归纳推理等多种题型，难度极高，被称为“AI的智商测试”。
- ProofWriter：这是一个要求模型不仅给出答案，还要生成完整逻辑证明过程（Proof Generation）的数据集。这是对模型逻辑链条最严苛的考验。
徐辰继续用他的Qwen-7B模型搭配SLRM模块组成的新模型，进行测试。
徐辰首先看了下原始版本的Qwen-7B模型在这些数据集上的表现。
以LogiQA为例，原始的Qwen-7B-Chat在零样本(zero-shot)下的准确率大约在35%-40%之间，在少样本（few-shot）下也很难突破50%的天花板。而像GPT-4这样的巨无霸，在这个榜单上常年霸榜，分数在75%以上。
徐辰决定先用SLRM模块进行少样本学习，然后再将其与qwen-7b结合起来。
“如果我能用一个7B的小模型，加上我0.5B的SLRM模块，在逻辑推理这个单项上，干翻GPT-4……”
徐辰嘴角勾起一抹玩味的笑容。
这就像是给一辆五菱宏光装上了曲率引擎，然后去纽北赛道上跟法拉利飙车。
……
第一战：SNLI。
原本，Qwen-7B在面对一些带有否定词或双重否定的句子时，经常会晕头转向。
但现在，每当Qwen-7B生成一个推理步骤，SLRM就会在后台的高维几何空间里构建一个“逻辑盒子”。如果下一步的推理超出了这个盒子的范围，SLRM会立刻施加惩罚梯度，强迫它修正逻辑。
测试开始。
进度条走动。
最终分数定格：94.5%。
“嘶……”徐辰自己都吸了口凉气。
原始水平：~75%。
加持后：94.5%。
GPT-4水平：~92%。
“在NLI这种基础任务上，直接超越了SOTA（当前最佳）！”
……
第二战：LogiQA。
这是一个硬骨头。题目全是类似“如果A去，B就不去；如果B不去，C必须去……”这种绕口令。
Qwen-7B原始水平大约是38%，这个水平基本就是蒙的