股市预测
预测的准确性与预测的可信度是两个不同的问题,而多数模型评估只衡量前者。
我们在同一组标的上比较了两套预测方案,回测区间十年。第一套纯粹以最小化误差为目标调参。第二套输出同类预测,但每个结果都附带输入、假设以及该模型自身的历史误差。
两者原始的准确率差异小到可以忽略。真正的差别出现在预测错误之后 —— 而那是唯一重要的情形。附带证据链时,组合经理可以在几分钟内判断这次偏差是来自某个已不再成立的假设,还是来自有效区间内的噪声,从而调整仓位,而不是放弃模型。
没有证据链时,同样的偏差会触发以天计的复盘流程,实际结果往往是停用这个模型。一个在回撤过程中无法被审计的模型,并不是保守的选择,而是未经度量的选择。
