什么是数据窥探偏差以及为什么参数数量很重要
数据窥探偏差——也称为数据挖掘偏差——是指策略表面上的历史成功是搜索过程的产物，而非可重复优势的证据。其机制很简单。模型中每增加一个参数，就给优化器多一个自由度来拟合过去。有了足够的自由度，研究者通常能找到一个规则集，将平庸甚至随机的收益流变成平滑、有吸引力的权益曲线。回测看起来非常出色，但未来的实盘表现可能完全不同。策略包含的参数越多，就越容易捕捉到不会以同样形式重现的偶然历史事件——一次性的政策决定、流动性冲击、指数再平衡资金流或简单的噪声。这并不需要不诚实或粗心大意。这是搜索的数学属性。如果研究者测试一万种移动平均交叉的变体，即使它们都没有真正的优势，最好的那个也会看起来令人印象深刻。因为选择本身使用了历史数据，所以报告的统计数据存在向上偏差。实际意义是，简单策略往往比复杂策略更能经受时间的考验。当市场环境变化时，具有许多参数和条件的规则有更多出错的方式。一个依赖十五个校准阈值的模型不一定更精确；它可能只是记住了过去。解药不是避免研究，而是将每一次优化视为一个假设，必须在优化器从未见过的数据上进行检验。
为什么金融数据是模式拟合的薄弱基础
金融市场常被描述为数据丰富，但从统计角度看，它们异常缺乏数据。可用于测试策略的统计独立观测值数量远少于价格或K线原始数量所暗示的。日内金融数据看起来庞大：分钟K线、逐笔数据和订单簿更新迅速积累。然而这些观测值是序列相关的。一分钟收益与下一分钟密切相关，相同的潜在市场状态可能持续数小时或数天。它们不是独立样本。当数据点相关时，有效样本量远小于名义数量。增加更多同类数据并不会增加多少独立信息。结果是，一个具有许多参数的模型被要求从有限数量的真正新证据中估计许多未知量。过拟合因此变得严重。模型可以拟合历史路径中的噪声，但几乎没有泛化的基础。金融时间序列也是非平稳过程的单一实现路径。市场结构会变化：监管转变、参与者构成改变、流动性制度来来去去。一个时期存在的模式在下一个时期可能不存在。这与可获得大量独立样本的领域形成对比。实际后果是，金融中的复杂性比在许多其他机器学习领域承担更高的惩罚。参数数量大不是复杂精妙的标志；它是一个警告，表明模型可能描述的是过去而非未来。
AI交易方法与持续性问题
股票选择和交易中的人工智能最好被理解为使用具有许多参数的函数来拟合历史数据的尝试。常用工具包括神经网络、决策树和遗传算法。这些方法可以发现人类分析师可能注意不到的微妙模式。神经网络可以将数十或数百个输入组合成复杂的映射，遗传算法可以搜索巨大的规则组合空间。技术能力是真实的。然而，核心问题不是模式是否存在于历史样本中。而是模式是否具有持续性。模型可能捕捉到真实的结构关系，也可能捕捉到恰好出现在训练期间的随机噪声。从外部看，两种情况都能产生强劲的回测。区别很重要，因为只有持续的模式才有理由再次出现。金融市场在这方面尤其脆弱。许多表面模式是暂时条件的反映：一段异常低波动时期、特定的央行政策或暂时的供需失衡。具有足够容量的AI模型会将这些条件编码为永久特征。当条件改变时，模型的输出可能迅速恶化。这并不意味着AI在金融中无用。这意味着举证责任更高。来自深度神经网络的高回测夏普比率本身并不是未来表现的证据。相关证据是在不同市场制度下以及模型训练期间未使用的数据上的样本外持续性。
AI何时有效：与消费者行为和欺诈检测的对比
AI算法在消费者行为预测和信用卡欺诈检测中已展现出强劲结果。原因很有启发性。在这些领域，所学习的模式往往在有意义的时间段内持续。消费者偏好可能改变，但相对于预测期限，它们通常变化缓慢。欺诈模式也有结构：欺诈交易具有可识别的特征，用于训练的标签相对可靠。更重要的是，这些领域可以提供大量独立数据。数百万笔交易，每笔涉及不同用户、商家和情境，提供了广泛的样本。模型可以从许多独立案例中学习，这支持泛化。金融市场在两个维度上都不同。任何给定模式的持续性都不确定，统计独立观测值的数量有限。大多数金融数据是相关事件的单一序列。即使是看起来庞大的高频数据，也高度冗余。这意味着在金融数据上训练的机器学习模型更可能拟合特殊噪声。这种比较不是对AI技术的批评。它是对数据环境的陈述。当独立样本丰富时表现良好的方法，在样本稀缺时可能表现不同。在金融中，有效检测欺诈的同一算法可能对价格历史过拟合。教训是领域特征决定复杂模型是否合适。要问的问题不是“AI有效吗？”而是“这个数据集是否包含足够的独立、持续信号来支持所使用的参数数量？”
可信AI和量化方法的条件
原始材料并未得出所有基于AI的方法都无效的结论。它确定了它们更可信的条件。首先，方法应基于正确的经济或计量经济学理论逻辑，而不是从数据中随机发现的模式。理论提供了关系应该存在的理由，这降低了模式是统计意外的可能性。其次，方法应要求少量参数，且不应过度依赖历史数据。较小的参数集更容易估计，更不可能编码噪声。第三，在许多情况下，线性回归优于复杂的非线性函数。线性模型更透明，更容易验证，更不容易拟合微妙噪声。第四，概念应保持简单。简单不是审美偏好；它是提高样本外存活几率的实际约束。原始材料还强调程序。所有优化必须在不包含未来数据的移动滚动窗口内进行。换句话说，在每个时间点，模型只能使用当时可获得的信息。然后优化结果必须由未来未知数据持续验证。这就是前向验证的逻辑：参数在过去窗口上估计，应用于下一个未见时期，然后随着窗口向前滚动重新估计。只有在这些约束下，有限且宝贵的历史数据才能用于真正的测试。没有它们，回测更接近拟合练习而非评估。
