市场数据中幸存者偏差的含义
幸存者偏差是一种样本选择问题,当历史数据集只包含在数据编制时点仍存续的实体时就会出现。在股票市场研究中,典型的价格数据库列出的是今天仍在交易、或仍作为独立公司存在的股票代码。破产、因未达到上市标准而退市、被合并到另一家公司或被收购的公司往往不在其中。因此,剩余的样本并不是过去可能买入或卖出的所有股票的随机横截面,而是一个以生存为条件的样本。 经典的例证来自二战时期的飞机分析,工程师检查返航的飞机,并考虑加固弹孔最多的部位。统计学家亚伯拉罕·沃尔德指出,相关证据是那些缺失的飞机:在其他部位被击中的飞机没有返航。存在幸存者偏差的股票数据库与此类似。退市公司就是没有返航的飞机。它们的缺失并非中性。它恰恰剔除了那些结局糟糕的观测值。 一个重要观点是,即使没有人恶意行事,这种偏差也可能存在。它是数据供应商如何汇编和维护记录的结构性后果。一个相关概念是时点数据,它试图重建每个历史日期当时存在的证券范围,包括后来被移除的证券。如果没有这样的重建,任何对股票进行排名、筛选或过滤的回测都会继承仅含幸存者的范围。这种偏差对于依赖全部收益横截面的策略尤其重要,因为缺失的股票并非随机:它们不成比例地是表现最差的股票。
为何退市股票和已关闭基金从数据库中消失
数据供应商通常从当前存在的证券列表来构建和维护其数据库。当一只股票从交易所退市时,其代码可能会从活跃文件中移除。当一家公司被收购时,目标公司的代码会消失,即使股东可能收到了现金或收购方的股票。当一家公司破产且其股权变得一文不值时,价格序列就戛然而止,有时甚至没有反映损失的最终收益。结果就是一个易于查询当前证券、但对历史研究不完整的数据库。 同样的模式也出现在基金数据库中。清算或合并到另一只基金的共同基金停止报告。对冲基金数据库通常基于自愿报告构建,因此一只在业绩不佳后关闭的基金可能只是停止提交数据。于是数据库包含的是仍然存续且仍愿意报告的基金,而不是每个时点存在的全部基金。一些供应商确实提供退市证券或“已消亡”基金文件,但覆盖范围和收益处理方式各不相同,额外的记录可能成本更高或需要谨慎处理。 移除有多个层面。交易所因破产、未能满足最低价格或披露规则、或公司重组等原因将股票退市。指数提供商定期重构其指数,剔除已萎缩或失败的公司并加入替代者。即使存在退市价格历史,最终收益的记录也可能不一致:破产可能显示为价格接近零,合并可能显示为价格跳升,或者序列可能突然结束。这些选择中的每一个都会影响任何本会持有该证券的策略的业绩衡量。理解移除是系统性的而非随机的,是判断回测是否可信的第一步。
剔除失败如何夸大回测结果
回测本质上是一种历史模拟,对一组头寸的结果进行平均。如果最差的结果从数据中缺失,模拟的平均收益就会上升。这不是一个小技术细节。考虑一个买入广泛筛选股票的股票的策略。在全部范围中,其中一些股票最终归零。在仅含幸存者的数据库中,这些头寸从不出现,或者只出现在最终崩溃之前。因此回测截断了收益分布的左尾。平均收益看起来更好,波动率看起来更低,回撤看起来更浅,而夏普比率等风险调整指标看起来更高。 这种扭曲可能比许多研究者预期的更大。破产和退市并非均匀分布在所有股票中。它们集中在规模较小的公司、财务困境的公司、低价股以及承受严重压力的行业。集中于这些领域的策略将比专注于大型稳定公司的策略有更多缺失的观测值。一个悄悄剔除这些股票的回测实际上假设每个头寸总能以最后记录的价格卖出,或者没有任何头寸曾遭受全部损失。这两种假设都不符合交易者在实时市场中会经历的情况。 还有一个微妙的时点问题。一只股票可能在长期下跌后退市。如果数据库保留下跌但移除最终的退市收益,回测仍然低估了损失。如果数据库移除整个历史,回测根本看不到下跌。两种版本都美化了业绩,但方式不同。因此,研究者通常区分包含退市收益的价格数据库和仅包含价格的数据库。最终收益假设的存在,例如破产时的全部损失或合并对价的价值,可能会实质性改变研究的结论。
价值策略陷阱:消失的便宜股票
具有价值取向的策略尤其容易受到幸存者偏差的影响。价值筛选通常选择相对于账面价值、盈利或销售额等会计指标而言便宜的股票。一只股票便宜可能有很多原因,而最常见的原因之一是市场预期其有麻烦。其中一些陷入困境的公司会复苏并带来强劲回报。另一些则继续恶化、申请破产,让股东一无所有。如果历史数据库排除了失败的公司,回测只看到幸存下来的子集,而该子集很可能包含不成比例的复苏案例。 这造成了对价值策略实际经历的误导性图景。在选择头寸时,投资者并不知道哪些便宜股票会复苏、哪些会失败。完整的机会集包括两者。基于仅含幸存者数据的回测实际上赋予了策略后见之明:它剔除了那些其便宜被最终崩溃所证明合理的公司。报告的历史业绩反映的不是策略的真实风险,而是数据供应商恰好仍然存在的公司列表。这种影响对于深度价值筛选、低价股过滤以及持有困境或不受欢迎公司的策略可能尤其强烈。 一个相关问题是便宜股票通常规模较小且流动性较差。这使得它们的退市记录更难获取、更容易被忽视。当研究者下载当前股票范围并应用价值筛选时,得到的回测可能看起来令人印象深刻,却完全忽略了同一规则在实时中会选中的失败公司。要问的问题不是该策略是否会挑选出一些好的便宜股票。问题是历史样本是否包含真实交易者将不得不持有的坏的便宜股票,以及这些头寸的最终收益是否反映在结果中。



