标题： 在相关性下的PCA中精确检测：所有特征值都重要 显示英文标题

标题： Sharp detection in PCA under correlations: all eigenvalues matter

摘要： 主成分分析（PCA）是一种广泛用于降维的方法。 在高维数据中，对应于弱主成分（PCs）的“信号”特征值不一定与“噪声”特征值的总体分离。 因此，基于最大特征值的流行检验对检测弱PCs的效力有限。 在spiked模型的特殊情况下，某些与线性谱统计量（LSS）渐近等价的检验——对所有特征值进行平均效应——最近被证明可以实现一定的效力。 我们考虑了Marchenko和Pastur（1967）设定下的spiked模型的非参数、非高斯推广。 这允许噪声特征值的一般总体，即使在没有显著PCs的零假设下也能容纳相关变量。 我们在该模型中开发了基于LSS的新检验来检测弱PCs。 我们使用LSS的中心极限定理（CLT）证明最优的LSS满足第一类弗雷德霍姆积分方程。 我们开发了求解它的算法，基于我们最近计算极限经验谱的方法。 与标准的spiked模型不同，我们在“广泛分布”的零特征值分布下发现新检验具有很大的效力。 显示英文摘要

摘要： Principal component analysis (PCA) is a widely used method for dimension reduction. In high dimensional data, the "signal" eigenvalues corresponding to weak principal components (PCs) do not necessarily separate from the bulk of the "noise" eigenvalues. Therefore, popular tests based on the largest eigenvalue have little power to detect weak PCs. In the special case of the spiked model, certain tests asymptotically equivalent to linear spectral statistics (LSS)---averaging effects over all eigenvalues---were recently shown to achieve some power. We consider a nonparametric, non-Gaussian generalization of the spiked model to the setting of Marchenko and Pastur (1967). This allows a general bulk of the noise eigenvalues, accomodating correlated variables even under the null hypothesis of no significant PCs. We develop new tests based on LSS to detect weak PCs in this model. We show using the CLT for LSS that the optimal LSS satisfy a Fredholm integral equation of the first kind. We develop algorithms to solve it, building on our recent method for computing the limit empirical spectrum. In contrast to the standard spiked model, we find that under "widely spread" null eigenvalue distributions, the new tests have a lot of power.