数据中的异常数值，应该直接删除吗？

不少人曾问我：我的数据集中所有出现异常最大值，看看应该截图？要问这个疑问，我们必须从出现异常最大值的内涵来谈起。可能有的人觉得出现异常最大值很好想到，不就是“出现异常”的最大值吗？决定性是，怎样才算出现异常呢？举例：在10个数据集中所（上图粉红色点）人为转入红、绿、蓝色的3个点，它们都是出现异常最大值吗？出现异常最大值只不过是一个较为明确的内涵，它将近包含了三种作法：(1) 离群最大值（outliner）离群最大值是同义从因变量y的相反来看属于出现异常的最大值，如图中所的黄色点和深蓝色点，靠拢y的均最大值较其它点更更远。离群最大值有时候换用学生既有残差来可能。(2) 高凸轮最大值（high leverage）高凸轮最大值是同义从自变量x的相反来看属于出现异常的最大值，如图中所的蓝色点和深蓝色点，在x轴上靠拢x的均最大值较更远。高凸轮最大值有时候换用凸轮最大值来可能。(3) 极强冲击最大值（influential observation）极强冲击最大值是同义对基本内涵冲击小得多的最大值，假定，如果截图了该最大值，则会导致基本内涵遭遇很小变既有（如系数最大值改变小得多）。极强冲击点有时候换用COOK'D最大值、DFBETAS和DFFITS来可能。上图更为了不同出现异常最大值对基本内涵粗略效果的冲击。图中所粉红色实终点站声称不含这3个出现异常最大值的粗略终点站，深蓝色、黄色、蓝色方格分别声称含深蓝色点、黄色点、蓝色点时的粗略终点站。不难看出，包含深蓝色点时，对基本内涵粗略冲击几乎不大（与粉红色实终点站几乎重叠）；包含蓝色点时，粗略终点站被向下帕高，即回归系数更远高于粉红色实终点站；包含黄色点时，粗略终点站也被帕高。如果要可能的话，深蓝色点虽然从x方向和y方向上都靠拢均最大值，但却不是极强冲击点；蓝色点和黄色点才是极强冲击点，因为分开的任一点几天后可以导致系数遭遇很小变既有。我们现在已经想到了如何可能一个点看看出现异常点，紧接着的疑问就是，如果我发掘出了出现异常点，应该怎么处理？不少人习惯简单粗暴的作法，即并不所需截图。这并不是比较好的办法，有时甚至则会让你赶上一些无论如何的自然物理现象。当你发掘出出现异常最大值后，一定要先行分清是什么原因导致的出现异常最大值，然后再权衡如何处理。如果是属于录入偏差或Laboratory记录偏差等，这很难以，几天后修改即可。如果不是录入偏差，而是可能普遍存在这样的出现异常最大值，这时所需根据不同作法来分别对待。首先行，如果这一出现异常最大值并不象征性一种自然物理现象性的，而是极不偶然的物理现象，或者说你并想要研究者这种偶然的物理现象，这时可以将其截图。举例如，你要研究者身高与血压的的关系，但你的研究者成年人中所恰好归入了大前锋，这种情况，可以将其截图，只用其他人完成系统性。因为这并不象征性一种自然物理现象性的物理现象，而且你可能也想要研究者特殊的情况。其次，如果出现异常最大值普遍存在且象征性了一种真实普遍存在的物理现象，那就不用随几天后截图。比如调查了100个村的胃癌发生率，可能可能有个别小村的发生率更远更远高于其它村，这时就不用随几天后截图，而是要把这些出现异常点归入，再一粗略基本内涵，研究者其自然物理现象。举例：某Laboratory检验了细菌培养菌群数量与小时的的关系，试完成系统性。很明显，上图中所的两个圆点是出现异常点，可以让终点站性回归的系数遭遇剧烈变既有。那这种情况是否所需截图这两个最大值呢？首先行看一下这两个最大值是否实验误差，如果这两个最大值是精确的，那它很可能象征性了一种显然。假定，有鉴于此增长缓慢，但是到了一个决定性小时点后（如30），动物群数量就则会剧增。此时如果你并不所需截图这两个点，就无法无论如何发掘出这种自然物理现象。所以我们可以归入这两个点，但是不用粗略终点站性回归，而是要根据其形状粗略非终点站性基本内涵。如此处可以权衡对小时time完成同义数正弦，可以发掘出正弦后基本内涵更能有效地粗略数据集。