数据处理定理-数据处理定理

那会儿的时候，总认定数据是上帝递给我们的公式。它务必是完美的，像那些教科书里精心设计的图表，横轴和纵轴对得准，趋势线务必像数学题的解一样精准。
那时候人认定，只要把数字堆砌起来，就能看懂世界，哪怕那条线歪了，只要数值对得上，逻辑就成立。 但后来发现，数据压根儿都不是像牛顿定律那样死板不变的。 记得第一次搞自动化报告的时候，我就被数据坑惨了。老板要求我们要看“环比增长率”，我机械地把昨天和今天的数据往工夫轴上拖，结局发现昨天实际销售额涨了 10%，系统自动拉出来的对比图却显示是跌了 3%。我当时就懵了，拿着计算器在那算：难道昨天实际上是亏了 7%？还是我把昨天搞错了？ 结局那个数据源本身就是个“活”的文档。
第一行数字，昨天是 100，今天变成了 115；第二行，昨天是 50，今天变成了 58。
这两组数据一对照，那个"10%"和"3%"的对比瞬间就崩了。我们当作那是统计误差，结局发现是系统录入时，把“环比”和“同比”搞混了。
那个数据源是个“工夫匆匆鬼”，它把不同月份卡在一起算，把不同类别混在一堆里算，偏偏它还认定自己是个公正的裁判。 那一刻我才明白，数据压根儿不是等待被解读的静止石头，它是一堆正在形成、流动且充满矛盾的动态事件。
要是非要强行给它穿上那件紧身衣——那种教科书式的完美图表——那穿出来的东西反而显得僵硬和冒牌。 那段工夫我跟那个负责报表开发的同事吵架，他还在坚持用那种完美的“瀑布图”来解释业务。我直接把他叫到了会议室，指着那张图说：你看这个“下降”是如何回事？就是出于那个项目刚上线，投入不足，成本在上升，但收入在下降，故此净利润是负的。我们在算那个负数的时候，忘记减去那笔没来的成本了。结局那个同事吓得脸色发白，赶紧把图表翻个面，把“下降”换成了“增长”，试图强行掩盖真相。 后来我试着换一种办法，不再纠结于那条完美的直线，而是搞了一个“数据农场”。我在 Excel 里建了几个独立的文件夹，分别放着销售、财务、研发的数据。
不管那月份是不是对得上，不管那口径是不是统一，我就老老实实地让数据自己讲话。我把它们全体摊开，不穿那件紧身衣，让它们赤裸裸地暴露在自然光下。 那几天，阳光透过窗户洒在电脑屏幕上，数据们也在微微颤动。我发现，有些数字可能是错的，有些可能是漏的，有些可能只是表达得忒直白。
这种混乱反而让我看到了难题的本质。当我不再用完美的模型去裁剪数据时，那些原本凌乱无章的数字启动在地上重组。 比如，我在分析库存周转率的时候。按常规逻辑，库存少了，周转率应当变快；但凭啥？出于有一局部货是积压的，那是“库存”。但我的数据源里，把“库存”和“库存”混在一块了，它没分清哪局部是真正的货物，哪局部是死货。
故此算出来的周转率飙升了。 我就拿那堆数据当饭吃，把它拆碎了。我把“库存”重新定义为“可售商品”，把“死货”定义为“已退货”。
这时候，那张曾经令人恐惧的周转率曲线，突然变了。它不再是那种平滑的大弧，而是断断续续的锯齿，像是有风在吹，要么说是那堆脏东西在风化。我意识到，数据的难题不在于计算毛病，而在于数据源本身就像个没洗干净利落的杯子，倒进我们精心调好的咖啡里，搅得大家晕头转向。 我也启动尝试用“数据侦探”的方式去工作。
那会儿我是拿着计算器找答案，目前我要拿着放大镜找线索。
要是某个指标突然跳了 20%，我强迫自己去问：为啥？是出于超卖？还是出于做错了分类？还是出于那个系统那天晚上突然拍板“卖”给哪位了？ 在这个过程中，我发现数据里藏着大量我们平时忽略的细节。
比方说，有时候数据翻得特别快，我们当作那是异常波动，结局发现那是系统在自动调整，把旧数据剔除，算出了一个新的平均值。
有时候数据突然变平，那可能不是趋势坏了，而是数据源里突然多了大量“无效”条目，比如把一些“删除了”的记录又“恢复”了，害得总数乱了。 这就好比，要是数据是河流，我们之前的吃法就是搭在河面上造一座桥，桥越稳，我们越认定河是直的。但后来我发现，河底下有大量石头在乱m。
要是强行把河面上那段水流硬生生挤成直线，桥就断了；要是顺着水流的方向，哪怕那边有河床改道，我也能发现新的河道。 目前的我，不再追求那条完美的上升曲线。我更喜爱那些有起伏、有波动的数据。它们像是一个累得慌的工人在干活，中间间或停下来喘口气，就连故意把眉头皱起来，似乎在回绝某些干巴巴的指令。 特别是最近在做风控模型时，这个难题暴露得更明显。模型里的变量大量，但大量变量是互相矛盾的。比方说，收入高的人一般信用好，但数据源里竟然有个变量叫“信贷审批工夫”，这个变量是个庞大的乱码。它待会儿说审批快，待会儿又说审批慢，还待会儿说审查了，待会儿又说没审查，彻底取决于那个系统在啥时候被触发。 要是我把这些矛盾的数据强行塞进一个回归模型里，模型会告诉我“系数为 0"，出于它不知道该信哪个数据。
这时候我就拍板，别找那个完美的解释，去逐个击破这些矛盾点。我把那些“信贷审批工夫”的数据单独挖出来，和“实际放款日”做对比。发现大局部时候都对得上，只有那 5% 有难题。 那是 5%，要么说不到 1% 的样本。
要是强行用那个完美的模型去拟合，我们就会误当作整个模型都错了，最终把那个唯一的"5%"丢进垃圾桶。但我没有如此做。我把这 5% 单独拎出来，发现那 5% 里实际上全是“数据录入毛病”造成的。 那一刻我突然想通了，数据不是真理，数据只是证据。证据能够是错的，能够是乱的，能够是矛盾的，但证据本身也是有价值的。我们需求的不是证据务必像教科书一样完美，而是证据务必真。
哪怕那个证据有点歪，只要它指向同一个方向，就充足了。 目前的我，写分析报告的时候，开头压根儿不会写“基于严谨的数据分析”。我会写：“起初，这个数据源有点脾气，它最近几天都处在‘忙碌’状态。”然后接着描述那些混乱，然后描述那些矛盾，最终得出结论：“故此，这个结论可能不是基于完美的逻辑，而是基于最真的混乱。” 这种写法实际上挺累，出于得不停地解释为啥数据会乱，得不停地解释为啥它又仿佛合逻辑。
有时候感觉像是在跟数据斗智斗勇。但我认定，这才是数据的本来面目。它不是冷冰冰的数字，它是无数人随手写的记录，是系统有时候故意留下的痕迹，是我们在追求完美过程中不小心形成的“瑕疵”。 这些瑕疵，恰恰是我们发现真相的入口。 你看那个“信贷审批工夫”的例子，要是不承认它间或会出错，我们一辈子无法得知那 5% 的真相是啥。
或许那 5% 实际上代表了某种特殊的群体行为，或许是某个特定时期政策的影响。
要是非要抹平这 5%，那我们就只能拿到一团不清楚的雾气，再也看不清那 5% 到底代表了啥。 数据治理压根儿不是为了追求一种冒牌的“完美”，而是为了让数据变得诚实。它要求我们敢于面对数据的混乱，敢于接纳数据的毛病，敢于利用数据的矛盾去推进事件。 就像我们目前做的那样，我不再执着于把数据变成一条直线。我准数据跳，准数据乱，准数据把报表弄得一团糟。出于只有这样，那些乱糟糟的线才能把事件的真相连成一张网。 有时候看着那些跳动的数据，我就连认定它们像是在唱歌。
那是在跟我们打招呼，提醒我们要小心，要仔细，要问清楚。
哪怕那声音有点嘈杂，有点刺耳，但那是它们的声音。而那些完美的、死板的、教科书式的线条，它们只是在那儿就寝，等着被我们扔进垃圾堆。 故此，下次看到数据报表的时候，别急着去找那条完美的线，也别急着去证明它是对的。试着去听听那些乱糟糟的线条在说啥，去琢磨那些矛盾的数字背后到底藏着啥故事。
毕竟，数据最大的价值，不在于它多规整划一，而在于它让我们不得不停下来，认真地看它、问它、嚼它。 有时候，正是那些“不完美”的数据，教会了我们最宝贵的东西：真，和诚实。