假设我有一个模型,它预测了一家商店销售的冰淇淋数量的结果。
该模型在过去5年中对数据进行了培训,同时将最后一年作为一个验证集,并取得了非常好的结果。
我们现在把这个模型投入生产,这样CFO就可以为即将到来的年度预算做出一个估计。首席财务官现在看了对5月份的预测,比如说2000块冰淇淋,并认为“哦.我本来希望在5月份能有更多的销售。我会去4000。”于是他订购了更多的广告,推出了新的口味等等,并在5月底达到了他所期望的4000份冰淇淋。
在6月1日,我们与首席财务官交谈,评估模型后的头6个月,我们看到,我们的预测在5月份是100%!
这种激增可以用广告的增加等来解释,而其他几天的模式都做得很好,但是如果首席财务官开始每天调整广告、口味等以达到预算,我们将如何测试,如果我们的模型确实在生产/现实世界中是好的呢?我们如何才能重新培训这种模式,因为最初的5年销售没有任何“人的影响”,而一年后,销售受到广告等因素的影响,因此五月份的涨势不是“自然”的,而是由于一些外生变量,我们无法纳入(例如,我们不知道首席财务官的预算)?
发布于 2020-10-24 12:53:17
我担心这种情况从根本上来说是预测/预测上下文中固有的;引用了Taleb等人最近关于脂肪尾变量单点预测的论文(开放存取,第3.7段):
3.7。预测可能导致调整,使预测不那么准确-显然,如果预测导致调整,以及影响所研究现象的反应,那么人们就无法再根据其随后的准确性来判断这些预测。
因此,除了事先清楚地传达这一点,并就如何在这些调整的情况下评估预测达成协议之外,从建模或方法的角度来看,你也无能为力。上述同一段进一步提出的建议如下:
从这个意义上说,预测可能是对风格的警告,“如果你不采取行动,这就是成本”。
才能形成这样一种沟通和协议的基础。
发布于 2020-10-19 17:57:01
更简单、更实用、更注重商业的方式是在你的模型中加入广告。这样你就可以:
https://datascience.stackexchange.com/questions/84209
复制相似问题