“我知道你在Chipotle买了什么”——新的算法只从账单总额识别购买

一种新的算法通过识别某人从账单总额中购买了什么，从而洞察消费者的支出情况。

一开始，这个算法似乎不太管用。

Michael逃麻省理工学院在信息与决策系统实验室(LIDS)工作的研究员和最近的校友，一直在研究一种算法，可以将匿名的账单总数分解为单个商品的成本，创建购买特定商品或服务的人数概况。他对Netflix提供的大量数据进行了测试，尽管大多数数据点都与通常的订阅服务列表相匹配，但有一个异常值不断出现，其价格对于Netflix提供的任何服务来说都太高了。

经过更仔细的检查，Fleder意识到算法比预期的更好——它不仅发现了已知的服务，而且还发现了一个未宣布但传言的超高清订阅，Netflix正在对有限的观众进行测试。该公司还发现了另一款尚未提及的价格更高的产品。

该算法在一篇论文发表在ACM Sigmetrics会议在2020年12月的一个有趣的标题下“我知道你在Chipotle花9.81美元买了什么，通过解决一个线性逆问题。”Fleder与麻省理工学院电子工程和计算机科学系的Devavrat Shah教授共同撰写了这本书，它将作为剑桥大学出版社即将出版的书的一部分。

尽管“大数据”是目前处理大量信息的更流行术语，但Fleder说:“我们生活在小数据问题中。你怎么能把这些数字拆开，尽可能多地提取出来呢?”

Fleder和Shah开发的新颖推理算法具有鲁棒性、迭代性和计算效率，利用通常被称为“耗尽数据”(即数字交易过程中创建的随时可用的匿名数据)的聚合，将交易总额分解为所购买的底层产品。

沙阿说:“让人有点惊讶的是，这些数据竟然有自己的特征。”“每个人购买的东西只是一个数字，但如果很多人购买东西，就会产生一种集体力量，这种力量会有一些变化，这是非常了不起的。”

该算法可以用于每周甚至每天跟踪销售数字，自动化当前由金融分析师执行的工作元素。像谷歌这样的公司已经开始研究与广告有关的匿名信贷数据，但随着更详细的信息和透明度的提高，新的市场机会可能会出现。

企业尤其感兴趣的实际问题可能是提高了解供应链不同点需求的能力。以Chipotle为例，它们的供应商可能会通过监测鳄梨酱等商品的销售情况，预测鳄梨等原料的需求变化。

企业也将有新的方法来了解和预测竞争对手的战略，这将有助于对冲基金等利用交易数据跟踪上市公司的业务。

在最初的开发过程中，该算法被用于数据供应商Second Measure提供的商业数据。利用与Chipotle、苹果、Spotify和Netflix的消费相关的交易数据，该方法正确地确定了Spotify新产品层的推出时间和新款iPhone XS Max的发布时间。

Fleder打算将这一算法应用于一家新的初创公司，并为各种各样的公司提供潜在应用。

参考:Michael Fleder和Devavrat D Shah合著的《I Know What You Bought At Chipotle by Solving A Linear Inverse Problem》，2020年11月，ACM计算系统测量与分析论文集。
DOI: 10.1145 / 3428332