Point of View

流式处理有一个"沉默"难题。

当一个 Kafka 分区陷入沉默时，它是处理完了，还是只是慢了？Netflix、Uber 和 Walmart 为应对这个问题各有取舍。而改为读取 Kafka 的偏移量，在一个作业中就把 30 分钟的排序缩短到 100 毫秒以内，把 5.5% 的乱序率降到 0。