Point of View

ストリーミングには「沈黙」という問題がある。

Kafkaのパーティションが沈黙したとき、それは「完了」なのか、それとも単に「遅い」だけなのか。Netflix、Uber、Walmartは、それぞれ何かを犠牲にして対処している。代わりにKafkaのオフセットを読むことで、30分のソートは100ミリ秒未満に、5.5%の順序違反はゼロになった――しかも1つのジョブで。