kafka の auto.offset.reset は commit が無い時のみ有効 ― 2021年11月05日 09時50分59秒
Kafka は Stream ミドルウェアとして幅広く使われている。
Kafka ではグループを指定して、読み取りを複数で行ったり出来る。
Kafka コンシューマを開始するときに auto.offset.reset が設定できる。これの有効な値は、earliest でデータの先端から始めるか、latest でデータの再後端から始めるかを指定する。
これが有効なのは、Kafka キュー無いに読み手のコミットが無かった場合。既にコミットがあると、この値にかかわらず前回の続きから読みだし始める。もし、 再接続時には常に後端から読みだしたいのであれば、別途 seek_to_end API がある。
auto.offset.reset を latest にしたからと言って、常に再後端から始まる分けでは無いのだ。
コメント
トラックバック
このエントリのトラックバックURL: http://uyota.asablo.jp/blog/2021/11/05/9437740/tb
※なお、送られたトラックバックはブログの管理者が確認するまで公開されません。
コメントをどうぞ
※メールアドレスとURLの入力は必須ではありません。 入力されたメールアドレスは記事に反映されず、ブログの管理者のみが参照できます。
※なお、送られたコメントはブログの管理者が確認するまで公開されません。