Kafka: партиций три, желающих поработать тридцать ☕

2 ноября AWS добавила Queue-режим в Lambda event source mappings для self-managed Kafka, включая сервисы вроде Confluent Cloud.

Несколько poller’ов теперь могут читать одну партицию параллельно. Каждый поддерживает до 10 одновременных вызовов Lambda. Переписывать producers и код функции ради этого не нужно.

Важный нюанс: порядок событий внутри партиции в Queue-режиме не сохраняется. Нужен кластер с включёнными share groups, например Kafka 4.2+. Режим выбирается через ConsumptionMode=Queue.

Для независимых задач вроде обработки изображений и уведомлений полезно. Если бизнес-логика держится на строгом порядке, сначала подумайте. Kafka разрешила обгон, а не отменила ПДД 😄

Источник: https://aws.amazon.com/about-aws/whats-new/2026/11/aws-lambda-queue-kafka-esm/

#DeveloperCrazy #AWS #Kafka #Serverless