Системы хранения и обработки потоков больших данных

Разработать приложение для обработки сведений о пользователях.

Входные данные: запись, содержащая имя, страну и время.

Выходными данными являются структуры со значениями счётчика уникальных стран и счётчика уникальных имён за определённый интервал времени. Интервал времени определяется статически.

Разработать потоковое приложение для Apache Flink, Beam, Spark, Storm или Samza в три этапа:

1. написать конвейер для расчёта количества уникальных строк за интервал для одного канала (имя или страна)
2. написать аналогичный второй конвейер и обеспечить выдачу результатов в разные очереди
3. написать параллельный вариант с объединением двух значений в одну структуру

При реализации приложений использовать модульные тесты для отладки, специфичные для конкретного потокового фреймворка, а также проверить запуск приложения с внешними очередями.