Pass S3 read ranges in explicit field, not TaskParams

Сейчас при чтении из S3 в момент компиляции происходит чтение бакета и разбиение его содержимого на так называемые ranges, которые в закодированном текстовом виде передаются в CA, а потом и в S3 Source  через TaskParams. Так как TaskParams это KV, то можно передать не более одного range per task.

Выношу эту информацию в отдельное поле, ReadRanges, которое repeated, то есть в 1 таску можно передать несколько ranges не выполняя перекодирования.

Это все нужно чтобы при запуске графа, имея на руках N ranges, создавать для чтения не строго N тасок (как сейчас, то есть 1 task per range), а K <= N (то есть в таску может быть передано более 1 ranges). В конечном итоге (это будет другой PR) мы будем генерировать какое-то разумно большое количество ranges (положим 100), но для чтения будем создавать по 1-2 таске per node, дабы избежать излишнего потребления ресурсов кластера (1 таска отлично обрабатывает параллельные загрузки)

0 files changed, 0 insertions, 0 deletions