diff options
| author | galaxycrab <UgnineSirdis@ydb.tech> | 2022-12-29 15:50:19 +0300 |
|---|---|---|
| committer | galaxycrab <UgnineSirdis@ydb.tech> | 2022-12-29 15:50:19 +0300 |
| commit | bebb9f9cc8ac7bd04eb1aba2531c5dd5bb5bc5f2 (patch) | |
| tree | 9f1b8ca129efdbd4f1899ef7b8321972afb2d32a /library/cpp | |
| parent | 7d154606d1d5e5ef2a0ee327e515df9099474cfb (diff) | |
| download | ydb-bebb9f9cc8ac7bd04eb1aba2531c5dd5bb5bc5f2.tar.gz | |
Fix block size in clickhouse udf. Fix data loss in clickhouse udf
Размер батчуемых данных в clikhouse udf был слишком велик, из-за этого, если мы перекладываем большое количество данных, в буфер попадают, причём надолго, несколько крупных кусков по 500-700 мегабайт (на каждом этапе цепочки, где контролируется backpressure). Кроме того, пропадает параллельность обработки: пока в clikhouse udf мы не сформировали огромный кусок данных, мы не записываем его в S3. Уменьшил размер буфера до примерно равного размерам буфера каналов в DQ.
Также обнаружил и пофиксил баг, когда мы в стриме формируем выходные данные, но возвращаем из него Yield. Тем самым данные выкидываются.
Diffstat (limited to 'library/cpp')
0 files changed, 0 insertions, 0 deletions