diff options
| author | hor911 <hor911@ydb.tech> | 2023-12-12 16:40:14 +0300 |
|---|---|---|
| committer | hor911 <hor911@ydb.tech> | 2023-12-12 17:14:44 +0300 |
| commit | 7665053033a791eaeea4ddb0b8f7af011d1682f2 (patch) | |
| tree | 25f6808f07cff1a883c699fe99d792b09d535f32 /contrib/clickhouse/src/IO/MMappedFileDescriptor.cpp | |
| parent | 7047a917cdd7327401d908ed0921c01c0648b5c9 (diff) | |
| download | ydb-7665053033a791eaeea4ddb0b8f7af011d1682f2.tar.gz | |
Traffic agg task metrics + YQ public metrics
Систематизирую метрики трафика. Теперь каждая таска репортит следующий набор метрик: {Ingress|Input|Output|Result|Egress}{Rows|Bytes}, при этом
- Ingress не включает Input и наоборот, Egress и Output аналогично, это разные метрики Ingree/Egress внешний трафик, остальное - внутренний
- При агрегации на уровне графа должен соблюдаться инвариант Output = Input + Result, весь исходящий внутренни трафик - входящий для следующей Stage либо результата
- EgressRows в принципе сейчас поломанные, репортится количество батчей. но это отдельная тема
Дополнительно для KQP пайплайна
- Убираю префикс "Total", например "TotalInputBytes" => "InputBytes"
- Добавляю стандартную агрегационную статистику Min/Man/Count (было только Sum)
- из TDqExecutionStats (proto) убираю поля Result{Bytes|Rows} так как они не используются, эти метрики есть per stage, но глобально per graph они нигде в структурах данных не присутствуют, если эти и другие поля из списка выше поля надо будет репортить в публичном API (добавить в Ydb::TableStats::QueryStats), тогда можно будет легко вернуть
Diffstat (limited to 'contrib/clickhouse/src/IO/MMappedFileDescriptor.cpp')
0 files changed, 0 insertions, 0 deletions