diff options
author | vvvv <vvvv@ydb.tech> | 2022-11-05 16:17:38 +0300 |
---|---|---|
committer | vvvv <vvvv@ydb.tech> | 2022-11-05 16:17:38 +0300 |
commit | ed11e26937c18a86271556c8a515d2c6b22195d5 (patch) | |
tree | 913db846997f5490c62c420974f2e6dc04fe09fe /library/cpp/containers/atomizer/atomizer.cpp | |
parent | 83e1a68166c7ef9f594922b976761844581124f4 (diff) | |
download | ydb-ed11e26937c18a86271556c8a515d2c6b22195d5.tar.gz |
use native arrow parquet reader without CH conversions
Запрос вида
%%
pragma UseBlocks;
SELECT
count(*)
-- EventDate
-- RemoteIP
FROM
`yq-clickbench-local`.`hits_*.parquet`
WITH
(
format=parquet,
SCHEMA
(
RemoteIP INTEGER NOT NULL,
CounterID INTEGER NOT NULL,
--EventDate Date NOT NULL,
--EventTime Timestamp NOT NULL
)
)
limit 100
;
%%
для обычного режима с 100 файлами clickbench 14Гб
%%
Execution precomputes complete, duration: 5.962375s
%%
для UseBlocks
%%
Execution precomputes complete, duration: 0.306933s
%%
Для UseBlocks но при чтении с S3
%%
Execution precomputes complete, duration: 97.178274s
%%
Без UseBlocks но при чтении с S3
%%
Execution precomputes complete, duration: 111.921679s
%%
Заодно пропадает костыль, что нужно читать хотя бы одну колонку - parquet reader умеет читать 0 колонок, и при этом говорить число строк
Diffstat (limited to 'library/cpp/containers/atomizer/atomizer.cpp')
0 files changed, 0 insertions, 0 deletions