diff options
author | alextarazanov <alextarazanov@yandex-team.com> | 2022-11-25 09:56:38 +0300 |
---|---|---|
committer | alextarazanov <alextarazanov@yandex-team.com> | 2022-11-25 09:56:38 +0300 |
commit | ac492518e2dc1c6e55af56bc7bf6af60c202dc63 (patch) | |
tree | f5c1642fea3421f39a7838dc4b871c4b761ae04e | |
parent | 4e0f0d8e5176fcf5e7aa52ff203b551d838c4f7d (diff) | |
download | ydb-ac492518e2dc1c6e55af56bc7bf6af60c202dc63.tar.gz |
[review] [YDB] Check benchmark translate
Тикеты:
Лог локальной сборки без ошибок.
4 files changed, 71 insertions, 70 deletions
diff --git a/ydb/docs/en/core/reference/ydb-cli/commands/workload/_includes/index.md b/ydb/docs/en/core/reference/ydb-cli/commands/workload/_includes/index.md index 6529050e361..20fac2421db 100644 --- a/ydb/docs/en/core/reference/ydb-cli/commands/workload/_includes/index.md +++ b/ydb/docs/en/core/reference/ydb-cli/commands/workload/_includes/index.md @@ -22,3 +22,4 @@ See the description of the command to run the data load: The following types of load tests are supported at the moment: * [Stock](../stock.md): An online store warehouse simulator. * [Key-value](../../../workload-kv.md): Key-Value load. +* [ClickBench](../../../workload-click-bench.md): ClickBench analytical benchmark (https://github.com/ClickHouse/ClickBench).
\ No newline at end of file diff --git a/ydb/docs/en/core/reference/ydb-cli/toc_i.yaml b/ydb/docs/en/core/reference/ydb-cli/toc_i.yaml index 0012328433a..23c79e4042f 100644 --- a/ydb/docs/en/core/reference/ydb-cli/toc_i.yaml +++ b/ydb/docs/en/core/reference/ydb-cli/toc_i.yaml @@ -109,5 +109,7 @@ items: href: commands/workload/index.md - name: Stock load href: commands/workload/stock.md + - name: ClickBench load + href: workload-click-bench.md - name: Key-Value load href: workload-kv.md diff --git a/ydb/docs/en/core/reference/ydb-cli/workload-click-bench.md b/ydb/docs/en/core/reference/ydb-cli/workload-click-bench.md new file mode 100644 index 00000000000..5f5d9cb3a7e --- /dev/null +++ b/ydb/docs/en/core/reference/ydb-cli/workload-click-bench.md @@ -0,0 +1,68 @@ +# ClickBench load + +The load is based on data and queries from the [https://github.com/ClickHouse/ClickBench](https://github.com/ClickHouse/ClickBench) repository, and the queries and table layout are adapted to {{ ydb-short-name }}. + +The benchmark generates typical workload in the following areas: clickstream and traffic analysis, web analytics, machine-generated data, structured logs, and event data. It covers typical queries in analytics and real-time dashboards. + +The dataset for this benchmark was obtained from an actual traffic recording of one of the world's largest web analytics platforms. It has been anonymized while keeping all the essential data distributions. The query set was improvised to reflect realistic workloads, while the queries are not directly from production. + +## Initializing a load test {#init} + +Before running the benchmark, create a table: + +```bash +{{ ydb-cli }} workload clickbench init +``` + +See the description of the command to run the data load: + +```bash +{{ ydb-cli }} workload clickbench init --help +``` + +### Available parameters {#init_options} + +| Parameter name | Parameter description | +---|--- +| `--table <value>` | The table name. The default value is `clickbench/hits`. | + +## Uploading data to the table {#load} + +Upload data to the table. To do this, download and unzip the data archive, then upload the data to the table: + +```bash +wget https://datasets.clickhouse.com/hits_compatible/hits.csv.gz +unzip hits.csv.gz +{{ ydb-cli }} import file csv --path clickbench/hits --input-file hits.csv +``` + +## Running a load test {#run} + +Run the load: + +```bash +{{ ydb-cli }} workload clickbench run +``` + +During this test, workload statistics for each query are displayed on the screen. + +See the description of the command to run the data load: + +```bash +{{ ydb-cli }} workload clickbench run --help +``` + +### Global parameters for all types of load {#run_options} + +| Parameter name | Parameter description | +---|--- +| `--output <value>` | The name of the file in which the query execution results will be saved. The default value is `results.out`. | +| `--iterations <value>` | The number of executions of each load generating query. The default value is `1`. | +| `--json` | The name of the file in which the query execution statistics will be saved in `json` format. By default, the file is not saved. | +| `--ministat` | The name of the file in which the query execution statistics will be saved in `ministat` format. By default, the file is not saved. | +| `--query-settings` | Query execution settings. By default, not specified. | +| `--ext-queries-file` | The name of the file in which external queries to run the load can be specified. By default, the file is not required. | +| `--ext-query` | A row with external queries to run the load. There is no default value. | +| `--table` | The table name. The default value is `clickbench/hits`. | +| `--include` | The numbers or number sections of the queries to be executed as part of the load. By default, all queries are executed. Separated by commas, for example, `1,2,4-6`. | +| `--exclude` | The numbers or number sections of the queries to be excluded as part of the load. By default, all queries are executed. Separated by commas, for example, `1,2,4-6`. |
\ No newline at end of file diff --git a/ydb/docs/ru/core/reference/ydb-cli/commands/workload/_includes/click-bench.md b/ydb/docs/ru/core/reference/ydb-cli/commands/workload/_includes/click-bench.md deleted file mode 100644 index 781787b14f2..00000000000 --- a/ydb/docs/ru/core/reference/ydb-cli/commands/workload/_includes/click-bench.md +++ /dev/null @@ -1,70 +0,0 @@ -# ClickBench нагрузка - -Этот тест представляет типичную рабочую нагрузку в следующих областях: анализ потока кликов и трафика, веб-аналитика, машинно-генерируемые данные, структурированные журналы и данные о событиях. Он охватывает типичные запросы в аналитике и информационных панелях реального времени. - -Набор данных из этого бенчмарка был получен на основе фактической записи трафика одной из крупнейших в мире платформ веб-аналитики. Он анонимизирован, сохраняя при этом все основные распределения данных. Набор запросов был импровизирован, чтобы отразить реалистичные рабочие нагрузки, в то время как запросы не исходят непосредственно из производства. - -Нагрузка базируется на данных и запросах из репозитория [https://github.com/ClickHouse/ClickBench](https://github.com/ClickHouse/ClickBench)`, а запросы и схема таблица адаптированы под {{ ydb-short-name }}. - -## Инициализация нагрузочного теста {#init} - -Для начала работы необходимо создать таблицу -```bash -{{ ydb-cli }} workload click_bench init --path clickhouse -``` - -Посмотрите описание команды для запуска нагрузки: - -```bash -{{ ydb-cli }} workload click_bench init --help -``` - -### Доступные параметры {#init_options} - -Имя параметра | Описание параметра ----|--- -`--path <значение>` | Директория, в которой будует создана таблица `hits`. - -## Загрузка данных в таблицу {#load} - -Для начала работы необходимо загрузить данные в таблицу. Для этого сначала необходимо скачать и распаковать архив с данными, -[https://datasets.clickhouse.com/hits_compatible/hits.csv.gz](https://datasets.clickhouse.com/hits_compatible/hits.csv.gz), после чего используя команду -`import file csv` необходимо загрузить данные в таблицу. - -```bash -wget https://datasets.clickhouse.com/hits_compatible/hits.csv.gz -unzip hits.csv.gz -{{ ydb-cli }} import file csv --path clickhouse/hits --input-file hits.csv -``` - -## Запуск нагрузочного теста {#run} - -Для запуска нагрузки необходимо выполнить команду: -```bash -{{ ydb-cli }} workload click_bench run --path clickhouse -``` -В течение теста на экран выводится статистика по нагрузке для каждого временного окна. - -Посмотрите описание команды для запуска нагрузки: - -```bash -{{ ydb-cli }} workload click_bench run --help -``` - -### Общие параметры для всех видов нагрузки {#run_options} - -Имя параметра | Описание параметра ----|--- -`--output <значение>` | Имя файла, в котором будут сохранены результаты выполния запросов. Значение по умолчанию 10. -`--iterations <значение>` | Количество выполнений каждого из запросов нагрузки, создающих нагрузку. Значение по умолчанию: 1. -`--json` | Имя файла, в котором будет сохранена статиска выполнения запросов в формате `json`. По умолчанию файл не сохраняется. -`--ministat` | Имя файла, в котором будет сохранена статиска выполнения запросов в формате `ministat`. По умолчанию файл не сохраняется. -`--window` | Длительность окна сбора статистики в секундах. Значение по умолчанию: 1. -`--disable-llvm` | Опция для отключения `llvm` компиляции запроса. -`--enable-pushdown` | Опция для включения возможности опускания агрегатов -`--ext-queries-file` | Имя файла, в котором можно указать внешние запросы для выполнения нагрузки. По умолчанию файл не требуется. -`--ext-query` | Строка с внешними запросами для выполнения нагрузки. Значение по умолчанию отсутствует. -`--table` | Имя таблицы. Значение по умолчанию: `hits` -`--path` | Путь до директории, в котором находится таблица. Значение по умолчанию отсутствует. -`--include` | Номера или отрезки номеров запросов, которые нужно выполнить в рамках нагрузки. По умолчанию выполняются все запросы. -`--exclude` | Номера или отрезки номеров запросов, которые нужно исключить в рамках нагрузки. По умолчанию выполняются все запросы. |