diff options
author | iaz1607 <iaz1607@yandex-team.com> | 2023-11-03 17:44:39 +0300 |
---|---|---|
committer | iaz1607 <iaz1607@yandex-team.com> | 2023-11-03 18:17:26 +0300 |
commit | 29310ede5e4336061df2cb3b091c195ce30d3441 (patch) | |
tree | 66dd3c91a8b1650e0eea86f8fb0e0c7d50173cd2 /build/scripts | |
parent | db7511009fbab76c1baf85a729be9267aaf58911 (diff) | |
download | ydb-29310ede5e4336061df2cb3b091c195ce30d3441.tar.gz |
Canonization backend 1st part
Здесь мы добавляем в машинерию канонизации возможность подстановки в url, чтобы в будущем можно было загружать и использовать канонические данные из нескольких мест.
В этом ревью добавлена вся необходимая поддержка вокруг машинерии тестирования
В следующей итерации нужно покрыть тестами скачивание из s3
Diffstat (limited to 'build/scripts')
-rw-r--r-- | build/scripts/fetch_from_mds.py | 16 |
1 files changed, 8 insertions, 8 deletions
diff --git a/build/scripts/fetch_from_mds.py b/build/scripts/fetch_from_mds.py index 5e4e656394..e9c838a7a8 100644 --- a/build/scripts/fetch_from_mds.py +++ b/build/scripts/fetch_from_mds.py @@ -5,32 +5,32 @@ import argparse import fetch_from -MDS_PREFIX = "https://storage.yandex-team.ru/get-devtools/" - def parse_args(): parser = argparse.ArgumentParser() fetch_from.add_common_arguments(parser) parser.add_argument('--key', required=True) + parser.add_argument('--entrypoint', required=False, default="storage.yandex-team.ru/get-devtools") + parser.add_argument('--scheme', required=False, default="https") return parser.parse_args() -def fetch(key): - parts = key.split("/") +def fetch(args): + parts = args.key.split("/") if len(parts) != 3: - raise ValueError("Invalid MDS key '{}'".format(key)) + raise ValueError("Invalid MDS key '{}'".format(args.key)) _, sha1, file_name = parts - - fetched_file = fetch_from.fetch_url(MDS_PREFIX + key, False, file_name, expected_sha1=sha1) + url = "{}://{}/{}".format(args.scheme, args.entrypoint, args.key) + fetched_file = fetch_from.fetch_url(url, False, file_name, expected_sha1=sha1) return fetched_file, file_name def main(args): - fetched_file, resource_file_name = fetch(args.key) + fetched_file, resource_file_name = fetch(args) fetch_from.process(fetched_file, resource_file_name, args) |