aboutsummaryrefslogtreecommitdiffstats
path: root/build/scripts
diff options
context:
space:
mode:
authoriaz1607 <iaz1607@yandex-team.com>2023-11-03 17:44:39 +0300
committeriaz1607 <iaz1607@yandex-team.com>2023-11-03 18:17:26 +0300
commit29310ede5e4336061df2cb3b091c195ce30d3441 (patch)
tree66dd3c91a8b1650e0eea86f8fb0e0c7d50173cd2 /build/scripts
parentdb7511009fbab76c1baf85a729be9267aaf58911 (diff)
downloadydb-29310ede5e4336061df2cb3b091c195ce30d3441.tar.gz
Canonization backend 1st part
Здесь мы добавляем в машинерию канонизации возможность подстановки в url, чтобы в будущем можно было загружать и использовать канонические данные из нескольких мест. В этом ревью добавлена вся необходимая поддержка вокруг машинерии тестирования В следующей итерации нужно покрыть тестами скачивание из s3
Diffstat (limited to 'build/scripts')
-rw-r--r--build/scripts/fetch_from_mds.py16
1 files changed, 8 insertions, 8 deletions
diff --git a/build/scripts/fetch_from_mds.py b/build/scripts/fetch_from_mds.py
index 5e4e656394..e9c838a7a8 100644
--- a/build/scripts/fetch_from_mds.py
+++ b/build/scripts/fetch_from_mds.py
@@ -5,32 +5,32 @@ import argparse
import fetch_from
-MDS_PREFIX = "https://storage.yandex-team.ru/get-devtools/"
-
def parse_args():
parser = argparse.ArgumentParser()
fetch_from.add_common_arguments(parser)
parser.add_argument('--key', required=True)
+ parser.add_argument('--entrypoint', required=False, default="storage.yandex-team.ru/get-devtools")
+ parser.add_argument('--scheme', required=False, default="https")
return parser.parse_args()
-def fetch(key):
- parts = key.split("/")
+def fetch(args):
+ parts = args.key.split("/")
if len(parts) != 3:
- raise ValueError("Invalid MDS key '{}'".format(key))
+ raise ValueError("Invalid MDS key '{}'".format(args.key))
_, sha1, file_name = parts
-
- fetched_file = fetch_from.fetch_url(MDS_PREFIX + key, False, file_name, expected_sha1=sha1)
+ url = "{}://{}/{}".format(args.scheme, args.entrypoint, args.key)
+ fetched_file = fetch_from.fetch_url(url, False, file_name, expected_sha1=sha1)
return fetched_file, file_name
def main(args):
- fetched_file, resource_file_name = fetch(args.key)
+ fetched_file, resource_file_name = fetch(args)
fetch_from.process(fetched_file, resource_file_name, args)