ydb/build/scripts, branch 24.1.1Mirror of YDB github reposhttps://code.mastervirt.ru/ydb/atom?h=24.1.12024-01-31T11:24:04ZFix bugs in CUDA libs pruning2024-01-31T11:24:04Zkickbuttkickbutt@yandex-team.com2024-01-29T08:27:41Zurn:sha1:e930e1b57b89a44338092ca427e2a56d3e978b48
Чиним две проблемы, обнаруженные опытным путём:
* во-первых, cudart не содержит никакого девайсного кода, поэтому её не имеет смысла прунить
* во-вторых, нам для линковки могут передать несуществующие директории, поэтому делаем код проверок чуть более многословным
Fix separator in CUDA_ARCHITECTURES2024-01-24T12:02:13Zkickbuttkickbutt@yandex-team.com2024-01-23T20:36:43Zurn:sha1:299dc21a6f70a16b00e1d564fa56961331552415Use `CUDA_ARCHITECTURES` flag to prune architectures2024-01-24T12:02:01Zkickbuttkickbutt@yandex-team.com2024-01-22T16:27:20Zurn:sha1:9eb56282e0a7f138a5cb9b9b1ebe7ee4ecf7b0fb
* Добавляю переменную `CUDA_ARCHITECTURES`, в которых указываю, для каких архитектур оставлять device-код в гпушных либах CUDA / cuDNN
* Выставляю для неё разумные дефолты для тех архитектур, которые потенциально страдают от избыточного размера кода (сейчас это 11.4, потом можно будет расширить для других архитектур)
* Пробрасываю эту переменную и путь до бинарника `nvprune` в скрипт линковки
* Ищу и пруню гпушные либы
Как проверить, что работает:
* например, успешно собирается `ya make --build=release -DTENSORFLOW_WITH_CUDA -DCUDA_VERSION=11.4 -DCUDNN_VERSION=8.0.5 -DCUDA_ARCHITECTURES=sm_70 yweb/webdaemons/ocrdaemon` (с дефолтным `-DCUDA_ARCHITECTURES` падает по relocation overflow)
* елси хочется посмотреть на изменение размеров, то можно собрать `ya make ml/zeliboba/libs/ynmt_lm/score/bin/ --build=relwithdebinfo -DCUDA_VERSION=11.4 -DCUDNN_VERSION=8.0.5` один раз с дефолтным значением, другой раз с `-DCUDA_ARCHITECTURES=sm_70,sm_80,compute_80` - размер бинаря уменьшится
Особенности:
* ~~Сейчас дефолт для каждой новой версии куды содержит в себе тупо все поддерживаемые архитектуры. Имеет смысл его порезать до чего-то более разумного~~ - порезал
* Обход аргументов в обратном порядке сделан для того, чтобы эмулировать поведение линкера (для линкера важен порядок пробрасывания между либами для линковки и директориями, в которых их нужно искать)
* ~~Сейчас артефакты прунинга кладутся рядом с оригинальными либами; возможно, стоит их складывать в отдельное место в build-директории, но я пока не разобрался как это делать; буду рад, если кто-то подскажет~~ уже неактуально - кладу в build_root
* nvprune имеет свойство мусорить варнингом в stderr, когда прунит `libcudart_static.a` (это норма - там нет кода, который можно было бы попрунить); как вариант можно закостылить и не прунить `libcudart_static.a`, но я открыт к предложениям
Library import 8 (#1074)2024-01-18T10:28:56ZAlexSmalex@ydb.tech2024-01-18T10:28:56Zurn:sha1:9d0a3761b3201e0d9db879a7adf91876ebdb0564
* Library import 8
* Add contrib/libs/cxxsupp/libcxx/include/__verbose_abortLibrary import 7 (#937)2024-01-11T13:49:03ZAlexSmalex@ydb.tech2024-01-11T13:49:03Zurn:sha1:2e180154bd6a38b90a128ba0463d0dd2706a5ccfLibrary import 5, delete go dependencies (#832)2024-01-04T14:09:05ZAlexSmalex@ydb.tech2024-01-04T14:09:05Zurn:sha1:dab291146f6cd7d35684e3a1150e5bb1c412982c
* Library import 5, delete go dependencies
* Fix yt clientImport libs 1 (#590)2023-12-21T14:05:38ZAlexSmalex@ydb.tech2023-12-21T14:05:38Zurn:sha1:e98bcbc74422492351c51646dba3849a138a8ffc
* Import libs 1
* Add new file without extension
* Add file missed in export config2023-12-15T18:31:04Zpgpg@yandex-team.com2023-12-15T14:40:21Zurn:sha1:d10591e58abc60d4b0f66d6a830149a15a7cf6eaExternal build system generator release 652023-12-05T09:25:06Zrobot-ya-builderrobot-ya-builder@yandex-team.com2023-12-05T08:10:55Zurn:sha1:96458ea3c773a8a3edb707f73db0cdedbfcfad90
Update tools: yexport, os-yexport
Revert commit rXXXXXX, External build system generator release 642023-12-01T17:20:19Zsnermolaevsnermolaev@yandex-team.com2023-12-01T14:00:42Zurn:sha1:9d6ed73b3b3df2a751aaf1379f2e24742799d29c