aboutsummaryrefslogtreecommitdiffstats
Commit message (Collapse)AuthorAgeFilesLines
* Intermediate changesrobot-piglet2024-02-093-46/+12
|
* Update contrib/python/MarkupSafe/py3 to 2.1.4robot-contrib2024-02-093-11/+38
|
* Fix: add input file as MAIN_DEPENDENCY in Cython call..akhropov2024-02-092-0/+2
|
* Update boost/asio and boost/process to 1.70.0thegeorg2024-02-0912-144/+580
|
* Intermediate changesrobot-piglet2024-02-097-6/+240
|
* Update contrib/libs/libunwind to 18.1.0-rc1dtorilov2024-02-0927-681/+2766
|
* Update vendor/go.opentelemetry.io/otel to 1.22.0robot-contrib2024-02-0918-69/+218
|
* Intermediate changesrobot-piglet2024-02-091-1/+1
|
* Bump CUDA -> 11.4 and cuDNN -> 8.0.5kickbutt2024-02-092-41/+93
| | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | ~~большой~~ PR по переключению дефолтной версии CUDA с cuDNN в Аркадии Обновляем CUDA: 10.1 -> 11.4 Обновляем cuDNN: 7.6.5 -> 8.0.5 Помимо простого обновления версий, данный PR содержит следующее: * От перехода на CUDA 11.4 честно сломался только [один проект](https://a.yandex-team.ru/arcadia/cv/imgclassifiers/danet/backend/gpu_cuda?rev=rXXXXXX), поэтому просто там правим * Где-то поменялись тесты на объём потребляемой памяти, поэтому их просто переканонизируем * По поводу удаления таргетов из clang_prev_targets: - `ld.lld` из поставки clang14 не справляется с линковкой - не может найти символы в попруненных либах, хотя они там есть - но можно просто переключиться на автосборку, потому что те проблемы [совместимости cuDNN и clang](https://st.yandex-team.ru/#655b977f30316b33e3a5ec87), для которых gpu-шные таргеты добавляли в clang_prev_targets, в автосборке уже не существуют * По поводу удаления таргетов из cuda11_targets - теперь cuda11_targets отличается от автосборки версией TensorRT (5 в автосборке vs 7 в cuda11) и режимом сборки (relwithdebinfo в автосборке vs release в cuda11), но есть два момента - те, таргеты, которые я удаляю, не зависят от TensorRT, поэтому их не имеет смысла их тестить и в автосборке, и в cuda11 (про таргет `ads/quality/sis/tests/cuda11_arch80` мне сейчас ничего не известно; если что - выпилим его отдельным таргетом) - на самом деле дублирование даже вредно - в `dict/mt/daemon/tests/gpu` есть тест на потребление памяти gpu, который имеет разные результаты в зависимости от release vs relwithdebinfo, поэтому для этого таргета мы в принципе не можем собираться одновременно и в автосборке, и в cuda11 По поводу дефолтной автосборки в принципе пришлось сделать четыре приседания: * пишем кастомный скрипт для линкера: - идея скрипта: переставляем большую секцию с gpu-шным кодом (`.nv_fatbin`) после `.bss` (самая дальняя секция, куда можно ожидать ссылки из кода бинаря), чтобы было меньше шансов нарваться на проблемы с relocation overflow в (`.bss`) - замечание: в самом скрипте используем в нём только `INSERT AFTER`, чтобы [ld.ldd и дальше применял свои дефолтные правила для остальной программы](https://releases.llvm.org/16.0.0/tools/lld/docs/ELF/linker_script.html#sections-command) - сделал замеры перфа генезисного инференса через `ml/zeliboba/libs/ynmt_lm/translate/bin` на том сценарии, который оказался под рукой - не заметил каких-то изменений * добавляем nvcc-флаг `-Xfatbin=-compress-all`, чтобы наш fatbin сжимался и занимал меньше пространства в бинаре (далее он будет разжиматься на старте программы, так что оверхеда быть не должно) - сделал замеры перфа генезисного инференса через `ml/zeliboba/libs/ynmt_lm/translate/bin` на том сценарии, который оказался под рукой - не заметил каких-то изменений * добавляем флаг линкера `--no-relax`, так как опция "relaxation of relocatable symbols" (когда мы load в регистр + jump по адресу в регистре заменяем на относительный jump) уменьшает допустимый диапазон оффсетов, которые мы можем кодировать, что также приводит к relocation overflow - больше информации можно найти в https://maskray.me/blog/2023-05-14-relocation-overflow-and-code-models - сделал замеры перфа генезисного инференса через `ml/zeliboba/libs/ynmt_lm/translate/bin` на том сценарии, который оказался под рукой - не заметил каких-то изменений * ещё чуть более гранулярно выпиливаем лобзиком архитектуры из либ в поставках CUDA / cuDNN - в категории "ассемблерный код" (`compute_XX`) оставляем только для последней версии поддерживаемой архитектуры (то есть `compute_86`), так как на новых GPU-шках мы будем JIT-компилироваться из него, а на старых GPU-шках мы возьмём готовый машинный код для них Эти идеи были в основном взяты из следующих источников: - https://maskray.me/blog/2021-07-04-sections-and-overwrite-sections#insert-before-and-insert-after и https://discourse.llvm.org/t/lld-relocation-overflows-and-nv-fatbin/58889 (про перемещение `.nv_fatbin`) - https://docs.nvidia.com/cuda/cuda-binary-utilities/index.html#nvprune (про `nvprune`) - https://maskray.me/blog/2023-05-14-relocation-overflow-and-code-models#relocation-overflow (`-Wl,--no-relax`) - https://discourse.llvm.org/t/lld-relocation-overflows-and-nv-fatbin/58889/6 + https://github.com/pytorch/pytorch/pull/43074/files#diff-1e7de1ae2d059d21e1dd75d5812d5a34b0222cef273b7c3a2af62eb747f9d20aR360 (про `-Xfatbin=-compress-all`) Дополнительные комментарии: - можно дополнительно не выпиливать ненужные архитектуры, но этот флаг дополнительно уменьшает размеры бинарей (например, таргет `ml/zeliboba/libs/ynmt_lm/translate/bin`уменьшается на 120 MiB, что составляет примерно 5% от размера бинаря) - кастомный скрипт для линкера позволяет не развлекаться с ещё более гранулярным выпиливанием архитектур (например, для таргетов `TENSORFLOW_WITH_CUDA`) Оставшийся технический долг, который будет делать в других PRах * донести функциональность из `link_exe.py` в `link_dyn_lib.py` * перейти на TensorRT 7 * выпилить cuda11_targets * выпилить флаг `TENSORFLOW_WITH_CUDA` в пользу `CUDA_REQUIRED` и удалить tensorflow_with_cuda_targets (??) * поднять версию стандарта c++ для гпушного кода с 14 до 17
* Add glfw 3.3.9 to contribnikrolaks2024-02-092-0/+9
| | | | | | * Как настроить CI/CD, чтобы он учитывал, что не на всяком Линуксе может собраться? * Эти изменения в build/sysincl... Кажется, для них нужен был бы отдельный pr... * Не знаю как собирать с wayland, там какие-то конфиги надо кодогенерировать, а я не понимаю ЧТО их генерирует
* Update contrib/libs/libidn to 1.42robot-contrib2024-02-0967-1613/+1697
|
* Intermediate changesrobot-piglet2024-02-096-18/+29
|
* TMaybe Monadic operationsnedaiborschd2024-02-092-0/+229
| | | | | Add monadic operations to TMaybe. Added methods: AndThen, OrElse, Transform.
* Intermediate changesrobot-piglet2024-02-098-6/+47
|
* Remove empty resolving for Eigen/Arraythegeorg2024-02-091-1/+0
|
* Remove empty resolving for X11/ includesthegeorg2024-02-091-15/+0
|
* Move macOS-specific sysincls to where they belongthegeorg2024-02-092-17/+16
|
* (no commit message)pg2024-02-092-1/+3
|
* check lifetime bounds of values returned from String's c_str(), data() methodsswarmer2024-02-091-16/+16
|
* Get rid of empty cuda/include resolvingthegeorg2024-02-091-6/+0
|
* Move android sysincls to where they belongthegeorg2024-02-092-6/+3
|
* Fix reimport for contrib/libs/cxxsupp/libcxxrtthegeorg2024-02-092-24/+19
|
* Remove empty glibtop headers resolvingthegeorg2024-02-091-7/+0
|
* Intermediate changesrobot-piglet2024-02-091-0/+5
|
* New version of the tld SKIP_CHECK SKIP_REVIEWrobot-ratatosk2024-02-091-1/+1
|
* YDB Import 559robot-ydb-importer2024-02-094864-2578262/+0
|
* Artifacts from bucket and some refactoringc0nsumer2024-02-092-2/+25
|
* (no commit message)pg2024-02-091-1/+4
|
* Intermediate changesrobot-piglet2024-02-095-2/+11
|
* cc contrib/grpc: unify one of the patches with how upstream fixed the issueitrofimow2024-02-091-2/+2
|
* Intermediate changesrobot-piglet2024-02-097-14/+96
|
* Mark methods as consthiddenpath2024-02-091-3/+3
|
* (no commit message)hiddenpath2024-02-092-4/+12
|
* Automatic release build for ya_bin3, os_ya, ya_bin, test_tool, ↵robot-ya-builder2024-02-094-30/+36
| | | | | | | | | | | os_test_tool_3, test_tool3 From hash: [654bb0775e8d52837da7165c4952130de83d2795](https://a.yandex-team.ru/arcadia/commit/654bb0775e8d52837da7165c4952130de83d2795) From revision: [13339664](https://a.yandex-team.ru/arcadia/commit/rXXXXXX) [CI flow](https://a.yandex-team.ru/projects/ya_make/ci/releases/flow?dir=devtools%2Fya&id=release-ya-bin2-ya-bin3-tts&version=336) Flow triggered by user: [v-korovin](https://staff.yandex-team.ru/v-korovin) Update tools: ya_bin3, os_ya, ya_bin, test_tool, os_test_tool_3, test_tool3
* Remove targets, use target/extra_targetsdimdim112024-02-094-6/+0
|
* Intermediate changesrobot-piglet2024-02-098-39/+27
|
* Fix deprecated pod type in llvm / libcxxabihiddenpath2024-02-093-9/+12
| | | | https://github.com/llvm/llvm-project/commit/fd0637cfe835d6d4d0d3ebde3663f94a7bb3cd76
* Fix sprintf deprecation warnings on newer macOS SDKsomov2024-02-091-2/+2
|
* sprintf -> snprintf as it is deprecated on macOS..akhropov2024-02-091-2/+2
|
* Intermediate changesrobot-piglet2024-02-094-12/+17
|
* New version of the tld SKIP_CHECK SKIP_REVIEWrobot-ratatosk2024-02-091-1/+1
|
* External build system generator release 76robot-ya-builder2024-02-092-3/+9
| | | | Update tools: yexport, os-yexport
* Intermediate changesrobot-piglet2024-02-092-0/+4
|
* Add target and extra_targets, remove unused Targets_, recanonize testsdimdim112024-02-094-146/+154
| | | | Add target and extra_targets, remove unused Targets_, recanonize tests
* Fix fail with pydebug in tf (old)shadchin2024-02-091-1/+1
|
* Allow arithmetic operations and operator* for const iterators (#1663)Mikhnenko Sasha2024-02-091-8/+8
| | | | | * Allow operations for const iterators * fix typos
* support cast in default values (#1754)Vitalii Gridnev2024-02-093-16/+117
|
* CMake regeneration workflow (#1774)AlexSm2024-02-091-13/+35
| | | | | | | | | | | | | | | | | | | | | | | | | | | | | * Update sync_cmakebuild.yml * Update sync_cmakebuild.yml * Update sync_cmakebuild.yml * Update sync_cmakebuild.yml * Update sync_cmakebuild.yml * Update sync_cmakebuild.yml * Update sync_cmakebuild.yml * Update sync_cmakebuild.yml * Update sync_cmakebuild.yml * Update sync_cmakebuild.yml * Update sync_cmakebuild.yml * Update sync_cmakebuild.yml * Update sync_cmakebuild.yml * Update sync_cmakebuild.yml
* [yt provider] Raise error on invalid poller_interval value (#1771)Roman Udovichenko2024-02-091-0/+2
|
* Move Inflight actors to ut_helpers (#1759)Sergey Belyakov2024-02-097-200/+249
| | | | | | | * Move Inflight actors to ut_helpers * Mute patch tests * Remove unused assert
generated by cgit v1.2.3 (git 2.25.1) at 2025-08-04 05:55:27 +0000