ydb/library/cpp/yt/threading, branch CLI_2.8.0Mirror of YDB github reposhttps://code.mastervirt.ru/ydb/atom?h=CLI_2.8.02023-12-05T09:25:06ZExternal build system generator release 652023-12-05T09:25:06Zrobot-ya-builderrobot-ya-builder@yandex-team.com2023-12-05T08:10:55Zurn:sha1:96458ea3c773a8a3edb707f73db0cdedbfcfad90
Update tools: yexport, os-yexport
add darwin-arm64 CMakeLists2023-11-20T11:34:20Zdcherednikdcherednik@ydb.tech2023-11-20T10:23:37Zurn:sha1:ffff7a34e41bf0dd7d5e0f3d78aeaebbf56200e6Active spinlock tracking from pr3151306. Added TracelessGuards to disable mentioned tracking2023-11-16T15:51:45Zarkady-e1ppaarkady-e1ppa@yandex-team.com2023-11-16T14:24:02Zurn:sha1:6b40f0f1060a3e9d54347e52c7dc8fb278e6e86b
1) Добавлена возможность инструментировать ваш любимый мьютекс/спинлок/что-либо с методами Acquire/Release со схожим смыслом. Делается это засчет методов ```NThreading::NDetail::RecordSpinlockAcquired```/```NThreading::NDetail::RecordSpinlockReleased```. Они отслеживают число захваченных спинлоков.
2) Добавлен макрос ```REGISTER_TRACKED_SPIN_LOCK_CLASS```, который позволяет номинально проверить на этапе компиляции, что данный спинлок отслеживается.
3) Добавлен метод ```NThreading::VerifyNoSpinlockAffinity```, который коркается, если число захваченных спинлоков больше нуля.
4) Добавлены Traceless версии (почти) всех гардов, чтобы можно было не отслеживать конкретную критическую секцию, если очень нужно.
5) Внутри файберного ```WaitUntilSet``` вызывается ```VerifyNoSpinlockAffinity``` -- делать ```WaitFor``` или ```Yield``` внутри отслеживаемых критических секций нельзя. Если очень хочется -- используем TracelessGuard нужного вида.
6) Теперь отслеживаются такие спинлоки и их наследники: ```TSpinLock```, ```TRecursiveSpinLock```, ```TReaderWriterSpinLock```.
7) Зарегистрированы как отслеживаемые все вышеперечисленные спинлоки и их Padded версии.
8) Все эти действия имеют эффект только в дебаг сборке. В релизе вся эта диагностика стирается.
Y_VERIFY->Y_ABORT_UNLESS at ^l2023-10-09T20:57:14Zilnurkhilnurkh@yandex-team.com2023-10-09T20:39:40Zurn:sha1:e601ca03f859335d57ecff2e5aa6af234b6052ed
https://clubs.at.yandex-team.ru/arcadia/29404
YT-19210: expose YQL shared library for YT.2023-07-28T21:02:16Zmax42max42@yandex-team.com2023-07-28T21:02:16Zurn:sha1:73b89de71748a21e102d27b9f3ed1bf658766cb5
After this, a new target libyqlplugin.so appears. in open-source cmake build.
Diff in open-source YDB repo looks like the following: https://paste.yandex-team.ru/f302bdb4-7ef2-4362-91c7-6ca45f329264revert rXXXXXX (see discusstion in pr), will commit again more pci-dss friendly way2023-07-27T09:28:50Zkulikovkulikov@yandex-team.com2023-07-27T09:28:50Zurn:sha1:4a7691c519e6114e013dc1dd0c3b2528154507f9try to get rid of locks and allocations for elastic queue thread pool2023-07-21T10:59:33Zkulikovkulikov@yandex-team.com2023-07-21T10:59:33Zurn:sha1:5706cb392271ea40eab053314e7c0f4d9d4547ba
In case of heavy load and high rps current thread pool implementation seems to have problems at least with contention on lock inside condvar (long futex wait calls from http server listener thread), so try to implement something more efficient:
- replace condvar with TEventCounter implementation without internal lock (pthread condvar maintains waiters wakeup order, thread pool doesn't need it);
- introduce well-known bounded mpmc queue over ring buffer;
- get rid of TDecrementingWrapper;
- add options to turn on new pool in library/cpp/http/server and search/daemons (will remove after adoption);
- make elastic queue ut check both versions;
- workaround problems with android/arm build targets.Revert "YT-19324: move YT provider to ydb/library/yql"2023-06-30T08:13:34Zmax42max42@yandex-team.com2023-06-30T08:13:34Zurn:sha1:3e1899838408bbad47622007aa382bc8a2b01f87
This reverts commit ca272f12fdd0e8d5c3e957fc87939148f1caaf72, reversing
changes made to 49f8acfc8b0b5c0071b804423bcf53fda26c7c12.YT-19324: move YT provider to ydb/library/yql2023-06-30T00:37:03Zmax42max42@yandex-team.com2023-06-30T00:37:03Zurn:sha1:fac2bd72b4b31ec3238292caf8fb2a8aaa6d6c4a
This commit is formed by the following script: https://paste.yandex-team.ru/6f92e4b8-efc5-4d34-948b-15ee2accd7e7/text.
This commit has zero effect on all projects that depend on YQL.
The summary of changes:
- `yql/providers/yt -> ydb/library/yql/providers/yt `- the whole implementation of YT provider is moved into YDB code base for further export as a part of YT YQL plugin shared library;
- `yql/providers/stat/{expr_nodes,uploader} -> ydb/library/yql/providers/stat/{expr_nodes,uploader}` - a small interface without implementation and the description of stat expr nodes;
- `yql/core/extract_predicate/ut -> ydb/library/yql/core/extract_predicate/ut`;
- `yql/core/{ut,ut_common} -> ydb/library/yql/core/{ut,ut_common}`;
- `yql/core` is gone;
- `yql/library/url_preprocessing -> ydb/library/yql/core/url_preprocessing`.
**NB**: all new targets inside `ydb/` are under `IF (NOT CMAKE_EXPORT)` clause which disables them from open-source cmake generation and ya make build. They will be enabled in the subsequent commits.add ymake export to ydb2023-06-13T08:05:01Zalexv-smirnovalex@ydb.tech2023-06-13T08:05:01Zurn:sha1:bf0f13dd39ee3e65092ba3572bb5b1fcd125dcd0