ydb/library/cpp/yt/threading, branch CLI_2.10.0Mirror of YDB github reposhttps://code.mastervirt.ru/ydb/atom?h=CLI_2.10.02024-04-25T23:41:13ZYT-21566: Access thread local variables via noinline functions2024-04-25T23:41:13Zlukyanlukyan@yandex-team.com2024-04-25T23:21:44Zurn:sha1:5bbe44ff4e12b6d5496d56ecca97b0c4db340509
970c33b44a7bd166b2716d86d3d2053dcaf05d7d
feat contrib: aiogram 32024-01-19T10:10:03Zarmenqaarmenqa@yandex-team.com2024-01-19T09:23:50Zurn:sha1:2de0149d0151c514b22bca0760b95b26c9b0b578
Relates: https://st.yandex-team.ru/, https://st.yandex-team.ru/
Library import 8 (#1074)2024-01-18T10:28:56ZAlexSmalex@ydb.tech2024-01-18T10:28:56Zurn:sha1:9d0a3761b3201e0d9db879a7adf91876ebdb0564
* Library import 8
* Add contrib/libs/cxxsupp/libcxx/include/__verbose_abortExternal build system generator release 652023-12-05T09:25:06Zrobot-ya-builderrobot-ya-builder@yandex-team.com2023-12-05T08:10:55Zurn:sha1:96458ea3c773a8a3edb707f73db0cdedbfcfad90
Update tools: yexport, os-yexport
add darwin-arm64 CMakeLists2023-11-20T11:34:20Zdcherednikdcherednik@ydb.tech2023-11-20T10:23:37Zurn:sha1:ffff7a34e41bf0dd7d5e0f3d78aeaebbf56200e6Active spinlock tracking from pr3151306. Added TracelessGuards to disable mentioned tracking2023-11-16T15:51:45Zarkady-e1ppaarkady-e1ppa@yandex-team.com2023-11-16T14:24:02Zurn:sha1:6b40f0f1060a3e9d54347e52c7dc8fb278e6e86b
1) Добавлена возможность инструментировать ваш любимый мьютекс/спинлок/что-либо с методами Acquire/Release со схожим смыслом. Делается это засчет методов ```NThreading::NDetail::RecordSpinlockAcquired```/```NThreading::NDetail::RecordSpinlockReleased```. Они отслеживают число захваченных спинлоков.
2) Добавлен макрос ```REGISTER_TRACKED_SPIN_LOCK_CLASS```, который позволяет номинально проверить на этапе компиляции, что данный спинлок отслеживается.
3) Добавлен метод ```NThreading::VerifyNoSpinlockAffinity```, который коркается, если число захваченных спинлоков больше нуля.
4) Добавлены Traceless версии (почти) всех гардов, чтобы можно было не отслеживать конкретную критическую секцию, если очень нужно.
5) Внутри файберного ```WaitUntilSet``` вызывается ```VerifyNoSpinlockAffinity``` -- делать ```WaitFor``` или ```Yield``` внутри отслеживаемых критических секций нельзя. Если очень хочется -- используем TracelessGuard нужного вида.
6) Теперь отслеживаются такие спинлоки и их наследники: ```TSpinLock```, ```TRecursiveSpinLock```, ```TReaderWriterSpinLock```.
7) Зарегистрированы как отслеживаемые все вышеперечисленные спинлоки и их Padded версии.
8) Все эти действия имеют эффект только в дебаг сборке. В релизе вся эта диагностика стирается.
Y_VERIFY->Y_ABORT_UNLESS at ^l2023-10-09T20:57:14Zilnurkhilnurkh@yandex-team.com2023-10-09T20:39:40Zurn:sha1:e601ca03f859335d57ecff2e5aa6af234b6052ed
https://clubs.at.yandex-team.ru/arcadia/29404
YT-19210: expose YQL shared library for YT.2023-07-28T21:02:16Zmax42max42@yandex-team.com2023-07-28T21:02:16Zurn:sha1:73b89de71748a21e102d27b9f3ed1bf658766cb5
After this, a new target libyqlplugin.so appears. in open-source cmake build.
Diff in open-source YDB repo looks like the following: https://paste.yandex-team.ru/f302bdb4-7ef2-4362-91c7-6ca45f329264revert rXXXXXX (see discusstion in pr), will commit again more pci-dss friendly way2023-07-27T09:28:50Zkulikovkulikov@yandex-team.com2023-07-27T09:28:50Zurn:sha1:4a7691c519e6114e013dc1dd0c3b2528154507f9try to get rid of locks and allocations for elastic queue thread pool2023-07-21T10:59:33Zkulikovkulikov@yandex-team.com2023-07-21T10:59:33Zurn:sha1:5706cb392271ea40eab053314e7c0f4d9d4547ba
In case of heavy load and high rps current thread pool implementation seems to have problems at least with contention on lock inside condvar (long futex wait calls from http server listener thread), so try to implement something more efficient:
- replace condvar with TEventCounter implementation without internal lock (pthread condvar maintains waiters wakeup order, thread pool doesn't need it);
- introduce well-known bounded mpmc queue over ring buffer;
- get rid of TDecrementingWrapper;
- add options to turn on new pool in library/cpp/http/server and search/daemons (will remove after adoption);
- make elastic queue ut check both versions;
- workaround problems with android/arm build targets.