summaryrefslogtreecommitdiffstats
path: root/library/cpp/unified_agent_client
Commit message (Collapse)AuthorAgeFilesLines
* /1: Специализированный Multishard Metrics Store для ↵iofik2025-10-021-5/+5
| | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | быстрой отдачи метрик в Multishard Metrics Pull ## С точки зрения пользователя ### 1. Как включать изменения - Изменения автоматически активируются при использовании `metrics_pull_output_par` параметра - Количество тредов в тредпуле устанавливается параметром `metrics_pull_output_threads` (по-умолчанию 1) - Совместимо с существующими конфигурациями метрик #### Пример конфигурации: ```yaml experimental: metrics_pull_output_par: true metrics_pull_output_threads: 16 ``` ### 2. На что влияют изменения - **Производительность обработки метрик:** Группировка метрик по шардам теперь происходит один раз в момент записи сообщения в хранилище - **Масштабируемость:** Параллельная обработка команд на запись и чтение сообщений ## С точки зрения программиста ### 1. Новая архитектура и взаимодействие #### Архитектура шардирования ``` TMultishardMetricsStoreHandler ↓ TShardedMetricsQueue ↓ TUAShardedMetricsWriter → IMultiShardEncoder ``` #### Принцип работы 1. **Шардирование:** Метрики группируются по ключу `(project, service, cluster)` из лейблов `__ua_project`, `__ua_service`, `__ua_cluster` 2. **Сортировка:** Внутри каждого сообщения метрики сортируются по ключам шардов 3. **Слияние:** При чтении используется priority queue для объединения шардов из разных сообщений 4. **Вывод:** Данные выводятся последовательно по шардам а внутри шарда в порядке добавления сообщений ### 2. Новые классы #### `TMultishardMetricsStoreHandler` - **Назначение:** Основной обработчик команд для шардированных метрик - **Ключевые методы:** - `Handle(TWriteCmd&)` - запись метрик в очередь - `Handle(TMultishardReadCmd&)` - чтение из множественных шардов - `Handle(TReadCmd&)` - чтение из одного шарда - не поддерживатся - Обработчики остальных сообщений адаптированы для работы с `TShardedMetricsQueue` - **Особенности:** Управляет сессиями и делегирует работу с данными в `TShardedMetricsQueue` #### `TShardedMetricsQueue` - **Назначение:** Очередь метрик с поддержкой шардирования - **Ключевые структуры:** ```cpp struct TShardedMessage { std::unique_ptr<TOutputMessage> Message; std::vector<TChunk> Chunks; // Индексы шардов }; ``` - **Алгоритм:** Сортировка метрик по шардам + priority queue для слияния при чтении #### `IUAShardedMetricsWriter` + `TUAShardedMetricsWriter` - **Назначение:** Интерфейс и реализация для записи шардированных метрик - **Расширение:** Добавляет методы `OnShardBegin/End`, `OnStreamBegin/End` к базовому `IUAMetricsWriter` - **Интеграция:** Работает с `NSolomon::NMultiShard::IMultiShardEncoder` ### 3. Рефакторинг #### Изменения в базовых классах - **`TMetricsStoreHandlerBase`:** Вынесен метод `GetMetricsWriterOptions()` для переиспользования - **`TUAMetricsWriter`:** Добавлено `virtual` наследование для множественного наследования !!! - **`TOutputItem`:** Изменена видимость конструктора (убран лишний `private`) #### Структурные изменения - **Новый модуль:** `metrics_multishard_pull_output` с собственными классами - **Тесты:** Добавлены unit-тесты `sharded_metrics_queue_ut.cpp` для проверки логики шардирования, а интеграционные тесты продублированы для проверки работы в параллельном режиме - **Сборка:** Обновлен `ya.make` для включения новых файлов commit_hash:44618a480d29307e7131b82b19473d284ea68efa
* Added std::format include into unified agent loggerkirill-bel2025-09-171-0/+1
| | | | | | | | | | | | | | | | | | | Разломались на вызове YLOG\_DEBUG\_F с ошибкой: ``` /home/kirill-bel/arcadia/logbroker/unified_agent/common/zstd_file_stream.cpp:39:17: error: no member named 'format' in namespace 'std' 39 | YLOG_DEBUG_F("TZstdFileStream starting from frame pos = {} frame offset = {}", | ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 40 | lastFramePos, lastFrameOffset); | ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ``` В YLOG\_DEBUG\_F используется `std::format`, но хедер не включен в `library/cpp/unified_agent_client/logger.h`: ``` #define YLOG_DEBUG_F(fmt, ...) YLOG_DEBUG(std::format(fmt, __VA_ARGS__)) ``` commit_hash:0a82f439ec6b8d83e2f4ac1a7d8a8c8cf29b9cc2
* Added macros for std::format log and changed existing ↵deruzh2025-05-281-0/+11
| | | | | | | YLOG_<Type>(std::format(...)) to them Мы часто используем std::format, готовясь к переходу с TString на std::string, но из-за этого появляется много лишнего кода. Поэтому были добавлены макросы логгера для удобства и существующий код был переведен на них commit_hash:e564c913e0dc82817152b7a15c543a77812a1dcc
* Extra copynae2022025-02-251-4/+4
| | | | | Убираю лишнее копирование. Актуально для REVIEW:7901279 commit_hash:79f0f8873f80375269dd5384e189ac4f3b260017
* Add UnifiedAgentWriterFactorylo-r-d2025-01-203-0/+108
| | | | commit_hash:af6dedadd4d7fe292bcb7a8b6de366aff4e630b1
* Limit the number of gRPC threadsandybg2024-12-101-0/+2
| | | | | | | Add test to verify the threads limit Try to fix; Limit number of gRPC threads. commit_hash:d525e94e0ef397bf05d367ec9904d674c17d0d76
* Use lower case for TString methods Data, Size and Empty in extsearch, ↵mikhnenko2024-10-105-8/+8
| | | | | | | fintech, games, geobase, infra, ipreg, juggler, kernel, keyboard, laas, library, logbroker, logos, mail If you think that this pr has broken something for you, roll it back commit_hash:df8e48b2a4ecbbc74a504aa3ff62ebb8f464218d
* logbroker out: use CloseHandleraleksei-le2024-08-181-0/+7
| | | | | Всегда ожидает Close event от СДК, но проверяет таймаут ожидания. Проверка активности соединения, по таймауту сделает реконект. Немного снижено потребление cpu. 4c41128e833c27cea3d1eb0a90c086d1a328f282
* Modernize superseded grpc includesthegeorg2024-04-121-1/+1
| | | | | | `include/grpc++` was the original directory name for all C++ header files but it conflicted with the naming scheme required for some build systems. It is superseded by `include/grpcpp`. ede5ac168419131cfa95db8f7d3cb0bf11597992
* feat contrib: aiogram 3armenqa2024-01-1912-734/+0
| | | | Relates: https://st.yandex-team.ru/, https://st.yandex-team.ru/
* Library import 8 (#1074)AlexSm2024-01-181-2/+2
| | | | | * Library import 8 * Add contrib/libs/cxxsupp/libcxx/include/__verbose_abort
* Library import 7 (#937)AlexSm2024-01-111-1/+1
|
* External build system generator release 65robot-ya-builder2023-12-052-6/+6
| | | | Update tools: yexport, os-yexport
* add darwin-arm64 CMakeListsdcherednik2023-11-204-0/+142
|
* Y_FAIL->Y_ABORT at '^li'ilnurkh2023-10-171-1/+1
| | | | https://clubs.at.yandex-team.ru/arcadia/29404
* Y_VERIFY->Y_ABORT_UNLESS at ^lilnurkh2023-10-096-33/+33
| | | | https://clubs.at.yandex-team.ru/arcadia/29404
* Fix input variable missprintsvidyuk2023-08-308-0/+136
|
* All .ll files support in LLVM_BCsvidyuk2023-08-308-136/+0
|
* sample_by_rate filter: add volume limit on data stream in filtergitnab2023-08-291-0/+2
|
* ydb: support go code in OSSuzhas2023-08-241-1/+1
|
* unified-agent: add log for SeqNoaleksei-le2023-08-201-1/+1
|
* feat grpc: update to grpc 1.53.1leonidlazarev2023-07-172-2/+2
| | | | | | | | | | | | | | update grpc to 1.53.1 update grpcio/py3 to 1.53.1 Added patches: 22-grpc-code-output.patch - allow translation of grpc code to internal string type. 23-max-thread-limitation.patch - to provide interface for settings of thread number limit, as grpc::DynamicThreadPool doesn't provide interface to limit thread number anymore. 24-support_for-non-abort-grpc.patch - generate exception instead of application crash 25-forkable-destruction-order.patch - correct forkable logic for TimerManager 27-skip-child-post-fork-operations.patch - allow to skip child post fork operations to exclude UB (used for unified agent only) pr33495_fox_nested_fork.patch - fix issues with nested forks pr33582_fork_handler.patch - disable fork handler support if it is not requested intentionally
* unified-agent - fix static initialization order problemgrebelnik2023-07-131-5/+8
| | | unified-agent - fix static initialization order problem
* client-cpp for unified-agent: changing log levelaleksei-le2023-07-031-18/+18
|
* [unified agent] fix printf specifiers for 32 bit arch /gluk472023-06-261-13/+13
|
* add ymake export to ydbalexv-smirnov2023-06-134-0/+66
|
* feat grpc: update to grpc 1.50.2leonidlazarev2023-06-021-1/+2
| | | | | | | | | | | | | | | update grpc to 1.50.2 update grpcio to 1.50.0 Удаленные патчи: 06-flow_control.patch - логика в upstream удалена 10-fix-crash-on-fork.patch - логика в upstream удалена 12-coverity-fix.patch - логика в upstream удалена 20-P2166-string-nullptr.patch - в upstream временный объект вместо nullptr PR29209-fix-heap-use-after-free.patch - решение есть в upstream Добавленные патчи: pr33085_fix_epoll1_engine_reinit.patch 21-windows_build.patch
* feat grpc: correct order of the fork variable setleonidlazarev2023-05-221-1/+10
| | | Correct order of the GRPC_ENABLE_FORK_SUPPORT set
* External build system generator release 29robot-ya-builder2023-04-192-2/+2
| | | Update tools: yexport
* Revert ymake build from ydb oss exportalexv-smirnov2023-03-284-66/+0
|
* External build system generator release 21robot-ya-builder2023-03-172-6/+6
| | | Update tools: yexport
* add library/cpp/actors, ymake build to ydb oss exportalexv-smirnov2023-03-154-0/+66
|
* Intermediate changesrobot-piglet2023-03-094-0/+142
|
* Intermediate changesrobot-piglet2023-03-076-4/+4
|
* External build system generator release 17robot-ya-builder2023-03-068-2/+92
| | | Update tools: yexport
* separate counters for each filevalerybitsoev2023-02-281-0/+24
|
* Log backend movehor9112023-02-0941-0/+4239
generated by cgit v1.2.3 (git 2.25.1) at 2025-11-04 15:00:48 +0000