ydb/library/cpp/unified_agent_client, branch CLI_2.28.0

fix: Migrate to YLOG_*_F and eliminate dangerous c_str() patterns

2025-11-29T08:46:09Z

## Summary Eliminated all dangerous c_str() patterns from unified_agent by migrating to modern YLOG_*_F formatting. ## Changes - Remove .c_str() on temporaries in YLOG_*_F macros (1 fix) - Migrate YLOG_*(Sprintf(...)) to modern YLOG_*_F(...) (23 fixes) ## Benefits - Modern C++20 type-safe formatting with std::format - Cleaner, more maintainable code (40% less in some cases) - Better performance (no Sprintf overhead) commit_hash:ee3f665ccc823d9e2165a90c036e5bd887cd179e

- Global Storage Limit Feature

2025-11-28T01:24:15Z

See full description in separate comment. The open source part is to add implementation for formatter specialization for TString. commit_hash:9501df4a7287050b72162b80823d5cbbd1d7464f

Create new plugin agent_logs_input

2025-11-25T06:07:44Z

**Summary** Реализован новый входной плагин `agent_logs` для отправки логов самого агента в пайплайн unified\_agent. Это решает проблему доступа к логам агента в production окружении, где требовались права System developer для доступа к файлам на дисках. ## **What's Changed** {#whats-changed} ### **New Plugin: `agent_logs_input`** {#new-plugin-agent_logs_input} Добавлен новый входной плагин, который: * Перехватывает логи агента через кастомный `TLogBackend` * Отправляет логи в пайплайн стриммингово (не пулингом) * Поддерживает фильтрацию по уровню логов (настройка **level**, по умолчанию `NOTICE`) ### **Implementation Details** {#implementation-details} **Основные компоненты:** 1. **TAgentLogsBackend** - кастомный log backend: * Наследуется от `TLogBackend` * Перехватывает все логи агента через метод `WriteData()` * Фильтрует логи по приоритету * Отправляет отфильтрованные логи в `IMessageConsumer` * Поддерживает graceful stop 2. **TPlugin** - основной класс плагина: * Управляет lifecycle плагина * Создает сессию с ID `agent_logs` * Передает конфигурацию в session handler 3. **TSessionHandler** - обработчик сессии: * Создает и регистрирует `TAgentLogsBackend` * Добавляет backend в глобальный logger через `AddLog()` * Управляет остановкой backend'а **Пример конфигурации:** ``` routes: - input: plugin: agent_logs config: level: INFO channel: pipe: - filter: plugin: format_otel_logs output: # https://nda.ya.ru/t/YexxO8Qf7NZMzy plugin: otel_logs config: url: "collector.logs.yandex-team.ru:443" project: hobbit_test_project service: logs # https://nda.ya.ru/t/o4MQT5rI7NZMzz oauth: secret: env: TEST_LOGS_OAUTH agent_log: priority: INFO rate_limit_bytes: 100000 ``` commit_hash:c6f115ab98c30a47845ce9f9f8a58ef89973d422

Fix gRPC retry parser initialization race condition

2025-11-22T22:48:12Z

Проблема: Сегментация через ~42 секунды после запуска UA в ServiceConfigParser::GetParserIndex("retry"). Причина: Static Initialization Order Fiasco + Lazy Initialization в gRPC CoreConfiguration. RetryFilter пытается получить парсер до того, как CoreConfiguration зарегистрировала его. Решение: 1. Устанавливаем лимиты потоков ДО grpc_init() (статические параметры) 2. Явно вызываем grpc_init() для гарантии выполнения всех статических инициализаторов 3. Принудительно инициализируем CoreConfiguration через CoreConfiguration::Get() Это гарантирует порядок: - Настройка лимитов потоков - Инициализация библиотеки gRPC - Построение CoreConfiguration с регистрацией всех парсеров - Только после этого фильтры могут безопасно использовать retry парсер Изменения: - library/cpp/unified_agent_client/grpc_io.cpp: Исправлена EnsureGrpcConfigured() - tests/ut/grpc_init_ut.cpp: Добавлены unit тесты - tests/grpc_init_check/: Standalone тестовая программа - tests/ut/ya.make: Интеграция тестов в систему сборки Все тесты прошли: 640/640 OK commit_hash:ed4601dfe21f6dfac653dec6e9c3e535e5a0a09c

/1: Специализированный Multishard Metrics Store для быстрой отдачи метрик в Multishard Metrics Pull

2025-10-02T10:53:21Z

## С точки зрения пользователя ### 1. Как включать изменения - Изменения автоматически активируются при использовании `metrics_pull_output_par` параметра - Количество тредов в тредпуле устанавливается параметром `metrics_pull_output_threads` (по-умолчанию 1) - Совместимо с существующими конфигурациями метрик #### Пример конфигурации: ```yaml experimental: metrics_pull_output_par: true metrics_pull_output_threads: 16 ``` ### 2. На что влияют изменения - **Производительность обработки метрик:** Группировка метрик по шардам теперь происходит один раз в момент записи сообщения в хранилище - **Масштабируемость:** Параллельная обработка команд на запись и чтение сообщений ## С точки зрения программиста ### 1. Новая архитектура и взаимодействие #### Архитектура шардирования ``` TMultishardMetricsStoreHandler ↓ TShardedMetricsQueue ↓ TUAShardedMetricsWriter → IMultiShardEncoder ``` #### Принцип работы 1. **Шардирование:** Метрики группируются по ключу `(project, service, cluster)` из лейблов `__ua_project`, `__ua_service`, `__ua_cluster` 2. **Сортировка:** Внутри каждого сообщения метрики сортируются по ключам шардов 3. **Слияние:** При чтении используется priority queue для объединения шардов из разных сообщений 4. **Вывод:** Данные выводятся последовательно по шардам а внутри шарда в порядке добавления сообщений ### 2. Новые классы #### `TMultishardMetricsStoreHandler` - **Назначение:** Основной обработчик команд для шардированных метрик - **Ключевые методы:** - `Handle(TWriteCmd&)` - запись метрик в очередь - `Handle(TMultishardReadCmd&)` - чтение из множественных шардов - `Handle(TReadCmd&)` - чтение из одного шарда - не поддерживатся - Обработчики остальных сообщений адаптированы для работы с `TShardedMetricsQueue` - **Особенности:** Управляет сессиями и делегирует работу с данными в `TShardedMetricsQueue` #### `TShardedMetricsQueue` - **Назначение:** Очередь метрик с поддержкой шардирования - **Ключевые структуры:** ```cpp struct TShardedMessage { std::unique_ptr Message; std::vector Chunks; // Индексы шардов }; ``` - **Алгоритм:** Сортировка метрик по шардам + priority queue для слияния при чтении #### `IUAShardedMetricsWriter` + `TUAShardedMetricsWriter` - **Назначение:** Интерфейс и реализация для записи шардированных метрик - **Расширение:** Добавляет методы `OnShardBegin/End`, `OnStreamBegin/End` к базовому `IUAMetricsWriter` - **Интеграция:** Работает с `NSolomon::NMultiShard::IMultiShardEncoder` ### 3. Рефакторинг #### Изменения в базовых классах - **`TMetricsStoreHandlerBase`:** Вынесен метод `GetMetricsWriterOptions()` для переиспользования - **`TUAMetricsWriter`:** Добавлено `virtual` наследование для множественного наследования !!! - **`TOutputItem`:** Изменена видимость конструктора (убран лишний `private`) #### Структурные изменения - **Новый модуль:** `metrics_multishard_pull_output` с собственными классами - **Тесты:** Добавлены unit-тесты `sharded_metrics_queue_ut.cpp` для проверки логики шардирования, а интеграционные тесты продублированы для проверки работы в параллельном режиме - **Сборка:** Обновлен `ya.make` для включения новых файлов commit_hash:44618a480d29307e7131b82b19473d284ea68efa

Added std::format include into unified agent logger

2025-09-17T13:50:55Z

Разломались на вызове YLOG\_DEBUG\_F с ошибкой: ``` /home/kirill-bel/arcadia/logbroker/unified_agent/common/zstd_file_stream.cpp:39:17: error: no member named 'format' in namespace 'std' 39 | YLOG_DEBUG_F("TZstdFileStream starting from frame pos = {} frame offset = {}", | ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 40 | lastFramePos, lastFrameOffset); | ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ``` В YLOG\_DEBUG\_F используется `std::format`, но хедер не включен в `library/cpp/unified_agent_client/logger.h`: ``` #define YLOG_DEBUG_F(fmt, ...) YLOG_DEBUG(std::format(fmt, __VA_ARGS__)) ``` commit_hash:0a82f439ec6b8d83e2f4ac1a7d8a8c8cf29b9cc2

Added macros for std::format log and changed existing YLOG_(std::format(...)) to them

2025-05-28T13:52:59Z

Мы часто используем std::format, готовясь к переходу с TString на std::string, но из-за этого появляется много лишнего кода. Поэтому были добавлены макросы логгера для удобства и существующий код был переведен на них commit_hash:e564c913e0dc82817152b7a15c543a77812a1dcc

Extra copy

2025-02-25T14:32:49Z

Убираю лишнее копирование. Актуально для REVIEW:7901279 commit_hash:79f0f8873f80375269dd5384e189ac4f3b260017

Add UnifiedAgentWriterFactory

2025-01-20T12:59:28Z

commit_hash:af6dedadd4d7fe292bcb7a8b6de366aff4e630b1

Limit the number of gRPC threads

2024-12-10T18:35:28Z

Add test to verify the threads limit Try to fix; Limit number of gRPC threads. commit_hash:d525e94e0ef397bf05d367ec9904d674c17d0d76