YDB Server 23.3 Release Notes and Downloads page

Initial draft for YDB Server 23.3 Release Notes and Downloads page

8 files changed, 216 insertions, 0 deletions

diff --git a/ydb/docs/en/core/changelog-server.md b/ydb/docs/en/core/changelog-server.md
index 6ed9f6549b6..dea80622b1a 100644
--- a/ydb/docs/en/core/changelog-server.md
+++ b/ydb/docs/en/core/changelog-server.md
@@ -1,5 +1,107 @@
 # {{ ydb-short-name }} Server changelog
 
+## Version 23.3 {#23-3}
+
+Release date: October 12, 2023.
+
+**Functionality:**
+
+* Implemented visibility of own changes. With this feature enabled you can read changed values from the current transaction, which has not been committed yet. This functionality also allows multiple modifying operations in one transaction on a table with secondary indexes.
+* Added support for [column tables](concepts/datamodel/table.md#column-tables). It is now possible to create analytical reports based on stored data in YDB with performance comparable to specialized analytical DBMS.
+* Added support for Kafka API for topics. YDB topics can now be accessed via a Kafka-compatible API designed for migrating existing applications. Support for Kafka protocol version 3.4.0 is provided.
+* Added the ability to [write to a topic without deduplication](concepts/topic.md#no-dedup). This is important in cases where message processing order is not critical.
+* YQL has added the capabilities to [create](yql/reference/syntax/create_topic.md), [modify](yql/reference/syntax/alter_topic.md), and delete topics.
+* Added support of assigning and revoking access rights using the YQL `GRANT` and `REVOKE` commands.
+* Added support of DML-operations logging in the audit log.
+* **_(Experimental)_** When writing messages to a topic, it is now possible to pass metadata. To enable this functionality, add `enable_topic_message_meta: true` to the [configuration file](deploy/configuration/config.md).
+* **_(Experimental)_** Added support for [reading from topics in a transaction](reference/ydb-sdk/topic.md#read-tx). It is now possible to read from topics and write to tables within a transaction, simplifying the data transfer scenario from a topic to a table. To enable this functionality, add `enable_topic_service_tx: true` to the [configuration file](deploy/configuration/config.md).
+* **_(Experimental)_** Added support for PostgreSQL compatibility. This involves executing SQL queries in PostgreSQL dialect on the YDB infrastructure using the PostgreSQL network protocol. With this capability, familiar PostgreSQL tools such as psql and drivers (e.g., pq for Golang and psycopg2 for Python) can be used. Queries can be developed using the familiar PostgreSQL syntax and take advantage of YDB's benefits such as horizontal scalability and fault tolerance.
+* **_(Experimental)_** Added support for federated queries. This enables retrieving information from various data sources without the need to move the data into YDB. Federated queries support interaction with ClickHouse and PostgreSQL databases, as well as S3 class data stores (Object Storage). YQL queries can be used to access these databases without duplicating data between systems.
+
+**Embedded UI:**
+
+* TBD
+
+**Performance:**
+
+* Implemented read iterators. This feature allows to separate reads and computations. Read iterators allow datashards to increase read queries throughput.
+* The performance of writing to YDB topics has been optimized.
+* Improved tablet balancing during node overload.
+
+**Bug fixes:**
+
+* Fixed an error regarding potential blocking of reading iterators of snapshots, of which the coordinators were unaware.
+* Memory leak when closing the connection in Kafka proxy has been fixed.
+* Fixed an issue where snapshots taken through reading iterators may fail to recover on restarts.
+* Fixed an issue with an incorrect residual predicate for the IS NULL condition on a column.
+* Fixed an occurring verification error: VERIFY failed: SendResult(): requirement ChunksLimiter.Take(sendBytes) failed.
+* Fixed ALTER TABLE for TTL on column-based tables.
+* Implemented a FeatureFlag that allows enabling/disabling work with CS and DS.
+* Fixed a 50ms time difference between coordinator time in 23-2 and 23-3.
+* Fixed an error where the storage endpoint was returning extra groups when the viewer backend had the node_id parameter in the request.
+* Added a usage filter to the /storage endpoint in the viewer backend.
+* Fixed an issue in Storage v2 where an incorrect number was returned in the Degraded field.
+* Fixed an issue with cancelling subscriptions from sessions during tablet restarts.
+* Fixed an error where healthcheck alerts for storage were flickering during rolling restarts when going through a load balancer.
+* Updated CPU usage metrics in YDB.
+* Fixed an issue where NULL was being ignored when specifying NOT NULL in the table schema.
+* Implemented logging of DDL operations in the common log.
+* Implemented restriction for the ydb table attribute add/drop command to only work with tables and not with any other objects.
+* Disabled CloseOnIdle for interconnect.
+* Fixed the doubling of read speed in the UI.
+* Fixed an issue where data could be lost on block-4-2.
+* Added a check for topic name validity.
+* Fixed a possible deadlock in the actor system.
+* Fixed the KqpScanArrowInChanels::AllTypesColumns test.
+* Fixed the KqpScan::SqlInParameter test.
+* Fixed parallelism issues for OLAP queries.
+* Fixed the insertion of ClickBench parquet files.
+* Added a missing call to CheckChangesQueueOverflow in the general CheckDataTxReject.
+* Fixed an error that returned an empty status in ReadRows API calls.
+* Fixed incorrect retry behavior in the final stage of export.
+* Fixed an issue with infinite quota for the number of records in a CDC topic.
+* Fixed the import error of string and parquet columns into an OLAP string column.
+* Fixed a crash in KqpOlapTypes.Timestamp under tsan.
+* Fixed a viewer backend crash when attempting to execute a query against the database due to version incompatibility.
+* Fixed an error where the viewer did not return a response from the healthcheck due to a timeout.
+* Fixed an error where incorrect ExpectedSerial values could be saved in Pdisks.
+* Fixed an error where database nodes were crashing due to segfault in the S3 actor.
+* Fixed a race condition in ThreadSanitizer: data race KqpService::ToDictCache-UseCache.
+* Fixed a race condition in GetNextReadId.
+* Fixed an issue with an inflated result in SELECT COUNT(*) immediately after import.
+* Fixed an error where TEvScan could return an empty dataset in the case of shard splitting.
+* Added a separate issue/error code in case of available space exhaustion.
+* Fixed a GRPC_LIBRARY Assertion failed error.
+* Fixed an error where scanning queries on secondary indexes returned an empty result.
+* Fixed validation of CommitOffset in TopicAPI.
+* Reduced shared cache consumption when approaching OOM.
+* Merged scheduler logic from data executer and scan executer into one class.
+* Added discovery and proxy handlers to the query execution process in the viewer backend.
+* Fixed an error where the /cluster endpoint returned the root domain name, such as /ru, in the viewer backend.
+* Implemented a seamless table update scheme for QueryService.
+* Fixed an issue where DELETE returned data and did not delete it.
+* Fixed an error in DELETE ON operation in query service.
+* Fixed an unexpected batching disablement in default schema settings.
+* Fixed a triggering check VERIFY failed: MoveUserTable(): requirement move.ReMapIndexesSize() == newTableInfo->Indexes.size().
+* Increased the default timeout for grpc-streaming.
+* Excluded unused messages and methods from QueryService.
+* Added sorting by Rack in /nodes in the viewer backend.
+* Fixed an error where sorting queries returned an error in descending order.
+* Improved interaction between KQP and NodeWhiteboard.
+* Removed support for old parameter formats.
+* Fixed an error where DefineBox was not being applied to disks with a static group.
+* Fixed a SIGSEGV error in the dinnode during CSV import via YDB CLI.
+* Fixed an error that caused a crash when processing NGRpcService::TRefreshTokenImpl.
+* Implemented a gossip protocol for exchanging cluster resource information.
+* Fixed an error in DeserializeValuePickleV1(): requirement data.GetTransportVersion() == (ui32) NDqProto::DATA_TRANSPORT_UV_PICKLE_1_0 failed.
+* Implemented auto-increment columns.
+* Use UNAVAILABLE status instead of GENERIC_ERROR when shard identification fails.
+* Added support for rope payload in TEvVGet.
+* Added ignoring of deprecated events.
+* Fixed a crash of write sessions on an invalid topic name.
+* Fixed an error in CheckExpected(): requirement newConstr failed, message: Rewrite error, missing Distinct((id)) constraint in node FlatMap'.
+* Enabled self-heal by default.
+
 ## Version 23.2 {#23-2}
 
 Release date: August 14, 2023.
diff --git a/ydb/docs/en/core/downloads/_includes/server/docker.md b/ydb/docs/en/core/downloads/_includes/server/docker.md
index c47311a0f6c..fed2aff4e02 100644
--- a/ydb/docs/en/core/downloads/_includes/server/docker.md
+++ b/ydb/docs/en/core/downloads/_includes/server/docker.md
@@ -1,5 +1,7 @@
 | Version | Release date | Download | Changelog |
 :--- | :--- | :--- | :---
+**v23.3**
+v.23.3.13 | 12/10/2023 | `cr.yandex/crptqonuodf51kdj7a7d/ydb:23.3.13` | [See the changelog](../../../changelog-server.md#23-3)
 **v23.2**
 v.23.2.12 | 14/08/2023 | `cr.yandex/crptqonuodf51kdj7a7d/ydb:23.2.12` | [See the changelog](../../../changelog-server.md#23-2)
 **v23.1**
diff --git a/ydb/docs/en/core/downloads/_includes/server/linux.md b/ydb/docs/en/core/downloads/_includes/server/linux.md
index fe19da90189..e22ab3e0204 100644
--- a/ydb/docs/en/core/downloads/_includes/server/linux.md
+++ b/ydb/docs/en/core/downloads/_includes/server/linux.md
@@ -1,5 +1,7 @@
 | Version | Release date | Download | Changelog |
 :--- | :--- | :--- | :---
+**v23.3**
+v.23.3.13 | 12/10/2023 | [Binary file](https://binaries.ydb.tech/release/23.3.13/ydbd-23.3.13-linux-amd64.tar.gz) | [See the changelog](../../../changelog-server.md#23-3)
 **v23.2**
 v.23.2.12 | 14/08/2023 | [Binary file](https://binaries.ydb.tech/release/23.2.12/ydbd-23.2.12-linux-amd64.tar.gz) | [See the changelog](../../../changelog-server.md#23-2)
 **v23.1**
diff --git a/ydb/docs/en/core/downloads/_includes/server/source_code.md b/ydb/docs/en/core/downloads/_includes/server/source_code.md
index b7a96dec106..b5ecf6ddf50 100644
--- a/ydb/docs/en/core/downloads/_includes/server/source_code.md
+++ b/ydb/docs/en/core/downloads/_includes/server/source_code.md
@@ -1,5 +1,7 @@
 | Version | Release date | Link | Changelog |
 :--- | :--- | :--- | :---
+**v23.3**
+v.23.3.13 | 12/10/2023 | [https://github.com/ydb-platform/ydb/tree/23.3.13](https://github.com/ydb-platform/ydb/tree/23.3.13) | [See the changelog](../../../changelog-server.md#23-3)
 **v23.2**
 v.23.2.12 | 14/08/2023 | [https://github.com/ydb-platform/ydb/tree/23.2.12](https://github.com/ydb-platform/ydb/tree/23.2.12) | [See the changelog](../../../changelog-server.md#23-2)
 **v23.1**
diff --git a/ydb/docs/ru/core/changelog-server.md b/ydb/docs/ru/core/changelog-server.md
index 810585edc18..41cfb3740a5 100644
--- a/ydb/docs/ru/core/changelog-server.md
+++ b/ydb/docs/ru/core/changelog-server.md
@@ -1,5 +1,107 @@
 # Список изменений {{ ydb-short-name }} Server
 
+## Версия 23.3 {#23-3}
+
+Дата выхода: 12 октября 2023.
+
+**Функциональность:**
+
+* Реализована видимость собственных изменений. При включении этой функции вы можете читать измененные значения из текущей транзакции, которая еще не была закоммичена. Также эта функциональность позволяет выполнять несколько модифицирующих операций в одной транзакции над таблицей с вторичными индексами.
+* Добавлена поддержка [колоночных таблиц](concepts/datamodel/table.md#column-tables). Можно создавать аналитические отчёты на основе хранимых в YDB данных с производительностью, сопоставимой со специализированными аналитическими СУБД.
+* Добавлена поддержка [Kafka API для топиков](reference/kafka-api/index.md). С YDB-топиками можно работать через Kafka-совместимый API, предназначенный для миграции существующих приложений. Обеспечена поддержка протокола Kafka версии 3.4.0.
+* Добавлена возможность [записи в топик без дедупликации](concepts/topic.md#no-dedup). Важно для тех случаев, когда порядок обработки сообщений не критичен.
+* В YQL добавлены возможности [создавать](yql/reference/syntax/create-topic.md), [изменять](yql/reference/syntax/alter-topic.md) и [удалять](yql/reference/syntax/drop-topic.md) топики.
+* Добавлена возможность назначать и отзывать права доступа с помощью команд YQL `GRANT` и `REVOKE`.
+* Добавлена возможность логгировать DML-операции в аудитном логе.
+* **_(Экспериментально)_** При записи сообщений в топик теперь можно передавать метаданные. Для включения этой функциональности добавьте enable_topic_message_meta: true в [конфигурационный файл](deploy/configuration/config.md).
+* **_(Экспериментально)_** Добавлена поддержка [чтения из топиков в транзакции](reference/ydb-sdk/topic.md#read-tx). Теперь можно читать из топиков и писать в таблицы в транзакции, упростился сценарий перекладывания данных из топика в таблицу. Для включения этой функциональности добавьте enable_topic_service_tx: true [конфигурационный файл](deploy/configuration/config.md).
+* **_(Экспериментально)_** Добавлена поддержка [совместимости с PostgreSQL](postgresql/intro.md). Это механизм выполнения SQL запросов в PostgreSQL диалекте на инфраструктуре YDB с использованием сетевого протокола PostgreSQL. Благодаря этой возможности можно использовать привычные инструменты работы с PostgreSQL, такие, как psql и драйвера (например, pq для Golang и psycopg2 для Python). Можно разрабатывать запросы на привычном PostgreSQL синтаксисе и получать такие преимущества YDB, как горизонтальная масштабируемость и отказоустойчивость
+* **_(Экспериментально)_** Добавлена поддержка [федеративных запросов](concepts/federated_query/index.md). Это способ получать информацию из различных источников данных без необходимости переноса данных этих источников внутрь YDB. Федеративные запросы поддерживают взаимодействие с базами данных ClickHouse, PostgreSQL и с хранилищами данных класса S3 (Object Storage). При помощи YQL запросов можно обращаться к этим базам данных без необходимости дублирования данных между системами
+
+**Встроенный UI:**
+
+* TDB
+
+**Производительность:**
+
+* Реализованы итераторные чтения. Эта функциональность позволяет разделить чтения и вычисления между собой. Итераторные чтения позволяют даташардам увеличить пропускную способность читающих запросов.
+* Оптимизирована производительность записи в топики YDB.
+* Улучшена балансировка таблеток при перегрузке нод.
+
+**Исправления ошибок:**
+
+* Исправлена ошибка возможной блокировки читающими итераторами снепшотов, о которых не знают координаторы.
+* Исправлена утечка памяти при закрытии соединения в kafka proxy.
+* Исправлена ошибка, при которой снепшоты, взятые через читающие итераторы, могут не восстанавливаться на рестартах.
+* Исправлен некорректный residual предикат для условия IS NULL на колонку.
+* Исправлена срабатывающая проверка VERIFY failed: SendResult(): requirement ChunksLimiter.Take(sendBytes) failed.
+* Исправлен ALTER TABLE по TTL для колоночных таблиц.
+* Реализован FeatureFlag, который позволяет отключать/включать работу с CS и DS.
+* Исправлено различие координаторного времени между 23-2 и 23-3 на 50мс.
+* Исправлена ошибка, при которой ручка storage возвращала лишние группы, когда в запросе параметр node_id во viewer backend.
+* Добавлен usage фильтр в /storage во viewer backend.
+* Исправлена ошибка в Storage v2, при которой возвращалось некорректное число в Degraded.
+* Исправлена отмена подписки от сессий в итераторных чтениях при рестарте таблетки.
+* Исправлена ошибка, при которой во время роллинг-рестарта при походе через балансер моргает healthcheck алертами про storage.
+* Обновлены метрики cpu usage в ydb.
+* Исправлено игнорирование NULL при указании NOT NULL в схеме таблицы.
+* Реализован вывод записей об операциях DDL в общий лог.
+* Реализован запрет для команды ydb table attribute add/drop работать с любыми объектами, кроме таблиц.
+* Отключён CloseOnIdle для interconnect.
+* Исправлено задваивание скорости чтения в UI.
+* Исправлена ошибка, при которой могли теряться данные на block-4-2.
+* Добавлена проверка имени топика.
+* Исправлен возможный deadlock в акторной системе.
+* Исправлен тест KqpScanArrowInChanels::AllTypesColumns.
+* Исправлен тест KqpScan::SqlInParameter.
+* Исправлены проблемы параллелизма для OLAP-запросов.
+* Исправлена вставка ClickBench parquet.
+* Добавлен недостающий вызов CheckChangesQueueOverflow в общем CheckDataTxReject.
+* Исправлена ошибка возврата пустого статуса при выховах ReadRows API.
+* Исправлен некорректны ретрай экспорта в финальной стадии.
+* Исправлена проблема с бесконечной квотой на число записей в CDC-топике.
+* Исправлена ошибка испорта колонки string и parquet в колонку string OLAP.
+* Исправлено падение KqpOlapTypes.Timestamp под tsan.
+* Исправлено падение во viewer backend при попытке выполнить запрос к базе из-за несовместимости версий.
+* Исправлена ошибка, при которой viewer не возвращал ответ от healthcheck из-за таймаута.
+* Исправлена ошибка, при которой в Pdisk'ах могло сохраняться некорректное значение ExpectedSerial.
+* Исправлена ошибка, при которой ноды базы падают по segfault в S3 акторе.
+* Исправлена гонка в ThreadSanitizer: data race KqpService::ToDictCache-UseCache.
+* Исправлена гонка в GetNextReadId.
+* Исправлено завышение результата SELECT COUNT(*) сразу после импорта.
+* Исправлена ошибка, при которой TEvScan мог вернуть пустой набор данных в случае сплита даташарда.
+* Добавлен отдельный issue/код ошибки в случае исчерпания доступного места.
+* Исправлена ошибка GRPC_LIBRARY Assertion failed.
+* Исправлена ошибка, при которой при чтении по вторичному индексу в сканирующих запросах получался пустой результат.
+* Исправлена валидация CommitOffset в TopicAPI.
+* Уменьшено потребление shared cache при приближении к OOM.
+* Смержена логика планировщиков из data executer и scan executer в один класс.
+* Добавлены ручки discovery и proxy в процесс выполнения query во viewer backend.
+* Исправлена ошибка, при которой ручка /cluster возвращает название корневого домена типа /ru во viewer backend.
+* Реализована схема бесшовного обновления табличек для QueryService.
+* Исправлена ошибка, при которой DELETE возвращал данные и НЕ удалял их.
+* Исправлена ошибка работы DELETE ON в query service.
+* Исправлено неожиданное выключение батчинга в дефолтных настройках схемы.
+* Исправлена срабатывающая проверка VERIFY failed: MoveUserTable(): requirement move.ReMapIndexesSize() == newTableInfo->Indexes.size().
+* Увеличен дефолтный таймаут grpc-сриминга.
+* Исключены неиспользуемые сообщения и методы из QueryService.
+* Добавлена сортировка по Rack в /nodes во viewer backend.
+* Исправлена ошибка, при которой запрос с сортировкой возвращает ошибку при убывании.
+* Исправлено взаимодействие KQP с NodeWhiteboard.
+* Удалена поддержка старых форматов параметров.
+* Исправлена ошибка, при которой DefineBox не применялся для дисков, на которых есть статическая группа.
+* Исправлена ошибка SIGSEGV в диннодах при импорте CSV через YDB CLI.
+* Исправлена ошибка с падением при обработке NGRpcService::TRefreshTokenImpl.
+* Реализован gossip протокол обмена информацией о ресурсах кластера.
+* Исправлена ошибка DeserializeValuePickleV1(): requirement data.GetTransportVersion() == (ui32) NDqProto::DATA_TRANSPORT_UV_PICKLE_1_0 failed.
+* Реализованы автоинкрементные колонки.
+* Использовать статус UNAVAILABLE вместо GENERIC_ERROR при ошибке идентификации шарда.
+* Добавлена поддержка rope payload в TEvVGet.
+* Добавлено игнорирование устаревших событий.
+* Исправлено падение write-сессий на невалидном имени топика.
+* Исправлена ошибка CheckExpected(): requirement newConstr failed, message: Rewrite error, missing Distinct((id)) constraint in node FlatMap'.
+* Включён Safe Heal по умолчанию.
+
 ## Версия 23.2 {#23-2}
 
 Дата выхода: 14 августа 2023.
diff --git a/ydb/docs/ru/core/downloads/_includes/server/docker.md b/ydb/docs/ru/core/downloads/_includes/server/docker.md
index c724080c238..733fe0a0fe0 100644
--- a/ydb/docs/ru/core/downloads/_includes/server/docker.md
+++ b/ydb/docs/ru/core/downloads/_includes/server/docker.md
@@ -1,5 +1,7 @@
 Версия |  Дата выпуска | Скачать | Список изменений
 :--- | :--- | :--- | :---
+**v23.3**
+v.23.3.13 | 12.10.23 | `cr.yandex/crptqonuodf51kdj7a7d/ydb:23.3.13` | [См. список](../../../changelog-server.md#23-3)
 **v23.2**
 v.23.2.12 | 14.08.23 | `cr.yandex/crptqonuodf51kdj7a7d/ydb:23.2.12` | [См. список](../../../changelog-server.md#23-2)
 **v23.1**
diff --git a/ydb/docs/ru/core/downloads/_includes/server/linux.md b/ydb/docs/ru/core/downloads/_includes/server/linux.md
index 867050006bc..cca2528f0fb 100644
--- a/ydb/docs/ru/core/downloads/_includes/server/linux.md
+++ b/ydb/docs/ru/core/downloads/_includes/server/linux.md
@@ -1,5 +1,7 @@
 Версия |  Дата выпуска | Скачать | Список изменений
 :--- | :--- | :--- | :---
+**v23.3**
+v.23.3.13 | 12.10.23 | [Бинарный файл](https://binaries.ydb.tech/release/23.3.13/ydbd-23.3.13-linux-amd64.tar.gz) | [См. список](../../../changelog-server.md#23-3)
 **v23.2**
 v.23.2.12 | 14.08.23 | [Бинарный файл](https://binaries.ydb.tech/release/23.2.12/ydbd-23.2.12-linux-amd64.tar.gz) | [См. список](../../../changelog-server.md#23-2)
 **v23.1**
diff --git a/ydb/docs/ru/core/downloads/_includes/server/source_code.md b/ydb/docs/ru/core/downloads/_includes/server/source_code.md
index 87a00213191..794718affb4 100644
--- a/ydb/docs/ru/core/downloads/_includes/server/source_code.md
+++ b/ydb/docs/ru/core/downloads/_includes/server/source_code.md
@@ -1,5 +1,7 @@
 Версия |  Дата выпуска | Ссылка | Список изменений
 :--- | :--- | :--- | :---
+**v23.3**
+v.23.3.13 | 12.10.23 | [https://github.com/ydb-platform/ydb/tree/23.3.13](https://github.com/ydb-platform/ydb/tree/23.3.13) | [См. список](../../../changelog-server.md#23-3)
 **v23.2**
 v.23.2.12 | 14.08.23 | [https://github.com/ydb-platform/ydb/tree/23.2.12](https://github.com/ydb-platform/ydb/tree/23.2.12) | [См. список](../../../changelog-server.md#23-2)
 **v23.1**