diff options
| -rw-r--r-- | ydb/docs/ru/core/public-materials/_includes/conferences/2024/HighLoad.md | 50 | ||||
| -rw-r--r-- | ydb/docs/ru/core/public-materials/videos.md | 4 |
2 files changed, 53 insertions, 1 deletions
diff --git a/ydb/docs/ru/core/public-materials/_includes/conferences/2024/HighLoad.md b/ydb/docs/ru/core/public-materials/_includes/conferences/2024/HighLoad.md new file mode 100644 index 00000000000..de3c7750ba6 --- /dev/null +++ b/ydb/docs/ru/core/public-materials/_includes/conferences/2024/HighLoad.md @@ -0,0 +1,50 @@ +## Стоимостный оптимизатор в {{ ydb-short-name }} — как, зачем и почему? {#2024-conf-hl-cbo-velikhov} + +{% include notitle [database_internals_tag](../../tags.md#database_internals) %} + +{{ ydb-short-name }} создавалась как OLTP-система для высоконагруженных проектов, но со временем в ней появились и аналитические запросы. Их сложно оптимизировать вручную, поэтому важную роль играет стоимостный оптимизатор. + +Несколько лет назад команда {{ ydb-short-name }} добавила поддержку колоночного хранения и сложной аналитики, что повысило требования к оптимизации. Теперь система может работать в режиме HTAP, где запросы автоматически распределяются между строковым и колоночным хранилищем. + +В этом докладе Павел Велихов расскажет, как команда разработала стоимостный оптимизатор, какие задачи он решает и как {{ ydb-short-name }} выглядит на фоне конкурентов в OLTP, OLAP и HTAP-сценариях. + +@[YouTube](https://www.youtube.com/watch?v=nyc3nmyQTvA) + +[Слайды](https://presentations.ydb.tech/2024/ru/highload/cost-based-optimizer/presentation.pdf) + +Доклад будет полезен разработчикам СУБД, аналитических платформ и высоконагруженных систем. + +## Транзакционная работа с топиками. Архитектура и сравнение решений в Apache Kafka и {{ ydb-short-name }} {#2024-conf-hl-transactional-topics} + +{% include notitle [database_internals_tag](../../tags.md#database_internals) %} + +Транзакции упрощают код и обеспечивают гарантии, такие как exactly-once доставка сообщений. В Apache Kafka транзакции позволяют достичь этих гарантий, но требуют сложной внутренней архитектуры. {{ ydb-short-name }} изначально поддерживает транзакции, что влияет на подход к работе с топиками. + +В докладе Алексея Николаевского рассматриваются: + +- Понятия топика, транзакционной записи и чтения. +- Решение задачи решардирования с сохранением порядка и exactly-once обработки в Apache Kafka и {{ ydb-short-name }}. +- Архитектуры транзакций в обеих системах. +- Сравнение производительности транзакций. + +@[YouTube](https://www.youtube.com/watch?v=EHpa3Zd8yGw) + +[Слайды](https://presentations.ydb.tech/2024/ru/highload/transactional-topics/presentation.pdf) + +Доклад будет полезен разработчикам распределенных и высоконагруженных систем, стремящимся к высоким гарантиям в обработке данных. + +## Как объединять данные из разных СУБД и делать это эффективно {#2024-conf-hl-federated-queries} + +{% include notitle [database_internals_tag](../../tags.md#overview) %} + +Анализ данных, распределённых по различным системам хранения, таким как реляционные СУБД и CSV-файлы в S3, представляет собой сложную задачу. При небольшом объёме данных можно использовать скрипты для последовательного чтения и объединения информации в оперативной памяти. Однако с увеличением объёмов и сложности данных такой подход становится неэффективным. + +В таких случаях на помощь приходят СУБД и движки обработки запросов с федеративными возможностями. Они позволяют использовать выразительный SQL для описания аналитических операций и эффективно обрабатывать большие объёмы данных из различных источников. + +В своём докладе Виталий Исаев расскажет о принципах работы подобных систем и ключевых оптимизациях, обеспечивающих быструю и эффективную обработку данных. + +@[YouTube](https://www.youtube.com/watch?v=OFoZDKv3Lrw) + +[Слайды](https://presentations.ydb.tech/2024/ru/highload/federated-queries/presentation.pdf) + +Доклад будет полезен разработчикам и аналитикам, работающим с данными, размещёнными в различных СУБД и хранилищах. diff --git a/ydb/docs/ru/core/public-materials/videos.md b/ydb/docs/ru/core/public-materials/videos.md index df460e01aa4..759a136573c 100644 --- a/ydb/docs/ru/core/public-materials/videos.md +++ b/ydb/docs/ru/core/public-materials/videos.md @@ -10,6 +10,8 @@ - 2024 + {% include [HighLoad](./_includes/conferences/2024/HighLoad.md) %} + {% include [Saint_HighLoad](./_includes/conferences/2024/Saint_HighLoad.md) %} {% include [Ya_Tech](./_includes/conferences/2024/Yandex_Infrastructure.md) %} @@ -77,4 +79,4 @@ {% include [Heisenbug](./_includes/conferences/2017/Heisenbug.md) %} -{% endlist %}
\ No newline at end of file +{% endlist %} |