aboutsummaryrefslogtreecommitdiffstats
path: root/yql/essentials/minikql
Commit message (Collapse)AuthorAgeFilesLines
* YQL-20132: Block compress rewriteatarasov55 days4-168/+389
| | | | | Для более простого Review можно смотреть по коммитам / патчам commit_hash:ab2aa7e49035c55216017186e1989c8ddcd62e4f
* YQL-20231: Validate map keys for json serializationatarasov55 days1-3/+3
| | | | commit_hash:307dbfb3413e806ce09a36736e79a5c7b80fd4ec
* YQL-20229: Fix BlockExpandChunked depsatarasov55 days1-1/+3
| | | | | Тестов не будет, это будет тестироваться после переписывания `WideMap` на `Stream` commit_hash:4c029736154fb91366cbf0e7ab64fbf04fb300ac
* YQL-20230: Handle singular types in DoConvertScalaratarasov57 days1-0/+4
| | | | commit_hash:c22dc757dcd7996bac8fb892184281503a2ab003
* YQL-20229: [refactoring] split nodes in separate filesatarasov57 days8-191/+242
| | | | | Zero diff, поразносил по файлам commit_hash:f668f5b8e6b40f977a15ea1916ff044972459f15
* YQL-19995: Fix block serialization for child data with different offsetsatarasov57 days6-293/+959
| | | | | | | | В данном пулреквесте я добавил поддержку сериализации tuple/struct массивов с разными оффсетами. Сделал это через новый флаг `EValuePackerVersion::{V0, V1}`. Также нужно будет сделать коммит в contrib/ydb commit_hash:79709ad660a4295958e5488d3dd24d660f32ca9a
* YQL-20098: Wide{Skip,Take}Blocks rewrite from Flow to Streamatarasov52025-07-159-52/+172
| | | | | | | Переписал Wide\{Skip,Take\}Blocks с flow на stream тип Прогон тестов с понижением версии <https://nda.ya.ru/t/as0XUfAF7GUcdA> commit_hash:b953c006690680e4711424f407db5af16b9c2e1c
* YQL-20125 fixvvvv2025-07-111-1/+3
| | | | commit_hash:f51c77dc72df30e1a870e784f99b1e8148e6cedb
* YQL-20102: Enable debug arrow validationatarasov52025-07-1016-40/+207
| | | | | | | | В данном PR включена поддержка валидации Datum'ов на соответствие `MKQL type <-> arrow type <-> arrow array data structure.` Выявленные проблемы: 1\. `AllocateResizableBuffer(size_t size)` возвращает массив длины 0 вместо size. Поэтому есть ошибка в работе с датами в некоторых нодах commit_hash:122f2bd114dec50993131391a3793d9540877cb4
* Fix Arrow Buffer untracking for imported buffersilezhankin2025-07-104-14/+16
| | | | commit_hash:8d3031aaf3f344572e98e205b92760187a97dd95
* YQL-20167 canonized short key contentvvvv2025-07-101-6/+13
| | | | commit_hash:0cc244f5272c4bc099db5bf8fb56566a11391158
* YQL-20080: flow -> stream rewriteatarasov52025-07-095-412/+576
| | | | | | | | В этом пре переписал ноды `Wide{Top,TopSort,Sort}Blocks` с flow на stream реализацию. Я разбил пр на два коммита: первый, это просто двигаю классы вверх вниз. Второй - сами изменения. [Прогон тестов](https://nda.ya.ru/t/P9kfAmHr7GFmgy с понижением Runtime версии commit_hash:0813a74aaa904b12846692c0e7504334170ea6db
* Intermediate changesrobot-piglet2025-07-086-152/+303
| | | | commit_hash:f01a2a43056f29e53594b0d69d2d8e8d34cc164d
* Support use of default memory allocation for arrow in mrjobaneporada2025-07-083-8/+28
| | | | commit_hash:362bc9f00e576f160b16cb3bc02f65db36cd6448
* YQL-19536: Block ifpresentatarasov52025-07-086-8/+19
| | | | commit_hash:15146ac1817e0abc0483b2c138207daf3b63fdd5
* Make coverity happy with negative yearsimunkin2025-07-071-4/+12
| | | | commit_hash:ea8eb1df0c2c653fe0948b0550ebedc25cdf03c0
* Intermediate changesrobot-piglet2025-07-071-0/+2
| | | | commit_hash:f32b7c11140780c9a21a8bf7bf2f5dc222d93dae
* Fix returning pointer for zero-sized allocation outside of pageilezhankin2025-07-072-31/+91
| | | | | | | | | | | | | | | The problematic scenario looks like this: - Allocate new page on arena - Return pointer for the last piece of the page - so `offset == size` - Try to allocate zero-sized segment - since `offset + 0 <= size` we return pointer to `page + offset` - `GetStartOfPage(page + offset)` returns the next page - and it leads to malicious behavior for the next (probably unmapped) page Now we don't allow to physically allocate zero-sized region and use aligned stub object. commit_hash:5fa77d6bd78c7f712f35da943fcfe9023f78ec5e
* Drop unixtime.patch in cctzromankoshelev2025-07-011-3/+3
| | | | commit_hash:37444678890eb36cc3c3efdd5d85fdc3b44db916
* Allow multiple dependent nodes for Flow mkql callablesziganshinmr2025-06-302-43/+52
| | | | | Allow multiple dependent nodes for Flow mkql callables commit_hash:c895960db965367ca567923755fd29547c2d23f1
* [GraceJoin] Skip reading input when output is guaranteed to be emptymfilitov2025-06-233-4/+231
| | | | | | | | | | | | | | | Adds early termination optimization for `GraceJoin`: if one side is empty and the join kind guarantees an empty result, the other side is no longer read. Introduces two helpers: * `ShouldSkipRightIfLeftEmpty` * `ShouldSkipLeftIfRightEmpty` Also adds unit tests covering all join kinds and empty input combinations. Initial issue: <https://github.com/ydb-platform/ydb/issues/19797> commit_hash:2683031df5b68c293536eacda05c8e79fc452d11
* YQL-20086 minikqlvvvv2025-06-23121-4747/+4763
| | | | commit_hash:c35c972d6708fb1b3f34fa34a42cdae1ddf11cdc
* Intermediate changesrobot-piglet2025-06-202-17/+40
| | | | commit_hash:b6bde7526e89c4c17bfd44e5cd35817a45451ffa
* YQL-20086 publicvvvv2025-06-204-25/+25
| | | | commit_hash:95a833af8fda8e357f7f0100b4e3bfd15dafe3e1
* Fix coalesce when bitmap is emptyatarasov52025-06-183-52/+55
| | | | | | | Раньше наш код считал, что у опциональных MKQL-типов битовая маска в ArrayData — это всегда не nullptr. Однако такой гарантии нет. Теперь, чтобы определить, есть ли в ArrayData опциональные значения, мы больше не смотрим на тип minikql. Вместо этого ориентируемся только на значение `null_count`. Более того, я немного подрезал длину массивов в тестах, так как тесты выполнялись слишком долго. commit_hash:e538ec4f2251d9411f67c195d666401c2d950527
* YQL-20039: Make Datetime::Format work with basic resources for old MKQL versionsimunkin2025-06-182-24/+530
| | | | commit_hash:cc278d11897e8f36249bd3b285613b61c853d034
* YQL-19536: Block scalar versions of nodesatarasov52025-06-1710-55/+251
| | | | commit_hash:0f93920592ababed5f28efbe4d25c9651f578c8b
* Allow to modify the default buffer page size in TPagedBufferilezhankin2025-06-165-34/+53
| | | | | Воспользовавшись недавно добавленной метрикой про wasted-память стало понятно, что текущий универсальный размер страниц в `TPagedBuffer` слишком велик. В этом ПР добавляется возможность устанавливать размер страниц снаружи - отдельно для каждого объекта `TPagedBuffer`. commit_hash:f82fa4e6162a129bb4442f18657c32b074cb07f7
* YQL fixed block transport in case of null columnsgrigoriypisar2025-06-103-4/+8
| | | | | YQL fixed string block transport commit_hash:03c8000cbc64db248ba74bf3b0c57b4c35bf0f98
* YQL-20057: Allow collect stack traces for allocationsatarasov52025-06-102-9/+51
| | | | commit_hash:78b95c2bcf56788cfb36c564619e849799916b31
* YQL-20054: Fix pg typesatarasov52025-06-061-1/+1
| | | | commit_hash:b0bb9ec1e8b00c8383d182b073073d6eaf04ab2f
* Fix block coalesce for multioptionalatarasov52025-06-061-13/+14
| | | | commit_hash:a9766abf73088d74351c34d5136a3eeb7191ac04
* YQL-19940: Msan sanitizingatarasov52025-06-0413-311/+385
| | | | commit_hash:a7bee9ef953705fedbc2280f5a1eac81a305944f
* Support scalar-only logical opsaneporada2025-06-033-5/+179
| | | | commit_hash:2be000baa1e203ec9b4bab5a4d236abc64609376
* YQL-19845 pass langver to arrow kernel request/loadervvvv2025-06-021-0/+7
| | | | commit_hash:8d411726790b7e618eb10791386c85bc7f91c6c1
* YQL-19967: Relax closure type comparisonimunkin2025-05-302-3/+52
| | | | commit_hash:6425e8ea846ad5be20c46282f4fde40f5e83f81d
* YQL-19967: Use callable node type for validationimunkin2025-05-292-7/+7
| | | | | Follows up 8aa01a548ffd87f8f1f6aa6df7eeddb66dad1a27 commit_hash:ffa5903aa158251203c518e80ad2e8af98b20290
* fix re2 langvervvvv2025-05-281-0/+1
| | | | | | | fix YQL-18878: Provide regex error from 2025.03 version commit_hash:fdaeba4009bfbedccd39942909bcd303ae4ae932
* YQL-19967: Introduce TExtendedArgsWrapper helperimunkin2025-05-282-17/+314
| | | | commit_hash:8aa01a548ffd87f8f1f6aa6df7eeddb66dad1a27
* YQL-19967: Properly handle optional args for curried functionimunkin2025-05-281-14/+27
| | | | | | Follows up e13229863b189b9ad804f0c6772204399430179e Follows up 5b56b1b4416cf5b7abcae727a61e9402e10af067 commit_hash:c14af47d9a4960f42df3fad23da4b03721d27f7c
* YQL-19967: Properly handle signatures with run config (vice versa)imunkin2025-05-262-32/+101
| | | | commit_hash:5b56b1b4416cf5b7abcae727a61e9402e10af067
* YQL-19967: Fix codegen for args slot addressingimunkin2025-05-201-1/+2
| | | | | Follows up e13229863b189b9ad804f0c6772204399430179e commit_hash:6a78a1a14d0ce96fdbbac9b97f0a2f1c8764b59b
* Add counter for wasted memory from TPagedBuffer in profiling modeilezhankin2025-05-202-14/+48
| | | | | Пример графика с тестового кластера: <https://nda.ya.ru/t/RdGCM06J7EGx4P> commit_hash:4cf9981cc6d7541487678a189386e8e7f091811d
* YQL-19967: Properly handle signatures with run configimunkin2025-05-203-16/+259
| | | | commit_hash:e13229863b189b9ad804f0c6772204399430179e
* YQL-19765: Store IHash, ICompare, IEquate by type value instead of pointeratarasov52025-05-1411-36/+66
| | | | commit_hash:9e278f075e1a9c899d4ef9c137eee25958597358
* YT-15805: Move timezone directory from yql/essentials/public/udf/tz to ↵nadya022025-05-146-25/+29
| | | | | | library/cpp/type_info/tz commit_hash:c293432144308b647073111d1086349af6d52fed
* YQL Fixed block type fot tx dategrigoriypisar2025-05-141-25/+1
| | | | commit_hash:092e832b4e88373124b139e8b05b1ded74f5c1a1
* YQL-19014: Fix Convert codegen for Bool target typeimunkin2025-05-133-4/+42
| | | | commit_hash:ecdd6fac555c33978a3faed996a8cb2d996958b9
* YQL-19767: Introduce MKQL allocator address sanitizingatarasov52025-05-0615-211/+585
| | | | | Здесь поддержал только out of bounds access и use after free. Отложенное использование памяти и тд буду делать потом commit_hash:2a3fd472b626762ff7c8b7b0bc1285af50c511cf
* [yql] Fix -Wdeprecated-this-capture warningnechda2025-04-291-5/+5
| | | | | Fix for yql commit_hash:81765a279c4df03675ae3b78e90d925ffc437c4f