diff options
| author | nadya02 <nadya02@yandex-team.com> | 2023-09-02 19:32:52 +0300 |
|---|---|---|
| committer | nadya02 <nadya02@yandex-team.com> | 2023-09-02 19:47:15 +0300 |
| commit | f3351138d25ba9b9c86194ca826e0cb1257aff89 (patch) | |
| tree | 54f85f476a52259687b2f6f24cd66facbf014216 /library/cpp/yt/stockpile/README.md | |
| parent | c9811db61e454037546a71b3d1b6e2dc4dbb1a9d (diff) | |
| download | ydb-f3351138d25ba9b9c86194ca826e0cb1257aff89.tar.gz | |
YT-19430: Add arrow writer
Add arrow writer
Diffstat (limited to 'library/cpp/yt/stockpile/README.md')
| -rw-r--r-- | library/cpp/yt/stockpile/README.md | 12 |
1 files changed, 12 insertions, 0 deletions
diff --git a/library/cpp/yt/stockpile/README.md b/library/cpp/yt/stockpile/README.md new file mode 100644 index 0000000000..6ee4cd1b1f --- /dev/null +++ b/library/cpp/yt/stockpile/README.md @@ -0,0 +1,12 @@ +# stockpile + +При приближении к лимиту памяти в memory cgroup, linux запускает механизм direct reclaim, +чтобы освободить свободную память. По опыту YT, direct reclaim очень сильно замедляет работу +всего процесса. + +Проблема возникает не только, когда память занята анонимными страницами. 50% памяти контейнера +может быть занято не dirty страницами page cache, но проблема всёравно будет проявляться. Например, +если процесс активно читает файлы с диска без O_DIRECT, вся память очень быстро будет забита. + +Чтобы бороться с этой проблемой, в яндексовом ядре добавлена ручка `madvise(MADV_STOCKPILE)`. +Больше подробностей в https://st.yandex-team.ru/KERNEL-186
\ No newline at end of file |