Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Помогите, пожалуйста, с malloc в shared library, gcc, linux
|
|||
|---|---|---|---|
|
#18+
Владимир2012However, one counter-example occurs on PPC64 kernels whereby a kernel using 64K as a base page size still use 4K pages for the MMU on older processors. To, this patch reports "MMUPageSize" as the page size by the MMU. Хм. Вопрос, конечно, интересный, но 64К в 1000 раз меньше 65404 kB. Но подумать надо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2016, 21:37 |
|
||
|
Помогите, пожалуйста, с malloc в shared library, gcc, linux
|
|||
|---|---|---|---|
|
#18+
Andrej_fВопрос, конечно, интересный, но 64К в 1000 раз меньше 65404 kB. Но подумать надо.Ну загляните в исходники Linux. Здается мне в данном случае речь идет о 65404 bytes /то бишь 64К/. Хотя не уверен, что прав ... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2016, 21:41 |
|
||
|
Помогите, пожалуйста, с malloc в shared library, gcc, linux
|
|||
|---|---|---|---|
|
#18+
Anatoly MoskovskyЕсли .SO собрана со статическим рантаймом, то у нее будет своя куча. Причем не только куча, но и все остальные структуры рантайма. Кстати, вполне вероятно, что память занимает вовсе не куча. Чтобы увидеть выделения памяти запустите программу в strace. Там среди прочих mmap будет и создание кучи. А вообще, было бы неплохо приводить минимальный, но реально запускавшийся код, а не какие-то наброски от руки, которые работают только с ваших слов.Я понимаю, что реальный код лучше. Но реальный код сейчас это уже работающий демон, в сотни строк кода в каждом файле. Я могу выложить и реальный код, но он займёт несколько страниц. При этом я гарантирую, что приведённый псевдокод есть сокращение реального, просто вместо цикла (зацикленного навечно здесь) идет реальный цикл с кучей строк. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2016, 21:42 |
|
||
|
Помогите, пожалуйста, с malloc в shared library, gcc, linux
|
|||
|---|---|---|---|
|
#18+
Вот вам отличный рессурс https://github.com/krf/dotfiles/ My dotfiles http://kfunk.org. Посмотрите на содержимое поддиректории bin. В частности на https://github.com/krf/dotfiles/blob/master/bin/smem.pl ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2016, 21:46 |
|
||
|
Помогите, пожалуйста, с malloc в shared library, gcc, linux
|
|||
|---|---|---|---|
|
#18+
Anatoly MoskovskyЕсли .SO собрана со статическим рантаймом, то у нее будет своя куча. Причем не только куча, но и все остальные структуры рантайма. Кстати, вполне вероятно, что память занимает вовсе не куча.Библиотека загружается динамически, именно так, как приведено в моём коде. Статически мне нет смысла её линковать совершенно, вся соль в динамической загрузке. И, вероятно, Dimitry Sibiryakov, в чём то прав и правильно ткнул меня носом. Dimitry Sibiryakov, приношу свои извинения, я был не прав, вспылив :) Прошу прощения, у меня уже полночь, завтра продолжу. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2016, 21:50 |
|
||
|
Помогите, пожалуйста, с malloc в shared library, gcc, linux
|
|||
|---|---|---|---|
|
#18+
Владимир2012, Спасибо, посмотрю. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2016, 21:51 |
|
||
|
Помогите, пожалуйста, с malloc в shared library, gcc, linux
|
|||
|---|---|---|---|
|
#18+
Ой не пойму я чего ты к этим мегабайтам прицепился... Они же виртуальные. Реальное ОЗУ выделяется по 4к гораздо позже. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2016, 22:04 |
|
||
|
Помогите, пожалуйста, с malloc в shared library, gcc, linux
|
|||
|---|---|---|---|
|
#18+
Dimitry SibiryakovНо, как бы то ни было, при создании кучи идёт выделение исключительно виртуальной памяти и никакой резервации физической. О чём и говорят цифры в стартовом посте. Собственно вот ответ. Andrej_f[/src] var.1 top: Код: plaintext 1. 2. 3. var.2 top: Код: plaintext 1. 2. 3. VIRT 139876 это не выделенная память, а выделенная непрерывная область адресов VMA виртуальной памяти, которая пока uncommited. После первого обращения к ней, например, инициализации будет происходить постраничный commit с созданием PTE для каждой страницы - т.е. выделением физической памяти. Видимо рантайм используя mmap() заранее выделил непрерывную область адресов, чтобы если в неё накомитишь мелких объектов, а потом удалишь их, чтобы можно было её повторно использовать для больших объектов/массивов. Обычно она выделяется функциями VirtualAllocEx() в Windows, или mmap() в POSIX (Linux, ...). Её можно выделять хоть в миллион раз больше реальной физической памяти. Any way to reserve but not commit memory in linux? https://www.opennet.ru/base/sys/procps_info.txt.html VIRT -- общий объем виртуальной памяти, используемой процессом, включает в себя: область кода (CODE), данные (DATA), разделяемые библиотеки (SHARED) и страницы, перемещенные в swap-область памяти. Если приложение потребовало от ядра выделить ему 100Мб памяти, а использует всего 5 Мб, данный столбец всё равно будет показывать цифру 100. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.07.2016, 02:51 |
|
||
|
Помогите, пожалуйста, с malloc в shared library, gcc, linux
|
|||
|---|---|---|---|
|
#18+
Andrej_f, суть проблемы - нервная диагностика. хочешь верной - запусти под valgrind. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.07.2016, 07:56 |
|
||
|
Помогите, пожалуйста, с malloc в shared library, gcc, linux
|
|||
|---|---|---|---|
|
#18+
Вася Уткин, По вашей ссылке:авторThe Linux equivalent of VirtualAlloc() is mmap(), which provides the same behaviours. However as a commenter points out, reservation of contiguous memory is the behaviour of calls to malloc() as long as the memory is not initialized (such as by calloc() , or user code).Кроме того, инфа на "стаковерфлов" не от разработчиков linux/gnu, полностью ей доверять нельзя. Своими же глазами я вижу, что каждый запущенный поток, вызвавший malloc/calloc, получает отдельные 65 мегабайт памяти. У меня пока висит чуть более 10 потоков, занимающих вместе полтора гига, пусть даже и VIRT, пусть она и не commited, а только reserved, но где написано, что зарезервированная память отдается другим потокам/процессам/системе при общей нехватке? Мне нужны сотни потоков, не жрущие каждый по ненужным им десяткам мегабайт. Пока что я выяснил, что функции, неявно использующие malloc при вызове из потока вызывают "утечку" памяти. Меняю их. Да, память должна возвращаться системе после уничтожения потока, но нерационально выделять/резервировать так много. MasterZivхочешь верной - запусти под valgrindЗапускал. Утечек он не находит (кроме pthread_create в определенных случаях, но это фича valgrind). Но он и не считает утечкой то, что считаю я, с его точки зрения такой расход памяти нормален (технически это не утечка), с моей нет. Буду отписываться по мере продвижения. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.07.2016, 21:49 |
|
||
|
Помогите, пожалуйста, с malloc в shared library, gcc, linux
|
|||
|---|---|---|---|
|
#18+
Andrej_fгде написано, что зарезервированная память отдается другим потокам/процессам/системе при общей нехватке? Нигде. Потому что она не отдаётся. У каждого 32-х разрядного процесса свои собственные четыре гигабайта адресного пространства. Процесс чисто технически не может поделиться ими с кем-то ещё. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.07.2016, 22:07 |
|
||
|
Помогите, пожалуйста, с malloc в shared library, gcc, linux
|
|||
|---|---|---|---|
|
#18+
Dimitry Sibiryakov, Хорошо, это я уже понял, непонятно другое - в мануалах пишут о том, что потоки в линуксе используют общее адресное пространство основного процесса. Я же вижу, что каждый отдельный поток получает собственную кучу как только запрашивает кусочек памяти. И да, технически эта новая куча становится частью общего пространства, только вот используется только этим потоком, заставляя каждый новый поток получать десятки мегабайт в ответ на запрос десятка байт. Или я чего то не понимаю. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.07.2016, 22:55 |
|
||
|
Помогите, пожалуйста, с malloc в shared library, gcc, linux
|
|||
|---|---|---|---|
|
#18+
Andrej_fзаставляя каждый новый поток получать десятки мегабайт в ответ на запрос десятка байт. Или я чего то не понимаю. Ты не понимаешь, что память выделяется страницами по 4к. А твоими мегабайтами выделяется адресное пространство. Это две разные вещи. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.07.2016, 23:01 |
|
||
|
Помогите, пожалуйста, с malloc в shared library, gcc, linux
|
|||
|---|---|---|---|
|
#18+
Андрей /без обид/. Расскажу вам об том как нахожу ответ на свои вопроса. В редких случаях /близко к нулю/ у кого-то прошу совета. Почему? Иначе мысль начинает думать не как решить вопрос, а у кого найти ответ. И времени при этом тратится больше и знаний от этого "не приходят". Ни к тому это вам написал, чтобы вы в форуме не просили помощи ... Ваше право выбрать более приемлемый для вас путь. PS: Организация памяти процесса https://habrahabr.ru/company/smart_soft/blog/185226/ ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.07.2016, 23:44 |
|
||
|
Помогите, пожалуйста, с malloc в shared library, gcc, linux
|
|||
|---|---|---|---|
|
#18+
Владимир2012PS: Организация памяти процесса https://habrahabr.ru/company/smart_soft/blog/185226/ http://duartes.org/gustavo/blog/category/linux/ ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.07.2016, 00:06 |
|
||
|
Помогите, пожалуйста, с malloc в shared library, gcc, linux
|
|||
|---|---|---|---|
|
#18+
Andrej_fВася Уткин, По вашей ссылке:авторThe Linux equivalent of VirtualAlloc() is mmap(), which provides the same behaviours. However as a commenter points out, reservation of contiguous memory is the behaviour of calls to malloc() as long as the memory is not initialized (such as by calloc() , or user code).Кроме того, инфа на "стаковерфлов" не от разработчиков linux/gnu , полностью ей доверять нельзя. Своими же глазами я вижу, что каждый запущенный поток, вызвавший malloc/calloc, получает отдельные 65 мегабайт памяти. У меня пока висит чуть более 10 потоков, занимающих вместе полтора гига, пусть даже и VIRT, пусть она и не commited, а только reserved , но где написано, что зарезервированная память отдается другим потокам/процессам/системе при общей нехватке? Людям с репутацией 200 000 на стаковерфлов доверять нельзя, а мне можно. А если серьёзно, мои программы и по 1 Петабайту VIRT памяти имеют на железе с 0.25 терабайта RAM, ничего не свопят и работают так быстро, как ни у кого, и чего? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.07.2016, 00:50 |
|
||
|
Помогите, пожалуйста, с malloc в shared library, gcc, linux
|
|||
|---|---|---|---|
|
#18+
И снова о памяти в Linux - /proc/meminfo http://markelov.blogspot.com/2009/01/linux-procmeminfo.html ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.07.2016, 00:52 |
|
||
|
Помогите, пожалуйста, с malloc в shared library, gcc, linux
|
|||
|---|---|---|---|
|
#18+
Вася УткинА если серьёзно, мои программы и по 1 Петабайту VIRT памяти имеют на железе с 0.25 терабайта RAM, ничего не свопят и работают так быстро, как ни у кого, и чего?Помнится в 2000-х у меня на DX-33 c 2MB RAM /без hdd и дисководов/ WIN-98 работала. Мини ядро было собрано на базе Slacware. И сейчас уж не помню, как Windows 98 грузил ... /но стартовала и работала/. Вот это действительно интересно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.07.2016, 01:02 |
|
||
|
Помогите, пожалуйста, с malloc в shared library, gcc, linux
|
|||
|---|---|---|---|
|
#18+
Andrej_fУ меня пока висит чуть более 10 потоков, занимающих вместе полтора гига, пусть даже и VIRT, пусть она и не commited, а только reserved, но где написано, что зарезервированная память отдается другим потокам/процессам/системе при общей нехватке? Не смущает что есть два разных термина reserved и commited ? Если бы память сразу отдавалась, то зачем два разных слова для одного и того же действия? reserved просто сообщает ОС что конкретное виртуальное адресное пространство может быть использовано программой. В случае обращения программой в это место ОС подставит реальную память т.е. commited, причем не одним большим куском, а страницами по 4 Кб, т.е. например создашь массив на 10 Кб, займешь всего 12 Кб реальной. Почитай что такое виртуальная память и как она устроена. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.07.2016, 07:30 |
|
||
|
Помогите, пожалуйста, с malloc в shared library, gcc, linux
|
|||
|---|---|---|---|
|
#18+
Тут много всяких нелинейностей. Поскольку автор не юзает выделенную память то по всей видимости работает механизм optimistic memory allocation. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.07.2016, 11:00 |
|
||
|
Помогите, пожалуйста, с malloc в shared library, gcc, linux
|
|||
|---|---|---|---|
|
#18+
Владимир2012Вообщем вот ответ: However, one counter-example occurs on PPC64 kernels whereby a kernel using 64K as a base page size still use 4K pages for the MMU on older processors. To, this patch reports "MMUPageSize" as the page size by the MMU. Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. прошу прощения , но это не ответ, ибо у авторuname -a Linux ws-dbn 3.16.0-4-amd64 #1 SMP Debian 3.16.7-ckt20-1+deb8u3 (2016-01-17) x86_64 GNU/Linux принципиально другая аппаратная архитектура ... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.07.2016, 11:10 |
|
||
|
Помогите, пожалуйста, с malloc в shared library, gcc, linux
|
|||
|---|---|---|---|
|
#18+
д0kпрошу прощения , но это не ответ, ибо у авторuname -a Linux ws-dbn 3.16.0-4-amd64 #1 SMP Debian 3.16.7-ckt20-1+deb8u3 (2016-01-17) x86_64 GNU/Linux принципиально другая аппаратная архитектура ...Let it be. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.07.2016, 11:39 |
|
||
|
Помогите, пожалуйста, с malloc в shared library, gcc, linux
|
|||
|---|---|---|---|
|
#18+
Короче, я добился того, чего хотел. Я не буду спорить ни с кем по поводу виртуальности адресного пространства или фрагментации памяти - для этого я слишком туп. Для себя я добился снижения показателя VIRT в примерно 10 раз и вообще его бесконтрольного роста. Для тех, кому интересно, ниже результаты моих изысканий. Остальные могут пинаться, сколько влезет. Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2016, 21:20 |
|
||
|
Помогите, пожалуйста, с malloc в shared library, gcc, linux
|
|||
|---|---|---|---|
|
#18+
Andrej_fКороче, я добился того, чего хотел. Я не буду спорить ни с кем по поводу виртуальности адресного пространства или фрагментации памяти - для этого я слишком туп. Для себя я добился снижения показателя VIRT в примерно 10 раз и вообще его бесконтрольного роста. Для тех, кому интересно, ниже результаты моих изысканий. Остальные могут пинаться, сколько влезет. Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. мне кажется, что многое из этого не правильно ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.08.2016, 01:30 |
|
||
|
Помогите, пожалуйста, с malloc в shared library, gcc, linux
|
|||
|---|---|---|---|
|
#18+
Andrej_f Код: plaintext 1. 2. 3. 4. у тебя вот тут то же самое, что alloca() void *db_thread(void *) { char c[100]; sleep(9); return NULL; } попробуй подставить вместо 100 переменную, очень удивишься gcc позволяет создавать массивы переменной длины, если явно их не запретить ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.08.2016, 01:34 |
|
||
|
|

start [/forum/topic.php?fid=57&msg=39279359&tid=2018457]: |
0ms |
get settings: |
10ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
53ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
56ms |
get tp. blocked users: |
1ms |
| others: | 298ms |
| total: | 448ms |

| 0 / 0 |
