powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / C++ [игнор отключен] [закрыт для гостей] / Помогите, пожалуйста, с malloc в shared library, gcc, linux
58 сообщений из 58, показаны все 3 страниц
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279128
Andrej_f
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Не могу понять/нарыть объяснение в потере памяти при использовании malloc в функции, находящейстя в динамически загружаемой библиотеке.

Код: plaintext
1.
2.
uname -a
Linux ws-dbn 3.16.0-4-amd64 #1 SMP Debian 3.16.7-ckt20-1+deb8u3 (2016-01-17) x86_64 GNU/Linux

Код: plaintext
1.
2.
gcc --version
gcc (Debian 4.9.2-10) 4.9.2

Псевдокод
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
// in lib.so:
// var. 1
void *db_thread(void *)
{
	char c[100];
	sleep(9);
	return NULL;
}

// var. 2
void *db_thread(void *)
{
	char *c = (char *)malloc(100);
	sleep(9);
	free(c)
	return NULL;
}


// test.c:
int main(int argc, char* argv[])
{
  void *hahdle = dlopen("/path/lib.so", RTLD_LAZY);
  void *(*thread_func)(void *) = dlsym(hahdle, "db_thread");

  pthread_t db_thread;
  pthread_create(&db_thread, NULL, thread_func, NULL);

  int i=0;
  while(i<10){
	sleep(1);
  }

  // cancel, join thread;
  // free library
}


var.1 top:
Код: plaintext
1.
2.
3.
  PID USER        PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND
26820 looser      20   0   74340   3408   2536 S   0,0  0,0   0:00.01 test
26821 looser      20   0   74340   3408   2536 S   0,0  0,0   0:00.01 test


var.2 top:
Код: plaintext
1.
2.
3.
  PID USER        PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND
26596 looser      20   0  139876   3452   2580 S   0,0  0,0   0:00.04 test
26597 looser      20   0  139876   3452   2580 S   0,0  0,0   0:00.04 test


cat /proc/26596/smaps:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
7faf58021000-7faf5c000000 ---p 00000000 00:00 0
Size:              65404 kB
Rss:                   0 kB
Pss:                   0 kB
Shared_Clean:          0 kB
Shared_Dirty:          0 kB
Private_Clean:         0 kB
Private_Dirty:         0 kB
Referenced:            0 kB
Anonymous:             0 kB
AnonHugePages:         0 kB
Swap:                  0 kB
KernelPageSize:        4 kB
MMUPageSize:           4 kB
Locked:                0 kB

Т.е. при запуске второго варианта функции потока, при использовании malloc откуда-то/почему-то появляется блок памяти в 65 мегабайт.
Перерыл всё, нашёл здесь , что использование malloc/calloc/free в shared library безопасно.
Но что происходит понять не могу.
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279130
Andrej_f
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вай, сделал цикл бесконечным :)
Отвечать буду позже, надо срочно отъехать.
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279134
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andrej_fпри использовании malloc откуда-то/почему-то появляется блок памяти в 65 мегабайт.

Это "куча". Она мелкими дозами не выделяется.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279166
Andrej_f
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakov,

Готов согласиться, но
если запустить второй, третий, четвертый потоки, идентичные нашему первому, они все будут отжирать по 65 мег + стек.
Казалось бы, "65 мегабайт хватит всем".
Имхо, это не дело и должно быть решаемо.
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279168
Andrej_f
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
И, почему в main malloc не выделяет на 100 байт 65 мегабайт?
Или, как тогда сказать потоку выделять память в общей куче (ведь, насколько я знаю, эта куча и так общая для main и для db_thread)?
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279171
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andrej_fесли запустить второй, третий, четвертый потоки, идентичные нашему первому, они все будут
отжирать по 65 мег + стек.

Чем докажешь?

Andrej_fпочему в main malloc не выделяет на 100 байт 65 мегабайт?
Потому что у тебя в main() нет вызова malloc().
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279179
Владимир2012
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakov

Дмитрий.
Искренне радуюсь за вас!
Классный профессионал, который без "позерства" помогает другим - просто замечательно.
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279180
Andrej_f
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry SibiryakovПотому что у тебя в main() нет вызова malloc().Дмитрий, вы издеваетесь что ли?
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279181
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andrej_fДмитрий, вы издеваетесь что ли?
Вот твой main(), строки пронумерованы:
Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
1	int main(int argc, char* argv[])
2	{
3	  void *hahdle = dlopen("/path/lib.so", RTLD_LAZY);
4	  void *(*thread_func)(void *) = dlsym(hahdle, "db_thread");
5
6	  pthread_t db_thread;
7	  pthread_create(&db_thread, NULL, thread_func, NULL);
8
9	  int i=0;
10	  while(i<10){
11		sleep(1);
12	  }
13
14	  // cancel, join thread;
15  // free library
16	}


Назови мне номер строки с вызовом malloc(), поскольку я его в упор не вижу.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279183
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakov, я прошу вас помогать автору а не заниматься обструкцией.
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279184
Владимир2012
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andrej_f
Код: plaintext
1.
2.
3.
4.
  int i=0;
  while(i<10){
	sleep(1);
  }


Скорее всего так:
Код: plaintext
1.
2.
3.
4.
5.
6.
  int  i = 0;

  while( i < 10 ) {
   sleep( 1 );
   i++;
  }                               
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279185
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonя прошу вас помогать автору
Я пытаюсь. Но я действительно стар и подслеповат, поэтому действительно не вижу вызова
malloc() в приведённой автором main()..

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279186
Владимир2012
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andrej_fТ.е. при запуске второго варианта функции потока, при использовании malloc откуда-то/почему-то появляется блок памяти в 65 мегабайт.Ну так судя по коду у вас в while(i<10){ бесконечный цикл ...
Нет инкремента переменной i.
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279188
Владимир2012
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Гм.
Оказывается автор поста в своем втором message уже понял причину утечки памяти.
Sorry за свои не нужные messges.
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279189
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Владимир2012Оказывается автор поста в своем втором message уже понял причину утечки памяти.

Обычно бесконечный цикл не приводит к утечкам памяти, если у него внутри нет выделения
памяти. А у автора в цикле только sleep(). sleep(), насколько я знаю, память не выделяет.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279192
Владимир2012
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry SibiryakovОбычно бесконечный цикл не приводит к утечкам памяти, если у него внутри нет выделения
памяти. А у автора в цикле только sleep(). sleep(), насколько я знаю, память не выделяет.Судя по коду во во втором thread запрошенная память освобождается.
Но цикл то у него бесконечный!
Честно говоря не знаю как Linux создает нити, выделяет для них память ... /скорее всего какие-то ньюансы имеются/.
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279193
Владимир2012
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Просвещаюсь: Процессы и нити в ОС Linux http://uinc.ru/articles/34/
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279194
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Владимир2012Судя по коду во во втором thread запрошенная память освобождается.
Но цикл то у него бесконечный!
И? Какое отношение бесконечный ничего не делающий цикл в одном потоке имеет к выделению
памяти в совершенно другом потоке?

Чтобы mayton не ругался, немного ликбеза:

Я не знаю деталей работы менеджера памяти в GLIBC, поэтому предполагаю, что он ленивый и
умный. Поэтому он не создаёт кучу до первого к ней обращения и не уничтожает её после
полного освобождения.

Возможно, он очень умный и создаёт отдельную кучу на каждый загруженный модуль чтобы при
его выгрузке можно было освободить всю выделенную память и предотвратить забитие адресного
пространства утекшей памятью.

Возможно, он ещё и очень хитрый, поэтому создаёт отдельные кучи для отдельных потоков в
надежде, что они будут обращаться в основном к "своей" куче и сэкономят ему время ожидания
мутекса для сериализации доступа к куче.

Но, как бы то ни было, при создании кучи идёт выделение исключительно виртуальной памяти и
никакой резервации физической. О чём и говорят цифры в стартовом посте.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279195
Фотография Anatoly Moskovsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Если .SO собрана со статическим рантаймом, то у нее будет своя куча. Причем не только куча, но и все остальные структуры рантайма.

Кстати, вполне вероятно, что память занимает вовсе не куча.

Чтобы увидеть выделения памяти запустите программу в strace. Там среди прочих mmap будет и создание кучи.

А вообще, было бы неплохо приводить минимальный, но реально запускавшийся код, а не какие-то наброски от руки, которые работают только с ваших слов.
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279198
Владимир2012
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Просьба автора topic показать cat /proc/26820/smaps
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279201
Владимир2012
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
/proc/[pid]/smaps to get an idea of the memory footprint of the process.

proc - process information pseudo-filesystem http://man7.org/linux/man-pages/man5/proc.5.html

До конца не разобрался, но похоже на то, что
Size: 65404 kB
это размер памяти, выделенный процессу

PS: Бесконечный цикл не причем!
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279203
Владимир2012
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вообщем вот ответ:

However, one counter-example occurs on PPC64 kernels whereby a kernel using 64K as a base page size
still use 4K pages for the MMU on older processors.
To, this patch reports "MMUPageSize" as the page size by the MMU.

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
cat /proc/26596/smaps:
7faf58021000-7faf5c000000 ---p 00000000 00:00 0
Size:              65404 kB
Rss:                   0 kB                                amount of the mapping that is currently resident in RAM ("Rss")
Pss:                   0 kB                                the process proportional share of this mapping ("Pss")
Shared_Clean:          0 kB                                number of clean and dirty private pages in the mapping
Shared_Dirty:          0 kB
Private_Clean:         0 kB
Private_Dirty:         0 kB
Referenced:            0 kB                                amount of memory currently marked as referenced or accessed
Anonymous:             0 kB                                amount of memory that does not belong to any file
AnonHugePages:         0 kB
Swap:                  0 kB
KernelPageSize:        4 kB                                entry is the page size used by the kernel to back a VMA. This matches the size used by the MMU in the majority of cases.
MMUPageSize:           4 kB
Locked:                0 kB
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279205
Владимир2012
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Проще говоря.
Ни какой утечки памяти у автора топика нет.
while подправит и example будет работать корректно.
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279206
Andrej_f
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Спасибо за помощь.

Про цикл - приведенный здесь код есть псевдокод - выдранный из реального текста кусок, забыл написать i++ в цикле, но к вопросу это отношение не имеет.

В моём случае есть полурешение - вместо malloc использовать alloca, который выделяет память в стеке.
С переменными это прокатывает и лишних блоков в 65 мег. нет, главное следить за размером переменных.

А вот что делать, например, с функциями типа PQconnectdb, которые возвращают указатель, создаваемый ими самими, я пока не знаю. Буду думать завтра.
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279207
Владимир2012
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andrej_fА вот что делать, например, с функциями типа PQconnectdb, которые возвращают указатель, создаваемый ими самими, я пока не знаю. Буду думать завтра.Без обид.
Ваши ошибки - наши знания.
Пишите.
Поможем чем можем.
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279208
Andrej_f
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Владимир2012However, one counter-example occurs on PPC64 kernels whereby a kernel using 64K as a base page size
still use 4K pages for the MMU on older processors.
To, this patch reports "MMUPageSize" as the page size by the MMU.
Хм.
Вопрос, конечно, интересный, но 64К в 1000 раз меньше 65404 kB. Но подумать надо.
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279209
Владимир2012
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andrej_fВопрос, конечно, интересный, но 64К в 1000 раз меньше 65404 kB. Но подумать надо.Ну загляните в исходники Linux.
Здается мне в данном случае речь идет о 65404 bytes /то бишь 64К/.
Хотя не уверен, что прав ...
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279210
Andrej_f
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Anatoly MoskovskyЕсли .SO собрана со статическим рантаймом, то у нее будет своя куча. Причем не только куча, но и все остальные структуры рантайма.

Кстати, вполне вероятно, что память занимает вовсе не куча.

Чтобы увидеть выделения памяти запустите программу в strace. Там среди прочих mmap будет и создание кучи.

А вообще, было бы неплохо приводить минимальный, но реально запускавшийся код, а не какие-то наброски от руки, которые работают только с ваших слов.Я понимаю, что реальный код лучше.
Но реальный код сейчас это уже работающий демон, в сотни строк кода в каждом файле. Я могу выложить и реальный код, но он займёт несколько страниц.

При этом я гарантирую, что приведённый псевдокод есть сокращение реального, просто вместо цикла (зацикленного навечно здесь) идет реальный цикл с кучей строк.
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279212
Владимир2012
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вот вам отличный рессурс https://github.com/krf/dotfiles/ My dotfiles http://kfunk.org.

Посмотрите на содержимое поддиректории bin.
В частности на https://github.com/krf/dotfiles/blob/master/bin/smem.pl
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279213
Andrej_f
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Anatoly MoskovskyЕсли .SO собрана со статическим рантаймом, то у нее будет своя куча. Причем не только куча, но и все остальные структуры рантайма.

Кстати, вполне вероятно, что память занимает вовсе не куча.Библиотека загружается динамически, именно так, как приведено в моём коде. Статически мне нет смысла её линковать совершенно, вся соль в динамической загрузке.

И, вероятно, Dimitry Sibiryakov, в чём то прав и правильно ткнул меня носом.
Dimitry Sibiryakov, приношу свои извинения, я был не прав, вспылив :)

Прошу прощения, у меня уже полночь, завтра продолжу.
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279214
Andrej_f
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Владимир2012,

Спасибо, посмотрю.
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279215
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ой не пойму я чего ты к этим мегабайтам прицепился... Они же виртуальные. Реальное ОЗУ
выделяется по 4к гораздо позже.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279224
Вася Уткин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Dimitry SibiryakovНо, как бы то ни было, при создании кучи идёт выделение исключительно виртуальной памяти и
никакой резервации физической. О чём и говорят цифры в стартовом посте.

Собственно вот ответ.

Andrej_f[/src]
var.1 top:
Код: plaintext
1.
2.
3.
  PID USER        PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND
26820 looser      20   0   74340   3408   2536 S   0,0  0,0   0:00.01 test
26821 looser      20   0   74340   3408   2536 S   0,0  0,0   0:00.01 test


var.2 top:
Код: plaintext
1.
2.
3.
  PID USER        PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND
26596 looser      20   0  139876   3452   2580 S   0,0  0,0   0:00.04 test
26597 looser      20   0  139876   3452   2580 S   0,0  0,0   0:00.04 test


VIRT 139876 это не выделенная память, а выделенная непрерывная область адресов VMA виртуальной памяти, которая пока uncommited. После первого обращения к ней, например, инициализации будет происходить постраничный commit с созданием PTE для каждой страницы - т.е. выделением физической памяти. Видимо рантайм используя mmap() заранее выделил непрерывную область адресов, чтобы если в неё накомитишь мелких объектов, а потом удалишь их, чтобы можно было её повторно использовать для больших объектов/массивов.
Обычно она выделяется функциями VirtualAllocEx() в Windows, или mmap() в POSIX (Linux, ...).
Её можно выделять хоть в миллион раз больше реальной физической памяти.

Any way to reserve but not commit memory in linux?

https://www.opennet.ru/base/sys/procps_info.txt.html VIRT -- общий объем виртуальной памяти, используемой процессом,
включает в себя: область кода (CODE), данные (DATA), разделяемые
библиотеки (SHARED) и страницы, перемещенные в swap-область
памяти. Если приложение потребовало от ядра выделить ему 100Мб
памяти, а использует всего 5 Мб, данный столбец всё равно будет
показывать цифру 100.
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279232
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andrej_f,
суть проблемы - нервная диагностика.

хочешь верной - запусти под valgrind.
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279339
Andrej_f
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вася Уткин,

По вашей ссылке:авторThe Linux equivalent of VirtualAlloc() is mmap(), which provides the same behaviours. However as a commenter points out, reservation of contiguous memory is the behaviour of calls to malloc() as long as the memory is not initialized (such as by calloc() , or user code).Кроме того, инфа на "стаковерфлов" не от разработчиков linux/gnu, полностью ей доверять нельзя.

Своими же глазами я вижу, что каждый запущенный поток, вызвавший malloc/calloc, получает отдельные 65 мегабайт памяти. У меня пока висит чуть более 10 потоков, занимающих вместе полтора гига, пусть даже и VIRT, пусть она и не commited, а только reserved, но где написано, что зарезервированная память отдается другим потокам/процессам/системе при общей нехватке?

Мне нужны сотни потоков, не жрущие каждый по ненужным им десяткам мегабайт.
Пока что я выяснил, что функции, неявно использующие malloc при вызове из потока вызывают "утечку" памяти. Меняю их.
Да, память должна возвращаться системе после уничтожения потока, но нерационально выделять/резервировать так много.

MasterZivхочешь верной - запусти под valgrindЗапускал. Утечек он не находит (кроме pthread_create в определенных случаях, но это фича valgrind). Но он и не считает утечкой то, что считаю я, с его точки зрения такой расход памяти нормален (технически это не утечка), с моей нет.

Буду отписываться по мере продвижения.
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279341
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andrej_fгде написано, что зарезервированная память отдается другим потокам/процессам/системе при
общей нехватке?

Нигде. Потому что она не отдаётся. У каждого 32-х разрядного процесса свои собственные
четыре гигабайта адресного пространства. Процесс чисто технически не может поделиться ими
с кем-то ещё.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279344
Andrej_f
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakov,

Хорошо, это я уже понял, непонятно другое - в мануалах пишут о том, что потоки в линуксе используют общее адресное пространство основного процесса.
Я же вижу, что каждый отдельный поток получает собственную кучу как только запрашивает кусочек памяти.
И да, технически эта новая куча становится частью общего пространства, только вот используется только этим потоком, заставляя каждый новый поток получать десятки мегабайт в ответ на запрос десятка байт.
Или я чего то не понимаю.
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279345
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andrej_fзаставляя каждый новый поток получать десятки мегабайт в ответ на запрос десятка байт.
Или я чего то не понимаю.
Ты не понимаешь, что память выделяется страницами по 4к. А твоими мегабайтами выделяется
адресное пространство. Это две разные вещи.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279350
Владимир2012
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Андрей /без обид/.
Расскажу вам об том как нахожу ответ на свои вопроса.
В редких случаях /близко к нулю/ у кого-то прошу совета.
Почему?
Иначе мысль начинает думать не как решить вопрос, а у кого найти ответ.
И времени при этом тратится больше и знаний от этого "не приходят".

Ни к тому это вам написал, чтобы вы в форуме не просили помощи ...
Ваше право выбрать более приемлемый для вас путь.

PS: Организация памяти процесса https://habrahabr.ru/company/smart_soft/blog/185226/
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279354
Владимир2012
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Владимир2012PS: Организация памяти процесса https://habrahabr.ru/company/smart_soft/blog/185226/ http://duartes.org/gustavo/blog/category/linux/
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279359
Вася Уткин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Andrej_fВася Уткин,

По вашей ссылке:авторThe Linux equivalent of VirtualAlloc() is mmap(), which provides the same behaviours. However as a commenter points out, reservation of contiguous memory is the behaviour of calls to malloc() as long as the memory is not initialized (such as by calloc() , or user code).Кроме того, инфа на "стаковерфлов" не от разработчиков linux/gnu , полностью ей доверять нельзя.

Своими же глазами я вижу, что каждый запущенный поток, вызвавший malloc/calloc, получает отдельные 65 мегабайт памяти. У меня пока висит чуть более 10 потоков, занимающих вместе полтора гига, пусть даже и VIRT, пусть она и не commited, а только reserved , но где написано, что зарезервированная память отдается другим потокам/процессам/системе при общей нехватке?

Людям с репутацией 200 000 на стаковерфлов доверять нельзя, а мне можно.
А если серьёзно, мои программы и по 1 Петабайту VIRT памяти имеют на железе с 0.25 терабайта RAM, ничего не свопят и работают так быстро, как ни у кого, и чего?
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279360
Владимир2012
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
И снова о памяти в Linux - /proc/meminfo http://markelov.blogspot.com/2009/01/linux-procmeminfo.html
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279362
Владимир2012
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вася УткинА если серьёзно, мои программы и по 1 Петабайту VIRT памяти имеют на железе с 0.25 терабайта RAM, ничего не свопят и работают так быстро, как ни у кого, и чего?Помнится в 2000-х у меня на DX-33 c 2MB RAM /без hdd и дисководов/ WIN-98 работала.
Мини ядро было собрано на базе Slacware.
И сейчас уж не помню, как Windows 98 грузил ... /но стартовала и работала/.
Вот это действительно интересно.
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279381
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andrej_fУ меня пока висит чуть более 10 потоков, занимающих вместе полтора гига, пусть даже и VIRT, пусть она и не commited, а только reserved, но где написано, что зарезервированная память отдается другим потокам/процессам/системе при общей нехватке?
Не смущает что есть два разных термина reserved и commited ? Если бы память сразу отдавалась, то зачем два разных слова для одного и того же действия?

reserved просто сообщает ОС что конкретное виртуальное адресное пространство может быть использовано программой. В случае обращения программой в это место ОС подставит реальную память т.е. commited, причем не одним большим куском, а страницами по 4 Кб, т.е. например создашь массив на 10 Кб, займешь всего 12 Кб реальной.

Почитай что такое виртуальная память и как она устроена.
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279455
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Тут много всяких нелинейностей. Поскольку автор не юзает выделенную память
то по всей видимости работает механизм optimistic memory allocation.
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279465
д0k
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Владимир2012Вообщем вот ответ:

However, one counter-example occurs on PPC64 kernels whereby a kernel using 64K as a base page size
still use 4K pages for the MMU on older processors.
To, this patch reports "MMUPageSize" as the page size by the MMU.

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
cat /proc/26596/smaps:
7faf58021000-7faf5c000000 ---p 00000000 00:00 0
Size:              65404 kB
Rss:                   0 kB                                amount of the mapping that is currently resident in RAM ("Rss")
Pss:                   0 kB                                the process proportional share of this mapping ("Pss")
Shared_Clean:          0 kB                                number of clean and dirty private pages in the mapping
Shared_Dirty:          0 kB
Private_Clean:         0 kB
Private_Dirty:         0 kB
Referenced:            0 kB                                amount of memory currently marked as referenced or accessed
Anonymous:             0 kB                                amount of memory that does not belong to any file
AnonHugePages:         0 kB
Swap:                  0 kB
KernelPageSize:        4 kB                                entry is the page size used by the kernel to back a VMA. This matches the size used by the MMU in the majority of cases.
MMUPageSize:           4 kB
Locked:                0 kB




прошу прощения ,
но это не ответ, ибо у
авторuname -a
Linux ws-dbn 3.16.0-4-amd64 #1 SMP Debian 3.16.7-ckt20-1+deb8u3 (2016-01-17) x86_64 GNU/Linux


принципиально другая аппаратная архитектура ...
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39279490
Владимир2012
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
д0kпрошу прощения ,
но это не ответ, ибо у
авторuname -a
Linux ws-dbn 3.16.0-4-amd64 #1 SMP Debian 3.16.7-ckt20-1+deb8u3 (2016-01-17) x86_64 GNU/Linux
принципиально другая аппаратная архитектура ...Let it be.
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39287752
Andrej_f
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Короче, я добился того, чего хотел.
Я не буду спорить ни с кем по поводу виртуальности адресного пространства или фрагментации памяти - для этого я слишком туп.
Для себя я добился снижения показателя VIRT в примерно 10 раз и вообще его бесконтрольного роста.
Для тех, кому интересно, ниже результаты моих изысканий. Остальные могут пинаться, сколько влезет.
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
1.
В потоках нельзя использовать функции, явно или не явно использующие выделение памяти
(см. таблицу)
----------------+-------------+-----------
Функция	        |  Замена     | 	Примечание
----------------+-------------+-----------
malloc,calloc   |  alloca     | выделение памяти в стеке, нельзя использовать free к такому объекту
dlopen          |             | загружать библиотеки вне потока, передавая в поток результат
fopen	        | open        | вместо FILE* будет int, вместо fwrite - write, и т.д.
pthread_create	|             | не вызывать из потока
pthread_exit  	| return      | http://stackoverflow.com/questions/3844678/pthread-exit-vs-return
mktime,localtime| timegm      | http://man7.org/linux/man-pages/man3/timegm.3.html (nonstandard GNU extensions)
Примечание:
timegm (nonstandard GNU extensions)- легко заменить на самописную, гуглится несколько вариантов

2.
В потоках нельзя использовать неинициализированные переменные вне функций:
	такие переменные являются глобальными и при первой инипциализации под них выделяется память
	в общем адресном пространстве программы, но блоками по несколько мегобайт:
	static __thread int a = 0;        // можно
	static __thread char *b = NULL;  // нельзя
	static __thread char c[512];     // нельзя

3.
Заканчивать поток функцией pthread_exit(void *retval) не желательно, так как она неявно использует malloc
(http://stackoverflow.com/questions/3844678/pthread-exit-vs-return)
лучше использовать return NULL;

4.
Если в потоке используются shared library, то даже изначальная инициализация внеблоковых static __thread
переменных не спасает от выделения памяти под них в момент первой модификации/обращения.
Решение:
Внеблоковые переменные надо убирать в функции и делать их static и вообще избегать использования
глобальных переменных в shared library.

Попытка изменения размера стека привела к следующему:
да, взятый прямо из man код примера установки размера стека для потока
(man pthread_create (http://man7.org/linux/man-pages/man3/pthread_create.3.html))
работает очень хорошо, но при этом выход из потока, не важно через pthread_exit или 
return не уничтожает стек автоматически, его теперь надо уничтожать вручную с помощью free.
Это означает, что detached потоки будут отжтрать память не возвращая её системе.
Передать указатель на стек в такой поток можно, но попытка применить к нему free
из этого потока вызывает крах системы.
Т.е. потоки с регулирыемым стеком не могут быть detached.
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39287800
Фотография Новый Год
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andrej_fКороче, я добился того, чего хотел.
Я не буду спорить ни с кем по поводу виртуальности адресного пространства или фрагментации памяти - для этого я слишком туп.
Для себя я добился снижения показателя VIRT в примерно 10 раз и вообще его бесконтрольного роста.
Для тех, кому интересно, ниже результаты моих изысканий. Остальные могут пинаться, сколько влезет.
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
1.
В потоках нельзя использовать функции, явно или не явно использующие выделение памяти
(см. таблицу)
----------------+-------------+-----------
Функция	        |  Замена     | 	Примечание
----------------+-------------+-----------
malloc,calloc   |  alloca     | выделение памяти в стеке, нельзя использовать free к такому объекту
dlopen          |             | загружать библиотеки вне потока, передавая в поток результат
fopen	        | open        | вместо FILE* будет int, вместо fwrite - write, и т.д.
pthread_create	|             | не вызывать из потока
pthread_exit  	| return      | http://stackoverflow.com/questions/3844678/pthread-exit-vs-return
mktime,localtime| timegm      | http://man7.org/linux/man-pages/man3/timegm.3.html (nonstandard GNU extensions)
Примечание:
timegm (nonstandard GNU extensions)- легко заменить на самописную, гуглится несколько вариантов

2.
В потоках нельзя использовать неинициализированные переменные вне функций:
	такие переменные являются глобальными и при первой инипциализации под них выделяется память
	в общем адресном пространстве программы, но блоками по несколько мегобайт:
	static __thread int a = 0;        // можно
	static __thread char *b = NULL;  // нельзя
	static __thread char c[512];     // нельзя

3.
Заканчивать поток функцией pthread_exit(void *retval) не желательно, так как она неявно использует malloc
(http://stackoverflow.com/questions/3844678/pthread-exit-vs-return)
лучше использовать return NULL;

4.
Если в потоке используются shared library, то даже изначальная инициализация внеблоковых static __thread
переменных не спасает от выделения памяти под них в момент первой модификации/обращения.
Решение:
Внеблоковые переменные надо убирать в функции и делать их static и вообще избегать использования
глобальных переменных в shared library.

Попытка изменения размера стека привела к следующему:
да, взятый прямо из man код примера установки размера стека для потока
(man pthread_create (http://man7.org/linux/man-pages/man3/pthread_create.3.html))
работает очень хорошо, но при этом выход из потока, не важно через pthread_exit или 
return не уничтожает стек автоматически, его теперь надо уничтожать вручную с помощью free.
Это означает, что detached потоки будут отжтрать память не возвращая её системе.
Передать указатель на стек в такой поток можно, но попытка применить к нему free
из этого потока вызывает крах системы.
Т.е. потоки с регулирыемым стеком не могут быть detached.



мне кажется, что многое из этого не правильно
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39287801
Фотография Новый Год
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andrej_f
Код: plaintext
1.
2.
3.
4.
----------------+-------------+-----------
Функция	        |  Замена     | 	Примечание
----------------+-------------+-----------
malloc,calloc   |  alloca     | выделение памяти в стеке, нельзя использовать free к такому объекту



у тебя вот тут то же самое, что alloca()

void *db_thread(void *)
{
char c[100];
sleep(9);
return NULL;
}

попробуй подставить вместо 100 переменную, очень удивишься
gcc позволяет создавать массивы переменной длины, если явно их не запретить
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39287804
Фотография Новый Год
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andrej_f
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
2.
В потоках нельзя использовать неинициализированные переменные вне функций:
	такие переменные являются глобальными и при первой инипциализации под них выделяется память
	в общем адресном пространстве программы, но блоками по несколько мегобайт:
	static __thread int a = 0;        // можно
	static __thread char *b = NULL;  // нельзя
	static __thread char c[512];     // нельзя



выделение памяти под int ничем не отличается от выделения памяти под char*

в C++11 есть thread_local переменные
http://en.cppreference.com/w/cpp/keyword/thread_local
наверно ими нужно пользоваться
static __thread наверно то же самое, в ассемблерный листинг посмотреть лень, там видно такие вещи
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39287806
Фотография Новый Год
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andrej_f
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
да, взятый прямо из man код примера установки размера стека для потока
(man pthread_create (http://man7.org/linux/man-pages/man3/pthread_create.3.html))
работает очень хорошо, но при этом выход из потока, не важно через pthread_exit или 
return не уничтожает стек автоматически, его теперь надо уничтожать вручную с помощью free.
Это означает, что detached потоки будут отжтрать память не возвращая её системе.
Передать указатель на стек в такой поток можно, но попытка применить к нему free
из этого потока вызывает крах системы.
Т.е. потоки с регулирыемым стеком не могут быть detached.



по-моему, ты путаешь stack и heap
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39287823
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Судя по всему, ТС как Дон Кихот сражался с меньницами и победил их.
Я рад.
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39288093
Andrej_f
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Новый Годмне кажется, что многое из этого не правильноДа, я то же по учебнику делал сначала.
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39288096
Andrej_f
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Новый Годпопробуй подставить вместо 100 переменную, очень удивишься
gcc позволяет создавать массивы переменной длины, если явно их не запретитьЧему удивлюсь? Вы думаете, я этого не знал?
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39288110
Andrej_f
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Новый Годпо-моему, ты путаешь stack и heapДа вроде нет.
Каждый новый поток создается со стеком, размер которого по умолчанию определен системой, посмотреть можно ulimit -s, в моём случае это 8МБ.
С помощью pthread_attr_setstacksize можно задать свой размер стека (а на с помощью pthread_attr_setstacksize, как пишут во многих местах).
Если у меня 100 потоков, каждый отъест 8МБ для стека.
Что я напутал?
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39288114
Andrej_f
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andrej_fС помощью pthread_attr_setstacksize можно задать свой размер стека (а на с помощью pthread_attr_setstacksize, как пишут во многих местах)Упс, ошибочка, читать так:
С помощью pthread_attr_setstack можно задать свой размер стека (а не с помощью pthread_attr_setstacksize, как пишут во многих местах)
...
Рейтинг: 0 / 0
Помогите, пожалуйста, с malloc в shared library, gcc, linux
    #39288118
Andrej_f
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
MasterZivСудя по всему, ТС как Дон Кихот сражался с меньницами и победил их.
Я рад.Ну раз все рады, то и я рад.
Возможно, я боролся с мельницами, и даже весьма вероятно, ибо это первая моя программа под линукс и первое знакомство с gcc.
Главное, что я удовлетворён, тем, что мой демон в работе показывает 250 МБ VIRT и 5932 RES со всеми своими потоками, а не гигабайты, как было раньше. Я так сплю спокойней, ибо серверок мой, а не дядин, и на нем всего 18 ГБ памяти, а задач крутится не мало.
...
Рейтинг: 0 / 0
58 сообщений из 58, показаны все 3 страниц
Форумы / C++ [игнор отключен] [закрыт для гостей] / Помогите, пожалуйста, с malloc в shared library, gcc, linux
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]