|
|
|
NFS вешает только один процессор на 100%. Остальные спят.
|
|||
|---|---|---|---|
|
#18+
Есть некий софт на RHEL5.7, который обращается в сеть через NFS3 и берёт оттуда сотни гигабайт данных, чтобы отобразить их тридэграфически. И вот иногда, при обычном скроллинге картинки, интерфейс этого софта зависает и если посмотреть top, то все процессоры в полусне и лишь один молотит на 100%. Разработчик подтверждает, что большинство модулей его софта однопроцессорны, но убеждает, что проблема не в его софте, а в NFS. Для подтверждения своих слов он делает такой эксперимент - переносит данные на локальный компьютер и действительно софту становится как-то полегче. Но это лишь эксперимент, который для корпоративной работы не подходит. Искал в интернетах и не нашёл информации как NFS вообще сотрудничает с процессорами. Действительно весь поток кидает на один процессор? Можно ли как-то распараллелить эту беду? Читал про PNFS, но кажется это не совсем то, что мне поможет. Во-первых, там тоже ничего не написано о работе с процессорами. Во-вторых, кажись наша железка не поддерживает NFS4, хотя так глубоко пока не лазил. Знаю, что необходима сетевая файловая система, но это глобальное решение, к которому прийдётся приступить позже по политическим, финансовым, техническим причинам, а сейчас хочется быстро найти элегантное решение заставить NFS3 работать с несколькими процессорами, либо как-то объединить процессоры, чтобы RHEL, или хотя бы NFS, думал, что процессоров не 8, а хотя бы 2, к примеру. Извиняюсь, если туплю. Решение ищу и найду, но паралелльно решил спросить тут вдруг кто-то такие проблемы решал практически и они не вызывают у него коллапса в мозговых процессах. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.01.2015, 10:37 |
|
||
|
NFS вешает только один процессор на 100%. Остальные спят.
|
|||
|---|---|---|---|
|
#18+
NFS - это и есть Network File System Если ваше приложение однопоточное, с чего вы взяли, что кто-то за вас распараллелит запрос к одному файловому дескриптору? Поиграйтесь размерами буферов в NFS Сеть-то у вас какая? Может 100 Mbit - тогда и скорость соответствующая (максимум 20-25 Мбайт/сек) А локальный диск более-менее нормальный раза в 3 быстрее ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.01.2015, 13:19 |
|
||
|
NFS вешает только один процессор на 100%. Остальные спят.
|
|||
|---|---|---|---|
|
#18+
администратор сиспереносит данные на локальный компьютер и действительно софту становится как-то полегче. Но это лишь эксперимент, который для корпоративной работы не подходит. Почему не подходит? Данные же можно принести не только "физически", но сделать локальными например, по айскази (поверх гигабитного/десятигигабитного канала) или по файберу. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.01.2015, 13:35 |
|
||
|
NFS вешает только один процессор на 100%. Остальные спят.
|
|||
|---|---|---|---|
|
#18+
Ivan_Pisarevsky, Вопрос не в этом. По NFS данные тоже видны как локальные. Вопрос в скорости канала, которую топик-стартер не озвучил. Кстати, 100Мбит/сек - это не ~ 20-25МБайт/сек, а лишь ~ 10 Мбайт/с. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.01.2015, 13:41 |
|
||
|
NFS вешает только один процессор на 100%. Остальные спят.
|
|||
|---|---|---|---|
|
#18+
администратор сисРазработчик подтверждает, что большинство модулей его софта однопроцессорны, но убеждает, что проблема не в его софте, а в NFS. Врёт. Если его приложение ждёт загрузки данных в одном потоке, это проблема его приложения, а не канала поступления данных. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.01.2015, 13:56 |
|
||
|
NFS вешает только один процессор на 100%. Остальные спят.
|
|||
|---|---|---|---|
|
#18+
k-nikeВопрос в скорости канала,возможно вопрос еще и в латентности, по этому параметру НФСу до айскази (а уж тем паче до файбер ченела) ой как далеко. Dimitry SibiryakovВрёт.Возможно просто тупит, или сознательно косит под дурачка, т.к. в иных случах переделка любимых однопоточных поделий в многопоточные зело хлопотна и дорогостояща. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.01.2015, 14:45 |
|
||
|
NFS вешает только один процессор на 100%. Остальные спят.
|
|||
|---|---|---|---|
|
#18+
landyNFS - это и есть Network File System Я имел в виду lustre или gfs какую-нибудь в будущем сделать, но в очень далёком будущем. landyСеть-то у вас какая? Сеть гигабитная. Все остальные приложения работают нормально. Если просто копировать, то всё вроде бы тоже хорошо. А вот с одним конкретным софтом проблема. Причём, здесь и до меня пытались выяснить почему иногда возникают тормоза - ничего не нашли. Я начал рыть и пока единственное что заметил так вот это возбуждение какого-нибудь одного процессора во время тормозов. Подумал немного углубиться в этом направлении. Dimitry SibiryakovЕсли его приложение ждёт загрузки данных в одном потоке, это проблема его приложения, а не канала поступления данных. Думаю, что с разработчиком никто сильно бодаться не будет по неким политическим соображениям, а в связи с финансовыми трудностями технических улучшений тоже не будет, поэтому разгребать эти тормоза мне доступными способами, то есть мозговыми. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.01.2015, 08:45 |
|
||
|
NFS вешает только один процессор на 100%. Остальные спят.
|
|||
|---|---|---|---|
|
#18+
администратор сиссотни гигабайт данных,это сколько в цифрах? Софтина это некий фронтэнд к некой СУБД? К какой? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.01.2015, 12:28 |
|
||
|
NFS вешает только один процессор на 100%. Остальные спят.
|
|||
|---|---|---|---|
|
#18+
администратор сисЯ начал рыть и пока единственное что заметил так вот это возбуждение какого-нибудь одного процессора во время тормозов. Подумал немного углубиться в этом направлении. Ну так углубляйся: подлови его во время 100% загрузки, подключись GDB или сними дамп, а потом посмотри backtrace всех потоков. Или запусти его под strace и посмотри что он делает. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.01.2015, 12:31 |
|
||
|
NFS вешает только один процессор на 100%. Остальные спят.
|
|||
|---|---|---|---|
|
#18+
Ivan_Pisarevskyэто сколько в цифрах? Ну проект может быть 50Гб, может 800Гб. Конечно, это не означает, что сразу все данные закачиваются на локальную машину, но думаю, что объём единовременно обрабатываемых, которые пользователи крутят и изменяют - пара Гб, которые постоянно изменяются и бегают туда-обратно по сети. Ivan_PisarevskyСофтина это некий фронтэнд к некой СУБД? К какой? К ораклу. Но в самом оракле мало данных, там буквально какие-то координаты и ещё какая-то мелочь. Оракл я мониторил - там ни блокировок, ни перегрузок. Основные тридэданные лежат в каком-то своём формате в виде обычных файлов на схд. СХД тоже мониторили изнутри, вроде отдаёт данные без усилий, не перетруждается. Dimitry SibiryakovНу так углубляйся: подлови его во время 100% загрузки, подключись GDB или сними дамп, а потом посмотри backtrace всех потоков. Или запусти его под strace и посмотри что он делает. Оно ж не постоянно тормозит. На этой неделе пока тормозов не было, тьфу-тьфу-тьфу, если в этом форуме можно плеваться. Я ещё в первом посте сказал, что пишу сюда параллельно со своими изысканиями в надежде что кто-то с подобным встречался и даст правильный пинок. С GDB не работал, а вот strace иногда использую, но во-первых, бывает, что он роняет исследуемое приложение, во-вторых, не каждую вываливаемую строку могу правильно интерпретировать. В общем, спасибо за советы! Продолжаю копать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.01.2015, 10:20 |
|
||
|
NFS вешает только один процессор на 100%. Остальные спят.
|
|||
|---|---|---|---|
|
#18+
Как предположение: Может быть дело не в скорости сети, а в кеше файловой системы? Файлы с локального диска лежат в кеше, поэтому операции с ними "быстрые". А вот насчет NFS я не уверен. Если приложение не просто читает файл, а постоянно позиционируется в файле туда-обратно, то AFAIK разница может быть на порядки (десятки,сотни раз). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.01.2015, 16:26 |
|
||
|
NFS вешает только один процессор на 100%. Остальные спят.
|
|||
|---|---|---|---|
|
#18+
С сайта Red-hat: NFS will not use the cache unless explicitly instructed... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.01.2015, 16:27 |
|
||
|
|

start [/forum/topic.php?fid=25&msg=38859870&tid=1482213]: |
0ms |
get settings: |
8ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
162ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
46ms |
get tp. blocked users: |
1ms |
| others: | 14ms |
| total: | 261ms |

| 0 / 0 |

Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...