1. Что конкретно имеют ввиду под высокими накладными расходами при переключении потоков? Мне кажется, 250 раз в секунду перезаписывать содержимое всех регистров - это фигня полная при современных частотах в район 2-3 Ггц. Вероятно имеется ввиду удар по кешам? Только кеши "привыкли" к текущему потоку, как надо всё забывать и переориентироваться на другой. Это главный враг?

2. Правильно я понимаю, что при наличии 4 физических ядер и 4 (или менее) активных потоках (остальные спят - редко получают управление) современный планировщик linux/windows/другое постарается оставить каждый тред на своём ядре?

3. Верно ли, что установленные 250 Гц в конфиге ядра - это можно понимать как "как минимум 250 шансов переключения контекста в секунду"? Шансов - ибо если пришло очередное прерывание таймера и пора переключаться, шедулер не будет переключать контекст если в этот момент все остальные процессы/потоки спят (ждут i/o, таймеров...). То есть один что-то активно вычисляющий поток будет получать подряд много квантов?

4. Я тут выше за кеши переживал... Но ведь когда много раз в секунду шедулер получает управление из обработчика прерывания таймера, это ведь тоже переключение контекста (из текущей задачи в код обработчика таймера). Это ведь наверное тоже бьёт кешам по мозгам или как?

Все эти вопросы связаны вот с чем.

У меня есть 50 очередей из 100млн заданий и 4 ядра. Я могу запустить 50 потоков на каждую очередь, либо запустить 4 потока и давать им пачки заданий. Второй случай выглядит (интуитивно) лучше - меньше переключений между тяжёлыми потоками, каждый работает на своём ядре, кеш и конвееры не сбиваются. При 50 потоках, будет больше смен контекста в смысле смен состояний кеша и конвееров и прочих подобных вещей (извините, слабо понимаю все тонкости пока).

ZyK_BotaNСистемы завоза тонн плова1.
о еще вспомнил.
если говорить про кши и поцессы(не потоки а именно процессы), то при переключении процесса - происходит подгрузка рабочего набора виртуальных страниц - в оперативку.
что может очень бить по производительности.
Давайте думать для простоты, что свопа нет, а то мы дойдём до javascript-сервисов и их задержек )

ZyK_BotaNСистемы завоза тонн плова2. Правильно я понимаю, что при наличии 4 физических ядер и 4 (или менее) активных потоках (остальные спят - редко получают управление) современный планировщик linux/windows/другое постарается оставить каждый тред на своём ядре?
моя винда так не делает. один и тот же поток, равномерно размазывает по ядрам.

eNoseСистемы завоза тонн плова2. Правильно я понимаю, что при наличии 4 физических ядер и 4 (или менее) активных потоках (остальные спят - редко получают управление) современный планировщик linux/windows/другое постарается оставить каждый тред на своём ядре? к сожалению, нет.
но существует возможность явно указать ярдо (ядра) при наличии соответствующих прав у пользователя.

Да, в винде сам наблюдаю размазывание. На linux.org.ru мне ответили, что современный линуксовый шедулер CFS "при не пределльной загрузке оставляет процессы/потоки на своих ядрах". Пытаюсь выяснить о чём речь. Ну там вообще хитро, куча разновидностей шедулеров...

ZyK_BotaNСистемы завоза тонн пловаУ меня есть 50 очередей из 100млн заданий и 4 ядра. Я могу запустить 50 потоков на каждую очередь, либо запустить 4 потока и давать им пачки заданий. Второй случай выглядит (интуитивно) лучше - меньше переключений между тяжёлыми потоками, каждый работает на своём ядре, кеш и конвееры не сбиваются. При 50 потоках, будет больше смен контекста в смысле смен состояний кеша и конвееров и прочих подобных вещей (извините, слабо понимаю все тонкости пока).

а теперь мы подошли к самому глановму - проблема 50 потоков - не только в переключении контектста, но и ресурсах.

50 - еще не сильно много, вот если запустить 1000-чи потоков, то тачка сдохнет.

решения два - пулл потокв либо зеленые потоки
Да, растёт потребление памяти на служебную информацию, но вопрос о тысячах потоков не стоит, - 50 максимум и затраты намяти на это - фигня, относительно имеющихся 32 гигов в сервере.

Самое интересное в том, как само переключение контекста на 4-ядерной машине различается для 4 и для 50 потоков. В чём разница. Ведь если я поставил в настройках ядра linux частоту таймера = 250 Гц, то чаще потоки переключаться не будут, т.е. и 4 потока и 50 - будут переключаться с одинаковой частотой.

Одна надежда - что при кол-ве потоков = кол-ву ядер, шедулер будет оставлять все потоки на своих ядрах, что, как выяснено выше, не гарантируется.

Тогда какая разница между 4 и 50 тяжёлыми потоками, при отсутствии свопа и огромной RAM и 4-х ядрах?

OoCcСистемы завоза тонн пловапропущено...

Да, растёт потребление памяти на служебную информацию, но вопрос о тысячах потоков не стоит, - 50 максимум и затраты намяти на это - фигня, относительно имеющихся 32 гигов в сервере.

Самое интересное в том, как само переключение контекста на 4-ядерной машине различается для 4 и для 50 потоков. В чём разница. Ведь если я поставил в настройках ядра linux частоту таймера = 250 Гц, то чаще потоки переключаться не будут, т.е. и 4 потока и 50 - будут переключаться с одинаковой частотой.

Одна надежда - что при кол-ве потоков = кол-ву ядер, шедулер будет оставлять все потоки на своих ядрах, что, как выяснено выше, не гарантируется.

Тогда какая разница между 4 и 50 тяжёлыми потоками, при отсутствии свопа и огромной RAM и 4-х ядрах?
1. кол-ве потоков = кол-ву ядер работает только в случае если твои потоки ничего не ждут, иначе и 50 может быть мало.
2. при наличии кэша третьего уровня 4 или 50 потоков разницы практически нет и привязка к ядрам уже не актуальна.
1. Да, мои потоки ничего не ждут, я об этом по-моему постоянно пишу. Никакого ввода-вывода, блокирования, сна...
2. Получается 4 и 50 тяжёлых потоков - один хрен? Но как же так? Ведь если каждый выполняется на своём ядре долгое время, то кеши L1, L2, конвееры (и что там ещё) будут меньше сбиваться?

OoCcСистемы завоза тонн пловапропущено...

1. Да, мои потоки ничего не ждут, я об этом по-моему постоянно пишу. Никакого ввода-вывода, блокирования, сна...
2. Получается 4 и 50 тяжёлых потоков - один хрен? Но как же так? Ведь если каждый выполняется на своём ядре долгое время, то
кеши L1, L2, конвееры (и что там ещё) будут меньше сбиваться?
1. Тогда зачем тебе 50 тредов?
Проще код.

Небольшой вопрос тем, кто серьёзно изучает современные процы и планировщики ОС.

Вот процессор с 1 ядром выполняет какой-то тяжёлый поток, который 100% времени ядра что-то считает. Как на этом потоке сказывается происходящее 1000 раз в секунду прерывание системного таймера с передачей управления на обработчик этого прерывания? Происходит ли какой-то неприятный сбой каких-то кешей и конвееров, потеря каких-нибудь предсказаний ветвлений, от которых потом ещё много тактов ощущаются последствия? Промахи всякие и т.п.

Вопрос вот к чему.

Представьте 4-х ядерный проц. На всех 4-х ядрах выполняются тяжёлые потоки, которые никогда не спят, считают. 250 раз в секунду возникает прерывание системного таймера, какие-то другие события редкие происходят. И все они выполняются, допустим, на каком-то ядре. Системный таймер - тот вообще наверное только на ядре номер 0 выполняется, как и все прочие аппаратные.

В такой схеме на каком-нибудь ядре номер 2 долгое время может быть ситуация, когда непрерывно выполняется один поток, ибо шедулеру больше нечего туда шедулить, больше тяжёлых потоков нет, вся мелочёвка выполняется периодически на разных ядрах, все системные обработчики - на ядре 0.

Теперь представьте, что запустили ещё 4 таких же тяжёлых потока с таким же приоритетом. На том самом ядре номер 2 начнётся ситуация разделения времени между двумя потоками поровну.

Вопрос: как 2 потока быстрее выполнят общий объём работы A: если сначала непрерывно отработает один поток, потом непрерывно второй, или когда они будут переключаться 250 раз в секунду?

Подозреваю, что в первом случае быстрее. Но НА СКОЛЬКО будет замедление во втором случае? На время выполнения кода сохранения-восстановления содержимого регистров, многократно исполняющегося за время работы потоков? А скажутся ли какие-то сбивания конвееров и кешей и как именно, если да?

Ух...

White OwlДа. Переключение между процессами даст некоторую задержку. Какую именно - зависит от ОС и процессора на который эта ОС рассчитана.
Мне кажется я пытаюсь задавать вопрос независимо от ОС, имея ввиду современные процы intel. Вопрос-то основной не в том, сколько времени конкретная ОС переключает задачи, а как это ощущает проц со всеми своими кешами, конвеерами, предсказаниями и т.п.