|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
private<...>Это то (на основе статей и книги Б. Гейтса), что будет следующим основным направлениме Microsofta, когда они выжмут все что осталось с традиционной схемы. Не надо заблуждаться: Гейтс - всего лишь сейл, удачливый, высокопоставленный и имеющий возможность заказывать то, что собирается продавать. А чтобы продавать - надо всё время делать что-то новое, пусть даже не очень полезное. private И этот подход настолько-же лучше традиционной схемы как сотовые лучше стационарных телефонов. Вобщем, в будущем будет 2 типа программистов, те, которые знают и используют грид/клоуд и те, которые вышли на пенсию. Это вряд ли. 1) Распараллеливаемые задачи являются редкими, а отложенные распараллеливаемые - ещё более редкими. 2) Задачи, для которых бы не хватило мощности одного процессора одного современного компьютера, являются редкими. 3) Задачи, которые стоили бы того, чтобы решать их при помощи распределённого grid, и которые нельзя решить по-другому, хотя бы своевременной оптимизацией кода, являются редкими. А распараллеливать вычисления, раздавая на 1000 компьютеров программу на VBA - всё равно, что прикручивать реактивный двигатель к телеге. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.11.2008, 22:58 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
AlexTheRaven Не надо заблуждаться: Гейтс - всего лишь сейл, удачливый, высокопоставленный и имеющий возможность заказывать то, что собирается продавать. А чтобы продавать - надо всё время делать что-то новое, пусть даже не очень полезное. да нет, он не просто "удачливый" (контрпример "удачливого" - Стив Джобс) - он достаточно трезво и продуманно просчитывает свои шаги. Он ничего не изобретает (незачем) - он покупает изобретателей и даёт им возможности воплощать свои идеи - именно поэтому столь часто и много охаиваемый мелкософт на плаву (вопреки предсказаниям о скорой кончине повторяющимся из года в год). ... |
|||
:
Нравится:
Не нравится:
|
|||
26.11.2008, 07:55 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
На мой взгляд, область где грид получит своё коммерческое воплощение в ближайшее время - интернет сервисы и хранение данных. Ну а в оффисных сетях малого и среднего размера всё равно нет задач, которые бы требовали такой консолидации вычислительных ресурсов. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.11.2008, 08:03 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
Значит кроме использующих готовый Oracle, GRID-ом никто не пользуется в своих программах. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.11.2008, 08:27 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
Алексей МорозовЗначит кроме использующих готовый Oracle, GRID-ом никто не пользуется в своих программах. настоятельно рекомендую зайти на форум "работа" и посмотреть что нынче используется "в своих программах". Есть ещё сайты по удалённой работе. Или тебя деньги не интересуют наверно. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.11.2008, 09:13 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
GRID успешно освоен.Интересно,какой будет очередной ПУКС? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.11.2008, 09:15 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
Petro123настоятельно рекомендую зайти на форум "работа" и посмотреть что нынче используется "в своих программах". Есть ещё сайты по удалённой работе. Или тебя деньги не интересуют наверно. Я не верю в адекватность форума "Работа". Инновации - это единственный способ завоевать кусочек рынка. Единственный серьезный довод против ГРИДА - работы много, а результата мало. Но то, что ГРИД-ами занимаются ВСЕ лидеры рынка, заставляет чуть-чуть задуматься. И все меняется, основные ограничения распределенных вычислений - медленная сеть и слабые компьютеры пользователей, уже не актуальны. Некоторое время назад так-же относились к многопроцессорным компьютерам. И этот разговор не серьезный. Просто обсудить развитие ИТ отрасли (неприменимое к вашей работе) и сбить бессмысленный и неаргументированный пафос с учасников этой группы. В общем, есть тенденция - ГРИД. Есть теория, что задача будет выполнена быстрее хоть на 10%, но быстрее. Быстрее - значит дешевле. Дешевле - значит приимущество на рынке. А если еще MS или IBM начнет пиарить ГРИД, то приписка "based on GRID-technology" тоже даст приимущество. Но еще раз повторюсь, это просто разговор - если бы даже я ахотел, что то разработать в этом направлении, сейчас я должен зарабатывать деньги и заканчивать ПУ. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.11.2008, 09:34 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
Алексей Морозов Я не верю в адекватность форума "Работа". :) а где ж "обоснование", коим ты любишь заниматься. Как далёк ты от "народа". ... |
|||
:
Нравится:
Не нравится:
|
|||
26.11.2008, 09:46 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
Petro123 :) а где ж "обоснование", коим ты любишь заниматься. Как далёк ты от "народа". А ты любишь менять тему треда (оффтопик). И обоснование хочешь услышать не ради обоснования, а ради того, что бы я написал кучу провокационных выводов не по теме. Posted via ActualForum NNTP Server 1.4 ... |
|||
:
Нравится:
Не нравится:
|
|||
26.11.2008, 09:50 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
Алексей Морозов, я думаю что эту тему ты создал чтобы "поговорить ... об этом". Эта задача перед тобой не стоит "в полный рост". Удачи! ... |
|||
:
Нравится:
Не нравится:
|
|||
26.11.2008, 10:05 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
Petro123 я думаю что эту тему ты создал чтобы "поговорить ... об этом". Эта задача перед тобой не стоит "в полный рост". Удачи! Давай говорить о гриде, расскажи нам почему он тебе нафиг не нужен :) Posted via ActualForum NNTP Server 1.4 ... |
|||
:
Нравится:
Не нравится:
|
|||
26.11.2008, 10:11 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
Алексей Морозов Давай говорить о гриде, расскажи нам почему он тебе нафиг не нужен :) потому что мне платят не за время компиляции :). А дома жена не даст фигнёй заниматься ;) ... |
|||
:
Нравится:
Не нравится:
|
|||
26.11.2008, 10:16 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
Алексей Морозов > Что из себя представляет весь проект? > Как много файлов? 80 .cpp файлов, 80 .h файлов, и 10000 неизменяющихся файлов. > По какому принципу поделили файлы между компами? Программа "заказщик" подключается к TELNET-серверу сетевых компьютеров, и выполняет команды (copy, cl). Я может недостаточно точно выразился... Вы же должны были РАСПРЕДЕЛИТЬ нагрузку, а не заставить 3 компа проделать одну и ту же работу (иначе как Вы получили почти 3-кратное ускорение?). Вот я и интересуюсь: каким образом (по какому алгоритму) Вы эту нагрузку распределяли: эти файлы для компиляции - тебе, эти - тебе, а эти - тебе... Хотя я знаю как можно при определённых условиях получить троекратное ускорение :) Просто запустить одну и ту же задачу на разных компах, а временем выполнения задачи считать время того компа, который выполнил задачу быстрее всех. Если это была НАМНОГО более мощная машина, чем Ваша, и эта машина не занималась другой более полезной работой - выигрыш налицо ... |
|||
:
Нравится:
Не нравится:
|
|||
26.11.2008, 10:20 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
Алексей Морозов > Как готовили среду для перекомпиляции на этих компах? Вы точно позаботились, чтобы результат распределённой компиляции был точно таким же, как и результат "одиночной"? Сколько это заняло времени? На компьютерах уже была установлена MC VC++ Я именно об этом. Можете время установки включить в суммарную длительность компиляции. На вашем примере это время может показаться несущественным, но я советую поставить зарубку на память про этот факт. В других распараллеливаемых задачах на произвольно взятом компе (а может даже ни на одном компе, кроме Вашего!) может не найтись нужная программа (всё тот же компилятор), и тогда время подотовки среды (копирования программы обработка) точно прийдётся включать в длительность "процесса параллельной компиляции". ... |
|||
:
Нравится:
Не нравится:
|
|||
26.11.2008, 10:20 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
Алексей Морозов > Сколько составляет абсолютное время копирования и компиляции? Измерялось время от нажатия СТАРТ до завершения полной компиляции проекта. Я интересовался ответом на вопрос "Сколько?" (1 сек, 10 сек, 2 мин), а не "Какое время вы измеряли?". Для сравнения, конечно же, нужны оба замера: и "одиночной компиляции", и "параллельной". ... |
|||
:
Нравится:
Не нравится:
|
|||
26.11.2008, 10:21 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
Алексей Морозов > Всегда ли компы будут простаивать и ждать своей очереди, когда вы им задание на перекомпиляцию пришлёте? Непонял. Я к тому что у вас 3 компа не стоят "просто так", и не всегда готовы обслуживать ваши задачи по перекомпиляции: как минимуи они могут быть заняты другими задачами... ... |
|||
:
Нравится:
Не нравится:
|
|||
26.11.2008, 10:21 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
Неужели тебе не хотелось заставить какой нибудь медленный алгоритм выполнятся быстрее. К пример есть OpenMP, и программисту достаточно написать "#pragma ..." перед циклом, и цикл распаралелится. А нехотелось бы написать "#pragma grid", этот пример не описывает всю крутизну грида, но всё же? Posted via ActualForum NNTP Server 1.4 ... |
|||
:
Нравится:
Не нравится:
|
|||
26.11.2008, 10:21 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
Алексей Морозов > Я думаю, вы позаботились о том, что файлы на 3 компа были скопированы из одной и той же папки и папка в процессе копирования не менялась... А как это будет происходить в случае использования системы контроля версий? Сколько времени будет занимать подготовка "измененных файлов проекта" на этих 3 компах (в том числе и в процентном соотношении по отношению ко всему времени выполнения "процесса перекомпиляции")? Точно так-же. Это при условии, что перед началом процесса копирования, на каждом из трёх компов исходное состояние совпадает... Или в своем эксперименте вы копировали все "10000 неизменяющихся файлов" - и это время копирования вошло в замер? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.11.2008, 10:22 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
Алексей Морозов > А что будет, если один из компьютеров "сбойнёт"? Варианты: > 1) Комп заражен вирусом, и антивирус остановил процесс поскольку компилятор стал заражённым > 2) Был нагружен процессор и разработчик остановил тормозящий систему процесс > 3) Придумайте сами что-то совсем уж страшное и реальное в конторе на 10 компов с интернетом, без БИПов, ... Банально, компиляция продолжится без недоступного компа. А то, что компилятор неправильно скомпилирует файл, может произойти и на одиночном компьютере. > Сколько в таком случае понадобиться времени на выяснение аварийной ситуации в процессе и перераспределение недоделанной части процесса? А сколько нужно убить времени чтобы построить такую отказоустойчивую систему для "процесса перекомпиляции"?... 0 cек Что значит "компиляция продолжится"? В смысле нагрузка будет распределена между 2 компами? Серьёзно? Целых 0 секунд? Процесс компиляции на компе №3 успешно запустился - и через 2 секунды "повис". Каким образом за 0 секунд Вы (Ваша программа) так оперативно за 0 секунд определит что "кина не будет", откажется от ожидания окончания процесса на компе №3 и запустит недоделанную работу на двух оставшихся компах. И где же тогда опять 3-кратный выигрыш? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.11.2008, 10:22 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
Алексей Морозов > П.С.: Не те объёмы придумываемых задач, чтобы получить реальный выигрыш... Тем более в линейном виде, как вы его себе радужно рисуете... Это просто 1 из миллиона примеров, кстати удачный. Удачный в каком смысле? :) Дарю более "удачный" пример, на котором немалая часть приведённых мной наводящих вопросов будет менее существенна. Зайдём издалека: как в Вашем ПУ обстоит дело с тестированием функционала? Как проверить работоспособность всех "прикладных" програмных скриптов в системе после внесения сщественных изменений в "ядро"? Есть ли у Вас атоматизированное тестирование? Если да, сколько времени займёт полный цикл автоматизированного теста? Вот это и есть удачный пример, на котором можно сэкономить время существенно . И на котором не так важны отличия в среде на разных компьютерах: эти отличия как раз таки создают дополнительное влияние, эмулирую "промышленное" использование системы. И на этом же примере видно, что таки время подготовки среды - тоже важная составляющая (копирование функционала, который и будет работать на этом - поскольку версия ПО для тестирования то новая). ... |
|||
:
Нравится:
Не нравится:
|
|||
26.11.2008, 10:23 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
АнатоЛой Я может недостаточно точно выразился... Вы же должны были РАСПРЕДЕЛИТЬ нагрузку, а не заставить 3 компа проделать одну и ту же работу (иначе как Вы получили почти 3-кратное ускорение?). Вот я и интересуюсь: каким образом (по какому алгоритму) Вы эту нагрузку распределяли: эти файлы для компиляции - тебе, эти - тебе, а эти - тебе... Хотя я знаю как можно при определённых условиях получить троекратное ускорение :) Просто запустить одну и ту же задачу на разных компах, а временем выполнения задачи считать время того компа, который выполнил задачу быстрее всех. Если это была НАМНОГО более мощная машина, чем Ваша, и эта машина не занималась другой более полезной работой - выигрыш налицо Я писал уже, отвечу более развернуто. 1) Трём компиляторам отдаются компилироваться 3 файла, остальные файлы помещаются в очередь. 2) Как только один из компиляторов закончил работу, ему дается следующий файл из очереди. 3) Как только дать нечего, дожидаемся завершения работы всех компиляторов 4) Вызываем LINK АнатоЛойМожете время установки включить в суммарную длительность компиляции И этим должен заниматься ГРИД, а так-же расчитывать время выполнения задачи для правильного разпределения заданий, исходя их остатков ресурсов компьютеров (загружености, производительности). АнатоЛойинтересовался ответом на вопрос "Сколько?" (1 сек, 10 сек, 2 мин), а не "Какое время вы измеряли?". Для сравнения, конечно же, нужны оба замера: и "одиночной компиляции", и "параллельной". 30 секунд / 10 секунд. АнатоЛойЯ к тому что у вас 3 компа не стоят "просто так", и не всегда готовы обслуживать ваши задачи по перекомпиляции: как минимуи они могут быть заняты другими задачами... Если компьютер сообщит, что он занят другой задачей, то соответственно он использоваться до завершения текущей задачи не будет (я этого не делал, но проблем нет) Posted via ActualForum NNTP Server 1.4 ... |
|||
:
Нравится:
Не нравится:
|
|||
26.11.2008, 10:31 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
АнатоЛой 10000 файлов 10000 файлов это MS VC++. АнатоЛой Серьёзно? Целых 0 секунд? Процесс компиляции на компе №3 успешно запустился - и через 2 секунды "повис". Каким образом за 0 секунд Вы (Ваша программа) так оперативно за 0 секунд определит что "кина не будет", откажется от ожидания окончания процесса на компе №3 и запустит недоделанную работу на двух оставшихся компах. И где же тогда опять 3-кратный выигрыш? С такой же вероятностью повиснуть может и один компьютер, суммарное время использования компьютера не изменится. И часто у вас виснет компилятор? я не могу вспомнить ни одного случая. АнатоЛойУдачный в каком смысле? :) В том смысле, что он всегда дает прирост производительности. Posted via ActualForum NNTP Server 1.4 ... |
|||
:
Нравится:
Не нравится:
|
|||
26.11.2008, 10:36 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
Алексей Морозов Неужели тебе не хотелось заставить какой нибудь медленный алгоритм выполнятся быстрее. Морозов - взгляни выше носа, и как системщик, хотя бы (он не мыслит категориями алгоритм). Не алгоритм, а задача . А то так и будешь - "кодером". Приведи медленную задачу ... |
|||
:
Нравится:
Не нравится:
|
|||
26.11.2008, 10:44 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
мы используем алгоритмы баланса нагрузки для распределения сервисов в нашей КИС. Делали в свое время распределенную систему обработки данных реального времени с распределдением нагрузки по компьютерам на TAO-CORBA. Но все это не требует именно грид. даже кластеры в чистом виде не нужны, используется гетерогенная среда. Хотя грид, пожалуй, как мне кажется (хотя я совсем в этой области не спенциалист) ближе к гетерогенной сред, чем к кластерам. Уметь распределять задачи - мне кажется нужно уметь (сорри за тав.) . нужно понимать распределенные приложения, синхронизацию, центтрализованные и распределенные алгоритмы упарвления. Поэтому может начать с малого - сделать свои системы распределенными, причем , имеюющими баланс нагрузки, причем динамический, причем сеть должна быть масштабируемой. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.11.2008, 10:56 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
Алексей Морозов, Вопрос вам не в обиду - а вы в университете учились? Нам в свое время читали отдельно даже курс, который был прямо связан с параллельными вычислениями. Давался некоторый математический аппарат для параллельных вычислений. Много интересного между прочим. В частности, рассказывали почему 1000 компьютеров работающих в кластере не будут работать в 1000 раз быстрее, чем 1. Что не каждая задача может быть "распараллелена". Что нет универсальных алгоритмов, которые бы позволили раз - и решить задачу в ГРИДе. Вы как-то требуете "отвечать на ваш ответ". Цель то вы какую хотите достигнуть использованием ГРИДа? ГРИД - технология, в моем понимании, это как раз гетерогенная вычислительная сеть - т.е. в ГРИД могут быть включены тысячи компьютеров с разными ОС, аппаратными платформами и т.п. Вы спрашиваете, использует ли кто то в работе ГРИД? Вряд ли у многих есть такие задачи (типа поиска внеземного разума). ЗЫ по поводу вашего примера с компиляцией - в чем-то вы правы. Но ваш пример - это все таки сферический конь в вакууме. И говорить, что 3 компьютера == в 3 раза быстрее - по меньшей мере странно. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.11.2008, 10:56 |
|
|
start [/forum/topic.php?fid=33&msg=35675686&tid=1548654]: |
0ms |
get settings: |
8ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
78ms |
get topic data: |
10ms |
get forum data: |
3ms |
get page messages: |
57ms |
get tp. blocked users: |
1ms |
others: | 322ms |
total: | 497ms |
0 / 0 |