powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Кто что думает о новой технологии GRID ?
25 сообщений из 107, страница 3 из 5
Кто что думает о новой технологии GRID ?
    #35675270
AlexTheRaven
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
private<...>Это то (на основе статей и книги Б. Гейтса), что будет следующим основным направлениме Microsofta, когда они выжмут все что осталось с традиционной схемы.
Не надо заблуждаться: Гейтс - всего лишь сейл, удачливый, высокопоставленный и имеющий возможность заказывать то, что собирается продавать. А чтобы продавать - надо всё время делать что-то новое, пусть даже не очень полезное.

private
И этот подход настолько-же лучше традиционной схемы как сотовые лучше стационарных телефонов.

Вобщем, в будущем будет 2 типа программистов, те, которые знают и используют грид/клоуд и те, которые вышли на пенсию.
Это вряд ли.
1) Распараллеливаемые задачи являются редкими, а отложенные распараллеливаемые - ещё более редкими.
2) Задачи, для которых бы не хватило мощности одного процессора одного современного компьютера, являются редкими.
3) Задачи, которые стоили бы того, чтобы решать их при помощи распределённого grid, и которые нельзя решить по-другому, хотя бы своевременной оптимизацией кода, являются редкими. А распараллеливать вычисления, раздавая на 1000 компьютеров программу на VBA - всё равно, что прикручивать реактивный двигатель к телеге.
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35675443
igor250973
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AlexTheRaven
Не надо заблуждаться: Гейтс - всего лишь сейл, удачливый, высокопоставленный и имеющий возможность заказывать то, что собирается продавать. А чтобы продавать - надо всё время делать что-то новое, пусть даже не очень полезное.

да нет, он не просто "удачливый" (контрпример "удачливого" - Стив Джобс) - он достаточно трезво и продуманно просчитывает свои шаги. Он ничего не изобретает (незачем) - он покупает изобретателей и даёт им возможности воплощать свои идеи - именно поэтому столь часто и много охаиваемый мелкософт на плаву (вопреки предсказаниям о скорой кончине повторяющимся из года в год).
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35675448
igor250973
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
На мой взгляд, область где грид получит своё коммерческое воплощение в ближайшее время - интернет сервисы и хранение данных. Ну а в оффисных сетях малого и среднего размера всё равно нет задач, которые бы требовали такой консолидации вычислительных ресурсов.
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35675467
Алексей Морозов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Значит кроме использующих готовый Oracle, GRID-ом никто не пользуется в своих программах.
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35675518
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Алексей МорозовЗначит кроме использующих готовый Oracle, GRID-ом никто не пользуется в своих программах.
настоятельно рекомендую зайти на форум "работа" и посмотреть что нынче используется "в своих программах".
Есть ещё сайты по удалённой работе. Или тебя деньги не интересуют наверно.
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35675520
ГРИД
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
GRID успешно освоен.Интересно,какой будет очередной ПУКС?
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35675550
Алексей Морозов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Petro123настоятельно рекомендую зайти на форум "работа" и посмотреть что нынче используется "в своих программах".
Есть ещё сайты по удалённой работе. Или тебя деньги не интересуют наверно.

Я не верю в адекватность форума "Работа".

Инновации - это единственный способ завоевать кусочек рынка. Единственный серьезный довод против ГРИДА - работы много, а результата мало. Но то, что ГРИД-ами занимаются ВСЕ лидеры рынка, заставляет чуть-чуть задуматься. И все меняется, основные ограничения распределенных вычислений - медленная сеть и слабые компьютеры пользователей, уже не актуальны. Некоторое время назад так-же относились к многопроцессорным компьютерам.

И этот разговор не серьезный. Просто обсудить развитие ИТ отрасли (неприменимое к вашей работе) и сбить бессмысленный и неаргументированный пафос с учасников этой группы.

В общем, есть тенденция - ГРИД. Есть теория, что задача будет выполнена быстрее хоть на 10%, но быстрее. Быстрее - значит дешевле. Дешевле - значит приимущество на рынке. А если еще MS или IBM начнет пиарить ГРИД, то приписка "based on GRID-technology" тоже даст приимущество.

Но еще раз повторюсь, это просто разговор - если бы даже я ахотел, что то разработать в этом направлении, сейчас я должен зарабатывать деньги и заканчивать ПУ.
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35675567
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Алексей Морозов
Я не верю в адекватность форума "Работа".

:) а где ж "обоснование", коим ты любишь заниматься.
Как далёк ты от "народа".
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35675579
Алексей Морозов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Petro123
:) а где ж "обоснование", коим ты любишь заниматься.
Как далёк ты от "народа".


А ты любишь менять тему треда (оффтопик). И обоснование хочешь услышать не
ради обоснования, а ради того, что бы я написал кучу провокационных выводов
не по теме.


Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35675613
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Алексей Морозов,

я думаю что эту тему ты создал чтобы "поговорить ... об этом".
Эта задача перед тобой не стоит "в полный рост". Удачи!
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35675634
Алексей Морозов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Petro123
я думаю что эту тему ты создал чтобы "поговорить ... об этом".
Эта задача перед тобой не стоит "в полный рост". Удачи!


Давай говорить о гриде, расскажи нам почему он тебе нафиг не нужен :)


Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35675655
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Алексей Морозов
Давай говорить о гриде, расскажи нам почему он тебе нафиг не нужен :)

потому что мне платят не за время компиляции :). А дома жена не даст фигнёй заниматься ;)
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35675665
АнатоЛой
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Алексей Морозов
> Что из себя представляет весь проект?
> Как много файлов?
80 .cpp файлов, 80 .h файлов, и 10000 неизменяющихся файлов.

> По какому принципу поделили файлы между компами?
Программа "заказщик" подключается к TELNET-серверу сетевых компьютеров, и выполняет команды (copy, cl).

Я может недостаточно точно выразился... Вы же должны были РАСПРЕДЕЛИТЬ нагрузку, а не заставить 3 компа проделать одну и ту же работу (иначе как Вы получили почти 3-кратное ускорение?). Вот я и интересуюсь: каким образом (по какому алгоритму) Вы эту нагрузку распределяли: эти файлы для компиляции - тебе, эти - тебе, а эти - тебе...
Хотя я знаю как можно при определённых условиях получить троекратное ускорение :) Просто запустить одну и ту же задачу на разных компах, а временем выполнения задачи считать время того компа, который выполнил задачу быстрее всех. Если это была НАМНОГО более мощная машина, чем Ваша, и эта машина не занималась другой более полезной работой - выигрыш налицо
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35675666
АнатоЛой
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Алексей Морозов
> Как готовили среду для перекомпиляции на этих компах? Вы точно позаботились, чтобы результат распределённой компиляции был точно таким же, как и результат "одиночной"? Сколько это заняло времени?
На компьютерах уже была установлена MC VC++

Я именно об этом. Можете время установки включить в суммарную длительность компиляции. На вашем примере это время может показаться несущественным, но я советую поставить зарубку на память про этот факт. В других распараллеливаемых задачах на произвольно взятом компе (а может даже ни на одном компе, кроме Вашего!) может не найтись нужная программа (всё тот же компилятор), и тогда время подотовки среды (копирования программы обработка) точно прийдётся включать в длительность "процесса параллельной компиляции".
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35675667
АнатоЛой
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Алексей Морозов
> Сколько составляет абсолютное время копирования и компиляции?
Измерялось время от нажатия СТАРТ до завершения полной компиляции проекта.

Я интересовался ответом на вопрос "Сколько?" (1 сек, 10 сек, 2 мин), а не "Какое время вы измеряли?". Для сравнения, конечно же, нужны оба замера: и "одиночной компиляции", и "параллельной".
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35675669
АнатоЛой
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Алексей Морозов
> Всегда ли компы будут простаивать и ждать своей очереди, когда вы им задание на перекомпиляцию пришлёте?
Непонял.

Я к тому что у вас 3 компа не стоят "просто так", и не всегда готовы обслуживать ваши задачи по перекомпиляции: как минимуи они могут быть заняты другими задачами...
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35675670
Алексей Морозов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Неужели тебе не хотелось заставить какой нибудь медленный алгоритм
выполнятся быстрее. К пример есть OpenMP, и программисту достаточно написать
"#pragma ..." перед циклом, и цикл распаралелится. А нехотелось бы написать
"#pragma grid", этот пример не описывает всю крутизну грида, но всё же?


Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35675677
АнатоЛой
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Алексей Морозов
> Я думаю, вы позаботились о том, что файлы на 3 компа были скопированы из одной и той же папки и папка в процессе копирования не менялась... А как это будет происходить в случае использования системы контроля версий? Сколько времени будет занимать подготовка "измененных файлов проекта" на этих 3 компах (в том числе и в процентном соотношении по отношению ко всему времени выполнения "процесса перекомпиляции")?
Точно так-же.

Это при условии, что перед началом процесса копирования, на каждом из трёх компов исходное состояние совпадает... Или в своем эксперименте вы копировали все "10000 неизменяющихся файлов" - и это время копирования вошло в замер?
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35675679
АнатоЛой
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Алексей Морозов
> А что будет, если один из компьютеров "сбойнёт"? Варианты:
> 1) Комп заражен вирусом, и антивирус остановил процесс поскольку компилятор стал заражённым
> 2) Был нагружен процессор и разработчик остановил тормозящий систему процесс
> 3) Придумайте сами что-то совсем уж страшное и реальное в конторе на 10 компов с интернетом, без БИПов, ...
Банально, компиляция продолжится без недоступного компа. А то, что компилятор неправильно скомпилирует файл, может произойти и на одиночном компьютере.
> Сколько в таком случае понадобиться времени на выяснение аварийной ситуации в процессе и перераспределение недоделанной части процесса? А сколько нужно убить времени чтобы построить такую отказоустойчивую систему для "процесса перекомпиляции"?...
0 cек
Что значит "компиляция продолжится"? В смысле нагрузка будет распределена между 2 компами?

Серьёзно? Целых 0 секунд? Процесс компиляции на компе №3 успешно запустился - и через 2 секунды "повис". Каким образом за 0 секунд Вы (Ваша программа) так оперативно за 0 секунд определит что "кина не будет", откажется от ожидания окончания процесса на компе №3 и запустит недоделанную работу на двух оставшихся компах. И где же тогда опять 3-кратный выигрыш?
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35675686
АнатоЛой
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Алексей Морозов
> П.С.: Не те объёмы придумываемых задач, чтобы получить реальный выигрыш... Тем более в линейном виде, как вы его себе радужно рисуете...
Это просто 1 из миллиона примеров, кстати удачный.

Удачный в каком смысле? :)
Дарю более "удачный" пример, на котором немалая часть приведённых мной наводящих вопросов будет менее существенна. Зайдём издалека:
как в Вашем ПУ обстоит дело с тестированием функционала?
Как проверить работоспособность всех "прикладных" програмных скриптов в системе после внесения сщественных изменений в "ядро"?
Есть ли у Вас атоматизированное тестирование?
Если да, сколько времени займёт полный цикл автоматизированного теста?

Вот это и есть удачный пример, на котором можно сэкономить время существенно . И на котором не так важны отличия в среде на разных компьютерах: эти отличия как раз таки создают дополнительное влияние, эмулирую "промышленное" использование системы. И на этом же примере видно, что таки время подготовки среды - тоже важная составляющая (копирование функционала, который и будет работать на этом - поскольку версия ПО для тестирования то новая).
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35675715
Алексей Морозов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
АнатоЛой
Я может недостаточно точно выразился... Вы же должны были РАСПРЕДЕЛИТЬ
нагрузку, а не заставить 3 компа проделать одну и ту же работу (иначе как Вы
получили почти 3-кратное ускорение?). Вот я и интересуюсь: каким образом (по
какому алгоритму) Вы эту нагрузку распределяли: эти файлы для компиляции -
тебе, эти - тебе, а эти - тебе...

Хотя я знаю как можно при определённых условиях получить троекратное
ускорение :) Просто запустить одну и ту же задачу на разных компах, а
временем выполнения задачи считать время того компа, который выполнил задачу
быстрее всех. Если это была НАМНОГО более мощная машина, чем Ваша, и эта
машина не занималась другой более полезной работой - выигрыш налицо



Я писал уже, отвечу более развернуто.
1) Трём компиляторам отдаются компилироваться 3 файла, остальные файлы
помещаются в очередь.
2) Как только один из компиляторов закончил работу, ему дается следующий
файл из очереди.
3) Как только дать нечего, дожидаемся завершения работы всех компиляторов
4) Вызываем LINK

АнатоЛойМожете время установки включить в суммарную длительность
компиляции

И этим должен заниматься ГРИД, а так-же расчитывать время выполнения задачи
для правильного разпределения заданий, исходя их остатков ресурсов
компьютеров (загружености, производительности).

АнатоЛойинтересовался ответом на вопрос "Сколько?" (1 сек, 10 сек, 2
мин), а не "Какое время вы измеряли?". Для сравнения, конечно же, нужны оба
замера: и "одиночной компиляции", и "параллельной".

30 секунд / 10 секунд.

АнатоЛойЯ к тому что у вас 3 компа не стоят "просто так", и не
всегда готовы обслуживать ваши задачи по перекомпиляции: как минимуи они
могут быть заняты другими задачами...

Если компьютер сообщит, что он занят другой задачей, то соответственно он
использоваться до завершения текущей задачи не будет (я этого не делал, но
проблем нет)


Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35675738
Алексей Морозов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
АнатоЛой
10000 файлов


10000 файлов это MS VC++.

АнатоЛой
Серьёзно? Целых 0 секунд? Процесс компиляции на компе №3 успешно
запустился - и через 2 секунды "повис". Каким образом за 0 секунд Вы (Ваша
программа) так оперативно за 0 секунд определит что "кина не будет",
откажется от ожидания окончания процесса на компе №3 и запустит недоделанную
работу на двух оставшихся компах. И где же тогда опять 3-кратный выигрыш?


С такой же вероятностью повиснуть может и один компьютер, суммарное время
использования компьютера не изменится.
И часто у вас виснет компилятор? я не могу вспомнить ни одного случая.

АнатоЛойУдачный в каком смысле? :)

В том смысле, что он всегда дает прирост производительности.


Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35675770
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Алексей Морозов
Неужели тебе не хотелось заставить какой нибудь медленный алгоритм
выполнятся быстрее.
Морозов - взгляни выше носа, и как системщик, хотя бы (он не мыслит категориями алгоритм).
Не алгоритм, а задача . А то так и будешь - "кодером".
Приведи медленную задачу
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35675819
Mainframe_старый
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мы используем алгоритмы баланса нагрузки для распределения сервисов в нашей КИС. Делали в свое время распределенную систему обработки данных реального времени с распределдением нагрузки по компьютерам на TAO-CORBA. Но все это не требует именно грид. даже кластеры в чистом виде не нужны, используется гетерогенная среда. Хотя грид, пожалуй, как мне кажется (хотя я совсем в этой области не спенциалист) ближе к гетерогенной сред, чем к кластерам.
Уметь распределять задачи - мне кажется нужно уметь (сорри за тав.) . нужно понимать распределенные приложения, синхронизацию, центтрализованные и распределенные алгоритмы упарвления. Поэтому может начать с малого - сделать свои системы распределенными, причем , имеюющими баланс нагрузки, причем динамический, причем сеть должна быть масштабируемой.
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35675824
alek.sys
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Алексей Морозов,

Вопрос вам не в обиду - а вы в университете учились? Нам в свое время читали отдельно даже курс, который был прямо связан с параллельными вычислениями. Давался некоторый математический аппарат для параллельных вычислений. Много интересного между прочим. В частности, рассказывали почему 1000 компьютеров работающих в кластере не будут работать в 1000 раз быстрее, чем 1. Что не каждая задача может быть "распараллелена". Что нет универсальных алгоритмов, которые бы позволили раз - и решить задачу в ГРИДе.
Вы как-то требуете "отвечать на ваш ответ".
Цель то вы какую хотите достигнуть использованием ГРИДа? ГРИД - технология, в моем понимании, это как раз гетерогенная вычислительная сеть - т.е. в ГРИД могут быть включены тысячи компьютеров с разными ОС, аппаратными платформами и т.п. Вы спрашиваете, использует ли кто то в работе ГРИД? Вряд ли у многих есть такие задачи (типа поиска внеземного разума).

ЗЫ по поводу вашего примера с компиляцией - в чем-то вы правы. Но ваш пример - это все таки сферический конь в вакууме. И говорить, что 3 компьютера == в 3 раза быстрее - по меньшей мере странно.
...
Рейтинг: 0 / 0
25 сообщений из 107, страница 3 из 5
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Кто что думает о новой технологии GRID ?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]