powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Кто что думает о новой технологии GRID ?
25 сообщений из 107, страница 2 из 5
Кто что думает о новой технологии GRID ?
    #35673743
Алексей Морозов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Интересны конкретные решения (закомментированные исходники) LCG (Cern-а),
менее интересен Глобус. Представьте организацю в которой 100 современных
компьютеров соединенных гигабитной сетью - и я как программист, никак не
использую эти приимущества.


Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35673777
Mainframe_старый
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Алексей Морозов
Интересны конкретные решения (закомментированные исходники) LCG (Cern-а),
менее интересен Глобус. Представьте организацю в которой 100 современных
компьютеров соединенных гигабитной сетью - и я как программист, никак не
использую эти приимущества.

Какие именно у вас стоят задачи, для которых вы бы хотели их использовать? Говоря о необходимости обработки данных, что именно вы имели в виду?
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35673800
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Алексей Морозов
Интересны конкретные решения (закомментированные исходники) LCG (Cern-а),
менее интересен Глобус. Представьте организацю в которой 100 современных
компьютеров соединенных гигабитной сетью - и я как программист, никак не
использую эти приимущества.

Вы простого учета на грид перекинулись резко? Тогда как и в простом учете ответьте на вопрос который вам задают: что хотите? Что там не было ответа вменяемого, что здесь. Или для простого учета потребовались вычислительные мощности 100 компов?
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35673810
АнатоЛой
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
iscrafm
Вы простого учета на грид перекинулись резко? Тогда как и в простом учете ответьте на вопрос который вам задают: что хотите? Что там не было ответа вменяемого, что здесь. Или для простого учета потребовались вычислительные мощности 100 компов?
В поиске человек, имхо... :)
Молодость, задор...
Ну не в ПТ же сидеть?!
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35673845
Алексей Морозов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
iscra
Вы простого учета на грид перекинулись резко? Тогда как и в простом учете
ответьте на вопрос который вам задают: что хотите? Что там не было ответа
вменяемого, что здесь. Или для простого учета потребовались вычислительные
мощности 100 компов?


Эти два направления друг другу нисколько не мешают, и пока никак не связаны.


Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35673847
GavrilovD
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Алексей Морозов,

Вот, наслаждайтесь
http://www.ibm.com/developerworks/grid/newto/
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35673877
Алексей Морозов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Mainframe_старый

Какие именно у вас стоят задачи, для которых вы бы хотели их использовать?
Говоря о необходимости обработки данных, что именно вы имели в виду?





Конкретной задачи нет, но когда разрабатываешь какую то программу, которая
выполняется длительное время - задумываешься, что в сети простаивает куча
компьютеров.



Просто абстрактный пример - сидит 10 программистов, и раз в 5 минут
компилируют программу. Компиляция занимает 10 секунд, а могла бы занимать 1
секунду (если распараллелить).



Или более конкретный пример, существуют четыре компьютера с идентичными БД
(репликация). Клиенты распределяются между этими БД и выполняют запросы. Но
многие запросы можно разделить между несколькими БД, уменьшив время
получения данных. (об этой технологии писал CERN, и мне это интересно)






Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35674003
Алексей МорозовПросто абстрактный пример - сидит 10 программистов, и раз в 5 минут
компилируют программу. Компиляция занимает 10 секунд, а могла бы занимать 1
секунду (если распараллелить).Ключевое слово "если".
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35674057
igor250973
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Алексей Морозов
Просто абстрактный пример - сидит 10 программистов, и раз в 5 минут
компилируют программу. Компиляция занимает 10 секунд, а могла бы занимать 1
секунду (если распараллелить).
Экономия на таких величинах ничего не даст. Более того, как и в случае любых параллельных вычислений, здесь всё зависит от степени "сцепленности" блоков параллельно обрабатываемых данных и GRID в этом смысле - не панацея. Крайне необходимо вначале определится с тем кругом задач, которые планируется решать с помощью этой технологии. Прежде всего необходимо ознакомится с тем, какие собственно алгоритмы распараллеливания вычислений поддерживает GRID. Но я сомневаюсь, что здесь вы сможете получить ответ на этот вопрос.

Алексей Морозов
Или более конкретный пример, существуют четыре компьютера с идентичными БД
(репликация). Клиенты распределяются между этими БД и выполняют запросы. Но
многие запросы можно разделить между несколькими БД, уменьшив время
получения данных.

Собственно кластерные системы так и работают. Построить кластер на MS SQLServer2000/2005 проще простого и не требует изобретения велосипеда.
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35674102
SeVa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Полагаю,что в простом учете уже намечается еще и поддержка GRID для компиляции и для всех БД.
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35674492
Алексей Морозов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[quot igor250973Собственно кластерные системы так и работают. Построить кластер на MS SQLServer2000/2005 проще простого и не требует изобретения велосипеда.[/quot]

1) Не будет оно единственный запрос делить между серверами.
2) Надо устанавливать кластер.
3) MSSQL будет очень мешать другим задачам.
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35674507
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Алексей Морозов1) Не будет оно единственный запрос делить между серверами.

а кто будет? грид?
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35674512
Алексей Морозов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
iscrafmа кто будет? грид?

Для распределения нагрузки они это должны делать вместе.


Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35674530
Bely
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Алексей Морозов1) Не будет оно единственный запрос делить между серверами.Oracle - будет.
Просто запрос должен быть достоен деления.
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35674543
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Алексей Морозов
iscrafmа кто будет? грид?
Для распределения нагрузки они это должны делать вместе.

:)
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35674629
АнатоЛой
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Алексей Морозов
Просто абстрактный пример - сидит 10 программистов, и раз в 5 минут
компилируют программу. Компиляция занимает 10 секунд, а могла бы занимать 1
секунду (если распараллелить).

Попробовав на коленках штатными средствами (и это возможно!) "распараллелить" эту задачу вы увидите, что эффект от 10 компов никак не составляет "в 10 раз быстрее" - и надеюсь сами осознаете, почему...

Алексей Морозов
Или более конкретный пример, существуют четыре компьютера с идентичными БД
(репликация). Клиенты распределяются между этими БД и выполняют запросы. Но
многие запросы можно разделить между несколькими БД, уменьшив время
получения данных. (об этой технологии писал CERN, и мне это интересно)

Ой-ё... Алексей, там столько заморочек с распараллеливанием, что сразу идею поиспользовать эти идеи для "простого учёта" или "разработки простого учёта" просто забудьте... "Нет таких игр..." (с) bash.org.ru

[quot]
Представьте организацю в которой 100 современных
компьютеров соединенных гигабитной сетью - и я как программист, никак не
использую эти приимущества.
[/quot]

Да расслабтесь, используете вы их - в меру возможностей...
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35674835
Алексей Морозов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
АнатоЛой
Попробовав на коленках штатными средствами (и это возможно!)
"распараллелить" эту задачу вы увидите, что эффект от 10 компов никак не
составляет "в 10 раз быстрее" - и надеюсь сами осознаете, почему...


Попробовал ради эксперимента на 3х компьютерах, скорость в ~3 раза выше.

1) Копирование измененных файлов проекта
2) Компиляция .cpp в .obj
3) Копирование обратно .obj


Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35675106
АнатоЛой
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Алексей Морозов
Попробовал ради эксперимента на 3х компьютерах, скорость в ~3 раза выше.
1) Копирование измененных файлов проекта
2) Компиляция .cpp в .obj
3) Копирование обратно .obj


Что из себя представляет весь проект?

Как много файлов?

По какому принципу поделили файлы между компами?

Как готовили среду для перекомпиляции на этих компах? Вы точно позаботились, чтобы результат распределённой компиляции был точно таким же, как и результат "одиночной"? Сколько это заняло времени?

Сколько составляет абсолютное время копирования и компиляции? (Может у вас погрешность измерения сравнима с временем опыта? ~3 - это 3-1% или 3-20%?)

Какие ещё шаги пришлось выполнять в "процессе перекомпиляции" от момента "толкнул процесс" до момента "процесс закончил работать"?

Всегда ли компы будут простаивать и ждать своей очереди, когда вы им задание на перекомпиляцию пришлёте?

Я думаю, вы позаботились о том, что файлы на 3 компа были скопированы из одной и той же папки и папка в процессе копирования не менялась... А как это будет происходить в случае использования системы контроля версий? Сколько времени будет занимать подготовка "измененных файлов проекта" на этих 3 компах (в том числе и в процентном соотношении по отношению ко всему времени выполнения "процесса перекомпиляции")?

А что будет, если один из компьютеров "сбойнёт"? Варианты:
1) Комп заражен вирусом, и антивирус остановил процесс поскольку компилятор стал заражённым
2) Был нагружен процессор и разработчик остановил тормозящий систему процесс
3) Придумайте сами что-то совсем уж страшное и реальное в конторе на 10 компов с интернетом, без БИПов, ...

Сколько в таком случае понадобиться времени на выяснение аварийной ситуации в процессе и перераспределение недоделанной части процесса? А сколько нужно убить времени чтобы построить такую отказоустойчивую систему для "процесса перекомпиляции"?...

П.С.: Не те объёмы придумываемых задач, чтобы получить реальный выигрыш... Тем более в линейном виде, как вы его себе радужно рисуете...

"Нет таких игр..." (с) bash.org.ru
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35675145
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
АнатоЛой,
+1
Вопросы правильные. если почитать обсуждения на тему применения того же distcc, то как то задумываешься на тему нужности всего этого. Лично для меня скорость компиляции это настолько надцатый параметр после гарантии получения надежного дистрибутива.
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35675175
Алексей Морозов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
> Что из себя представляет весь проект?
> Как много файлов?
80 .cpp файлов, 80 .h файлов, и 10000 неизменяющихся файлов.

> По какому принципу поделили файлы между компами?
Программа "заказщик" подключается к TELNET-серверу сетевых компьютеров, и выполняет команды (copy, cl).

> Как готовили среду для перекомпиляции на этих компах? Вы точно позаботились, чтобы результат распределённой компиляции был точно таким же, как и результат "одиночной"? Сколько это заняло времени?
На компьютерах уже была установлена MC VC++

> Сколько составляет абсолютное время копирования и компиляции?
Измерялось время от нажатия СТАРТ до завершения полной компиляции проекта.

> Какие ещё шаги пришлось выполнять в "процессе перекомпиляции" от момента "толкнул процесс" до момента "процесс закончил работать"?
Никаких.

> Всегда ли компы будут простаивать и ждать своей очереди, когда вы им задание на перекомпиляцию пришлёте?
Непонял.

> Я думаю, вы позаботились о том, что файлы на 3 компа были скопированы из одной и той же папки и папка в процессе копирования не менялась... А как это будет происходить в случае использования системы контроля версий? Сколько времени будет занимать подготовка "измененных файлов проекта" на этих 3 компах (в том числе и в процентном соотношении по отношению ко всему времени выполнения "процесса перекомпиляции")?
Точно так-же.

> А что будет, если один из компьютеров "сбойнёт"? Варианты:
> 1) Комп заражен вирусом, и антивирус остановил процесс поскольку компилятор стал заражённым
> 2) Был нагружен процессор и разработчик остановил тормозящий систему процесс
> 3) Придумайте сами что-то совсем уж страшное и реальное в конторе на 10 компов с интернетом, без БИПов, ...
Банально, компиляция продолжится без недоступного компа. А то, что компилятор неправильно скомпилирует файл, может произойти и на одиночном компьютере.

> Сколько в таком случае понадобиться времени на выяснение аварийной ситуации в процессе и перераспределение недоделанной части процесса? А сколько нужно убить времени чтобы построить такую отказоустойчивую систему для "процесса перекомпиляции"?...
0 cек

> П.С.: Не те объёмы придумываемых задач, чтобы получить реальный выигрыш... Тем более в линейном виде, как вы его себе радужно рисуете...
Это просто 1 из миллиона примеров, кстати удачный.
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35675232
Bely
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35675233
GavrilovD
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Алексей Морозов

1) Не будет оно единственный запрос делить между серверами.
2) Надо устанавливать кластер.
3) MSSQL будет очень мешать другим задачам.
Алексей, дал же ссылку, смысл всех гаданий - как это использовать и как это работает.

А относительно ваших пунктов - базы данных, это не только MS SQL (их еще много есть). Есть базы данных, где план выполнения запроса распределяется по узлам, а результат затем координатор собирает и отсылает пользователю... как то так :)
А по GRID вычислениям все же поищите на сайте IBM, там даже можно скачать GRID виртуальную машину и поэксперементировать в свое удовольствие...
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35675245
private
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Грид/Клоуд - виртуальный компютер, бери сколько хочешь, где хочешь, когда хочешь, любые мощьности, как электричество из розетки.
И все это с 0 поддержкой, тебе вообще не нужно знать как это работает, просто пользуйся, и практически задаром :).

ЕС2, Google App

Это то (на основе статей и книги Б. Гейтса), что будет следующим основным направлениме Microsofta, когда они выжмут все что осталось с традиционной схемы.

И этот подход настолько-же лучше традиционной схемы как сотовые лучше стационарных телефонов.

Вобщем, в будущем будет 2 типа программистов, те, которые знают и используют грид/клоуд и те, которые вышли на пенсию.
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35675259
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
privateВобщем, в будущем будет 2 типа программистов, те, которые знают и используют грид/клоуд и те, которые вышли на пенсию.
типа как есть настоящие архитекторы, которые знают что такое UML, а есть пенсионеры.
...
Рейтинг: 0 / 0
Кто что думает о новой технологии GRID ?
    #35675260
Сахават Юсифов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
private
Вобщем, в будущем будет 2 типа программистов, те, которые знают и используют грид/клоуд и те, которые вышли на пенсию.

других нет
грид мрид пох нет разницы что надо то и пользуй
...
Рейтинг: 0 / 0
25 сообщений из 107, страница 2 из 5
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Кто что думает о новой технологии GRID ?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]