|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
Интересны конкретные решения (закомментированные исходники) LCG (Cern-а), менее интересен Глобус. Представьте организацю в которой 100 современных компьютеров соединенных гигабитной сетью - и я как программист, никак не использую эти приимущества. Posted via ActualForum NNTP Server 1.4 ... |
|||
:
Нравится:
Не нравится:
|
|||
25.11.2008, 12:20 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
Алексей Морозов Интересны конкретные решения (закомментированные исходники) LCG (Cern-а), менее интересен Глобус. Представьте организацю в которой 100 современных компьютеров соединенных гигабитной сетью - и я как программист, никак не использую эти приимущества. Какие именно у вас стоят задачи, для которых вы бы хотели их использовать? Говоря о необходимости обработки данных, что именно вы имели в виду? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.11.2008, 12:26 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
Алексей Морозов Интересны конкретные решения (закомментированные исходники) LCG (Cern-а), менее интересен Глобус. Представьте организацю в которой 100 современных компьютеров соединенных гигабитной сетью - и я как программист, никак не использую эти приимущества. Вы простого учета на грид перекинулись резко? Тогда как и в простом учете ответьте на вопрос который вам задают: что хотите? Что там не было ответа вменяемого, что здесь. Или для простого учета потребовались вычислительные мощности 100 компов? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.11.2008, 12:30 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
iscrafm Вы простого учета на грид перекинулись резко? Тогда как и в простом учете ответьте на вопрос который вам задают: что хотите? Что там не было ответа вменяемого, что здесь. Или для простого учета потребовались вычислительные мощности 100 компов? В поиске человек, имхо... :) Молодость, задор... Ну не в ПТ же сидеть?! ... |
|||
:
Нравится:
Не нравится:
|
|||
25.11.2008, 12:34 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
iscra Вы простого учета на грид перекинулись резко? Тогда как и в простом учете ответьте на вопрос который вам задают: что хотите? Что там не было ответа вменяемого, что здесь. Или для простого учета потребовались вычислительные мощности 100 компов? Эти два направления друг другу нисколько не мешают, и пока никак не связаны. Posted via ActualForum NNTP Server 1.4 ... |
|||
:
Нравится:
Не нравится:
|
|||
25.11.2008, 12:41 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
Алексей Морозов, Вот, наслаждайтесь http://www.ibm.com/developerworks/grid/newto/ ... |
|||
:
Нравится:
Не нравится:
|
|||
25.11.2008, 12:41 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
Mainframe_старый Какие именно у вас стоят задачи, для которых вы бы хотели их использовать? Говоря о необходимости обработки данных, что именно вы имели в виду? Конкретной задачи нет, но когда разрабатываешь какую то программу, которая выполняется длительное время - задумываешься, что в сети простаивает куча компьютеров. Просто абстрактный пример - сидит 10 программистов, и раз в 5 минут компилируют программу. Компиляция занимает 10 секунд, а могла бы занимать 1 секунду (если распараллелить). Или более конкретный пример, существуют четыре компьютера с идентичными БД (репликация). Клиенты распределяются между этими БД и выполняют запросы. Но многие запросы можно разделить между несколькими БД, уменьшив время получения данных. (об этой технологии писал CERN, и мне это интересно) Posted via ActualForum NNTP Server 1.4 ... |
|||
:
Нравится:
Не нравится:
|
|||
25.11.2008, 12:51 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
Алексей МорозовПросто абстрактный пример - сидит 10 программистов, и раз в 5 минут компилируют программу. Компиляция занимает 10 секунд, а могла бы занимать 1 секунду (если распараллелить).Ключевое слово "если". ... |
|||
:
Нравится:
Не нравится:
|
|||
25.11.2008, 13:24 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
Алексей Морозов Просто абстрактный пример - сидит 10 программистов, и раз в 5 минут компилируют программу. Компиляция занимает 10 секунд, а могла бы занимать 1 секунду (если распараллелить). Экономия на таких величинах ничего не даст. Более того, как и в случае любых параллельных вычислений, здесь всё зависит от степени "сцепленности" блоков параллельно обрабатываемых данных и GRID в этом смысле - не панацея. Крайне необходимо вначале определится с тем кругом задач, которые планируется решать с помощью этой технологии. Прежде всего необходимо ознакомится с тем, какие собственно алгоритмы распараллеливания вычислений поддерживает GRID. Но я сомневаюсь, что здесь вы сможете получить ответ на этот вопрос. Алексей Морозов Или более конкретный пример, существуют четыре компьютера с идентичными БД (репликация). Клиенты распределяются между этими БД и выполняют запросы. Но многие запросы можно разделить между несколькими БД, уменьшив время получения данных. Собственно кластерные системы так и работают. Построить кластер на MS SQLServer2000/2005 проще простого и не требует изобретения велосипеда. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.11.2008, 13:41 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
Полагаю,что в простом учете уже намечается еще и поддержка GRID для компиляции и для всех БД. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.11.2008, 13:56 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
[quot igor250973Собственно кластерные системы так и работают. Построить кластер на MS SQLServer2000/2005 проще простого и не требует изобретения велосипеда.[/quot] 1) Не будет оно единственный запрос делить между серверами. 2) Надо устанавливать кластер. 3) MSSQL будет очень мешать другим задачам. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.11.2008, 15:57 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
Алексей Морозов1) Не будет оно единственный запрос делить между серверами. а кто будет? грид? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.11.2008, 16:01 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
iscrafmа кто будет? грид? Для распределения нагрузки они это должны делать вместе. Posted via ActualForum NNTP Server 1.4 ... |
|||
:
Нравится:
Не нравится:
|
|||
25.11.2008, 16:03 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
Алексей Морозов1) Не будет оно единственный запрос делить между серверами.Oracle - будет. Просто запрос должен быть достоен деления. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.11.2008, 16:08 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
Алексей Морозов iscrafmа кто будет? грид? Для распределения нагрузки они это должны делать вместе. :) ... |
|||
:
Нравится:
Не нравится:
|
|||
25.11.2008, 16:11 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
Алексей Морозов Просто абстрактный пример - сидит 10 программистов, и раз в 5 минут компилируют программу. Компиляция занимает 10 секунд, а могла бы занимать 1 секунду (если распараллелить). Попробовав на коленках штатными средствами (и это возможно!) "распараллелить" эту задачу вы увидите, что эффект от 10 компов никак не составляет "в 10 раз быстрее" - и надеюсь сами осознаете, почему... Алексей Морозов Или более конкретный пример, существуют четыре компьютера с идентичными БД (репликация). Клиенты распределяются между этими БД и выполняют запросы. Но многие запросы можно разделить между несколькими БД, уменьшив время получения данных. (об этой технологии писал CERN, и мне это интересно) Ой-ё... Алексей, там столько заморочек с распараллеливанием, что сразу идею поиспользовать эти идеи для "простого учёта" или "разработки простого учёта" просто забудьте... "Нет таких игр..." (с) bash.org.ru [quot] Представьте организацю в которой 100 современных компьютеров соединенных гигабитной сетью - и я как программист, никак не использую эти приимущества. [/quot] Да расслабтесь, используете вы их - в меру возможностей... ... |
|||
:
Нравится:
Не нравится:
|
|||
25.11.2008, 16:41 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
АнатоЛой Попробовав на коленках штатными средствами (и это возможно!) "распараллелить" эту задачу вы увидите, что эффект от 10 компов никак не составляет "в 10 раз быстрее" - и надеюсь сами осознаете, почему... Попробовал ради эксперимента на 3х компьютерах, скорость в ~3 раза выше. 1) Копирование измененных файлов проекта 2) Компиляция .cpp в .obj 3) Копирование обратно .obj Posted via ActualForum NNTP Server 1.4 ... |
|||
:
Нравится:
Не нравится:
|
|||
25.11.2008, 17:55 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
Алексей Морозов Попробовал ради эксперимента на 3х компьютерах, скорость в ~3 раза выше. 1) Копирование измененных файлов проекта 2) Компиляция .cpp в .obj 3) Копирование обратно .obj Что из себя представляет весь проект? Как много файлов? По какому принципу поделили файлы между компами? Как готовили среду для перекомпиляции на этих компах? Вы точно позаботились, чтобы результат распределённой компиляции был точно таким же, как и результат "одиночной"? Сколько это заняло времени? Сколько составляет абсолютное время копирования и компиляции? (Может у вас погрешность измерения сравнима с временем опыта? ~3 - это 3-1% или 3-20%?) Какие ещё шаги пришлось выполнять в "процессе перекомпиляции" от момента "толкнул процесс" до момента "процесс закончил работать"? Всегда ли компы будут простаивать и ждать своей очереди, когда вы им задание на перекомпиляцию пришлёте? Я думаю, вы позаботились о том, что файлы на 3 компа были скопированы из одной и той же папки и папка в процессе копирования не менялась... А как это будет происходить в случае использования системы контроля версий? Сколько времени будет занимать подготовка "измененных файлов проекта" на этих 3 компах (в том числе и в процентном соотношении по отношению ко всему времени выполнения "процесса перекомпиляции")? А что будет, если один из компьютеров "сбойнёт"? Варианты: 1) Комп заражен вирусом, и антивирус остановил процесс поскольку компилятор стал заражённым 2) Был нагружен процессор и разработчик остановил тормозящий систему процесс 3) Придумайте сами что-то совсем уж страшное и реальное в конторе на 10 компов с интернетом, без БИПов, ... Сколько в таком случае понадобиться времени на выяснение аварийной ситуации в процессе и перераспределение недоделанной части процесса? А сколько нужно убить времени чтобы построить такую отказоустойчивую систему для "процесса перекомпиляции"?... П.С.: Не те объёмы придумываемых задач, чтобы получить реальный выигрыш... Тем более в линейном виде, как вы его себе радужно рисуете... "Нет таких игр..." (с) bash.org.ru ... |
|||
:
Нравится:
Не нравится:
|
|||
25.11.2008, 19:47 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
АнатоЛой, +1 Вопросы правильные. если почитать обсуждения на тему применения того же distcc, то как то задумываешься на тему нужности всего этого. Лично для меня скорость компиляции это настолько надцатый параметр после гарантии получения надежного дистрибутива. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.11.2008, 20:10 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
> Что из себя представляет весь проект? > Как много файлов? 80 .cpp файлов, 80 .h файлов, и 10000 неизменяющихся файлов. > По какому принципу поделили файлы между компами? Программа "заказщик" подключается к TELNET-серверу сетевых компьютеров, и выполняет команды (copy, cl). > Как готовили среду для перекомпиляции на этих компах? Вы точно позаботились, чтобы результат распределённой компиляции был точно таким же, как и результат "одиночной"? Сколько это заняло времени? На компьютерах уже была установлена MC VC++ > Сколько составляет абсолютное время копирования и компиляции? Измерялось время от нажатия СТАРТ до завершения полной компиляции проекта. > Какие ещё шаги пришлось выполнять в "процессе перекомпиляции" от момента "толкнул процесс" до момента "процесс закончил работать"? Никаких. > Всегда ли компы будут простаивать и ждать своей очереди, когда вы им задание на перекомпиляцию пришлёте? Непонял. > Я думаю, вы позаботились о том, что файлы на 3 компа были скопированы из одной и той же папки и папка в процессе копирования не менялась... А как это будет происходить в случае использования системы контроля версий? Сколько времени будет занимать подготовка "измененных файлов проекта" на этих 3 компах (в том числе и в процентном соотношении по отношению ко всему времени выполнения "процесса перекомпиляции")? Точно так-же. > А что будет, если один из компьютеров "сбойнёт"? Варианты: > 1) Комп заражен вирусом, и антивирус остановил процесс поскольку компилятор стал заражённым > 2) Был нагружен процессор и разработчик остановил тормозящий систему процесс > 3) Придумайте сами что-то совсем уж страшное и реальное в конторе на 10 компов с интернетом, без БИПов, ... Банально, компиляция продолжится без недоступного компа. А то, что компилятор неправильно скомпилирует файл, может произойти и на одиночном компьютере. > Сколько в таком случае понадобиться времени на выяснение аварийной ситуации в процессе и перераспределение недоделанной части процесса? А сколько нужно убить времени чтобы построить такую отказоустойчивую систему для "процесса перекомпиляции"?... 0 cек > П.С.: Не те объёмы придумываемых задач, чтобы получить реальный выигрыш... Тем более в линейном виде, как вы его себе радужно рисуете... Это просто 1 из миллиона примеров, кстати удачный. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.11.2008, 20:38 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
... |
|||
:
Нравится:
Не нравится:
|
|||
25.11.2008, 21:52 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
Алексей Морозов 1) Не будет оно единственный запрос делить между серверами. 2) Надо устанавливать кластер. 3) MSSQL будет очень мешать другим задачам. Алексей, дал же ссылку, смысл всех гаданий - как это использовать и как это работает. А относительно ваших пунктов - базы данных, это не только MS SQL (их еще много есть). Есть базы данных, где план выполнения запроса распределяется по узлам, а результат затем координатор собирает и отсылает пользователю... как то так :) А по GRID вычислениям все же поищите на сайте IBM, там даже можно скачать GRID виртуальную машину и поэксперементировать в свое удовольствие... ... |
|||
:
Нравится:
Не нравится:
|
|||
25.11.2008, 21:52 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
Грид/Клоуд - виртуальный компютер, бери сколько хочешь, где хочешь, когда хочешь, любые мощьности, как электричество из розетки. И все это с 0 поддержкой, тебе вообще не нужно знать как это работает, просто пользуйся, и практически задаром :). ЕС2, Google App Это то (на основе статей и книги Б. Гейтса), что будет следующим основным направлениме Microsofta, когда они выжмут все что осталось с традиционной схемы. И этот подход настолько-же лучше традиционной схемы как сотовые лучше стационарных телефонов. Вобщем, в будущем будет 2 типа программистов, те, которые знают и используют грид/клоуд и те, которые вышли на пенсию. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.11.2008, 22:07 |
|
Кто что думает о новой технологии GRID ?
|
|||
---|---|---|---|
#18+
privateВобщем, в будущем будет 2 типа программистов, те, которые знают и используют грид/клоуд и те, которые вышли на пенсию. типа как есть настоящие архитекторы, которые знают что такое UML, а есть пенсионеры. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.11.2008, 22:37 |
|
|
start [/forum/moderation_log.php?user_name=maxkht]: |
0ms |
get settings: |
6ms |
get forum list: |
12ms |
get settings: |
9ms |
get forum list: |
12ms |
get settings: |
9ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
78ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
60ms |
get tp. blocked users: |
1ms |
others: | 785ms |
total: | 1001ms |
0 / 0 |