ReSQL.ru
     
powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Hardware [игнор отключен] [закрыт для гостей] / Диск с быстрым рандомным доступом? Ищу.
23 сообщений из 23, страница 1 из 1
Диск с быстрым рандомным доступом? Ищу.
    #35829945
VlasovVolodya
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VlasovVolodya
Участник
Ищу устройство, которое бы обеспечило максимально быстрое чтение случайных секторов.

Интересует емкость от 20 до 120 гигов, и умение читать/записывать больше 4000 случайных секторов данных в секунду.
Собственно, цифра в 4000/секунду получена на SSD Пионер 120GB, но нам бы на порядок больше..

Подскажите, коллеги, какое железо может подойти?
Бюджет , скажем, +-5 килобаксов.

Piecrusts and virginity are made to be broken(с)
...
Рейтинг: 0 / 0
20.02.2009, 15:00
| Ответить | Цитировать | Написать  
Диск с быстрым рандомным доступом? Ищу.
    #35829953
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
Hello, VlasovVolodya!
You wrote on Fri, 20 Feb 09 12:00:58 GMT:

VlasovVolodya V> Собственно, цифра в 4000/секунду получена на SSD Пионер 120GB,
V> но нам бы на порядок больше..в 5к не влезешь.
а что за задача такая?

--
With best regards, Мимопроходящий.

Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
20.02.2009, 15:04
| Ответить | Цитировать | Написать  
Диск с быстрым рандомным доступом? Ищу.
    #35830006
Фотография Ggg_old
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ggg_old
Участник
RAID из SSD дисков..
...
Рейтинг: 0 / 0
20.02.2009, 15:22
| Ответить | Цитировать | Написать  
Диск с быстрым рандомным доступом? Ищу.
    #35830116
Фотография А6дуллаh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
А6дуллаh
Участник
На порядок больше, если не следовать совету предыдущего оратора - только RAM.
Есть СУБД в ней (Oracle TimesTen), или можно виртуальный диск организовать, если вам дорога именно другая СУБД.
...
Рейтинг: 0 / 0
20.02.2009, 16:01
| Ответить | Цитировать | Написать  
Диск с быстрым рандомным доступом? Ищу.
    #35830168
Фотография А6дуллаh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
А6дуллаh
Участник
На ваш бюджет можно купить ~100 GB памяти, но позаботьтесь, чтобы сервер имел столько DIMM (например, HP DL580G5), да и софт обычно небесплатен.
...
Рейтинг: 0 / 0
20.02.2009, 16:15
| Ответить | Цитировать | Написать  
Диск с быстрым рандомным доступом? Ищу.
    #35831227
VlasovVolodya
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VlasovVolodya
Участник
Задача - обрабатывать поток обращений, желающих по случайному ключу записать или прочитать блок данных фиксированного размера в 1 кб.
Так как размер базы ожидается 100 000 000 строчек, а обращений будет 30000 в секунду и ключи случайные, то буферизовать эффективно сложно.
Вариантом решения виделся сервер, у которого в памяти есть структура(например, Berkeley DB), хранящая ключи и ссылки на нужные сектора SSD диска. Поигравшись же просто с SSD диском, получили не больше 4000 случайных чтений в секунду, без BDB и других осложнений.

Сейчас варианты подкрутить SSD диск на чуть большую скорость работы и распаралелить нагрузку, эксперементировать с буферизацией запросов в надежде на последовательное чтение,
купить сервера с большим-большим RAMом.


Piecrusts and virginity are made to be broken(с)
...
Рейтинг: 0 / 0
21.02.2009, 18:54
| Ответить | Цитировать | Написать  
Диск с быстрым рандомным доступом? Ищу.
    #35831310
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
VlasovVolodyaдо 120 гиговVlasovVolodyaблок данных фиксированного размера в 1 кб.
Так как размер базы ожидается 100 000 000 строчек1Кбайт*100 000 000=100Тбайт, что несколько больше, чем 120 Гбайт.
VlasovVolodyaа обращений будет 30000 в секундуЕще один супер-мега-проект?
...
Рейтинг: 0 / 0
21.02.2009, 20:40
| Ответить | Цитировать | Написать  
Диск с быстрым рандомным доступом? Ищу.
    #35831337
VlasovVolodya
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VlasovVolodya
Участник
автор1Кбайт*100 000 000=100Тбайт, что несколько больше, чем 120 Гбайт.
100 000 000 kb = 97 656 mg = 95,367 gb


Piecrusts and virginity are made to be broken(с)
...
Рейтинг: 0 / 0
21.02.2009, 21:22
| Ответить | Цитировать | Написать  
Диск с быстрым рандомным доступом? Ищу.
    #35831372
Фотография А6дуллаh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
А6дуллаh
Участник
miksoftVlasovVolodyaдо 120 гиговVlasovVolodyaблок данных фиксированного размера в 1 кб.
Так как размер базы ожидается 100 000 000 строчек1Кбайт*100 000 000=100Тбайт, что несколько больше, чем 120 Гбайт.
VlasovVolodyaа обращений будет 30000 в секундуЕще один супер-мега-проект?

Перевод всех московских маршруток на пластиковые карты с онлайн-авторизацией :)
...
Рейтинг: 0 / 0
21.02.2009, 21:57
| Ответить | Цитировать | Написать  
Диск с быстрым рандомным доступом? Ищу.
    #35831391
VlasovVolodya
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VlasovVolodya
Участник
Ну что вы, бухгалтерию автоматизируем.=)

Piecrusts and virginity are made to be broken(с)
...
Рейтинг: 0 / 0
21.02.2009, 22:44
| Ответить | Цитировать | Написать  
Диск с быстрым рандомным доступом? Ищу.
    #35831499
Igemon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Igemon
Участник
Вот про это почитайте.
http://www.ixbt.com/storage/gigabyte-iram-p1.shtml
...
Рейтинг: 0 / 0
22.02.2009, 08:48
| Ответить | Цитировать | Написать  
Диск с быстрым рандомным доступом? Ищу.
    #35833370
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
VlasovVolodyaавтор1Кбайт*100 000 000=100Тбайт, что несколько больше, чем 120 Гбайт.
100 000 000 kb = 97 656 mg = 95,367 gb


Piecrusts and virginity are made to be broken(с)Да, с объемом я ошибся. Но в "а обращений будет 30000 в секунду" все равно не верю. Особенно для бухгалтерии.
...
Рейтинг: 0 / 0
24.02.2009, 09:51
| Ответить | Цитировать | Написать  
Диск с быстрым рандомным доступом? Ищу.
    #35834123
Vowk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vowk
Участник
miksoft... Но в "а обращений будет 30000 в секунду" все равно не верю. Особенно для бухгалтерии...
Разве что если 1С 8.2 поставить - тогда может и вытянет... :)
...
Рейтинг: 0 / 0
24.02.2009, 13:53
| Ответить | Цитировать | Написать  
Диск с быстрым рандомным доступом? Ищу.
    #35834176
VlasovVolodya
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VlasovVolodya
Участник
Про бухгалтерию, конечно, была шутка.
Вопрос изначально касался устройства, которое отвечает определенным требованиям.
Мимопроходящий спросил про задачу, я ответил. То что она не типичная, мягко говоря - понимаю. Другое дело, что эта постановка задачи от заказчика, единственный вариант повлиять на котороую - ответить "Окей, но это будет стоить на столько-то пэсо дороже." Насколько больше песо - стало понятнее после прочтения ответов в этой теме.

В общем, спасибо всем высказавшим суждения, пищу для размышлений и материалы на почитать получил.
...
Рейтинг: 0 / 0
24.02.2009, 14:07
| Ответить | Цитировать | Написать  
Диск с быстрым рандомным доступом? Ищу.
    #35834191
Vowk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vowk
Участник
А если серьезно - то я думаю, что одна машина вряд ли справится с такой скоростью. Если все-таки достигается скорость 4000 обращений в секунду, то может как-то распараллелить процесс, чтобы база была распределена по 10 компам, а сервер хранил бы ключи и накапливал разумное число запросов к компу № такой-то, и затем отсылал по сети на этот комп, и через некоторое время получал ответ - обрабатывал его и т.д. Можно попробовать с разбиением базы на 2 сначала. Смутно все представляется, но решение должно быть, как мне кажется, в этом направлении.
...
Рейтинг: 0 / 0
24.02.2009, 14:09
| Ответить | Цитировать | Написать  
Диск с быстрым рандомным доступом? Ищу.
    #35834226
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
VlasovVolodyaМимопроходящий спросил про задачу, я ответил.Вы описали не столько задачу, сколько ваше видение ее решения.
Например, насколько ключи в запросах случайные? каково распределение?
Почему только один сервер? Некоторые и 200 серверов ставить не стесняются для более скромных задач.

Кстати, если будете еще с SSD экспериментировать - замеряйте не отдельно чтения, отдельно запись, а в смеси именно в той пропорции и распределении, которые ожидаются у вас. Год-два назад была информация, что постоянном переключении чтение/запись картина удручающе портится.
...
Рейтинг: 0 / 0
24.02.2009, 14:19
| Ответить | Цитировать | Написать  
Диск с быстрым рандомным доступом? Ищу.
    #35835896
mm1chael
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mm1chael
Участник
VlasovVolodya,

EMC анонсировала такой дисковый массив, на SSD дисках. параметры IO там близки к запрошенным, но в бюджет вы совсем не входите. есть еще решения от IBM на SSD, но опять же там цены кусаются.

можно посмотреть самые быстрые SSD от Intel - X25 на MLC и SLC памяти, на fcenter были тесты, там же было сравнение с 15-ти тысячниками SAS, если не ошибаюсь
...
Рейтинг: 0 / 0
25.02.2009, 10:21
| Ответить | Цитировать | Написать  
Диск с быстрым рандомным доступом? Ищу.
    #35837854
babys
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
babys
Участник
Честно не совсем понял вашу задачу.
Мне не совсем понятно чем вы будете формировать такую очередь?
Я бы рекомендовал посмотреть SUN Disk Array посмотреть, связисты их очень "любят" для биллинговых систем пользовать.
...
Рейтинг: 0 / 0
25.02.2009, 21:24
| Ответить | Цитировать | Написать  
Диск с быстрым рандомным доступом? Ищу.
    #35838379
mm1chael
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mm1chael
Участник
babys,

связисты просто любят Oracle, а Oracle хорошо работает на SUN Sparc+Solaris
дисковые массивы enterprise-уровня для SUN по OEM соглашению производит компания Hitachi Data Systems

только в бюджет 5 тысяч долларов такое решение никак не укладывается
...
Рейтинг: 0 / 0
26.02.2009, 09:53
| Ответить | Цитировать | Написать  
Диск с быстрым рандомным доступом? Ищу.
    #35840712
babys
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
babys
Участник
mm1chael,

я пока только superdom + sun array у них видел, под unix ами.
...
Рейтинг: 0 / 0
26.02.2009, 22:19
| Ответить | Цитировать | Написать  
Диск с быстрым рандомным доступом? Ищу.
    #35841037
Алымов Анатолий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Алымов Анатолий
Участник
babysmm1chael,

я пока только superdom + sun array у них видел, под unix ами.
У нас разные есть :)
...
Рейтинг: 0 / 0
27.02.2009, 07:16
| Ответить | Цитировать | Написать  
Диск с быстрым рандомным доступом? Ищу.
    #35844693
Фотография А6дуллаh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
А6дуллаh
Участник
...
Рейтинг: 0 / 0
01.03.2009, 15:26
| Ответить | Цитировать | Написать  
Диск с быстрым рандомным доступом? Ищу.
    #35844694
Фотография А6дуллаh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
А6дуллаh
Участник
...
Рейтинг: 0 / 0
01.03.2009, 15:27
| Ответить | Цитировать | Написать  
23 сообщений из 23, страница 1 из 1
Форумы / Hardware [игнор отключен] [закрыт для гостей] / Диск с быстрым рандомным доступом? Ищу.
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=30&msg=35831227&tid=1531642]:
 0ms
get settings:
 9ms
get forum list:
 14ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 53ms
get topic data:
 11ms
get forum data:
 3ms
get page messages:
 56ms
get tp. blocked users:
 1ms
others: 290ms
total:  445ms
созд. / загр.: 445ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]