ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Выбор БД для нагруженного портала ( много поиска )
25 сообщений из 52, страница 1 из 3
  1  все
Выбор БД для нагруженного портала ( много поиска )
    #36545987
Alex042
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex042
Гость
Сам я очень слабо разбираюсь в различных бд. Необходимо разработать портал со следующими возможностями:

Основная функция портала это поиск и добавление заявок.
Каждая заявка имеет ~ 35 параметров ( например – параметр: год выпуска ), 18 из них поисковые. Заявки будут добавляться ~ по 1 в сек, в пиковые часы до ~ 10 в сек
Все добавленные заявки должны сразу быть доступны для поиска.
~ 30 пользователей ежесекундно ( в пиковые ~ 100) будут искать заявки по нужным им параметрам.
Общее количество заявок в системе 200-300’000

так же
авторизация
предполагается использовать много аякса
и другие функции, но они уже более статичны ( статьи, информация о пользователя и т.д)

Вопрос: какие базы данных для этого более приспособлены?

P.S. Очень важна сохранность информации и отказоустойчивость. А так же не маловажным фактором, популярность бд, так как на узкоспециализированные бд сложнее найти программистов.
...
Рейтинг: 0 / 0
27.03.2010, 10:14
| Ответить | Цитировать | Написать  
Выбор БД для нагруженного портала ( много поиска )
    #36545995
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Siemargl
Участник
Можно начинать выбирать по любым другим параметрам (цена, удобство,..)

Современные СУБД и железо даже на ноутбуке! обеспечивают скорость в тысячи и десятки тысяч транзакций.

Почитайте по форуму по скорость, по функционалу.
...
Рейтинг: 0 / 0
27.03.2010, 10:36
| Ответить | Цитировать | Написать  
Выбор БД для нагруженного портала ( много поиска )
    #36546132
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Siemargl
Можно начинать выбирать по любым другим параметрам (цена, удобство,..)

+1.

Только начать всё-же со стандартного списка:
1) уже используется заказчиком
2) знакома разработчику

100 запросов в секунду в пике это не "нагруженный портал", а "мало кому
интересная дребедень".
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
27.03.2010, 13:45
| Ответить | Цитировать | Написать  
Выбор БД для нагруженного портала ( много поиска )
    #36546181
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Siemargl
Участник
Dimitry Sibiryakov,

Или портал в интрасети. Тогда можно смотреть Sharepoint (но может выйти дорого по лицензиям)
...
Рейтинг: 0 / 0
27.03.2010, 14:45
| Ответить | Цитировать | Написать  
Выбор БД для нагруженного портала ( много поиска )
    #36546228
Alex042
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex042
Гость
Siemargl - спасибо, я сам не очень разбираюсь в нагрузках, но знаком не с одним программистом ( видимо с плохими ), у которых порталы при 100 000 хитах виснут, хотя все говорят что 100 000 хитов это не нагрузка вовсе. Сколько там запросом на каждую страницу я не знаю, но это обычные информационные порталы.
.
Dimitry Sibiryakov - заказчиком, еще только мысль используется
возможно не нагруженный, уж извиииините, если не к той градации отнес, пусть будет сайт визитка с поиском :) от этого его параметры не изменяются
дребедень или нет - пусть будут решать пользователи.
.
Siemargl - контора в которой мы делали ТЗ рекомендовала нам разрабатывать в PostgreSQL или Microsoft SQL Server.
...
Рейтинг: 0 / 0
27.03.2010, 15:52
| Ответить | Цитировать | Написать  
Выбор БД для нагруженного портала ( много поиска )
    #36546276
Толстый_Троль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Толстый_Троль
Участник
Alex042Сам я очень слабо разбираюсь в различных бд. Необходимо разработать портал со следующими возможностями:

Основная функция портала это поиск и добавление заявок.
Каждая заявка имеет ~ 35 параметров ( например – параметр: год выпуска ), 18 из них поисковые. Заявки будут добавляться ~ по 1 в сек, в пиковые часы до ~ 10 в сек
Все добавленные заявки должны сразу быть доступны для поиска.
~ 30 пользователей ежесекундно ( в пиковые ~ 100) будут искать заявки по нужным им параметрам.
Общее количество заявок в системе 200-300’000

так же
авторизация
предполагается использовать много аякса
и другие функции, но они уже более статичны ( статьи, информация о пользователя и т.д)

Вопрос: какие базы данных для этого более приспособлены?

P.S. Очень важна сохранность информации и отказоустойчивость. А так же не маловажным фактором, популярность бд, так как на узкоспециализированные бд сложнее найти программистов.

Firebird Classic или SuperClassic (но не Superserver). Машинка можно двухядерная, но лучше 4-рёх. Память, рейды чем больше и быстрее тем лучше. Для пользователей память считаем мин 64Мб для сервера +8мб для каждого одновременно работающего пользователя. Можно меньше, но будет медленнее.

>>35 параметров
для каждого параметра который используется в условиях поиска по индексу, +несколько составных индексов для самых распространённых наборов поиска (лучше добавить во время эксплуатации).

Разработка портала(это вроде web) php но лучше java/jsp (выше производительность). Если выберете .NET могут быть проблемы.
...
Рейтинг: 0 / 0
27.03.2010, 16:55
| Ответить | Цитировать | Написать  
Выбор БД для нагруженного портала ( много поиска )
    #36546283
Толстый_Троль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Толстый_Троль
Участник
Alex042
Siemargl - контора в которой мы делали ТЗ рекомендовала нам разрабатывать в PostgreSQL или Microsoft SQL Server.

В PostgreSQL можно, даже удобнее и мощнее(это де-факто бесплатный оракл), но разработка сложнее чем с FB.
Microsoft SQL Server - ограничиваете себя Windows и довольно дорогой лицензией(на процессор).

>>SQL Svr Standard Edtn Win32 Russian Lic/SA Pack OLP NL Processor License
http://www.softkey.ua/catalog/program_ver.php?ID=5087#o8224
~5500$
...
Рейтинг: 0 / 0
27.03.2010, 17:03
| Ответить | Цитировать | Написать  
Выбор БД для нагруженного портала ( много поиска )
    #36546289
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Alex042
я сам не очень разбираюсь в нагрузках, но знаком не с одним
программистом ( видимо с плохими ), у которых порталы при 100 000 хитах
виснут, хотя все говорят что 100 000 хитов это не нагрузка вовсе.

А теперь сравни их 100 тысяч хитов и свои 100 (без тысяч).
Разница на три порядка.

Alex042заказчиком, еще только мысль используется
Тогда естественно возникают вопросы:
1) где эта мысль потом будет хоститься. У провайдера, на выделенном
сервере (который опять же на площадке провайдера или у Васи Пупкина под
кроватью), или заказчик будет свой датацентр городить.
2) Какая требуется степень надёжности.
3) Насколько критична скорость отклика и чем она будет лимитироваться.

Firebird, конечно, потянет, но ей нужен будет соответствующий
разработчик и DBA.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
27.03.2010, 17:09
| Ответить | Цитировать | Написать  
Выбор БД для нагруженного портала ( много поиска )
    #36546296
Yo.!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yo.!
Гость
если это сайт, значит повесить его захочется на хостинг, отсюда и плясать. хостеры предлагают mysql, postgres, реже mssql, oracle единицы ...
если постгрес вытягивает, я бы остановился на нем.
...
Рейтинг: 0 / 0
27.03.2010, 17:14
| Ответить | Цитировать | Написать  
Выбор БД для нагруженного портала ( много поиска )
    #36546366
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Siemargl
Участник
Alex042Siemargl - контора в которой мы делали ТЗ рекомендовала нам разрабатывать в PostgreSQL или Microsoft SQL Server.
Ну так разработчик пусть и командует. Ну и хостера подыщите. Бюджет проекта пока сверстаете, раз ТЗ есть.

Толстый_Троль идет в свое болото, учить лицензирование. Лицензия на MSSQL Web Edition почти вдвое дешевле и SA лишнее.
...
Рейтинг: 0 / 0
27.03.2010, 19:14
| Ответить | Цитировать | Написать  
Выбор БД для нагруженного портала ( много поиска )
    #36546385
Толстый_Троль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Толстый_Троль
Участник
SiemarglAlex042Siemargl - контора в которой мы делали ТЗ рекомендовала нам разрабатывать в PostgreSQL или Microsoft SQL Server.
Толстый_Троль идет в свое болото, учить лицензирование. Лицензия на MSSQL Web Edition почти вдвое дешевле и SA лишнее.

3272.50$
http://xn--b1aficwgpgex.com/soft/microsoft/olp/sql-server-web-edition.html?side=right

Хотя проект тоже там в бюджет от 20000$, так что нормально.
...
Рейтинг: 0 / 0
27.03.2010, 19:57
| Ответить | Цитировать | Написать  
Выбор БД для нагруженного портала ( много поиска )
    #36546387
Alex042
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex042
Гость
Толстый_Троль - спасибо за информацию

PostgreSQL - и мы вот более склоняемся к выбору этой бд, много достоинств у это бд при минимум недостатков. теперь бы разработчиков найти. )

лицензию там подешевле предлагали, но все равно. Как я понимаю, особой разницы с Microsoft SQL Server для нашего портала не будет, а тогда зачем платить лишнее, я лучше эти деньги разработчикам добавлю.

Dimitry Sibiryakov –

1. конечно же, на выделенном или 2, 3 ( надеюсь не более)
2. да чтобы кому не лень не ломали )
3. Так как у нас нет своих программистом, мы подходим с точки зрения пользователя, а для пользователя важно – как быстро появится то, что он запросил. Чем быстрее – тем лучше.

Не пояснил – у знакомого программиста 100’000 в сутки.
Наш же портал преполагает: 2-2’500’000 хитов в сутки (~ 30 запросов поиска в секунду), причем более половины из них это поиск по базе, и как я понимаю раз заявки постоянно доб/удал в течении дня, как-либо кэшировать это не получится.

Siemargl – наше сотрудничество на ТЗ и закончилось. Мы тогда окончательно решили, что надо искать на постоянную.
...
Рейтинг: 0 / 0
27.03.2010, 20:05
| Ответить | Цитировать | Написать  
Выбор БД для нагруженного портала ( много поиска )
    #36546403
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Alex0422. да чтобы кому не лень не ломали )
3. Так как у нас нет своих программистом, мы подходим с точки зрения
пользователя, а для пользователя важно – как быстро появится то, что он
запросил. Чем быстрее – тем лучше.

Под "надёжностью" я имел ввиду "доступность". Сколько времени в году
ресурс может быть недоступен?
"Чем быстрее - тем лучше" это сколько? В секундах. Вон, недавно один
кретин в firebird-support настаивал, что в примерно аналогичной системе
(только у него данных на два порядка больше) любой запрос не должен
выполняться дольше 100 миллисекунд. И что характерно, в них укладывался,
хоть и через задницу, не слушая добрых советов.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
27.03.2010, 20:32
| Ответить | Цитировать | Написать  
Выбор БД для нагруженного портала ( много поиска )
    #36546421
Alex042
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex042
Гость
Dimitry Sibiryakov,

желательно "24/7" - возможно отключение на до 3 мин ночью и то не желательно.

сколько миллисекунд не знаю, но желательно при нормальном канале, что то, что запрашивает поселитель загружалось не более 2 сек.
вот такая скорость загрузки меня более чем удовлетворит http://www.e1.ru/auto/sale/index.php?m=1659
...
Рейтинг: 0 / 0
27.03.2010, 20:46
| Ответить | Цитировать | Написать  
Выбор БД для нагруженного портала ( много поиска )
    #36546425
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Alex042
желательно "24/7" - возможно отключение на до 3 мин ночью и то не
желательно.

Это потребует кластер и хорошего админа...
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
27.03.2010, 20:50
| Ответить | Цитировать | Написать  
Выбор БД для нагруженного портала ( много поиска )
    #36546435
Alex042
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex042
Гость
Dimitry Sibiryakov
Alex042
желательно "24/7" - возможно отключение на до 3 мин ночью и то не
желательно.

Это потребует кластер и хорошего админа...


спасибо за совет, будет иметь ввиду. я надеюсь это уже растолкуют нам разработчики.
...
Рейтинг: 0 / 0
27.03.2010, 21:00
| Ответить | Цитировать | Написать  
Выбор БД для нагруженного портала ( много поиска )
    #36546458
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Siemargl
Участник
Alex042,

Вы вдаетесь в детали, без общей картины. Пишите "кластер" в ТЗ =)

Хм, кластер на PG. Не в курсе. Отклоняюсь. Хотя в вебе кластер делается и без кластера БД.
...
Рейтинг: 0 / 0
27.03.2010, 21:33
| Ответить | Цитировать | Написать  
Выбор БД для нагруженного портала ( много поиска )
    #36546473
MBG
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MBG
Гость
Alex042
~ 30 пользователей ежесекундно ( в пиковые ~ 100) будут искать заявки по нужным им параметрам.

Так не бывает. Если средняя нагрузка 30 TPS, то пиковая не меньше 200, а то и 1000, зависит от проекта. Еще момент - вы про полнотекстовый поиск или поиск по параметрам? Это очень сильно влияет на выбор.
...
Рейтинг: 0 / 0
27.03.2010, 21:53
| Ответить | Цитировать | Написать  
Выбор БД для нагруженного портала ( много поиска )
    #36546478
MBG
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MBG
Гость
Да, еще момент - если размер БД превысит размер ОЗУ, на большинстве СУБД вы получите огромные, часто нерешаемые, проблемы. Так что лучше назовите предполагаемый размер БД (за три года обычно) и ОЗУ на сервере, чтобы более предметно можно было оценить задачу.
...
Рейтинг: 0 / 0
27.03.2010, 21:56
| Ответить | Цитировать | Написать  
Выбор БД для нагруженного портала ( много поиска )
    #36546480
Alex042
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex042
Гость
Siemargl,

меня спросили - я ответил )

Спасибо всем за участие и помощь, я думаю следует теперь сосредоточиться на поиске этих самых разработчиков:

Кстати никто не подскажет где их можно найти? на фрилансе что-то мало нормальных специалистов.
...
Рейтинг: 0 / 0
27.03.2010, 21:58
| Ответить | Цитировать | Написать  
Выбор БД для нагруженного портала ( много поиска )
    #36546484
Alex042
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex042
Гость
MBGAlex042
~ 30 пользователей ежесекундно ( в пиковые ~ 100) будут искать заявки по нужным им параметрам.

Так не бывает. Если средняя нагрузка 30 TPS, то пиковая не меньше 200, а то и 1000, зависит от проекта. Еще момент - вы про полнотекстовый поиск или поиск по параметрам? Это очень сильно влияет на выбор.

к сожалению оценить реальную нагрузку мы не можем, так как оценивать еще не на чем.

поиско по параметрам
...
Рейтинг: 0 / 0
27.03.2010, 22:03
| Ответить | Цитировать | Написать  
Выбор БД для нагруженного портала ( много поиска )
    #36546488
Alex042
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex042
Гость
MBGДа, еще момент - если размер БД превысит размер ОЗУ, на большинстве СУБД вы получите огромные, часто нерешаемые, проблемы. Так что лучше назовите предполагаемый размер БД (за три года обычно) и ОЗУ на сервере, чтобы более предметно можно было оценить задачу.

Первое время сервер будет арендоваться, это точно - так что ОЗУ будет стоять столько, сколько потребудется.
...
Рейтинг: 0 / 0
27.03.2010, 22:07
| Ответить | Цитировать | Написать  
Выбор БД для нагруженного портала ( много поиска )
    #36546532
ЛП
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ЛП
Участник
MBGДа, еще момент - если размер БД превысит размер ОЗУ, на большинстве СУБД вы получите огромные, часто нерешаемые, проблемы.
Вы глупость несусветную сказанули. Чушь чушовую.

Если данные влезают в ОЗУ, то никакие РСУБД и даром не нужны. Хватит сериализуемого на диск куска памяти ака массив.
РСУБД возникли (в том числе) для того, чтобы эффективно работать с данными, объём которых превышает не только доступное ОЗУ, но иногда и адресное пространство.
...
Рейтинг: 0 / 0
27.03.2010, 23:23
| Ответить | Цитировать | Написать  
Выбор БД для нагруженного портала ( много поиска )
    #36546603
Mysqladdictive
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mysqladdictive
Гость
http://www.e1.ru/auto/sale/index.php?m=1659
вчера, 20:46 [8543323] Ответить | Цитировать Сообщить модератору

Прикольно, этот посредник при заказчике считает что приведённая ссылка - поиск
Дезайнер небось или, что более вероятно топменеджер супервебстудии.
...
Рейтинг: 0 / 0
28.03.2010, 03:20
| Ответить | Цитировать | Написать  
Выбор БД для нагруженного портала ( много поиска )
    #36546709
Alex042
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex042
Гость
Mysqladdictivehttp://www.e1.ru/auto/sale/index.php?m=1659
вчера, 20:46 [8543323] Ответить | Цитировать Сообщить модератору

Прикольно, этот посредник при заказчике считает что приведённая ссылка - поиск
Дезайнер небось или, что более вероятно топменеджер супервебстудии.

А кто тут утверждал, что это поиск?

Мне сказали, какая скорость загрузки Вам нужна, я и отвечаю С ТОЧКИ ЗРЕНИЯ ПОЛЬЗОВАТЕЛЯ.
Я не имею понятия как отследить эти 100, 200 миллисекунд? ( ну если они не выводятся внизу страницы)
И для ПОЛЬЗОВАТЕЛЯ, нет ни какой разницы, поиск это или статика - его волнует, когда по его ЩЕЛЧКУ - появится то, что он запросил? Или я не прав?
...
Рейтинг: 0 / 0
28.03.2010, 12:17
| Ответить | Цитировать | Написать  
25 сообщений из 52, страница 1 из 3
  1  все
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Выбор БД для нагруженного портала ( много поиска )
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=35&msg=36546478&tid=1552818]:
 0ms
get settings:
 11ms
get forum list:
 13ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 34ms
get topic data:
 11ms
get forum data:
 3ms
get page messages:
 55ms
get tp. blocked users:
 1ms
others: 14ms
total:  150ms
созд. / загр.: 150ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]