ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Самый быстрый способ создать легкую базу
11 сообщений из 11, страница 1 из 1
Самый быстрый способ создать легкую базу
    #38853560
M18
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
M18
Гость
Добрый день.
Есть определенный сервис, который работает по следующей схеме:

Основная БД 15Гб, тяжелая база со статистикой, информацией, пользователях.

Есть легкая БД на другом сервере, которая создается раз в 15 минут при помощи PHP скрипта. Живет она максимум час и в ней содержится только актуальная информация. С нее идет только чтение. Раньше был Master-Slave, но копировать все данные нет необходимости, поэтому был написан свой механизм. Текущая легкая база весит 10-30Мб, хранится в Memory, с нее выполняется только чтение и работает схема очень быстро.

НО, появилась одна проблема - с ростом операция занимает приличное время и все время увеличивается. Какой самый быстрый способ создать эту базу? Хочется как-то облегчить и оптимизировать этот процесс.
...
Рейтинг: 0 / 0
13.01.2015, 18:46:37
| Ответить | Цитировать | Написать  
Самый быстрый способ создать легкую базу
    #38853568
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Нужна масса подробностей.
Что такое БД в вашем понимании? Что и как именно "создается раз в 15 минут при помощи PHP скрипта"?
Какое время это занимает сейчас? Какого времени нужно достичь? Какова цель оптимизации?
...
Рейтинг: 0 / 0
13.01.2015, 18:50:07
| Ответить | Цитировать | Написать  
Самый быстрый способ создать легкую базу
    #38853995
alex564657498765453
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex564657498765453
Участник
M18,

тригером на основной делать дубль вставки апдейта изменения на лёгкой
...
Рейтинг: 0 / 0
14.01.2015, 12:38:28
| Ответить | Цитировать | Написать  
Самый быстрый способ создать легкую базу
    #38861075
M18
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
M18
Гость
Ну вообщем как быстрее всего сделать вторую базу?
Может имеет смысл сделать дамп, а потом его импортировать как-то на другом сервере?
По идее это быстро должно быть.
...
Рейтинг: 0 / 0
22.01.2015, 19:07:41
| Ответить | Цитировать | Написать  
Самый быстрый способ создать легкую базу
    #38861084
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
M18Может имеет смысл сделать дамп, а потом его импортировать как-то на другом сервере?
По идее это быстро должно быть.Быстрее не дамп, а текстовый файл, например, CSV.
Импортировать через mysqlimport/LOAD DATA INFILE.
...
Рейтинг: 0 / 0
22.01.2015, 19:10:54
| Ответить | Цитировать | Написать  
Самый быстрый способ создать легкую базу
    #38861093
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Akina
Участник
M18проблема - с ростом операция занимает приличное время и все время увеличивается.С ростом, я извиняюсь, ЧЕГО? основной базы? ну так создайте там индекс, позволяющий максимально быстро выполнять выборку для передачи в "малую" БД.
...
Рейтинг: 0 / 0
22.01.2015, 19:17:14
| Ответить | Цитировать | Написать  
Самый быстрый способ создать легкую базу
    #38861098
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
AkinaM18проблема - с ростом операция занимает приличное время и все время увеличивается.С ростом, я извиняюсь, ЧЕГО? основной базы? ну так создайте там индекс, позволяющий максимально быстро выполнять выборку для передачи в "малую" БД.У меня есть подозрение, что при правильном индексе вообще пропадет необходимость в "малой" БД.
...
Рейтинг: 0 / 0
22.01.2015, 19:19:15
| Ответить | Цитировать | Написать  
Самый быстрый способ создать легкую базу
    #38861100
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Akina
Участник
miksoftУ меня есть подозрение, что при правильном индексе вообще пропадет необходимость в "малой" БД.C этим согласен... но ТС не ставит задачу ускорения работы с данными, ему нужно именно "лёгкую базу" быстро наполнить. Он же не сомневается, что выбрал единственно правильный способ решения основной задачи - зачем его в этом разубеждать?
...
Рейтинг: 0 / 0
22.01.2015, 19:21:21
| Ответить | Цитировать | Написать  
Самый быстрый способ создать легкую базу
    #38861928
M18
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
M18
Гость
Почему? Я рассматриваю разные варианты.

На самом деле с первой волной нагрузки был вариант master-slave, он оказался неудобным и пришлось сделать велосипед.
Теперь вторая база не особо бы и нужна, т.к. все данные все равно отправляются по расписанию в memcached и оттуда пользователю.

Просто с вариантом второй базы я сразу вижу все актуальные данные, и могу четко понять, что в memcached не пролазиет какое-нибудь пятилетнее и нерабочее.
...
Рейтинг: 0 / 0
23.01.2015, 16:37:17
| Ответить | Цитировать | Написать  
Самый быстрый способ создать легкую базу
    #38861943
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
M18Добрый день.
Есть определенный сервис, который работает по следующей схеме:

Основная БД 15Гб, тяжелая база со статистикой, информацией, пользователях.

Есть легкая БД на другом сервере, которая создается раз в 15 минут при помощи PHP скрипта. Живет она максимум час и в ней содержится только актуальная информация. С нее идет только чтение. Раньше был Master-Slave, но копировать все данные нет необходимости, поэтому был написан свой механизм. Текущая легкая база весит 10-30Мб, хранится в Memory, с нее выполняется только чтение и работает схема очень быстро.

НО, появилась одна проблема - с ростом операция занимает приличное время и все время увеличивается. Какой самый быстрый способ создать эту базу? Хочется как-то облегчить и оптимизировать этот процесс.

Что только люди ни придумают, чтобы индексы не создавать...
...
Рейтинг: 0 / 0
23.01.2015, 16:45:53
| Ответить | Цитировать | Написать  
Самый быстрый способ создать легкую базу
    #38863160
M18
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
M18
Гость
Индексы есть и они работают :)
...
Рейтинг: 0 / 0
26.01.2015, 13:02:04
| Ответить | Цитировать | Написать  
11 сообщений из 11, страница 1 из 1
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Самый быстрый способ создать легкую базу
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=47&fpage=148&tid=1833649]:
 0ms
get settings:
 8ms
get forum list:
 14ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 32ms
get topic data:
 8ms
get forum data:
 2ms
get page messages:
 41ms
get tp. blocked users:
 1ms
others: 206ms
total:  318ms
созд. / загр.: 318ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]