ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Собрать данные на одном сервере.
26 сообщений из 26, показаны все 2 страниц
  все  
Собрать данные на одном сервере.
    #38648512
jenya7
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
jenya7
Гость
Есть десять компов на каждом бежит MySQL и пишет данные в таблицу.
Я хочу собрать все десять таблиц на одном компе для обработки данных.
В принципе я мог бы сделать дамп или использовать SQLyog но проблема что таблицы раздулись до размеров гигабайт, например есть таблица размером 4 гига, и это берет очень много времени.
MySQL хранит таблицу в файле. Я слышал, что можно указать, чтоб он разбивал этот файл на несколько файлов определенного размера. С маленькими файлами легко работать и я их смогу собирать на главном компе.
Подскажите как это сделать.
...
Рейтинг: 0 / 0
22.05.2014, 10:38:27
| Ответить | Цитировать | Написать  
Собрать данные на одном сервере.
    #38648528
tanglir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tanglir
Участник
jenya7MySQL хранит таблицу в файле. Я слышал, что можно указать, чтоб он разбивал этот файл на несколько файлов определенного размера.1)Если у вас myisam, то таблицы и так хранятся каждая в своём файле, дальше дробить некуда.
2)Если у вас inndob:
Мускль хранит все данные иннодб в одном файле.
Есть параметр innodb_file_per_table меняющий это поведение на хранение каждой отдельной таблицы в своём отдельном файле.
Если у вас большая БД, её можно побить на меньшие части (отдельные таблицы).
Но если в БД сами таблицы большие, то их уже никак не разбить.
...
Рейтинг: 0 / 0
22.05.2014, 10:46:27
| Ответить | Цитировать | Написать  
Собрать данные на одном сервере.
    #38648590
jenya7
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
jenya7
Гость
tanglirjenya7MySQL хранит таблицу в файле. Я слышал, что можно указать, чтоб он разбивал этот файл на несколько файлов определенного размера.1)Если у вас myisam, то таблицы и так хранятся каждая в своём файле, дальше дробить некуда.
2)Если у вас inndob:
Мускль хранит все данные иннодб в одном файле.
Есть параметр innodb_file_per_table меняющий это поведение на хранение каждой отдельной таблицы в своём отдельном файле.
Если у вас большая БД, её можно побить на меньшие части (отдельные таблицы).
Но если в БД сами таблицы большие, то их уже никак не разбить.

у меня myisam
таблицы нормализованы хорошо - дальше дробить их невозможно.
я понимаю что таблицы хранятся каждая в своём файле, но я слышал что есть возможность порционно хранить таблицу. То есть если файл достиг размера скажем 100 мега - открывается новый файл и таблица продолжает заливаться в этот файл.
...
Рейтинг: 0 / 0
22.05.2014, 11:13:43
| Ответить | Цитировать | Написать  
Собрать данные на одном сервере.
    #38648644
alex564657498765453
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex564657498765453
Участник
я чтото не понял.

тебе данные на одном компе надо собрать, ты щитаешь что если ты гиг будешь передавать не гигом а частями будет проще бытсрее???

а если из гига тебе надо часть ,так и делай сброс дампа части.
...
Рейтинг: 0 / 0
22.05.2014, 11:42:07
| Ответить | Цитировать | Написать  
Собрать данные на одном сервере.
    #38648664
jenya7
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
jenya7
Гость
alex564657498765453я чтото не понял.

тебе данные на одном компе надо собрать, ты щитаешь что если ты гиг будешь передавать не гигом а частями будет проще бытсрее???

а если из гига тебе надо часть ,так и делай сброс дампа части.

да, мне проще передавать частями, я ведь могу их не сразу лить а постепенно.
...
Рейтинг: 0 / 0
22.05.2014, 11:48:41
| Ответить | Цитировать | Написать  
Собрать данные на одном сервере.
    #38648679
jenya7
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
jenya7
Гость
и потом дамп я делаю каждый раз со всей таблицы заново и я не знаю какие части я уже забрал а какие нет. а так очень удобно, вчера было десять файлов - я их забрал, сегодня еще два появились - я их забрал.
...
Рейтинг: 0 / 0
22.05.2014, 11:55:18
| Ответить | Цитировать | Написать  
Собрать данные на одном сервере.
    #38648693
tanglir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tanglir
Участник
jenya7,

репликация, не?
...
Рейтинг: 0 / 0
22.05.2014, 12:00:39
| Ответить | Цитировать | Написать  
Собрать данные на одном сервере.
    #38648742
jenya7
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
jenya7
Гость
tanglirjenya7,

репликация, не?

а не подскажете как настроить серер/станцию на репликацию?
...
Рейтинг: 0 / 0
22.05.2014, 12:15:20
| Ответить | Цитировать | Написать  
Собрать данные на одном сервере.
    #38648761
jenya7
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
jenya7
Гость
с репликацией есть проблема - для репликации нужна сеть. а главный комп обрабатывающий данные не подключен к сети.
...
Рейтинг: 0 / 0
22.05.2014, 12:20:39
| Ответить | Цитировать | Написать  
Собрать данные на одном сервере.
    #38648800
tanglir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tanglir
Участник
jenya7, ну, можно удалять гланды и нетрадиционным способом... сделайте бэкап один раз, разверните его на "главном" компе, потом время от времени "восстанавливайте" его с помощью бинлогов
http://dev.mysql.com/doc/refman/5.1/en/point-in-time-recovery.html
...
Рейтинг: 0 / 0
22.05.2014, 12:34:01
| Ответить | Цитировать | Написать  
Собрать данные на одном сервере.
    #38648806
tanglir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tanglir
Участник
ой, у вас же несколько мусклей-источников
тогда только писать свой велосипед с ручным отслеживанием изменений
...
Рейтинг: 0 / 0
22.05.2014, 12:35:29
| Ответить | Цитировать | Написать  
Собрать данные на одном сервере.
    #38648876
jenya7
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
jenya7
Гость
бинлог это интересно - отслеживает только изменения в таблице.
а в чем проблема что несколько таблиц? ну и будет себе апдейтировать сборную таблицу дистинкт.
...
Рейтинг: 0 / 0
22.05.2014, 13:06:20
| Ответить | Цитировать | Написать  
Собрать данные на одном сервере.
    #38648900
tanglir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tanglir
Участник
jenya7а в чем проблема что несколько таблиц?не несколько таблиц, а несколько серверов исходных
...
Рейтинг: 0 / 0
22.05.2014, 13:16:26
| Ответить | Цитировать | Написать  
Собрать данные на одном сервере.
    #38648904
tanglir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tanglir
Участник
jenya7ну и будет себе апдейтировать сборную таблицу дистинкт.ага, осталось только рассказать штатному механизму бэкапирования, что он должен использовать некий придуманный васей пупкиным дистинкт
...
Рейтинг: 0 / 0
22.05.2014, 13:17:12
| Ответить | Цитировать | Написать  
Собрать данные на одном сервере.
    #38648933
jenya7
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
jenya7
Гость
насколько я понимаю по первичному ключу. а что если я собрал десять дампов с десяти компов и заливаю их на один центральный - как проверяется что нет дубликатов?
...
Рейтинг: 0 / 0
22.05.2014, 13:26:20
| Ответить | Цитировать | Написать  
Собрать данные на одном сервере.
    #38648977
alex564657498765453
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex564657498765453
Участник
jenya7насколько я понимаю по первичному ключу. а что если я собрал десять дампов с десяти компов и заливаю их на один центральный - как проверяется что нет дубликатов?

мы в подобной ситуации делали

таблица на станциях
table(field_list....)

таже таблица на сервере
table(field_list...., !!!! fk_idnode) --плюс ссылка на айди машины откуда этот лог
и первичный ключ сдесь уже пара, прежний первичный плюс ссылка на источник.

а вот сбор делался следующим способом.
станции посылали строчки из хранимки на сервер в базу.(постргрес правда, но на форуме сдесь встречал что и на мускле такое можно, закинуть данные на другой сервер баз данных)
...
Рейтинг: 0 / 0
22.05.2014, 13:43:21
| Ответить | Цитировать | Написать  
Собрать данные на одном сервере.
    #38648997
jenya7
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
jenya7
Гость
alex564657498765453jenya7насколько я понимаю по первичному ключу. а что если я собрал десять дампов с десяти компов и заливаю их на один центральный - как проверяется что нет дубликатов?

мы в подобной ситуации делали

таблица на станциях
table(field_list....)

таже таблица на сервере
table(field_list...., !!!! fk_idnode) --плюс ссылка на айди машины откуда этот лог
и первичный ключ сдесь уже пара, прежний первичный плюс ссылка на источник.

а вот сбор делался следующим способом.
станции посылали строчки из хранимки на сервер в базу.(постргрес правда, но на форуме сдесь встречал что и на мускле такое можно, закинуть данные на другой сервер баз данных)

я не могу сейчас добавить в таблицы id и потом будет сеть или нет это большой вопрос. мне понравился Binary Log правда не понимаю как он работает но буду потихоньку разбираться.
...
Рейтинг: 0 / 0
22.05.2014, 13:52:36
| Ответить | Цитировать | Написать  
Собрать данные на одном сервере.
    #38649116
tanglir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tanglir
Участник
jenya7мне понравился Binary Log правда не понимаю как он работает но буду потихоньку разбираться.он не будет у вас работать
точка, конец предложения, абзац
...
Рейтинг: 0 / 0
22.05.2014, 14:45:58
| Ответить | Цитировать | Написать  
Собрать данные на одном сервере.
    #38649125
jenya7
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
jenya7
Гость
tanglirjenya7мне понравился Binary Log правда не понимаю как он работает но буду потихоньку разбираться.он не будет у вас работать
точка, конец предложения, абзац

мда. ругаеться на InnoDB.
...
Рейтинг: 0 / 0
22.05.2014, 14:52:48
| Ответить | Цитировать | Написать  
Собрать данные на одном сервере.
    #38649265
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Akina
Участник
jenya7у меня myisam

слышал что есть возможность порционно хранить таблицу. То есть если файл достиг размера скажем 100 мега - открывается новый файл и таблица продолжает заливаться в этот файл.
PARTITION BY RANGE. Не совсем то, но очень близко по смыслу.
А ещё есть MERGE Engine.
...
Рейтинг: 0 / 0
22.05.2014, 16:48:18
| Ответить | Цитировать | Написать  
Собрать данные на одном сервере.
    #38649294
jenya7
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
jenya7
Гость
Akinajenya7у меня myisam

слышал что есть возможность порционно хранить таблицу. То есть если файл достиг размера скажем 100 мега - открывается новый файл и таблица продолжает заливаться в этот файл.
PARTITION BY RANGE. Не совсем то, но очень близко по смыслу.
А ещё есть MERGE Engine.

спасибо посмотрю
...
Рейтинг: 0 / 0
22.05.2014, 16:59:31
| Ответить | Цитировать | Написать  
Собрать данные на одном сервере.
    #38649457
Фотография Karbafos
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Karbafos
Участник
хоть DDL таблицы показал бы
как данные в таблицу попадают?
...
Рейтинг: 0 / 0
22.05.2014, 18:37:47
| Ответить | Цитировать | Написать  
Собрать данные на одном сервере.
    #38650204
biwed.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
biwed.ru
Гость
jenya7,
Добрый день.
jenya7с репликацией есть проблема - для репликации нужна сеть. а главный комп обрабатывающий данные не подключен к сети.
Попробуйте посмотреть в сторону ETL сервера (это вместо велосипеда и если не пугают новые технологии). К примеру на pentaho data integration (бесплатный). Его job или трансформации можно запускать по расписанию (через командную строку), именно когда сервер (основной) будет в сети. Можно реализовать разный обмен, в том числе и такой:
alex564657498765453 таблица на станциях
table(field_list....)

таже таблица на сервере
table(field_list...., !!!! fk_idnode) --плюс ссылка на айди машины откуда этот лог
и первичный ключ сдесь уже пара, прежний первичный плюс ссылка на источник.

Возможности ETL сервера 4 ГБ таблица это не очень то и много.

PS. единственный минус нет литературы и рабочих проектов, которых можно взять за основу.

С уважением,
biwed.ru
...
Рейтинг: 0 / 0
23.05.2014, 13:23:01
| Ответить | Цитировать | Написать  
Собрать данные на одном сервере.
    #38650332
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
On 22.05.2014 11:38, jenya7 wrote:

> Я хочу собрать все десять таблиц на одном компе для обработки данных.
> В принципе я мог бы сделать дамп или использовать SQLyog

Дамп на всех исходных БД + заливка в одну целевую.


но проблема что
> таблицы раздулись до размеров гигабайт, например есть таблица размером 4
> гига, и это берет очень много времени.

Ну и в чём проблема-то ?
Да, будет долго.


> MySQL хранит таблицу в файле. Я слышал, что можно указать, чтоб он
> разбивал этот файл на несколько файлов определенного размера. С
> маленькими файлами легко работать и я их смогу собирать на главном компе.
> Подскажите как это сделать.

Нет такой возможности. Это ты что-то не так понял.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
23.05.2014, 14:34:40
| Ответить | Цитировать | Написать  
Собрать данные на одном сервере.
    #38650340
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
On 22.05.2014 12:48, jenya7 wrote:

> да, мне проще передавать частями, я ведь могу их не сразу лить а постепенно.

Так при экспорте данных mysqldump-ом дампи часть какую-то по условию.
Я не знаю, как это сделать, но думаю, что можно наверняка.
В крайнем случае сделай N view на таблицу с разыми условиями и дампи с
этих вьюх, а не с таблицы.

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
23.05.2014, 14:38:08
| Ответить | Цитировать | Написать  
Собрать данные на одном сервере.
    #38650609
Aliced
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliced
Гость
>MySQL хранит таблицу в файле. Я слышал, что можно указать, чтоб он разбивал этот файл на несколько файлов определенного размера. С маленькими файлами легко работать и я их смогу собирать на главном компе.

Я, верно, что-то упустила, но мне кажется, что собрать отдельные "маленькие файлы" на одном сервере и сделать из них выборку-это разные вещи, если речь идет об ibdata. Их еще как-то надо серверу представить и уговорить, что они у него есть и могут работать.
И 4 гигабайта это совсем не много...

А для разбивки можно партиционирование использовать с разбивкой по датам. Но чтобы это было эффективно, у вас 4гб в день должно накапывать, образно говоря.

Мне больше нравится дамп со всех. Вначале добавить везде допполя ид_сервер и дата-время, заполнять можно триггерами. Потом залить дамп со всех на один сервер, дальнейшие обновления можно забирать infile-outfile по дате. Получатся маленькие файлики, которые к тому же можно еще и архивировать при передаче.
Хотя если таблиц много то напряжно все это делать...
...
Рейтинг: 0 / 0
23.05.2014, 17:55:08
| Ответить | Цитировать | Написать  
26 сообщений из 26, показаны все 2 страниц
  все  
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Собрать данные на одном сервере.
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?all=1&fid=47&tid=1834772]:
 0ms
get settings:
 8ms
get forum list:
 12ms
check forum access:
 2ms
check topic access:
 2ms
track hit:
 56ms
get topic data:
 9ms
get forum data:
 2ms
get page messages:
 39ms
get tp. blocked users:
 1ms
others: 230ms
total:  361ms
созд. / загр.: 361ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]