ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Как правильней вставить НОВЫЕ данные в многомиллионную таблиу?
9 сообщений из 34, страница 2 из 2
  2  все
Как правильней вставить НОВЫЕ данные в многомиллионную таблиу?
    #38896790
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
biwed.ru,

Объясню почему.
1) тема сообщения "Как правильней вставить НОВЫЕ данные в многомиллионную таблиу?". Один из ответов использовать ETL сервер. Ответ будет тот же самый "Как правильней вставить НОВЫЕ данные в более чем 100 миллионную таблицу?".



тути так в топике бреда всякого написали, а ты еще супер бред добавил. ETLнужен когда много данных сложной структуры нужно преобразовать, меняя структуру. у автора же все просто и примитивно, структура проста, задача по проверке тоже, автор просто имеет мало опыта и путается в трех соснах.
...
Рейтинг: 0 / 0
06.03.2015, 08:33:49
| Ответить | Цитировать | Написать  
Как правильней вставить НОВЫЕ данные в многомиллионную таблиу?
    #38896794
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
InterSky,

короче, автор, не слушай никого, приду на работу выложу тебе все по пунктам, что делать.

в основном проблема в том, что то, что ты считаешь сложным, на самом деле просто, и ты делаешь много ненужного.

еще проблема, тебе нужно как то для каждого источника данных однозначно идентифицировать каждую запись, без этого решение задачи просто невозможно.


состав таблицу на бумаге, список источников и для каждого список полей, которые будут идентифицировать запись в нем.

дольше напишу позже
...
Рейтинг: 0 / 0
06.03.2015, 08:44:14
| Ответить | Цитировать | Написать  
Как правильней вставить НОВЫЕ данные в многомиллионную таблиу?
    #38896798
biwed.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
biwed.ru
Гость
MasterZiv, добрый день.

авторETLнужен когда много данных сложной структуры нужно преобразовать, меняя структуру.

В это из теории или из практики?

С уважением,
biwed.ru
...
Рейтинг: 0 / 0
06.03.2015, 08:52:26
| Ответить | Цитировать | Написать  
Как правильней вставить НОВЫЕ данные в многомиллионную таблиу?
    #38896826
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
biwed.ruMasterZiv, добрый день.

авторETLнужен когда много данных сложной структуры нужно преобразовать, меняя структуру.

В это из теории или из практики?

С уважением,
biwed.ru

из мозга...
...
Рейтинг: 0 / 0
06.03.2015, 09:18:37
| Ответить | Цитировать | Написать  
Как правильней вставить НОВЫЕ данные в многомиллионную таблиу?
    #38897530
InterSky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
InterSky
Участник
Уникального идентификатора там нет, в файле могут подрят идти две полностью одинаковые строки (например устройство дважды за секунду столкнулось с ситуацией о нехватке оперативной памяти, и сообщит об этом дважды).
В целом идентификатором для определения вводил я запись или не вводил, я выбрал связку Дата+Время+КодУстройства.
Привязки к файлам (если их считать источником) увы, никакой нету, так как файлы могут переименовываться и даже меняться местами. А изменить программу пишущую логи я ни как не могу.
В целом я написал на каком варианте остановился сейчас - по принципу бинарного дерева дроблю каждый лог-файл и нахожу границу между введёнными данными и новыми, после чего все новые вставляю. Разве есть что-то быстрее и лучше?
...
Рейтинг: 0 / 0
06.03.2015, 18:15:18
| Ответить | Цитировать | Написать  
Как правильней вставить НОВЫЕ данные в многомиллионную таблиу?
    #38897544
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
InterSkyУникального идентификатора там нет, в файле могут подрят идти две полностью одинаковые строки (например устройство дважды за секунду столкнулось с ситуацией о нехватке оперативной памяти, и сообщит об этом дважды).


Если ты не сможешь вывести уникальный идентификатор (возможно, составной), то, увы, невозможно будет отличать
одну записиь от другой.

InterSkyВ целом идентификатором для определения вводил я запись или не вводил, я выбрал связку Дата+Время+КодУстройства.
Привязки к файлам (если их считать источником) увы, никакой нету, так как файлы могут переименовываться и даже меняться местами. А изменить программу пишущую логи я ни как не могу.


Хотел также напомнить, что перенаправление ввода-вывода работает и в Windows -- так же как и в linux/unix.
...
Рейтинг: 0 / 0
06.03.2015, 18:40:35
| Ответить | Цитировать | Написать  
Как правильней вставить НОВЫЕ данные в многомиллионную таблиу?
    #38900917
InterSky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
InterSky
Участник
MasterZivXотел также напомнить, что перенаправление ввода-вывода работает и в Windows -- так же как и в linux/unix.А можно уточнить - Как? Я не нашёл никакой возможности подключиться к Locked (открытому на запись) файлу и перенаправить его куда-то в другое место.
...
Рейтинг: 0 / 0
11.03.2015, 11:17:09
| Ответить | Цитировать | Написать  
Как правильней вставить НОВЫЕ данные в многомиллионную таблиу?
    #38901018
bochkov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bochkov
Участник
тут ETL надо крутить, не обязательно сервак,
просто скрипт Pentaho-вский
...
Рейтинг: 0 / 0
11.03.2015, 12:00:56
| Ответить | Цитировать | Написать  
Как правильней вставить НОВЫЕ данные в многомиллионную таблиу?
    #38901056
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
InterSkyMasterZivXотел также напомнить, что перенаправление ввода-вывода работает и в Windows -- так же как и в linux/unix.А можно уточнить - Как?

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
C:\Documents and Settings\ziv\tmp>cat aws_ziv.log
(Oct 30, 2014 15:20:14)Starting activation process.
(Oct 30, 2014 15:20:14)Performing interactive activation.
(Oct 30, 2014 15:20:14)MATHWORKS ACTIVATION IS STARTING UP.
(Oct 30, 2014 15:21:02)MATHWORKS ACTIVATION IS EXITING WITH A STATUS OF 0



C:\Documents and Settings\ziv\tmp>type aws_ziv.log
(Oct 30, 2014 15:20:14)Starting activation process.
(Oct 30, 2014 15:20:14)Performing interactive activation.
(Oct 30, 2014 15:20:14)MATHWORKS ACTIVATION IS STARTING UP.
(Oct 30, 2014 15:21:02)MATHWORKS ACTIVATION IS EXITING WITH A STATUS OF 0



C:\Documents and Settings\ziv\tmp>type aws_ziv.log > zzz

C:\Documents and Settings\ziv\tmp>type zzz
(Oct 30, 2014 15:20:14)Starting activation process.
(Oct 30, 2014 15:20:14)Performing interactive activation.
(Oct 30, 2014 15:20:14)MATHWORKS ACTIVATION IS STARTING UP.
(Oct 30, 2014 15:21:02)MATHWORKS ACTIVATION IS EXITING WITH A STATUS OF 0



C:\Documents and Settings\ziv\tmp>type aws_ziv.log >> zzz

C:\Documents and Settings\ziv\tmp>type zzz
(Oct 30, 2014 15:20:14)Starting activation process.
(Oct 30, 2014 15:20:14)Performing interactive activation.
(Oct 30, 2014 15:20:14)MATHWORKS ACTIVATION IS STARTING UP.
(Oct 30, 2014 15:21:02)MATHWORKS ACTIVATION IS EXITING WITH A STATUS OF 0


(Oct 30, 2014 15:20:14)Starting activation process.
(Oct 30, 2014 15:20:14)Performing interactive activation.
(Oct 30, 2014 15:20:14)MATHWORKS ACTIVATION IS STARTING UP.
(Oct 30, 2014 15:21:02)MATHWORKS ACTIVATION IS EXITING WITH A STATUS OF 0

InterSkyЯ не нашёл никакой возможности подключиться к Locked (открытому на запись) файлу и перенаправить его куда-то в другое место.

Это в принципе невозможно.
Ну т.е. ты просто чушь говоришь.
Но можно сделать линк на этот файл в другом каталоге.
Я напомню, что Win32 поддерживает хардлинки и софтлинки, и они замечательно работают, просто не все программы
манипулирования файлами их поддерживают. Поддерживает, например, FAR.

Эффективно тот же самый файл появится в другом каталоге.
Но учти, что если файл удалят, и создадут снова, то связь разорвётся: старый файл будет в старом месте, а новый -- в новом, или что-то вроде этого (надо читать доки).
...
Рейтинг: 0 / 0
11.03.2015, 12:23:08
| Ответить | Цитировать | Написать  
9 сообщений из 34, страница 2 из 2
  2  все
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Как правильней вставить НОВЫЕ данные в многомиллионную таблиу?
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=47&msg=38896790&tid=1833465]:
 0ms
get settings:
 7ms
get forum list:
 15ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 54ms
get topic data:
 8ms
get forum data:
 2ms
get page messages:
 45ms
get tp. blocked users:
 1ms
others: 228ms
total:  366ms
созд. / загр.: 366ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]