ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / MySQL [игнор отключен] [закрыт для гостей] / INTO OUTFILE и блокировка файла
21 сообщений из 21, страница 1 из 1
INTO OUTFILE и блокировка файла
    #38992119
Artemeey
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Artemeey
Участник
Пример запроса:
SELECT * INTO OUTFILE '/files/big_data.txt' FROM `big_table`;

Есть процесс, который читает файлы из папки files и перекидывает их на другой сервер.
Вероятна ошибка, при которой процесс начнет читать файл из папки, не убедившись, что INTO OUTFILE завершил работу.

Как можно исправить эту ошибку?
...
Рейтинг: 0 / 0
25.06.2015, 00:08:35
| Ответить | Цитировать | Написать  
INTO OUTFILE и блокировка файла
    #38992156
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
ArtemeeyКак можно исправить эту ошибку?Имхо, только дополнительной сигнализацией. Например, созданием флагового файла после окончания основного процесса. Копирующий процесс не должен начинать свою работу без наличия флагового файла. Причем оба процесса первым же действием должны удалять этот файл.
...
Рейтинг: 0 / 0
25.06.2015, 01:47:23
| Ответить | Цитировать | Написать  
INTO OUTFILE и блокировка файла
    #38992231
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Akina
Участник
ArtemeeyЕсть процесс, который читает файлы из папки files и перекидывает их на другой сервер.
Вероятна ошибка, при которой процесс начнет читать файл из папки, не убедившись, что INTO OUTFILE завершил работу.

Как можно исправить эту ошибку?
Исправьте ошибку, "при которой процесс начнет читать файл из папки, не убедившись, что INTO OUTFILE завершил работу".
...
Рейтинг: 0 / 0
25.06.2015, 08:48:54
| Ответить | Цитировать | Написать  
INTO OUTFILE и блокировка файла
    #38992241
login_sqlru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
login_sqlru
Гость
Artemeey,

если процесс в линухе, попробуй такой вариант:
if [ "`/usr/sbin/lsof ${output_file}`" ];
then
scp ${output_file} ${v_jerdin_bir_jerovo}
fi

естественно, по времени надо отрегулировать. или условие в while поставить, и файл скопируется как только файл будет закрыт.
...
Рейтинг: 0 / 0
25.06.2015, 09:00:37
| Ответить | Цитировать | Написать  
INTO OUTFILE и блокировка файла
    #38992406
login_sqlru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
login_sqlru
Гость
login_sqlruArtemeey,

если процесс в линухе, попробуй такой вариант:
if [ "`/usr/sbin/lsof ${output_file}`" ];
then
scp ${output_file} ${v_jerdin_bir_jerovo}
fi

естественно, по времени надо отрегулировать. или условие в while поставить, и файл скопируется как только файл будет закрыт.
упс, там ключ -z должен быть, а то сработает наоборот.
if [ -z "`/usr/sbin/lsof ${output_file}`" ];
...
Рейтинг: 0 / 0
25.06.2015, 11:35:41
| Ответить | Цитировать | Написать  
INTO OUTFILE и блокировка файла
    #38992493
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
login_sqlruкак только файл будет закрыт.А есть гарантия, что файл не закрывается на середине выгрузки?
...
Рейтинг: 0 / 0
25.06.2015, 12:48:50
| Ответить | Цитировать | Написать  
INTO OUTFILE и блокировка файла
    #38992556
login_sqlru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
login_sqlru
Гость
miksoftlogin_sqlruкак только файл будет закрыт.А есть гарантия, что файл не закрывается на середине выгрузки?
программер из меня никакой, и на исходный код mysql я не заглядывал, но обычно файл закрывает после записи данных.
...
Рейтинг: 0 / 0
25.06.2015, 13:16:13
| Ответить | Цитировать | Написать  
INTO OUTFILE и блокировка файла
    #38992961
Artemeey
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Artemeey
Участник
miksoftlogin_sqlruкак только файл будет закрыт.А есть гарантия, что файл не закрывается на середине выгрузки?

Конечно в любой момент MySql может упасть. Предполагаю, что вариант хороший, по дате создания файла можно смотреть, какой не был закрыт должны образом (MySql не завершил свою операцию в течение часа) и удалять его.
...
Рейтинг: 0 / 0
25.06.2015, 17:13:05
| Ответить | Цитировать | Написать  
INTO OUTFILE и блокировка файла
    #38992962
Artemeey
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Artemeey
Участник
Artemeeymiksoftпропущено...
А есть гарантия, что файл не закрывается на середине выгрузки?

Конечно в любой момент MySql может упасть. Предполагаю, что вариант хороший, по дате создания файла можно смотреть, какой не был закрыт должны образом (MySql не завершил свою операцию в течение часа) и удалять его.

Проверяя не процессы, а EOF.
...
Рейтинг: 0 / 0
25.06.2015, 17:15:56
| Ответить | Цитировать | Написать  
INTO OUTFILE и блокировка файла
    #38992972
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Artemeeymiksoftпропущено...
А есть гарантия, что файл не закрывается на середине выгрузки?

Конечно в любой момент MySql может упасть.Почему обязательно "упасть" ? Может там запись устроена так, что закрывает/открывает файл после каждой строки. Не представляю зачем так делать, но и гарантии обратного нет. По крайней мере, пока в исходники не посмотрите.

Artemeey(MySql не завершил свою операцию в течение часа)А у вас есть этот час на ожидание?
...
Рейтинг: 0 / 0
25.06.2015, 17:24:47
| Ответить | Цитировать | Написать  
INTO OUTFILE и блокировка файла
    #38992973
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
ArtemeeyПроверяя не процессы, а EOF.Это как?
...
Рейтинг: 0 / 0
25.06.2015, 17:24:59
| Ответить | Цитировать | Написать  
INTO OUTFILE и блокировка файла
    #38992978
Artemeey
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Artemeey
Участник
Я остановился на варианте с флагом в имени файла.

Код: php
1.
2.
3.
4.
$name= date('H_i_s').'.txt';
$filename_temp = $folder.'/_'.$filename;
$filename = $folder.'/'.$filename;
unset($name);



Код: sql
1.
SELECT ... INTO OUTFILE ... '$filename_dump_temp' ...



Код: php
1.
rename($filename_temp, $filename);



При чтении папки пропускаю имена файлов, которые начинаются на "_".
...
Рейтинг: 0 / 0
25.06.2015, 17:28:38
| Ответить | Цитировать | Написать  
INTO OUTFILE и блокировка файла
    #38992981
Artemeey
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Artemeey
Участник
miksoft,

https://ru.wikipedia.org/wiki/EOF

Полагаю, что если процесс не завершился, либо завершился с ошибкой, файл не будет иметь этого символа. Однако из-за сложности поиска и неуверенности, как именно MySql добавляет этот символ, этот вариант я отбросил.
...
Рейтинг: 0 / 0
25.06.2015, 17:30:21
| Ответить | Цитировать | Написать  
INTO OUTFILE и блокировка файла
    #38992982
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
ArtemeeyЯ остановился на варианте с флагом в имени файла.Тоже вариант.

Вот только если вы можете вызвать rename в нужный момент, почему бы там не сделать сразу копирование куда нужно?
...
Рейтинг: 0 / 0
25.06.2015, 17:30:42
| Ответить | Цитировать | Написать  
INTO OUTFILE и блокировка файла
    #38992983
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
Artemeeymiksoft,

https://ru.wikipedia.org/wiki/EOF

Полагаю, что если процесс не завершился, либо завершился с ошибкой, файл не будет иметь этого символа. Однако из-за сложности поиска и неуверенности, как именно MySql добавляет этот символ, этот вариант я отбросил.Сильно сомневаюсь, что он вообще его добавляет.
На практике употребления этого символа я не видел со времен DOS-а.
...
Рейтинг: 0 / 0
25.06.2015, 17:32:54
| Ответить | Цитировать | Написать  
INTO OUTFILE и блокировка файла
    #38993082
login_sqlru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
login_sqlru
Гость
miksoftArtemeeyпропущено...


Конечно в любой момент MySql может упасть.Почему обязательно "упасть" ? Может там запись устроена так, что закрывает/открывает файл после каждой строки. Не представляю зачем так делать, но и гарантии обратного нет. По крайней мере, пока в исходники не посмотрите.

Исходники смотреть не стал, но на рабочем сервере проверил (уговор дороже денег):
файл не закрывает. таблица не очень большая около ~3Гб.
и я не знаю таких хитрых приемов, чтоб файл закрывать во время записи данных. как минимум это не логично.
...
Рейтинг: 0 / 0
25.06.2015, 20:03:36
| Ответить | Цитировать | Написать  
INTO OUTFILE и блокировка файла
    #38993098
login_sqlru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
login_sqlru
Гость
ArtemeeyКонечно в любой момент MySql может упасть. Предполагаю, что вариант хороший, по дате создания файла можно смотреть, какой не был закрыт должны образом (MySql не завершил свою операцию в течение часа) и удалять его.

Не легче ли узнать упал mysql или нет, чем "по дате создания файла можно смотреть, какой не был закрыт должны образом"

и можно ваш скрипт полностью, честно не понял что там делает $name или же $filename_temp.
разбираться в чужом коде не мой конек, ибо очень мало опыта.
...
Рейтинг: 0 / 0
25.06.2015, 20:30:27
| Ответить | Цитировать | Написать  
INTO OUTFILE и блокировка файла
    #39015987
Artemeey
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Artemeey
Участник
login_sqlruArtemeeyКонечно в любой момент MySql может упасть. Предполагаю, что вариант хороший, по дате создания файла можно смотреть, какой не был закрыт должны образом (MySql не завершил свою операцию в течение часа) и удалять его.

Не легче ли узнать упал mysql или нет, чем "по дате создания файла можно смотреть, какой не был закрыт должны образом"

и можно ваш скрипт полностью, честно не понял что там делает $name или же $filename_temp.
разбираться в чужом коде не мой конек, ибо очень мало опыта.

Файл пишется в "_file.txt";
Затем переименовывается в "file.txt"
Раз в час (к примеру) файлы созданные более чем час назад и начинаются с подчеркивания удаляются (считаются не корректными в следствие остановки процесса экспорта по какой-то причине)
...
Рейтинг: 0 / 0
25.07.2015, 16:25:15
| Ответить | Цитировать | Написать  
INTO OUTFILE и блокировка файла
    #39016043
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
ArtemeeyПример запроса:
SELECT * INTO OUTFILE '/files/big_data.txt' FROM `big_table`;

Есть процесс, который читает файлы из папки files и перекидывает их на другой сервер.
Вероятна ошибка, при которой процесс начнет читать файл из папки, не убедившись, что INTO OUTFILE завершил работу.

Как можно исправить эту ошибку?

в процессе открывать файл эксклюзивно.

Или писать в один файл, а читать другой, после окончания записи переименовывать.
...
Рейтинг: 0 / 0
25.07.2015, 22:06:25
| Ответить | Цитировать | Написать  
INTO OUTFILE и блокировка файла
    #39017123
alex564657498765453
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex564657498765453
Участник
я бы предложил решать задучу, не как довести до ума изначальную идею ТС, а как решить проблему...

для начала надо её оссознать.

итак, есть процес (не ТС процесс, а пускай будет - есть некое действие) - а именно селект инту файл - и это действие лепит в файл данные, и понятное дело что другие не должны этот файл трогать до окончания данного действия.

ну в базе мускла можно вешать локи, и если некий процес хочет начать выгрузку в файл с именем ххх, он вешает в мускле лок с именем lock_file_xxx
начинает выгрузку, после завершения снимает локк.

другой процес, перед троганьем любого файла из папки файлс, сначала вешает лок с улсовием если его нету, и если у него получилось повесить лок, то забирает от туда файл, лок снимает.

а то что вы..ну решите задачу, как не мешать процесу два делать первому выгрузку в файл... а дальше ведь не загорами следующая проблема...а как сделать так чтоб селект инту не портил файл который другой процес начал копировать, или только хочет.

сдесь два независимых процесса, имеют общий ресурс - доступ к нему нужен - ответ очевиден, что-то, что ведёт себя как симафор.
...
Рейтинг: 0 / 0
27.07.2015, 20:25:42
| Ответить | Цитировать | Написать  
INTO OUTFILE и блокировка файла
    #39017150
alex564657498765453
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex564657498765453
Участник
хотя вариант с переименованием тоже годиться! ибо тогда мы разделяем ресурсы - получаем цепочку действий, первая стадия, вторая. ток предварительно удостовериться что переименуя, мы не затрём другой...
...
Рейтинг: 0 / 0
27.07.2015, 21:17:22
| Ответить | Цитировать | Написать  
21 сообщений из 21, страница 1 из 1
Форумы / MySQL [игнор отключен] [закрыт для гостей] / INTO OUTFILE и блокировка файла
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=47&msg=38992231&tid=1832898]:
 0ms
get settings:
 8ms
get forum list:
 13ms
check forum access:
 2ms
check topic access:
 2ms
track hit:
 40ms
get topic data:
 7ms
get forum data:
 2ms
get page messages:
 37ms
get tp. blocked users:
 1ms
others: 229ms
total:  341ms
созд. / загр.: 341ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]