ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Ext3:Быстрый split
11 сообщений из 11, страница 1 из 1
Ext3:Быстрый split
    #37616931
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Дано: CentOs 2.6.18 x86_64. Везде по всем разделам используем файловую систему ext3.

Вобщем есть файлик backup_db размером порядка 70Гб. Его надо порезать на кусочки 4.7 G
которе я потом нарежу на DVD. Можно заюзать утилиту split но она будет делать
полную копию. А хотелось-бы эдаким хитрым хаком текущий файл побить на фрагменты
и присвоить им имена backup_db.01, backup_db.02. Исходный мне потом уже не нужен.
Поэтому его не жалко.

Вобщем как-то вот так вот.
...
Рейтинг: 0 / 0
16.01.2012, 18:51
| Ответить | Цитировать | Написать  
Ext3:Быстрый split
    #37616961
tanglir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tanglir
Участник
mayton, а нет ли в линухе утилиты, способной "обрезать" файл на месте? тогда понадобилось бы только 4.7Гб "лишнего" места.
ЗЫ. пошарился, отдельной утилиты вроде нет, но есть вот что - может, поможет.
...
Рейтинг: 0 / 0
16.01.2012, 19:09
| Ответить | Цитировать | Написать  
Ext3:Быстрый split
    #37616991
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Да. Похоже что нету. Ладно хер с ним. Проблема уже сама по себе решена. Но думаю
по свободе времени напишу утилиту чтоб через PIPE создавала R/O снапшоты одного
большого файла.
...
Рейтинг: 0 / 0
16.01.2012, 19:26
| Ответить | Цитировать | Написать  
Ext3:Быстрый split
    #37616992
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
On 01/16/2012 07:51 PM, mayton wrote:

Обрезать файл можно на месте. Но вот чтобы получить его другие куски
в виде файлов, исходный надо будет читать и копировать данные.
Это можно сделать ТОЛЬКО ДО обрезания изначального файла,
поэтому тебе нужно будет прочитать и первую часть тоже, чтобы пропустить
её (может быть можно будет прыгнуть сразу на смещение, но это детали).
Итого, ты можешь съэкономить только одну запись первой части и может
быть ещё одно чтение этой же первой части.

Так что игра не стоит того.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
16.01.2012, 19:26
| Ответить | Цитировать | Написать  
Ext3:Быстрый split
    #37617027
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Можно попробовать заюзать баш-скриптик, sfk
( http://stahlworks.com/dev/index.php?tool=partcopy) и mknod
...
Рейтинг: 0 / 0
16.01.2012, 19:48
| Ответить | Цитировать | Написать  
Ext3:Быстрый split
    #37617113
tanglir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tanglir
Участник
MasterZivИтого, ты можешь съэкономить только одну запись первой части и может
быть ещё одно чтение этой же первой части.а чем не устраивает вариант
Код: plaintext
1.
2.
3.
4.
5.
6.
вычислим смещение последнего куска (=4,7Gb*trunc(filesize/4.7Gb))
копируем хвост
отрубаем хвост
пока смещение>0
 {смещение=смещение-4,7Gb
 копируем очередной кусок
 отрубаем очередной кусок}
, в котором лишнего места всего-то 4,7Гб надо?

mayton, мне так ка - что partcopy, что dd делают одно и то же, не?
...
Рейтинг: 0 / 0
16.01.2012, 21:18
| Ответить | Цитировать | Написать  
Ext3:Быстрый split
    #37617115
tanglir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tanglir
Участник
MasterZiv, а, понял. Речь шла об IO, а не о свободном месте.
...
Рейтинг: 0 / 0
16.01.2012, 21:20
| Ответить | Цитировать | Написать  
Ext3:Быстрый split
    #37617127
Фотография Relic Hunter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Relic Hunter
Участник
maytonВобщем есть файлик backup_db размером порядка 70Гб.Ну дак когда делаешь бекап сразу установи размер нужного куска и не мучайся. И rman и exp это делать умеют.
...
Рейтинг: 0 / 0
16.01.2012, 21:33
| Ответить | Цитировать | Написать  
Ext3:Быстрый split
    #37617159
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Да так случилось что бэкап получили по локальной сети уже в виде 70Гб-файла.
Есть разные монастыри организации и в каждой свои внутренние расклады
и на каждого DBA я не повлияю. Все они люди со своими пороками.
...
Рейтинг: 0 / 0
16.01.2012, 22:21
| Ответить | Цитировать | Написать  
Ext3:Быстрый split
    #37617211
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
On 01/16/2012 10:20 PM, tanglir wrote:
> MasterZiv, а, понял. Речь шла об IO, а не о свободном месте.

Конечно же!

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
16.01.2012, 23:02
| Ответить | Цитировать | Написать  
Ext3:Быстрый split
    #37618894
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Вобщем как-то так. Последний том будет не кратен 4.7 Г и надо как-то
учесть его длину если будет ошибка sfk. И расчёт md5 как-то не красив.
И надо подумать чтоб убирать jobs в случае чего.
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
#!/bin/bash

# Split into volumes

LENGTH=$(ls -s backup_db.dmp | ...... )
VOLSIZE=4.7*1024*1024*1024

for (( i=0; i<=$LENGTH; i+=$VOLSIZE ))
do
	mknod node.backup_db.dmp.$i p
	sfk partcopy backup_db.dmp $i $VOLSIZE node.backup_db.dmp.$i &
        # :) not so eazy 
        #   openssl md5 < node.backup_db.dmp.$i >> MD5SUM
done


# Processing cdrecord or gzip or scp....


# Remove nodes

for node in node.backup_db.dmp.*
do
	rm $node
done


# Remove file (optional)
...
Рейтинг: 0 / 0
17.01.2012, 20:38
| Ответить | Цитировать | Написать  
11 сообщений из 11, страница 1 из 1
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Ext3:Быстрый split
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]