Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Файловая система под torrent / 25 сообщений из 69, страница 1 из 3
13.12.2009, 16:41
    #36363669
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Файловая система под torrent
Задумался.

Торрент-кеш по содержимому напоминает "мочалку". Состоит в основном из сплошных нулей. У меня - занимает около 100 Гиг, но реально полезной информации там едва-ли на 10-24 Gb. Когда качал под WinXP, то ставил атрибут сжатия на всю папку, но это ощутимо било по производительности, да и диск работал как-то напряжно. А вот если-бы хранить блоки данных в файле как-то более оптимально, ну например при закачке образа выделять 4.7 "виртуальных" гигов. А физически аллоцировать блоки по необходимости - то было-бы очень даже неплохо.
...
Рейтинг: 0 / 0
13.12.2009, 17:07
    #36363702
Апофис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Файловая система под torrent
а не проще поставить отдельный винт под это?
...
Рейтинг: 0 / 0
13.12.2009, 17:14
    #36363711
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Файловая система под torrent
Моя жадность не имеет предела. +Люблю оптимизировать...

Модератор: Тема перенесена из форума "Просто треп".
...
Рейтинг: 0 / 0
13.12.2009, 19:54
    #36363819
С0ВЕСТЬ
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Файловая система под torrent
Что за "Торрент-кеш"???

Совсем не понял.
У самого почти 200 торрентов висят постоянно, более 20 мои раздачи. Но, обо каком-то там большом кеше впервые слышу.
Хотя смотря какой клиент.
У меня никаких огромных кешей не видать при таких настройках:
(uTorrent должен автоматом управлять кешем)
...
Рейтинг: 0 / 0
13.12.2009, 20:24
    #36363848
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Файловая система под torrent
Я имел в виду этот каталог:
...
Рейтинг: 0 / 0
13.12.2009, 20:32
    #36363852
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Файловая система под torrent
Допустим я добавил 20 torrent-ов в загрузку. Каждый - по 4.7Гб. Сидирование слабое. Где-то по 1-2 seede-rs на каждую загрузку. Включаю в очередь все 20 штук с одинаковым приоритетом. Соотв. большой объём диска (около 100 Гб) будет вначале выделен впустую. Этот объём в начале будет заполнен нулями. Но по мере скачивания я буду сбрасывать законченые закачки на DVD и т.д.

Ограничивать себя очередью закачек со строгой последовательносью как-то не хочется ибо грустно и нерационально с точки зрения трафа.

P.S. Я привёл скрин для Win чтобы было понятно, но на самом деле меня интересует настройка ФС для торрентов под Linux т.к. планирую раб. станцию с линуксами оставлять на закачку на долгое время.
...
Рейтинг: 0 / 0
13.12.2009, 20:43
    #36363860
С0ВЕСТЬ
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Файловая система под torrent
maytonЯ имел в виду этот каталог:

Теперь уже понятно
Ну а чтоже хотели, когда кто-то попытается скачать, этот файл логично должен быть доступен.
Раньше тоже думал как можно выйти из ситуации, можно конечно и что-то придумать.
Но пока для себя ничего лучшего не придумал ве хозяйство держать на серваке (но таковое не практикую).
И еще раньше тоже качал все в одну папку, но потом как-то тоже нужно правильно "расфасовывать", раскидывать по местам. Когда почти половина дня уходит на раскидывание - это уже утомляет и печально.
Поэтому поступил другим путем, создал в корне диска такую же структуру как на торрентс.ру и нужную раздачу пихаю в "нужную" папку. И не нужно потом полчаса искать в папке загрузки посреди других нужное :)
Пример:
...
Рейтинг: 0 / 0
13.12.2009, 20:49
    #36363866
С0ВЕСТЬ
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Файловая система под torrent
mayton...Соотв. большой объём диска (около 100 Гб) будет вначале выделен впустую. Этот объём в начале будет заполнен нулями...

А Вы не резервируйте место для качаемых файлов!!!
Обычно она по-умолчанию включена, выключаем:
...
Рейтинг: 0 / 0
13.12.2009, 20:59
    #36363873
С0ВЕСТЬ
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Файловая система под torrent
Еще вопросы есть?
Советую прогуглить ссылку , много полезного :)
Но, учтите "Минздрав предупреждал..."


...
Рейтинг: 0 / 0
13.12.2009, 21:18
    #36363885
С0ВЕСТЬ
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Файловая система под torrent
Учите матчасть:
http://www.bittorrent.com/btusers/guides/bittorrent-user-manual/appendix-bittorrent-mainline-interface/preferences/general#When_Downloading.Pre-allocate_all_files
Pre-allocate all files tells BitTorrent Mainline to create and fully allocate every file you select to download immediately after starting the torrent job. Note that this option does not have an impact on hard drive fragmentation (advantageous or otherwise), as BitTorrent Mainline already allocates each file upon writing to disk even without this option

:)

...
Рейтинг: 0 / 0
13.12.2009, 21:21
    #36363888
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Файловая система под torrent
Флажок "Распределять место сразу" у меня отключен по умолчанию. Но это не помогает. Ведь порядок скачивания chunk-ов случайный и если допустим доступен 1Мб chunk #XXXX который находится в конце 4.7Гб файла то по протоколу торрент-клиента он форсирует аллокацию полной длины файла и прописывает туда 1Мб данных. Промежуток между chunk-ом #0000 и #XXXX будет балластом.
...
Рейтинг: 0 / 0
13.12.2009, 21:27
    #36363901
С0ВЕСТЬ
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Файловая система под torrent
maytonФлажок "Распределять место сразу" у меня отключен по умолчанию. Но это не помогает. Ведь порядок скачивания chunk-ов случайный и если допустим доступен 1Мб chunk #XXXX который находится в конце 4.7Гб файла то по протоколу торрент-клиента он форсирует аллокацию полной длины файла и прописывает туда 1Мб данных. Промежуток между chunk-ом #0000 и #XXXX будет балластом.
Ну тогда придется штудировать мануал и экспериментировать, а если не помогает на торрентс.ру спрашивать народ.
У меня без проблем.
Может глюк какой-то, можно попытаться удалить файл настроек программы и заново посмотреть как будет вести себя, также скачать последнюю версию?
А закачанные файлы добавить заново в uTorent, они просканируются и далее нормуль будет.
...
Рейтинг: 0 / 0
13.12.2009, 22:12
    #36363967
SQL_Lamer
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Файловая система под torrent
[офтоп?]
Дома полетела материнка на второстепенном старом компе(у меня их три дома), пошел в магазин. Хотел скроить: хард остался, оперативка, ну и по мелочи. Надо было только процессор и маму. В результате плюнул, да заказал все в компекте. Так вот, в частности, разница между 250 гига и 320 гига = булка черного хлеба.
[/офтоп?]
...
Рейтинг: 0 / 0
13.12.2009, 22:48
    #36364011
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Файловая система под torrent
Всё равно харда не хватает. Вот скоро начну качать рипы с Blu-ray - снова надо будет думать где чего разместить. А политика - доплати еще 50$ и купи в два раза больше мне не особо интересна. Я ведь расчитываю на деньги а не на гигабайты.
...
Рейтинг: 0 / 0
14.12.2009, 10:30
    #36364371
Siemargl
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Файловая система под torrent
Вот, погуглил по sparse files

MSDN
ntfs.com

Получится чего, расскажите
...
Рейтинг: 0 / 0
14.12.2009, 11:31
    #36364519
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Файловая система под torrent
Да. Я думал об этом. Помнится когда-то искал нечто подобное на sysinternals но не нашёл. Чуть позже поставлю VisualC++ и соберу утилиту типа makesparse.

+Вопрос по Линуксу тоже остаётся актуальным.
...
Рейтинг: 0 / 0
14.12.2009, 12:31
    #36364702
mriadus
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Файловая система под torrent
Да, интересная задачка.
...
Рейтинг: 0 / 0
14.12.2009, 17:16
    #36365590
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Файловая система под torrent
Нагуглил файловые системы, с поддержкой transparent compression. Btrfs,NTFS,Reiser4,JFS (on AIX),NSS,NWFS,Fossil,ZFS. Из этих всех реально использовал только NTFS, и старую версию Reiser. Это - не альтернатива sparse но всё-таки попробую чего-нибудь применить.

(по информации с wiki).
...
Рейтинг: 0 / 0
14.12.2009, 17:24
    #36365612
mriadus
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Файловая система под torrent
Я так понимаю, в идеале ты хочешь, чтобы в этой файловой системе всё было устроено примерно так:
один блок торрента - один файл в этой файловой системе
весь фильм - папка в этой файловой системе)
Ну например)
Считывание целого 2-гигового файла из этой файловой системы, это собирание кусков друг за другом из опр. папки в опр. порядке.
...
Рейтинг: 0 / 0
14.12.2009, 17:32
    #36365635
mriadus
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Файловая система под torrent
mriadusЯ так понимаю, в идеале ты хочешь, чтобы в этой файловой системе всё было устроено примерно так:
один блок торрента - один файл в этой файловой системе
весь фильм - папка в этой файловой системе)
Ну например)
Считывание целого 2-гигового файла из этой файловой системы, это собирание кусков друг за другом из опр. папки в опр. порядке.
Т.е. торрентокачалка качает, создавая в этой файловой системе блоки. Каждый блок имеет связь со следующим блоком и проч... проч...
...
Рейтинг: 0 / 0
14.12.2009, 17:50
    #36365679
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Файловая система под torrent
mriadusЯ так понимаю, в идеале ты хочешь, чтобы в этой файловой системе всё было устроено примерно так: один блок торрента - один файл в этой файловой системе
весь фильм - папка в этой файловой системе) Ну например)

Да. И один блок торрента вовсе не обязательно не должен быть совпадающим с размером блока ФС. Экономия будет в любом случае. Насколько я помню torrent оперирует chunk-ами 64, 128, 256 Kb и выше.

Считывание целого 2-гигового файла из этой файловой системы, это собирание кусков друг за другом из опр. папки в опр. порядке.
На самом деле ФС так и поступает на уровне MFT таблиц. Ведь блоки одного на диске лежат в виде частично-упорядоченных цепочек.

Просто (я для себя) разработал концепцию файловой системы которая решает проблему sparsed-файлов, и при этом не требует супер-вычислительных ресурсов, и является концептуально-простой. Её можно реализовать поверх ext2 например.
...
Рейтинг: 0 / 0
25.12.2009, 23:43
    #36387590
mcureenab
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Файловая система под torrent
Да как файловую систему не настраивай, если торент клиент заранее расписывает файл нулями от начала до конца (наверное чтобы правильно хэш посчитать), то в файловой системе придётся создать файл целиком.

sparsed-файлы никакая не проблема, если приложение пишет данные в произвольные места файла и файловая система их поддерживает.

В общем сначала надо лечить торрент клиента.

Ещё при твоей организации очереди загрузок sparsed-файлы скорее всего получатся сильно фрагментироваными, что для торента пофиг, он всё равно chunk'и раздаёт в произвольном порядке, а вот посмотреть кино высокой чёткости без тормозов и лагов может оказаться проблематичным.

Наконец, 100GB это фигня по нынешним меркам. Чем народ от дела отвелекать, купи винт на 1.5TB за 100$ и не парься.
...
Рейтинг: 0 / 0
26.12.2009, 00:52
    #36387643
mriadus
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Файловая система под torrent
mcureenabДа как файловую систему не настраивай, если торент клиент заранее расписывает файл нулями от начала до конца (наверное чтобы правильно хэш посчитать), то в файловой системе придётся создать файл целиком.

Да нихрена подобного! Речь же не идёт об обычных файловых системах, а, возможно, о таких, которые приспособлены к такой записи в файл и, грубо говоря, знают, что такое торрент.
...
Рейтинг: 0 / 0
27.12.2009, 01:44
    #36388271
sqI
sqI
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Файловая система под torrent
а в чем смысл такой экономии. Ну хорошо, допустим именно в эту минуту мы освободим место, но торент в конце концов сегодня или завтра закачает эти файлы и место исчезнет. Следовательно я бы назвал его только временным полезным местом на диске. Под любую полезную программу или файл его врядли целесообразно будет распределить.
...
Рейтинг: 0 / 0
27.12.2009, 02:01
    #36388279
mriadus
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Файловая система под torrent
sqIа в чем смысл такой экономии. Ну хорошо, допустим именно в эту минуту мы освободим место, но торент в конце концов сегодня или завтра закачает эти файлы и место исчезнет. Следовательно я бы назвал его только временным полезным местом на диске. Под любую полезную программу или файл его врядли целесообразно будет распределить.
Ну да, временно. Но автор хочет качать сразу много 10-гиговых раздач, постепенно их убирая вручную) Т.е. доля ручной работы ещё присутствует) Слишком, да, сисадминский подход, когда человек всё время следит за железом, мало автоматизации. Хотя, можно устроить автоматическую уборку докачавшегося на внешний источник.

Самого меня заколебали такие рассуждения, надо рассчёты приводить)
...
Рейтинг: 0 / 0
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Файловая система под torrent / 25 сообщений из 69, страница 1 из 3
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]