powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Файловая система под torrent
25 сообщений из 69, страница 1 из 3
Файловая система под torrent
    #36363669
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Задумался.

Торрент-кеш по содержимому напоминает "мочалку". Состоит в основном из сплошных нулей. У меня - занимает около 100 Гиг, но реально полезной информации там едва-ли на 10-24 Gb. Когда качал под WinXP, то ставил атрибут сжатия на всю папку, но это ощутимо било по производительности, да и диск работал как-то напряжно. А вот если-бы хранить блоки данных в файле как-то более оптимально, ну например при закачке образа выделять 4.7 "виртуальных" гигов. А физически аллоцировать блоки по необходимости - то было-бы очень даже неплохо.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36363702
Фотография Апофис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
а не проще поставить отдельный винт под это?
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36363711
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Моя жадность не имеет предела. +Люблю оптимизировать...

Модератор: Тема перенесена из форума "Просто треп".
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36363819
Фотография С0ВЕСТЬ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Что за "Торрент-кеш"???

Совсем не понял.
У самого почти 200 торрентов висят постоянно, более 20 мои раздачи. Но, обо каком-то там большом кеше впервые слышу.
Хотя смотря какой клиент.
У меня никаких огромных кешей не видать при таких настройках:
(uTorrent должен автоматом управлять кешем)
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36363848
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я имел в виду этот каталог:
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36363852
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Допустим я добавил 20 torrent-ов в загрузку. Каждый - по 4.7Гб. Сидирование слабое. Где-то по 1-2 seede-rs на каждую загрузку. Включаю в очередь все 20 штук с одинаковым приоритетом. Соотв. большой объём диска (около 100 Гб) будет вначале выделен впустую. Этот объём в начале будет заполнен нулями. Но по мере скачивания я буду сбрасывать законченые закачки на DVD и т.д.

Ограничивать себя очередью закачек со строгой последовательносью как-то не хочется ибо грустно и нерационально с точки зрения трафа.

P.S. Я привёл скрин для Win чтобы было понятно, но на самом деле меня интересует настройка ФС для торрентов под Linux т.к. планирую раб. станцию с линуксами оставлять на закачку на долгое время.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36363860
Фотография С0ВЕСТЬ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonЯ имел в виду этот каталог:

Теперь уже понятно
Ну а чтоже хотели, когда кто-то попытается скачать, этот файл логично должен быть доступен.
Раньше тоже думал как можно выйти из ситуации, можно конечно и что-то придумать.
Но пока для себя ничего лучшего не придумал ве хозяйство держать на серваке (но таковое не практикую).
И еще раньше тоже качал все в одну папку, но потом как-то тоже нужно правильно "расфасовывать", раскидывать по местам. Когда почти половина дня уходит на раскидывание - это уже утомляет и печально.
Поэтому поступил другим путем, создал в корне диска такую же структуру как на торрентс.ру и нужную раздачу пихаю в "нужную" папку. И не нужно потом полчаса искать в папке загрузки посреди других нужное :)
Пример:
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36363866
Фотография С0ВЕСТЬ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton...Соотв. большой объём диска (около 100 Гб) будет вначале выделен впустую. Этот объём в начале будет заполнен нулями...

А Вы не резервируйте место для качаемых файлов!!!
Обычно она по-умолчанию включена, выключаем:
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36363873
Фотография С0ВЕСТЬ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Еще вопросы есть?
Советую прогуглить ссылку , много полезного :)
Но, учтите "Минздрав предупреждал..."


...
Рейтинг: 0 / 0
Файловая система под torrent
    #36363885
Фотография С0ВЕСТЬ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Учите матчасть:
http://www.bittorrent.com/btusers/guides/bittorrent-user-manual/appendix-bittorrent-mainline-interface/preferences/general#When_Downloading.Pre-allocate_all_files
Pre-allocate all files tells BitTorrent Mainline to create and fully allocate every file you select to download immediately after starting the torrent job. Note that this option does not have an impact on hard drive fragmentation (advantageous or otherwise), as BitTorrent Mainline already allocates each file upon writing to disk even without this option

:)

...
Рейтинг: 0 / 0
Файловая система под torrent
    #36363888
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Флажок "Распределять место сразу" у меня отключен по умолчанию. Но это не помогает. Ведь порядок скачивания chunk-ов случайный и если допустим доступен 1Мб chunk #XXXX который находится в конце 4.7Гб файла то по протоколу торрент-клиента он форсирует аллокацию полной длины файла и прописывает туда 1Мб данных. Промежуток между chunk-ом #0000 и #XXXX будет балластом.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36363901
Фотография С0ВЕСТЬ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonФлажок "Распределять место сразу" у меня отключен по умолчанию. Но это не помогает. Ведь порядок скачивания chunk-ов случайный и если допустим доступен 1Мб chunk #XXXX который находится в конце 4.7Гб файла то по протоколу торрент-клиента он форсирует аллокацию полной длины файла и прописывает туда 1Мб данных. Промежуток между chunk-ом #0000 и #XXXX будет балластом.
Ну тогда придется штудировать мануал и экспериментировать, а если не помогает на торрентс.ру спрашивать народ.
У меня без проблем.
Может глюк какой-то, можно попытаться удалить файл настроек программы и заново посмотреть как будет вести себя, также скачать последнюю версию?
А закачанные файлы добавить заново в uTorent, они просканируются и далее нормуль будет.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36363967
Фотография SQL_Lamer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[офтоп?]
Дома полетела материнка на второстепенном старом компе(у меня их три дома), пошел в магазин. Хотел скроить: хард остался, оперативка, ну и по мелочи. Надо было только процессор и маму. В результате плюнул, да заказал все в компекте. Так вот, в частности, разница между 250 гига и 320 гига = булка черного хлеба.
[/офтоп?]
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36364011
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Всё равно харда не хватает. Вот скоро начну качать рипы с Blu-ray - снова надо будет думать где чего разместить. А политика - доплати еще 50$ и купи в два раза больше мне не особо интересна. Я ведь расчитываю на деньги а не на гигабайты.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36364371
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вот, погуглил по sparse files

MSDN
ntfs.com

Получится чего, расскажите
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36364519
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Да. Я думал об этом. Помнится когда-то искал нечто подобное на sysinternals но не нашёл. Чуть позже поставлю VisualC++ и соберу утилиту типа makesparse.

+Вопрос по Линуксу тоже остаётся актуальным.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36364702
Фотография mriadus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Да, интересная задачка.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36365590
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Нагуглил файловые системы, с поддержкой transparent compression. Btrfs,NTFS,Reiser4,JFS (on AIX),NSS,NWFS,Fossil,ZFS. Из этих всех реально использовал только NTFS, и старую версию Reiser. Это - не альтернатива sparse но всё-таки попробую чего-нибудь применить.

(по информации с wiki).
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36365612
Фотография mriadus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я так понимаю, в идеале ты хочешь, чтобы в этой файловой системе всё было устроено примерно так:
один блок торрента - один файл в этой файловой системе
весь фильм - папка в этой файловой системе)
Ну например)
Считывание целого 2-гигового файла из этой файловой системы, это собирание кусков друг за другом из опр. папки в опр. порядке.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36365635
Фотография mriadus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mriadusЯ так понимаю, в идеале ты хочешь, чтобы в этой файловой системе всё было устроено примерно так:
один блок торрента - один файл в этой файловой системе
весь фильм - папка в этой файловой системе)
Ну например)
Считывание целого 2-гигового файла из этой файловой системы, это собирание кусков друг за другом из опр. папки в опр. порядке.
Т.е. торрентокачалка качает, создавая в этой файловой системе блоки. Каждый блок имеет связь со следующим блоком и проч... проч...
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36365679
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mriadusЯ так понимаю, в идеале ты хочешь, чтобы в этой файловой системе всё было устроено примерно так: один блок торрента - один файл в этой файловой системе
весь фильм - папка в этой файловой системе) Ну например)

Да. И один блок торрента вовсе не обязательно не должен быть совпадающим с размером блока ФС. Экономия будет в любом случае. Насколько я помню torrent оперирует chunk-ами 64, 128, 256 Kb и выше.

Считывание целого 2-гигового файла из этой файловой системы, это собирание кусков друг за другом из опр. папки в опр. порядке.
На самом деле ФС так и поступает на уровне MFT таблиц. Ведь блоки одного на диске лежат в виде частично-упорядоченных цепочек.

Просто (я для себя) разработал концепцию файловой системы которая решает проблему sparsed-файлов, и при этом не требует супер-вычислительных ресурсов, и является концептуально-простой. Её можно реализовать поверх ext2 например.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36387590
mcureenab
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Да как файловую систему не настраивай, если торент клиент заранее расписывает файл нулями от начала до конца (наверное чтобы правильно хэш посчитать), то в файловой системе придётся создать файл целиком.

sparsed-файлы никакая не проблема, если приложение пишет данные в произвольные места файла и файловая система их поддерживает.

В общем сначала надо лечить торрент клиента.

Ещё при твоей организации очереди загрузок sparsed-файлы скорее всего получатся сильно фрагментироваными, что для торента пофиг, он всё равно chunk'и раздаёт в произвольном порядке, а вот посмотреть кино высокой чёткости без тормозов и лагов может оказаться проблематичным.

Наконец, 100GB это фигня по нынешним меркам. Чем народ от дела отвелекать, купи винт на 1.5TB за 100$ и не парься.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36387643
Фотография mriadus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mcureenabДа как файловую систему не настраивай, если торент клиент заранее расписывает файл нулями от начала до конца (наверное чтобы правильно хэш посчитать), то в файловой системе придётся создать файл целиком.

Да нихрена подобного! Речь же не идёт об обычных файловых системах, а, возможно, о таких, которые приспособлены к такой записи в файл и, грубо говоря, знают, что такое торрент.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36388271
sqI
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
а в чем смысл такой экономии. Ну хорошо, допустим именно в эту минуту мы освободим место, но торент в конце концов сегодня или завтра закачает эти файлы и место исчезнет. Следовательно я бы назвал его только временным полезным местом на диске. Под любую полезную программу или файл его врядли целесообразно будет распределить.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36388279
Фотография mriadus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sqIа в чем смысл такой экономии. Ну хорошо, допустим именно в эту минуту мы освободим место, но торент в конце концов сегодня или завтра закачает эти файлы и место исчезнет. Следовательно я бы назвал его только временным полезным местом на диске. Под любую полезную программу или файл его врядли целесообразно будет распределить.
Ну да, временно. Но автор хочет качать сразу много 10-гиговых раздач, постепенно их убирая вручную) Т.е. доля ручной работы ещё присутствует) Слишком, да, сисадминский подход, когда человек всё время следит за железом, мало автоматизации. Хотя, можно устроить автоматическую уборку докачавшегося на внешний источник.

Самого меня заколебали такие рассуждения, надо рассчёты приводить)
...
Рейтинг: 0 / 0
25 сообщений из 69, страница 1 из 3
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Файловая система под torrent
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]