|
|
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Задумался. Торрент-кеш по содержимому напоминает "мочалку". Состоит в основном из сплошных нулей. У меня - занимает около 100 Гиг, но реально полезной информации там едва-ли на 10-24 Gb. Когда качал под WinXP, то ставил атрибут сжатия на всю папку, но это ощутимо било по производительности, да и диск работал как-то напряжно. А вот если-бы хранить блоки данных в файле как-то более оптимально, ну например при закачке образа выделять 4.7 "виртуальных" гигов. А физически аллоцировать блоки по необходимости - то было-бы очень даже неплохо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2009, 16:41 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
а не проще поставить отдельный винт под это? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2009, 17:07 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Моя жадность не имеет предела. +Люблю оптимизировать... Модератор: Тема перенесена из форума "Просто треп". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2009, 17:14 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Что за "Торрент-кеш"??? Совсем не понял. У самого почти 200 торрентов висят постоянно, более 20 мои раздачи. Но, обо каком-то там большом кеше впервые слышу. Хотя смотря какой клиент. У меня никаких огромных кешей не видать при таких настройках: (uTorrent должен автоматом управлять кешем) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2009, 19:54 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Я имел в виду этот каталог: ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2009, 20:24 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Допустим я добавил 20 torrent-ов в загрузку. Каждый - по 4.7Гб. Сидирование слабое. Где-то по 1-2 seede-rs на каждую загрузку. Включаю в очередь все 20 штук с одинаковым приоритетом. Соотв. большой объём диска (около 100 Гб) будет вначале выделен впустую. Этот объём в начале будет заполнен нулями. Но по мере скачивания я буду сбрасывать законченые закачки на DVD и т.д. Ограничивать себя очередью закачек со строгой последовательносью как-то не хочется ибо грустно и нерационально с точки зрения трафа. P.S. Я привёл скрин для Win чтобы было понятно, но на самом деле меня интересует настройка ФС для торрентов под Linux т.к. планирую раб. станцию с линуксами оставлять на закачку на долгое время. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2009, 20:32 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
maytonЯ имел в виду этот каталог: Теперь уже понятно Ну а чтоже хотели, когда кто-то попытается скачать, этот файл логично должен быть доступен. Раньше тоже думал как можно выйти из ситуации, можно конечно и что-то придумать. Но пока для себя ничего лучшего не придумал ве хозяйство держать на серваке (но таковое не практикую). И еще раньше тоже качал все в одну папку, но потом как-то тоже нужно правильно "расфасовывать", раскидывать по местам. Когда почти половина дня уходит на раскидывание - это уже утомляет и печально. Поэтому поступил другим путем, создал в корне диска такую же структуру как на торрентс.ру и нужную раздачу пихаю в "нужную" папку. И не нужно потом полчаса искать в папке загрузки посреди других нужное :) Пример: ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2009, 20:43 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
mayton...Соотв. большой объём диска (около 100 Гб) будет вначале выделен впустую. Этот объём в начале будет заполнен нулями... А Вы не резервируйте место для качаемых файлов!!! Обычно она по-умолчанию включена, выключаем: ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2009, 20:49 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Еще вопросы есть? Советую прогуглить ссылку , много полезного :) Но, учтите "Минздрав предупреждал..." ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2009, 20:59 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Учите матчасть: http://www.bittorrent.com/btusers/guides/bittorrent-user-manual/appendix-bittorrent-mainline-interface/preferences/general#When_Downloading.Pre-allocate_all_files • Pre-allocate all files tells BitTorrent Mainline to create and fully allocate every file you select to download immediately after starting the torrent job. Note that this option does not have an impact on hard drive fragmentation (advantageous or otherwise), as BitTorrent Mainline already allocates each file upon writing to disk even without this option :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2009, 21:18 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Флажок "Распределять место сразу" у меня отключен по умолчанию. Но это не помогает. Ведь порядок скачивания chunk-ов случайный и если допустим доступен 1Мб chunk #XXXX который находится в конце 4.7Гб файла то по протоколу торрент-клиента он форсирует аллокацию полной длины файла и прописывает туда 1Мб данных. Промежуток между chunk-ом #0000 и #XXXX будет балластом. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2009, 21:21 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
maytonФлажок "Распределять место сразу" у меня отключен по умолчанию. Но это не помогает. Ведь порядок скачивания chunk-ов случайный и если допустим доступен 1Мб chunk #XXXX который находится в конце 4.7Гб файла то по протоколу торрент-клиента он форсирует аллокацию полной длины файла и прописывает туда 1Мб данных. Промежуток между chunk-ом #0000 и #XXXX будет балластом. Ну тогда придется штудировать мануал и экспериментировать, а если не помогает на торрентс.ру спрашивать народ. У меня без проблем. Может глюк какой-то, можно попытаться удалить файл настроек программы и заново посмотреть как будет вести себя, также скачать последнюю версию? А закачанные файлы добавить заново в uTorent, они просканируются и далее нормуль будет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2009, 21:27 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
[офтоп?] Дома полетела материнка на второстепенном старом компе(у меня их три дома), пошел в магазин. Хотел скроить: хард остался, оперативка, ну и по мелочи. Надо было только процессор и маму. В результате плюнул, да заказал все в компекте. Так вот, в частности, разница между 250 гига и 320 гига = булка черного хлеба. [/офтоп?] ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2009, 22:12 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Всё равно харда не хватает. Вот скоро начну качать рипы с Blu-ray - снова надо будет думать где чего разместить. А политика - доплати еще 50$ и купи в два раза больше мне не особо интересна. Я ведь расчитываю на деньги а не на гигабайты. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2009, 22:48 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Да. Я думал об этом. Помнится когда-то искал нечто подобное на sysinternals но не нашёл. Чуть позже поставлю VisualC++ и соберу утилиту типа makesparse. +Вопрос по Линуксу тоже остаётся актуальным. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.12.2009, 11:31 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Да, интересная задачка. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.12.2009, 12:31 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Нагуглил файловые системы, с поддержкой transparent compression. Btrfs,NTFS,Reiser4,JFS (on AIX),NSS,NWFS,Fossil,ZFS. Из этих всех реально использовал только NTFS, и старую версию Reiser. Это - не альтернатива sparse но всё-таки попробую чего-нибудь применить. (по информации с wiki). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.12.2009, 17:16 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Я так понимаю, в идеале ты хочешь, чтобы в этой файловой системе всё было устроено примерно так: один блок торрента - один файл в этой файловой системе весь фильм - папка в этой файловой системе) Ну например) Считывание целого 2-гигового файла из этой файловой системы, это собирание кусков друг за другом из опр. папки в опр. порядке. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.12.2009, 17:24 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
mriadusЯ так понимаю, в идеале ты хочешь, чтобы в этой файловой системе всё было устроено примерно так: один блок торрента - один файл в этой файловой системе весь фильм - папка в этой файловой системе) Ну например) Считывание целого 2-гигового файла из этой файловой системы, это собирание кусков друг за другом из опр. папки в опр. порядке. Т.е. торрентокачалка качает, создавая в этой файловой системе блоки. Каждый блок имеет связь со следующим блоком и проч... проч... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.12.2009, 17:32 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
mriadusЯ так понимаю, в идеале ты хочешь, чтобы в этой файловой системе всё было устроено примерно так: один блок торрента - один файл в этой файловой системе весь фильм - папка в этой файловой системе) Ну например) Да. И один блок торрента вовсе не обязательно не должен быть совпадающим с размером блока ФС. Экономия будет в любом случае. Насколько я помню torrent оперирует chunk-ами 64, 128, 256 Kb и выше. Считывание целого 2-гигового файла из этой файловой системы, это собирание кусков друг за другом из опр. папки в опр. порядке. На самом деле ФС так и поступает на уровне MFT таблиц. Ведь блоки одного на диске лежат в виде частично-упорядоченных цепочек. Просто (я для себя) разработал концепцию файловой системы которая решает проблему sparsed-файлов, и при этом не требует супер-вычислительных ресурсов, и является концептуально-простой. Её можно реализовать поверх ext2 например. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.12.2009, 17:50 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Да как файловую систему не настраивай, если торент клиент заранее расписывает файл нулями от начала до конца (наверное чтобы правильно хэш посчитать), то в файловой системе придётся создать файл целиком. sparsed-файлы никакая не проблема, если приложение пишет данные в произвольные места файла и файловая система их поддерживает. В общем сначала надо лечить торрент клиента. Ещё при твоей организации очереди загрузок sparsed-файлы скорее всего получатся сильно фрагментироваными, что для торента пофиг, он всё равно chunk'и раздаёт в произвольном порядке, а вот посмотреть кино высокой чёткости без тормозов и лагов может оказаться проблематичным. Наконец, 100GB это фигня по нынешним меркам. Чем народ от дела отвелекать, купи винт на 1.5TB за 100$ и не парься. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.12.2009, 23:43 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
mcureenabДа как файловую систему не настраивай, если торент клиент заранее расписывает файл нулями от начала до конца (наверное чтобы правильно хэш посчитать), то в файловой системе придётся создать файл целиком. Да нихрена подобного! Речь же не идёт об обычных файловых системах, а, возможно, о таких, которые приспособлены к такой записи в файл и, грубо говоря, знают, что такое торрент. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.12.2009, 00:52 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
а в чем смысл такой экономии. Ну хорошо, допустим именно в эту минуту мы освободим место, но торент в конце концов сегодня или завтра закачает эти файлы и место исчезнет. Следовательно я бы назвал его только временным полезным местом на диске. Под любую полезную программу или файл его врядли целесообразно будет распределить. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.12.2009, 01:44 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
sqIа в чем смысл такой экономии. Ну хорошо, допустим именно в эту минуту мы освободим место, но торент в конце концов сегодня или завтра закачает эти файлы и место исчезнет. Следовательно я бы назвал его только временным полезным местом на диске. Под любую полезную программу или файл его врядли целесообразно будет распределить. Ну да, временно. Но автор хочет качать сразу много 10-гиговых раздач, постепенно их убирая вручную) Т.е. доля ручной работы ещё присутствует) Слишком, да, сисадминский подход, когда человек всё время следит за железом, мало автоматизации. Хотя, можно устроить автоматическую уборку докачавшегося на внешний источник. Самого меня заколебали такие рассуждения, надо рассчёты приводить) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.12.2009, 02:01 |
|
||
|
|

start [/forum/topic.php?fid=16&msg=36363873&tid=1343435]: |
0ms |
get settings: |
11ms |
get forum list: |
16ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
210ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
57ms |
get tp. blocked users: |
1ms |
| others: | 238ms |
| total: | 553ms |

| 0 / 0 |
