powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Файловая система под torrent
69 сообщений из 69, показаны все 3 страниц
Файловая система под torrent
    #36363669
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Задумался.

Торрент-кеш по содержимому напоминает "мочалку". Состоит в основном из сплошных нулей. У меня - занимает около 100 Гиг, но реально полезной информации там едва-ли на 10-24 Gb. Когда качал под WinXP, то ставил атрибут сжатия на всю папку, но это ощутимо било по производительности, да и диск работал как-то напряжно. А вот если-бы хранить блоки данных в файле как-то более оптимально, ну например при закачке образа выделять 4.7 "виртуальных" гигов. А физически аллоцировать блоки по необходимости - то было-бы очень даже неплохо.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36363702
Фотография Апофис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
а не проще поставить отдельный винт под это?
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36363711
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Моя жадность не имеет предела. +Люблю оптимизировать...

Модератор: Тема перенесена из форума "Просто треп".
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36363819
Фотография С0ВЕСТЬ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Что за "Торрент-кеш"???

Совсем не понял.
У самого почти 200 торрентов висят постоянно, более 20 мои раздачи. Но, обо каком-то там большом кеше впервые слышу.
Хотя смотря какой клиент.
У меня никаких огромных кешей не видать при таких настройках:
(uTorrent должен автоматом управлять кешем)
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36363848
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я имел в виду этот каталог:
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36363852
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Допустим я добавил 20 torrent-ов в загрузку. Каждый - по 4.7Гб. Сидирование слабое. Где-то по 1-2 seede-rs на каждую загрузку. Включаю в очередь все 20 штук с одинаковым приоритетом. Соотв. большой объём диска (около 100 Гб) будет вначале выделен впустую. Этот объём в начале будет заполнен нулями. Но по мере скачивания я буду сбрасывать законченые закачки на DVD и т.д.

Ограничивать себя очередью закачек со строгой последовательносью как-то не хочется ибо грустно и нерационально с точки зрения трафа.

P.S. Я привёл скрин для Win чтобы было понятно, но на самом деле меня интересует настройка ФС для торрентов под Linux т.к. планирую раб. станцию с линуксами оставлять на закачку на долгое время.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36363860
Фотография С0ВЕСТЬ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonЯ имел в виду этот каталог:

Теперь уже понятно
Ну а чтоже хотели, когда кто-то попытается скачать, этот файл логично должен быть доступен.
Раньше тоже думал как можно выйти из ситуации, можно конечно и что-то придумать.
Но пока для себя ничего лучшего не придумал ве хозяйство держать на серваке (но таковое не практикую).
И еще раньше тоже качал все в одну папку, но потом как-то тоже нужно правильно "расфасовывать", раскидывать по местам. Когда почти половина дня уходит на раскидывание - это уже утомляет и печально.
Поэтому поступил другим путем, создал в корне диска такую же структуру как на торрентс.ру и нужную раздачу пихаю в "нужную" папку. И не нужно потом полчаса искать в папке загрузки посреди других нужное :)
Пример:
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36363866
Фотография С0ВЕСТЬ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton...Соотв. большой объём диска (около 100 Гб) будет вначале выделен впустую. Этот объём в начале будет заполнен нулями...

А Вы не резервируйте место для качаемых файлов!!!
Обычно она по-умолчанию включена, выключаем:
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36363873
Фотография С0ВЕСТЬ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Еще вопросы есть?
Советую прогуглить ссылку , много полезного :)
Но, учтите "Минздрав предупреждал..."


...
Рейтинг: 0 / 0
Файловая система под torrent
    #36363885
Фотография С0ВЕСТЬ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Учите матчасть:
http://www.bittorrent.com/btusers/guides/bittorrent-user-manual/appendix-bittorrent-mainline-interface/preferences/general#When_Downloading.Pre-allocate_all_files
Pre-allocate all files tells BitTorrent Mainline to create and fully allocate every file you select to download immediately after starting the torrent job. Note that this option does not have an impact on hard drive fragmentation (advantageous or otherwise), as BitTorrent Mainline already allocates each file upon writing to disk even without this option

:)

...
Рейтинг: 0 / 0
Файловая система под torrent
    #36363888
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Флажок "Распределять место сразу" у меня отключен по умолчанию. Но это не помогает. Ведь порядок скачивания chunk-ов случайный и если допустим доступен 1Мб chunk #XXXX который находится в конце 4.7Гб файла то по протоколу торрент-клиента он форсирует аллокацию полной длины файла и прописывает туда 1Мб данных. Промежуток между chunk-ом #0000 и #XXXX будет балластом.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36363901
Фотография С0ВЕСТЬ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonФлажок "Распределять место сразу" у меня отключен по умолчанию. Но это не помогает. Ведь порядок скачивания chunk-ов случайный и если допустим доступен 1Мб chunk #XXXX который находится в конце 4.7Гб файла то по протоколу торрент-клиента он форсирует аллокацию полной длины файла и прописывает туда 1Мб данных. Промежуток между chunk-ом #0000 и #XXXX будет балластом.
Ну тогда придется штудировать мануал и экспериментировать, а если не помогает на торрентс.ру спрашивать народ.
У меня без проблем.
Может глюк какой-то, можно попытаться удалить файл настроек программы и заново посмотреть как будет вести себя, также скачать последнюю версию?
А закачанные файлы добавить заново в uTorent, они просканируются и далее нормуль будет.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36363967
Фотография SQL_Lamer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[офтоп?]
Дома полетела материнка на второстепенном старом компе(у меня их три дома), пошел в магазин. Хотел скроить: хард остался, оперативка, ну и по мелочи. Надо было только процессор и маму. В результате плюнул, да заказал все в компекте. Так вот, в частности, разница между 250 гига и 320 гига = булка черного хлеба.
[/офтоп?]
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36364011
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Всё равно харда не хватает. Вот скоро начну качать рипы с Blu-ray - снова надо будет думать где чего разместить. А политика - доплати еще 50$ и купи в два раза больше мне не особо интересна. Я ведь расчитываю на деньги а не на гигабайты.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36364371
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вот, погуглил по sparse files

MSDN
ntfs.com

Получится чего, расскажите
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36364519
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Да. Я думал об этом. Помнится когда-то искал нечто подобное на sysinternals но не нашёл. Чуть позже поставлю VisualC++ и соберу утилиту типа makesparse.

+Вопрос по Линуксу тоже остаётся актуальным.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36364702
Фотография mriadus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Да, интересная задачка.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36365590
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Нагуглил файловые системы, с поддержкой transparent compression. Btrfs,NTFS,Reiser4,JFS (on AIX),NSS,NWFS,Fossil,ZFS. Из этих всех реально использовал только NTFS, и старую версию Reiser. Это - не альтернатива sparse но всё-таки попробую чего-нибудь применить.

(по информации с wiki).
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36365612
Фотография mriadus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я так понимаю, в идеале ты хочешь, чтобы в этой файловой системе всё было устроено примерно так:
один блок торрента - один файл в этой файловой системе
весь фильм - папка в этой файловой системе)
Ну например)
Считывание целого 2-гигового файла из этой файловой системы, это собирание кусков друг за другом из опр. папки в опр. порядке.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36365635
Фотография mriadus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mriadusЯ так понимаю, в идеале ты хочешь, чтобы в этой файловой системе всё было устроено примерно так:
один блок торрента - один файл в этой файловой системе
весь фильм - папка в этой файловой системе)
Ну например)
Считывание целого 2-гигового файла из этой файловой системы, это собирание кусков друг за другом из опр. папки в опр. порядке.
Т.е. торрентокачалка качает, создавая в этой файловой системе блоки. Каждый блок имеет связь со следующим блоком и проч... проч...
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36365679
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mriadusЯ так понимаю, в идеале ты хочешь, чтобы в этой файловой системе всё было устроено примерно так: один блок торрента - один файл в этой файловой системе
весь фильм - папка в этой файловой системе) Ну например)

Да. И один блок торрента вовсе не обязательно не должен быть совпадающим с размером блока ФС. Экономия будет в любом случае. Насколько я помню torrent оперирует chunk-ами 64, 128, 256 Kb и выше.

Считывание целого 2-гигового файла из этой файловой системы, это собирание кусков друг за другом из опр. папки в опр. порядке.
На самом деле ФС так и поступает на уровне MFT таблиц. Ведь блоки одного на диске лежат в виде частично-упорядоченных цепочек.

Просто (я для себя) разработал концепцию файловой системы которая решает проблему sparsed-файлов, и при этом не требует супер-вычислительных ресурсов, и является концептуально-простой. Её можно реализовать поверх ext2 например.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36387590
mcureenab
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Да как файловую систему не настраивай, если торент клиент заранее расписывает файл нулями от начала до конца (наверное чтобы правильно хэш посчитать), то в файловой системе придётся создать файл целиком.

sparsed-файлы никакая не проблема, если приложение пишет данные в произвольные места файла и файловая система их поддерживает.

В общем сначала надо лечить торрент клиента.

Ещё при твоей организации очереди загрузок sparsed-файлы скорее всего получатся сильно фрагментироваными, что для торента пофиг, он всё равно chunk'и раздаёт в произвольном порядке, а вот посмотреть кино высокой чёткости без тормозов и лагов может оказаться проблематичным.

Наконец, 100GB это фигня по нынешним меркам. Чем народ от дела отвелекать, купи винт на 1.5TB за 100$ и не парься.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36387643
Фотография mriadus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mcureenabДа как файловую систему не настраивай, если торент клиент заранее расписывает файл нулями от начала до конца (наверное чтобы правильно хэш посчитать), то в файловой системе придётся создать файл целиком.

Да нихрена подобного! Речь же не идёт об обычных файловых системах, а, возможно, о таких, которые приспособлены к такой записи в файл и, грубо говоря, знают, что такое торрент.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36388271
sqI
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
а в чем смысл такой экономии. Ну хорошо, допустим именно в эту минуту мы освободим место, но торент в конце концов сегодня или завтра закачает эти файлы и место исчезнет. Следовательно я бы назвал его только временным полезным местом на диске. Под любую полезную программу или файл его врядли целесообразно будет распределить.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36388279
Фотография mriadus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sqIа в чем смысл такой экономии. Ну хорошо, допустим именно в эту минуту мы освободим место, но торент в конце концов сегодня или завтра закачает эти файлы и место исчезнет. Следовательно я бы назвал его только временным полезным местом на диске. Под любую полезную программу или файл его врядли целесообразно будет распределить.
Ну да, временно. Но автор хочет качать сразу много 10-гиговых раздач, постепенно их убирая вручную) Т.е. доля ручной работы ещё присутствует) Слишком, да, сисадминский подход, когда человек всё время следит за железом, мало автоматизации. Хотя, можно устроить автоматическую уборку докачавшегося на внешний источник.

Самого меня заколебали такие рассуждения, надо рассчёты приводить)
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36388350
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Такой подход оправдывал, когда я качал сериалы. Ставишь целый сезон в закачку. Выставляешь приоритеты так, чтобы серии качались в опр. порядке 01, 02... и по мере завершения - смотришь а потом либо стираешь нахер либо на DVD.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36388352
Фотография mriadus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А я наверное никакие докторы-хаусы качать не буду, пока не наступит время, когда можно будет за 40 миллисекунд получать любую точку любой серии для ознакомления) Качаю только получателей оскара раз в месяц)
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36388503
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mriadusА я наверное никакие докторы-хаусы качать не буду, пока не наступит время, когда можно будет за 40 миллисекунд получать любую точку любой серии для ознакомления) Качаю только получателей оскара раз в месяц)
А смысл? Если ждать, тогда зачем вообще сериалы нужны.

P.S. А где вообще получаете ссылки? На каком трекере?
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36388571
Фотография mriadus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonmriadusА я наверное никакие докторы-хаусы качать не буду, пока не наступит время, когда можно будет за 40 миллисекунд получать любую точку любой серии для ознакомления) Качаю только получателей оскара раз в месяц)
А смысл? Если ждать, тогда зачем вообще сериалы нужны.

P.S. А где вообще получаете ссылки? На каком трекере?

Скачиваются фильмы, которые либо оскара получали, либо о которых сказал какой-то авторитетный мне человек. Не скачиваются - о которых слышал много (напр. доктор хаус), но которые ни разу никто из авторитетных людей не упомянул) А был бы мгновенный доступ - потыкал бы даже в то, что сейчас на закачку не ставится.

Сылки получаю? Всмысле torrent-файлы? На нужные фильмы пробую получить на torrents.ru, если там нет, то облом ) О фильмах узнаю от каких-то важных мне людей, на форумах кинолюбов не сижу)
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36388574
Фотография mriadus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Короче, это уже оффтоп пошёл и вкусов обсуждение. Фтопку.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36388597
Фотография С0ВЕСТЬ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mriadusКороче, это уже оффтоп пошёл и вкусов обсуждение. Фтопку.

Ага, потому что решения как такового не существует!
Все равно торрент-клиенты будут работать по своим алгоритмам.
А чего у ТС место сразу заполняется, непонятно.
Чего-то он там недоговаривает или это тайный агент спецслужб, АХТУНГ...
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36388686
Фотография mriadus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
С0ВЕСТЬmriadusКороче, это уже оффтоп пошёл и вкусов обсуждение. Фтопку.

Ага, потому что решения как такового не существует!
Все равно торрент-клиенты будут работать по своим алгоритмам.
А чего у ТС место сразу заполняется, непонятно.
Чего-то он там недоговаривает или это тайный агент спецслужб, АХТУНГ...

В торрент-клиенты мы и не лезем, пусть работают как хотят, мы лезем в обработку запросов от них в направлении файловой системы.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36388695
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
+1

Я-ж об этом и толкую. Мне безразлично что пишет торрент-клиент в файл. Просто я хочу оптимально использовать дырки в файлах которые он оставляет после аллокации.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36388979
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Установка флажка bt.compact_allocation не помогла. Клиент uTorrent по прежнему выделяет 100% объём файла, но дополнительно создаёт файл ~uTorrentPartFile_********.dat для каждого .torrent-а. В чём смысл этого файла я не понял, но могу предположить что там должнен лежать mapping логических chunks в физические.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36389364
Фотография С0ВЕСТЬ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonУстановка флажка bt.compact_allocation не помогла. Клиент uTorrent по прежнему выделяет 100% объём файла, но дополнительно создаёт файл ~uTorrentPartFile_********.dat для каждого .torrent-а. В чём смысл этого файла я не понял, но могу предположить что там должнен лежать mapping логических chunks в физические.
Не, что-то там не то, так не должно быть!!!
Или это новая фича клиента(искать более старую и не обновляться) или кое-у кого руки кривые.
А файлы наподобии "~uTorrentPartFile_51E915.dat" создаются когда качаете не всю раздачу, в раздаче 10 файлов, а на закачку закинуто не все 10 файлов.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36389385
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
uTorrent у меня обновлён до самой последней версии. Кто-нибудь, проведите эксперимент пожалуйста, чтобы проверить как выделяется место скажем... на 4.7 Гб образе.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36389427
Фотография С0ВЕСТЬ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonuTorrent у меня обновлён до самой последней версии. Кто-нибудь, проведите эксперимент пожалуйста, чтобы проверить как выделяется место скажем... на 4.7 Гб образе.

Ок.
Бросил на закачку эту раздачу(34,92 Gb).
Скриншот через 5 минут:
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36389431
Фотография С0ВЕСТЬ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А теперь смотрим, сколько места заняло:
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36389450
a_shats
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я, может, не по теме, извиняюсь, но - стандартное сжатие NTFS на этот каталог никак не устроит ? :)
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36389459
Фотография mriadus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
a_shatsЯ, может, не по теме, извиняюсь, но - стандартное сжатие NTFS на этот каталог никак не устроит ? :)
Да, интересно, а если я создам новый файл, открою для записи, отмотаю указатель на гиг вперёд, запишу байтик (файл станед гиговым), то все байты перед этим байтиком чему будут равны? )
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36389461
Фотография mriadus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Совесть, а как ты скришноты делаешь, что они у тебя не пиксель-в-пиксель и ещё с подписью в свойствах:

Person who created the image: ALExorON

а?
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36389475
Фотография С0ВЕСТЬ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mriadusСовесть, а как ты скришноты делаешь, что они у тебя не пиксель-в-пиксель и ещё с подписью в свойствах:
Person who created the image: ALExorON
а?

FastStone Image Viewer -> Save As... (указываешь степень сжатия+меняешь разрешение):
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36389490
Фотография С0ВЕСТЬ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,
Как видишь заняло не свыше 34Гиг, а только 2Гб.
Какие выводы нужно сделать, а?


...
Рейтинг: 0 / 0
Файловая система под torrent
    #36389491
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Условия не те. Вы выбрали один торрент c целой пачкой файлов.

Попробуйте один образ. Например вот http://torrent.fedoraproject.org/torrents//Fedora-12-i386-DVD.torrent.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36389505
Фотография С0ВЕСТЬ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonУсловия не те. Вы выбрали один торрент c целой пачкой файлов.
Попробуйте один образ. Например вот http://torrent.fedoraproject.org/torrents//Fedora-12-i386-DVD.torrent.

Заняло свыше 3 гиг.
Но ведь раньше такового небыло, точно не было. Свыше года назад.
Файлы полностью не распределялись, указал файл он рос по мере заполненности, как видно из группы файлов.
Лучше качать все таки по частям.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36389515
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Хрен его знает. Я раньше качал Azureus-ом, но когда увидел, что там с соглашением об использовании - нечито я его прибил и поставил uTorrent.

Хотя, как мне кажется с лягушкой такой проблемы не было.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36389534
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Может с размером chunk-а связано? Посмотри плиз чему равно это значение у сериала "How it's made?" и у того образа Fedorа, который я указал.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36390024
mcureenab
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ну я ж говорю, торрент клиента лечить надо. А операционной системе до лампы, торрент пишет файл или MSWord или СУБД какая нибудь.

На данный момент uTorrent сразу перед попыткой сохранить кусочек файла на диск размечает его целиком и никакой ОС ты не объяснишь чем отличается разметка файла от обычной записи нулей в файл. Когда выделяется файл на два-три десятка гигов диск загружается на 100% и все раздачи прекращаются на несколько минут. Остаётся только ждать доработки uTorrent.

Вообще, твои манипуляции с файлами смахивают на мошенничетво, потому как в P2P сетях нужно ещё и раздавать файлы, т.е. держать их на диске довольно длительное время. Режим, скачал, посмотрел, стёр не в духе P2P.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36390044
Фотография С0ВЕСТЬ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Это 100%-Измененный алгоритм в программе!!!
За прошлый год выкачал около терабайта данных и не наблюдал ситуацию распределения всего пространства сразу, только по мере заполненности.
авторПосмотри плиз...
Сорри, я их сразу и удалил :)
Для себя сделал вывод: нужно найти старую версию и не обновляться.


...
Рейтинг: 0 / 0
Файловая система под torrent
    #36390117
mcureenab
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
С0ВЕСТЬЭто 100%-Измененный алгоритм в программе!!!
За прошлый год выкачал около терабайта данных и не наблюдал ситуацию распределения всего пространства сразу, только по мере заполненности.


Когда раздача побита на много небольших файлов эффект выражен не так ярко. Ведь торрент не бросается на все файлы сразу и не размечает их сразу. Когда есть пара гигов оперативной памяти, гиговый файл может поместиться в оперативной памяти, а уже потом постепенно сохраниться на диск без перегрузки кэша.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36390194
Фотография С0ВЕСТЬ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mcureenabС0ВЕСТЬЭто 100%-Измененный алгоритм в программе!!!
За прошлый год выкачал около терабайта данных и не наблюдал ситуацию распределения всего пространства сразу, только по мере заполненности.


Когда раздача побита на много небольших файлов эффект выражен не так ярко. Ведь торрент не бросается на все файлы сразу и не размечает их сразу. Когда есть пара гигов оперативной памяти, гиговый файл может поместиться в оперативной памяти, а уже потом постепенно сохраниться на диск без перегрузки кэша.

Вы хоть поняли о чем глаголите, сударь?
Немного теории:
авторdiskio.coalesce_write_size: This option determines the size threshold for which BitTorrent Mainline should write data out coalesced, and is relevant only if diskio.coalesce_writes is enabled. This value is interpreted in bytes per second , so please enter it as such.
Какие гигабайты, что за чушь?
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36390201
Фотография С0ВЕСТЬ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Этот параметр пару недель назад удвоил, чтобы меньше диск нагружать:
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36390318
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mcureenabКогда есть пара гигов оперативной памяти, гиговый файл может поместиться в оперативной памяти, а уже потом постепенно сохраниться на диск без перегрузки кэша.
Ты не в теме. Оперативка здесь вообще не причем.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36390342
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mcureenabНу я ж говорю, торрент клиента лечить надо. А операционной системе до лампы, торрент пишет файл или MSWord или СУБД какая нибудь.

Вообще, твои манипуляции с файлами смахивают на мошенничетво, потому как в P2P сетях нужно ещё и раздавать файлы, т.е. держать их на диске довольно длительное время. Режим, скачал, посмотрел, стёр не в духе P2P.
Я думаю - ты прав. Но у меня не стоит вопрос - лечить uTorrent. Я вообще - мастак ставить глобальные задачи. К примеру... есть проблемка. Нерациональное использование диска. И я её решаю в общем случае. А будет-ли это torrent или eDonkey клиент - не суть важно. Быть может это даже будет кусок табличного пространства Oracle, который RDBMS еще не успел заполнить экстентами.

По поводу раздачи. Я действительно должен отдавать реальный контент. И я его буду отдавать. Но ведь я могу более гибко балансировать диском, когда есть возможность "ужать" неиспользуемое.

Ладно. Всё - оффтоп. Пошёл ставить Qt. Надо в конце-то концов добить makesparse. (Вчера застрял на проблеме UNICODE и Win32API).
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36390666
mcureenab
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,

ну тут уже писали - если прикладной софт не заточен, то только сжатие файлов поможет. В былые времена сжатие даже ускоряло обмен с диском, за счёт уменьшения трафика. Только в Windows я точно не знаю когда сжатие происходит и какая у Windows политика. Некоторые OS сжимают файлы, если к ним давно не обращались, в момент обращения создают несжатую копию файла, а если обращения к файлу повторяется несколько раз, то сжатая копия удаляется - т.е. иногда расход ещё больше получается.

Но. ИМХО, проблема из пальца. Всё это решается другим способом - очередь загрузок, приоритеты и современное железо. Мне как бы лучше получать целые загрузки поочереди, чем ждать все загрузки сразу. Собсно, мне даже не ясно, чего ты хочешь добиться своей оптимизацией. Если все закачки идут одновременно, то и закончатся они примерно в одно время и займут столько места на диске, сколько им нужно.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36390873
Фотография С0ВЕСТЬ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ТС следует найти дистрибутив µTorrent более годичной давности и попробовать.
Как ни крутись, все равно придется докупать винт.
Или писать кляузы разработчикам и спрашивать с них :)


...
Рейтинг: 0 / 0
Файловая система под torrent
    #36395925
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Похоже что проблема не существует для Linux на файловой системе XFS. Я походу являюсь счастливым обладателем опции SparseFiles для этой ФС. По материалам wiki эта-же опция поддерживается целым рядом файловых систем: ext2, ext3, XFS etc.

Проводил эксперимент с добавлением крупной ссылки на 4.7 Гб. Физическое дисковое пространство уменьшилось на несколько мегабайт сразу после старта закачки. Логический размер - действительно 4.7 Гб. Чанки распределены случайным образом.

Чуть позже я приведу цифры. Моя текущая конфигурация: Linux (OpenSuse11.0 for x86_64).

Если такой расклад - то на проблему можно вобщем-то забить. Еще чуть позже я проведу парочку экспериментов с созданием файла и жонглировением fseek. Еще интересно, будет-ли XFS возвращать "обнулившийся" блок в пул общедоступных блоков, если таковая транзакция будет сделана.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36395935
Фотография mriadus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonПохоже что проблема не существует для Linux на файловой системе XFS. Я походу являюсь счастливым обладателем опции SparseFiles для этой ФС. По материалам wiki эта-же опция поддерживается целым рядом файловых систем: ext2, ext3, XFS etc.

Проводил эксперимент с добавлением крупной ссылки на 4.7 Гб. Физическое дисковое пространство уменьшилось на несколько мегабайт сразу после старта закачки. Логический размер - действительно 4.7 Гб. Чанки распределены случайным образом.

Чуть позже я приведу цифры. Моя текущая конфигурация: Linux (OpenSuse11.0 for x86_64).

Если такой расклад - то на проблему можно вобщем-то забить. Еще чуть позже я проведу парочку экспериментов с созданием файла и жонглировением fseek. Еще интересно, будет-ли XFS возвращать "обнулившийся" блок в пул общедоступных блоков, если таковая транзакция будет сделана.
wow
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36396191
Фотография С0ВЕСТЬ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonПохоже что проблема не существует для Linux на файловой системе XFS. Я походу являюсь счастливым обладателем опции SparseFiles для этой ФС. По материалам wiki эта-же опция поддерживается целым рядом файловых систем: ext2, ext3, XFS etc.

Проводил эксперимент с добавлением крупной ссылки на 4.7 Гб. Физическое дисковое пространство уменьшилось на несколько мегабайт сразу после старта закачки. Логический размер - действительно 4.7 Гб. Чанки распределены случайным образом.

Чуть позже я приведу цифры. Моя текущая конфигурация: Linux (OpenSuse11.0 for x86_64).

Если такой расклад - то на проблему можно вобщем-то забить. Еще чуть позже я проведу парочку экспериментов с созданием файла и жонглировением fseek. Еще интересно, будет-ли XFS возвращать "обнулившийся" блок в пул общедоступных блоков, если таковая транзакция будет сделана.

Лучше промолчу,
чтобы ТС не дулся.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36396193
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Говори. Не буду дутся.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36396199
Фотография С0ВЕСТЬ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonГовори. Не буду дутся.

Не, сначала убей 20 дней на эксперименты, потом еще 20 дней на другие извращения, а потом и еще 20 дней на обдумывание - "А стоило-ли?"
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36396201
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я ещё пяток дней убью на сравнение xfs, jfs чтобы выбрать какая лучше освобождает sparsed блоки.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36396203
Фотография С0ВЕСТЬ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonЯ ещё пяток дней убью на сравнение xfs, jfs чтобы выбрать какая лучше освобождает sparsed блоки.
А может для начала стоит поискать более старую версию?
Сейчас 1.8.2, есть закрома на которых uTorrent версии 0.8 можно найти или старых дисках к журналам?
Попробовать можно, потому что в 2008 году мне приходилось качать много, а заполненности особой не замечал, а?
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36396204
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Даунгрейд делать не буду. В принципе фича устраивает. Просто я не знал что sparse включена по дефолту для ВСЕХ файлов файловых систем Linux / XFS, JFS. Меня сбил с толку Windows/NTFS, где нужно жонглировать fsutil чтобы активировать эту особенность.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36396319
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вобщем для Windows сценарий может быть такой. На диске свободно 14Гб.

1) Добавляем закачку в торрент-клиента

2) Для всех особо крупных файлов используем fsutil
Код: plaintext
1.
C:\...художественной гимнастике  2009 .Япония\Художественная гимнастика. 10 . 09 . 09 >fsutil sparse setflag "01.Художественная гимнастика.10.09.09.ts"
3) Смотрим результат

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
C:\...художественной гимнастике  2009 .Япония\Художественная гимнастика. 10 . 09 . 09 >dir
 Том в устройстве C не имеет метки.
 Серийный номер тома: 6C86-A7CF

 Содержимое папки C:\uTorrent\downloads\ЧМ по художественной гимнастике  2009 .Япония\Художественная гимнастика. 10 . 09 . 09 

 02 . 12 . 2009    22 : 04     <DIR>          .
 02 . 12 . 2009    22 : 04     <DIR>          ..
 03 . 01 . 2010    18 : 51       4   862   351   160   01 .Художественная гимнастика. 10 . 09 . 09 .ts
                1  файлов   4   862   351   160  байт
                2  папок   14   852   395   008  байт свободно

C:\...художественной гимнастике  2009 .Япония\Художественная гимнастика. 10 . 09 . 09 >fsutil sparse queryrange "01.Художественная гимнастика.10.09.09.ts"
sparse range: [ 1207959552 ] [ 9633792 ]
sparse range: [ 1217789952 ] [ 131072 ]
sparse range: [ 2147483648 ] [ 1179648 ]
sparse range: [ 2214592512 ] [ 4194304 ]
sparse range: [ 4848615424 ] [ 65536 ]

До добавления закачки было свободно 14Г. И после создания 4 Гб видеофайла тоже осталось 14Г.

Far Manager показывает этот sparse-атрибут значком $.

Exporer не показывает никак.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36396353
Фотография С0ВЕСТЬ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton...
Добавил торент Федоры, подождал приблизительно 5 минут - размер свыше 3гиг.
Выключил uTorrent сказал заветные комманды, и включил торрент-клиент.
Размер остался тем же, что я сделал неправильно?
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36396368
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ты смотришь логический размер. А я говорю о физически занимаемом на диске.

В линуксе этот размер смотрится через команду:

Код: plaintext
du -s -B1 --apparent-size sparse-file

и:

Код: plaintext
du -s -B1 sparse-file


Как посмотреть его физический размер в Windows/NTFS я еще не придумал. Поэтому пока использую наблюдение за свободным местом на диске.
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36461884
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
В uTorrent 2.0 можно использовать параметр diskio.sparse_files=true
...
Рейтинг: 0 / 0
Файловая система под torrent
    #36867173
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Роберт Лав - Linux Системное ....
Вызов lseek() можно применять также для перемещения указателя за пределы файла......

...Это заполненное нулями пространство называется дырой (hole). В файловых системах типа Unix дыры не занимают места на диске. Это означает что общий размер всех файлов в ФС может превышать физический размер диска...

...Запрос на чтение, сделанный в тот фрагмент файла ... возвращает соответствующее число двоичных нулей.
...
Рейтинг: 0 / 0
69 сообщений из 69, показаны все 3 страниц
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Файловая система под torrent
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]