|
|
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Задумался. Торрент-кеш по содержимому напоминает "мочалку". Состоит в основном из сплошных нулей. У меня - занимает около 100 Гиг, но реально полезной информации там едва-ли на 10-24 Gb. Когда качал под WinXP, то ставил атрибут сжатия на всю папку, но это ощутимо било по производительности, да и диск работал как-то напряжно. А вот если-бы хранить блоки данных в файле как-то более оптимально, ну например при закачке образа выделять 4.7 "виртуальных" гигов. А физически аллоцировать блоки по необходимости - то было-бы очень даже неплохо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2009, 16:41:40 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
а не проще поставить отдельный винт под это? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2009, 17:07:19 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Моя жадность не имеет предела. +Люблю оптимизировать... Модератор: Тема перенесена из форума "Просто треп". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2009, 17:14:19 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Что за "Торрент-кеш"??? Совсем не понял. У самого почти 200 торрентов висят постоянно, более 20 мои раздачи. Но, обо каком-то там большом кеше впервые слышу. Хотя смотря какой клиент. У меня никаких огромных кешей не видать при таких настройках: (uTorrent должен автоматом управлять кешем) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2009, 19:54:56 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Я имел в виду этот каталог: ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2009, 20:24:46 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Допустим я добавил 20 torrent-ов в загрузку. Каждый - по 4.7Гб. Сидирование слабое. Где-то по 1-2 seede-rs на каждую загрузку. Включаю в очередь все 20 штук с одинаковым приоритетом. Соотв. большой объём диска (около 100 Гб) будет вначале выделен впустую. Этот объём в начале будет заполнен нулями. Но по мере скачивания я буду сбрасывать законченые закачки на DVD и т.д. Ограничивать себя очередью закачек со строгой последовательносью как-то не хочется ибо грустно и нерационально с точки зрения трафа. P.S. Я привёл скрин для Win чтобы было понятно, но на самом деле меня интересует настройка ФС для торрентов под Linux т.к. планирую раб. станцию с линуксами оставлять на закачку на долгое время. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2009, 20:32:55 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
maytonЯ имел в виду этот каталог: Теперь уже понятно Ну а чтоже хотели, когда кто-то попытается скачать, этот файл логично должен быть доступен. Раньше тоже думал как можно выйти из ситуации, можно конечно и что-то придумать. Но пока для себя ничего лучшего не придумал ве хозяйство держать на серваке (но таковое не практикую). И еще раньше тоже качал все в одну папку, но потом как-то тоже нужно правильно "расфасовывать", раскидывать по местам. Когда почти половина дня уходит на раскидывание - это уже утомляет и печально. Поэтому поступил другим путем, создал в корне диска такую же структуру как на торрентс.ру и нужную раздачу пихаю в "нужную" папку. И не нужно потом полчаса искать в папке загрузки посреди других нужное :) Пример: ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2009, 20:43:16 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
mayton...Соотв. большой объём диска (около 100 Гб) будет вначале выделен впустую. Этот объём в начале будет заполнен нулями... А Вы не резервируйте место для качаемых файлов!!! Обычно она по-умолчанию включена, выключаем: ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2009, 20:49:59 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Еще вопросы есть? Советую прогуглить ссылку , много полезного :) Но, учтите "Минздрав предупреждал..." ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2009, 20:59:14 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Учите матчасть: http://www.bittorrent.com/btusers/guides/bittorrent-user-manual/appendix-bittorrent-mainline-interface/preferences/general#When_Downloading.Pre-allocate_all_files • Pre-allocate all files tells BitTorrent Mainline to create and fully allocate every file you select to download immediately after starting the torrent job. Note that this option does not have an impact on hard drive fragmentation (advantageous or otherwise), as BitTorrent Mainline already allocates each file upon writing to disk even without this option :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2009, 21:18:13 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Флажок "Распределять место сразу" у меня отключен по умолчанию. Но это не помогает. Ведь порядок скачивания chunk-ов случайный и если допустим доступен 1Мб chunk #XXXX который находится в конце 4.7Гб файла то по протоколу торрент-клиента он форсирует аллокацию полной длины файла и прописывает туда 1Мб данных. Промежуток между chunk-ом #0000 и #XXXX будет балластом. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2009, 21:21:09 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
maytonФлажок "Распределять место сразу" у меня отключен по умолчанию. Но это не помогает. Ведь порядок скачивания chunk-ов случайный и если допустим доступен 1Мб chunk #XXXX который находится в конце 4.7Гб файла то по протоколу торрент-клиента он форсирует аллокацию полной длины файла и прописывает туда 1Мб данных. Промежуток между chunk-ом #0000 и #XXXX будет балластом. Ну тогда придется штудировать мануал и экспериментировать, а если не помогает на торрентс.ру спрашивать народ. У меня без проблем. Может глюк какой-то, можно попытаться удалить файл настроек программы и заново посмотреть как будет вести себя, также скачать последнюю версию? А закачанные файлы добавить заново в uTorent, они просканируются и далее нормуль будет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2009, 21:27:34 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
[офтоп?] Дома полетела материнка на второстепенном старом компе(у меня их три дома), пошел в магазин. Хотел скроить: хард остался, оперативка, ну и по мелочи. Надо было только процессор и маму. В результате плюнул, да заказал все в компекте. Так вот, в частности, разница между 250 гига и 320 гига = булка черного хлеба. [/офтоп?] ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2009, 22:12:56 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Всё равно харда не хватает. Вот скоро начну качать рипы с Blu-ray - снова надо будет думать где чего разместить. А политика - доплати еще 50$ и купи в два раза больше мне не особо интересна. Я ведь расчитываю на деньги а не на гигабайты. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2009, 22:48:29 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Да. Я думал об этом. Помнится когда-то искал нечто подобное на sysinternals но не нашёл. Чуть позже поставлю VisualC++ и соберу утилиту типа makesparse. +Вопрос по Линуксу тоже остаётся актуальным. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.12.2009, 11:31:36 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Да, интересная задачка. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.12.2009, 12:31:16 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Нагуглил файловые системы, с поддержкой transparent compression. Btrfs,NTFS,Reiser4,JFS (on AIX),NSS,NWFS,Fossil,ZFS. Из этих всех реально использовал только NTFS, и старую версию Reiser. Это - не альтернатива sparse но всё-таки попробую чего-нибудь применить. (по информации с wiki). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.12.2009, 17:16:56 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Я так понимаю, в идеале ты хочешь, чтобы в этой файловой системе всё было устроено примерно так: один блок торрента - один файл в этой файловой системе весь фильм - папка в этой файловой системе) Ну например) Считывание целого 2-гигового файла из этой файловой системы, это собирание кусков друг за другом из опр. папки в опр. порядке. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.12.2009, 17:24:49 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
mriadusЯ так понимаю, в идеале ты хочешь, чтобы в этой файловой системе всё было устроено примерно так: один блок торрента - один файл в этой файловой системе весь фильм - папка в этой файловой системе) Ну например) Считывание целого 2-гигового файла из этой файловой системы, это собирание кусков друг за другом из опр. папки в опр. порядке. Т.е. торрентокачалка качает, создавая в этой файловой системе блоки. Каждый блок имеет связь со следующим блоком и проч... проч... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.12.2009, 17:32:59 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
mriadusЯ так понимаю, в идеале ты хочешь, чтобы в этой файловой системе всё было устроено примерно так: один блок торрента - один файл в этой файловой системе весь фильм - папка в этой файловой системе) Ну например) Да. И один блок торрента вовсе не обязательно не должен быть совпадающим с размером блока ФС. Экономия будет в любом случае. Насколько я помню torrent оперирует chunk-ами 64, 128, 256 Kb и выше. Считывание целого 2-гигового файла из этой файловой системы, это собирание кусков друг за другом из опр. папки в опр. порядке. На самом деле ФС так и поступает на уровне MFT таблиц. Ведь блоки одного на диске лежат в виде частично-упорядоченных цепочек. Просто (я для себя) разработал концепцию файловой системы которая решает проблему sparsed-файлов, и при этом не требует супер-вычислительных ресурсов, и является концептуально-простой. Её можно реализовать поверх ext2 например. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.12.2009, 17:50:48 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Да как файловую систему не настраивай, если торент клиент заранее расписывает файл нулями от начала до конца (наверное чтобы правильно хэш посчитать), то в файловой системе придётся создать файл целиком. sparsed-файлы никакая не проблема, если приложение пишет данные в произвольные места файла и файловая система их поддерживает. В общем сначала надо лечить торрент клиента. Ещё при твоей организации очереди загрузок sparsed-файлы скорее всего получатся сильно фрагментироваными, что для торента пофиг, он всё равно chunk'и раздаёт в произвольном порядке, а вот посмотреть кино высокой чёткости без тормозов и лагов может оказаться проблематичным. Наконец, 100GB это фигня по нынешним меркам. Чем народ от дела отвелекать, купи винт на 1.5TB за 100$ и не парься. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.12.2009, 23:43:08 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
mcureenabДа как файловую систему не настраивай, если торент клиент заранее расписывает файл нулями от начала до конца (наверное чтобы правильно хэш посчитать), то в файловой системе придётся создать файл целиком. Да нихрена подобного! Речь же не идёт об обычных файловых системах, а, возможно, о таких, которые приспособлены к такой записи в файл и, грубо говоря, знают, что такое торрент. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.12.2009, 00:52:31 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
а в чем смысл такой экономии. Ну хорошо, допустим именно в эту минуту мы освободим место, но торент в конце концов сегодня или завтра закачает эти файлы и место исчезнет. Следовательно я бы назвал его только временным полезным местом на диске. Под любую полезную программу или файл его врядли целесообразно будет распределить. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.12.2009, 01:44:05 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
sqIа в чем смысл такой экономии. Ну хорошо, допустим именно в эту минуту мы освободим место, но торент в конце концов сегодня или завтра закачает эти файлы и место исчезнет. Следовательно я бы назвал его только временным полезным местом на диске. Под любую полезную программу или файл его врядли целесообразно будет распределить. Ну да, временно. Но автор хочет качать сразу много 10-гиговых раздач, постепенно их убирая вручную) Т.е. доля ручной работы ещё присутствует) Слишком, да, сисадминский подход, когда человек всё время следит за железом, мало автоматизации. Хотя, можно устроить автоматическую уборку докачавшегося на внешний источник. Самого меня заколебали такие рассуждения, надо рассчёты приводить) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.12.2009, 02:01:03 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Такой подход оправдывал, когда я качал сериалы. Ставишь целый сезон в закачку. Выставляешь приоритеты так, чтобы серии качались в опр. порядке 01, 02... и по мере завершения - смотришь а потом либо стираешь нахер либо на DVD. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.12.2009, 10:27:38 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
А я наверное никакие докторы-хаусы качать не буду, пока не наступит время, когда можно будет за 40 миллисекунд получать любую точку любой серии для ознакомления) Качаю только получателей оскара раз в месяц) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.12.2009, 10:35:55 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
mriadusА я наверное никакие докторы-хаусы качать не буду, пока не наступит время, когда можно будет за 40 миллисекунд получать любую точку любой серии для ознакомления) Качаю только получателей оскара раз в месяц) А смысл? Если ждать, тогда зачем вообще сериалы нужны. P.S. А где вообще получаете ссылки? На каком трекере? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.12.2009, 14:17:15 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
maytonmriadusА я наверное никакие докторы-хаусы качать не буду, пока не наступит время, когда можно будет за 40 миллисекунд получать любую точку любой серии для ознакомления) Качаю только получателей оскара раз в месяц) А смысл? Если ждать, тогда зачем вообще сериалы нужны. P.S. А где вообще получаете ссылки? На каком трекере? Скачиваются фильмы, которые либо оскара получали, либо о которых сказал какой-то авторитетный мне человек. Не скачиваются - о которых слышал много (напр. доктор хаус), но которые ни разу никто из авторитетных людей не упомянул) А был бы мгновенный доступ - потыкал бы даже в то, что сейчас на закачку не ставится. Сылки получаю? Всмысле torrent-файлы? На нужные фильмы пробую получить на torrents.ru, если там нет, то облом ) О фильмах узнаю от каких-то важных мне людей, на форумах кинолюбов не сижу) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.12.2009, 15:09:40 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Короче, это уже оффтоп пошёл и вкусов обсуждение. Фтопку. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.12.2009, 15:12:37 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
mriadusКороче, это уже оффтоп пошёл и вкусов обсуждение. Фтопку. Ага, потому что решения как такового не существует! Все равно торрент-клиенты будут работать по своим алгоритмам. А чего у ТС место сразу заполняется, непонятно. Чего-то он там недоговаривает или это тайный агент спецслужб, АХТУНГ... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.12.2009, 15:25:41 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
С0ВЕСТЬmriadusКороче, это уже оффтоп пошёл и вкусов обсуждение. Фтопку. Ага, потому что решения как такового не существует! Все равно торрент-клиенты будут работать по своим алгоритмам. А чего у ТС место сразу заполняется, непонятно. Чего-то он там недоговаривает или это тайный агент спецслужб, АХТУНГ... В торрент-клиенты мы и не лезем, пусть работают как хотят, мы лезем в обработку запросов от них в направлении файловой системы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.12.2009, 16:34:26 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
+1 Я-ж об этом и толкую. Мне безразлично что пишет торрент-клиент в файл. Просто я хочу оптимально использовать дырки в файлах которые он оставляет после аллокации. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.12.2009, 16:39:27 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Установка флажка bt.compact_allocation не помогла. Клиент uTorrent по прежнему выделяет 100% объём файла, но дополнительно создаёт файл ~uTorrentPartFile_********.dat для каждого .torrent-а. В чём смысл этого файла я не понял, но могу предположить что там должнен лежать mapping логических chunks в физические. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.12.2009, 22:53:47 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
maytonУстановка флажка bt.compact_allocation не помогла. Клиент uTorrent по прежнему выделяет 100% объём файла, но дополнительно создаёт файл ~uTorrentPartFile_********.dat для каждого .torrent-а. В чём смысл этого файла я не понял, но могу предположить что там должнен лежать mapping логических chunks в физические. Не, что-то там не то, так не должно быть!!! Или это новая фича клиента(искать более старую и не обновляться) или кое-у кого руки кривые. А файлы наподобии "~uTorrentPartFile_51E915.dat" создаются когда качаете не всю раздачу, в раздаче 10 файлов, а на закачку закинуто не все 10 файлов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2009, 11:16:10 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
uTorrent у меня обновлён до самой последней версии. Кто-нибудь, проведите эксперимент пожалуйста, чтобы проверить как выделяется место скажем... на 4.7 Гб образе. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2009, 11:26:57 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
maytonuTorrent у меня обновлён до самой последней версии. Кто-нибудь, проведите эксперимент пожалуйста, чтобы проверить как выделяется место скажем... на 4.7 Гб образе. Ок. Бросил на закачку эту раздачу(34,92 Gb). Скриншот через 5 минут: ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2009, 11:43:17 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
А теперь смотрим, сколько места заняло: ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2009, 11:44:12 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Я, может, не по теме, извиняюсь, но - стандартное сжатие NTFS на этот каталог никак не устроит ? :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2009, 11:51:38 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
a_shatsЯ, может, не по теме, извиняюсь, но - стандартное сжатие NTFS на этот каталог никак не устроит ? :) Да, интересно, а если я создам новый файл, открою для записи, отмотаю указатель на гиг вперёд, запишу байтик (файл станед гиговым), то все байты перед этим байтиком чему будут равны? ) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2009, 11:54:43 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Совесть, а как ты скришноты делаешь, что они у тебя не пиксель-в-пиксель и ещё с подписью в свойствах: Person who created the image: ALExorON а? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2009, 11:55:49 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
mriadusСовесть, а как ты скришноты делаешь, что они у тебя не пиксель-в-пиксель и ещё с подписью в свойствах: Person who created the image: ALExorON а? FastStone Image Viewer -> Save As... (указываешь степень сжатия+меняешь разрешение): ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2009, 12:01:50 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Условия не те. Вы выбрали один торрент c целой пачкой файлов. Попробуйте один образ. Например вот http://torrent.fedoraproject.org/torrents//Fedora-12-i386-DVD.torrent. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2009, 12:05:57 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
maytonУсловия не те. Вы выбрали один торрент c целой пачкой файлов. Попробуйте один образ. Например вот http://torrent.fedoraproject.org/torrents//Fedora-12-i386-DVD.torrent. Заняло свыше 3 гиг. Но ведь раньше такового небыло, точно не было. Свыше года назад. Файлы полностью не распределялись, указал файл он рос по мере заполненности, как видно из группы файлов. Лучше качать все таки по частям. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2009, 12:13:10 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Хрен его знает. Я раньше качал Azureus-ом, но когда увидел, что там с соглашением об использовании - нечито я его прибил и поставил uTorrent. Хотя, как мне кажется с лягушкой такой проблемы не было. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2009, 12:16:04 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Может с размером chunk-а связано? Посмотри плиз чему равно это значение у сериала "How it's made?" и у того образа Fedorа, который я указал. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2009, 12:21:25 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Ну я ж говорю, торрент клиента лечить надо. А операционной системе до лампы, торрент пишет файл или MSWord или СУБД какая нибудь. На данный момент uTorrent сразу перед попыткой сохранить кусочек файла на диск размечает его целиком и никакой ОС ты не объяснишь чем отличается разметка файла от обычной записи нулей в файл. Когда выделяется файл на два-три десятка гигов диск загружается на 100% и все раздачи прекращаются на несколько минут. Остаётся только ждать доработки uTorrent. Вообще, твои манипуляции с файлами смахивают на мошенничетво, потому как в P2P сетях нужно ещё и раздавать файлы, т.е. держать их на диске довольно длительное время. Режим, скачал, посмотрел, стёр не в духе P2P. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2009, 15:07:55 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Это 100%-Измененный алгоритм в программе!!! За прошлый год выкачал около терабайта данных и не наблюдал ситуацию распределения всего пространства сразу, только по мере заполненности. авторПосмотри плиз... Сорри, я их сразу и удалил :) Для себя сделал вывод: нужно найти старую версию и не обновляться. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2009, 15:16:21 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
С0ВЕСТЬЭто 100%-Измененный алгоритм в программе!!! За прошлый год выкачал около терабайта данных и не наблюдал ситуацию распределения всего пространства сразу, только по мере заполненности. Когда раздача побита на много небольших файлов эффект выражен не так ярко. Ведь торрент не бросается на все файлы сразу и не размечает их сразу. Когда есть пара гигов оперативной памяти, гиговый файл может поместиться в оперативной памяти, а уже потом постепенно сохраниться на диск без перегрузки кэша. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2009, 15:37:21 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
mcureenabС0ВЕСТЬЭто 100%-Измененный алгоритм в программе!!! За прошлый год выкачал около терабайта данных и не наблюдал ситуацию распределения всего пространства сразу, только по мере заполненности. Когда раздача побита на много небольших файлов эффект выражен не так ярко. Ведь торрент не бросается на все файлы сразу и не размечает их сразу. Когда есть пара гигов оперативной памяти, гиговый файл может поместиться в оперативной памяти, а уже потом постепенно сохраниться на диск без перегрузки кэша. Вы хоть поняли о чем глаголите, сударь? Немного теории: авторdiskio.coalesce_write_size: This option determines the size threshold for which BitTorrent Mainline should write data out coalesced, and is relevant only if diskio.coalesce_writes is enabled. This value is interpreted in bytes per second , so please enter it as such. Какие гигабайты, что за чушь? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2009, 16:00:25 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Этот параметр пару недель назад удвоил, чтобы меньше диск нагружать: ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2009, 16:03:16 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
mcureenabКогда есть пара гигов оперативной памяти, гиговый файл может поместиться в оперативной памяти, а уже потом постепенно сохраниться на диск без перегрузки кэша. Ты не в теме. Оперативка здесь вообще не причем. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2009, 16:44:08 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
mcureenabНу я ж говорю, торрент клиента лечить надо. А операционной системе до лампы, торрент пишет файл или MSWord или СУБД какая нибудь. Вообще, твои манипуляции с файлами смахивают на мошенничетво, потому как в P2P сетях нужно ещё и раздавать файлы, т.е. держать их на диске довольно длительное время. Режим, скачал, посмотрел, стёр не в духе P2P. Я думаю - ты прав. Но у меня не стоит вопрос - лечить uTorrent. Я вообще - мастак ставить глобальные задачи. К примеру... есть проблемка. Нерациональное использование диска. И я её решаю в общем случае. А будет-ли это torrent или eDonkey клиент - не суть важно. Быть может это даже будет кусок табличного пространства Oracle, который RDBMS еще не успел заполнить экстентами. По поводу раздачи. Я действительно должен отдавать реальный контент. И я его буду отдавать. Но ведь я могу более гибко балансировать диском, когда есть возможность "ужать" неиспользуемое. Ладно. Всё - оффтоп. Пошёл ставить Qt. Надо в конце-то концов добить makesparse. (Вчера застрял на проблеме UNICODE и Win32API). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2009, 16:50:58 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
mayton, ну тут уже писали - если прикладной софт не заточен, то только сжатие файлов поможет. В былые времена сжатие даже ускоряло обмен с диском, за счёт уменьшения трафика. Только в Windows я точно не знаю когда сжатие происходит и какая у Windows политика. Некоторые OS сжимают файлы, если к ним давно не обращались, в момент обращения создают несжатую копию файла, а если обращения к файлу повторяется несколько раз, то сжатая копия удаляется - т.е. иногда расход ещё больше получается. Но. ИМХО, проблема из пальца. Всё это решается другим способом - очередь загрузок, приоритеты и современное железо. Мне как бы лучше получать целые загрузки поочереди, чем ждать все загрузки сразу. Собсно, мне даже не ясно, чего ты хочешь добиться своей оптимизацией. Если все закачки идут одновременно, то и закончатся они примерно в одно время и займут столько места на диске, сколько им нужно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2009, 18:55:07 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
ТС следует найти дистрибутив µTorrent более годичной давности и попробовать. Как ни крутись, все равно придется докупать винт. Или писать кляузы разработчикам и спрашивать с них :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2009, 22:00:30 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Похоже что проблема не существует для Linux на файловой системе XFS. Я походу являюсь счастливым обладателем опции SparseFiles для этой ФС. По материалам wiki эта-же опция поддерживается целым рядом файловых систем: ext2, ext3, XFS etc. Проводил эксперимент с добавлением крупной ссылки на 4.7 Гб. Физическое дисковое пространство уменьшилось на несколько мегабайт сразу после старта закачки. Логический размер - действительно 4.7 Гб. Чанки распределены случайным образом. Чуть позже я приведу цифры. Моя текущая конфигурация: Linux (OpenSuse11.0 for x86_64). Если такой расклад - то на проблему можно вобщем-то забить. Еще чуть позже я проведу парочку экспериментов с созданием файла и жонглировением fseek. Еще интересно, будет-ли XFS возвращать "обнулившийся" блок в пул общедоступных блоков, если таковая транзакция будет сделана. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.01.2010, 21:34:32 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
maytonПохоже что проблема не существует для Linux на файловой системе XFS. Я походу являюсь счастливым обладателем опции SparseFiles для этой ФС. По материалам wiki эта-же опция поддерживается целым рядом файловых систем: ext2, ext3, XFS etc. Проводил эксперимент с добавлением крупной ссылки на 4.7 Гб. Физическое дисковое пространство уменьшилось на несколько мегабайт сразу после старта закачки. Логический размер - действительно 4.7 Гб. Чанки распределены случайным образом. Чуть позже я приведу цифры. Моя текущая конфигурация: Linux (OpenSuse11.0 for x86_64). Если такой расклад - то на проблему можно вобщем-то забить. Еще чуть позже я проведу парочку экспериментов с созданием файла и жонглировением fseek. Еще интересно, будет-ли XFS возвращать "обнулившийся" блок в пул общедоступных блоков, если таковая транзакция будет сделана. wow ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.01.2010, 21:45:47 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
maytonПохоже что проблема не существует для Linux на файловой системе XFS. Я походу являюсь счастливым обладателем опции SparseFiles для этой ФС. По материалам wiki эта-же опция поддерживается целым рядом файловых систем: ext2, ext3, XFS etc. Проводил эксперимент с добавлением крупной ссылки на 4.7 Гб. Физическое дисковое пространство уменьшилось на несколько мегабайт сразу после старта закачки. Логический размер - действительно 4.7 Гб. Чанки распределены случайным образом. Чуть позже я приведу цифры. Моя текущая конфигурация: Linux (OpenSuse11.0 for x86_64). Если такой расклад - то на проблему можно вобщем-то забить. Еще чуть позже я проведу парочку экспериментов с созданием файла и жонглировением fseek. Еще интересно, будет-ли XFS возвращать "обнулившийся" блок в пул общедоступных блоков, если таковая транзакция будет сделана. Лучше промолчу, чтобы ТС не дулся. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2010, 15:26:31 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Говори. Не буду дутся. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2010, 15:33:09 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
maytonГовори. Не буду дутся. Не, сначала убей 20 дней на эксперименты, потом еще 20 дней на другие извращения, а потом и еще 20 дней на обдумывание - "А стоило-ли?" ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2010, 15:54:20 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Я ещё пяток дней убью на сравнение xfs, jfs чтобы выбрать какая лучше освобождает sparsed блоки. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2010, 15:56:10 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
maytonЯ ещё пяток дней убью на сравнение xfs, jfs чтобы выбрать какая лучше освобождает sparsed блоки. А может для начала стоит поискать более старую версию? Сейчас 1.8.2, есть закрома на которых uTorrent версии 0.8 можно найти или старых дисках к журналам? Попробовать можно, потому что в 2008 году мне приходилось качать много, а заполненности особой не замечал, а? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2010, 15:59:48 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Даунгрейд делать не буду. В принципе фича устраивает. Просто я не знал что sparse включена по дефолту для ВСЕХ файлов файловых систем Linux / XFS, JFS. Меня сбил с толку Windows/NTFS, где нужно жонглировать fsutil чтобы активировать эту особенность. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2010, 16:07:43 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Вобщем для Windows сценарий может быть такой. На диске свободно 14Гб. 1) Добавляем закачку в торрент-клиента 2) Для всех особо крупных файлов используем fsutil Код: plaintext 1. Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. До добавления закачки было свободно 14Г. И после создания 4 Гб видеофайла тоже осталось 14Г. Far Manager показывает этот sparse-атрибут значком $. Exporer не показывает никак. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2010, 20:04:40 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
mayton... Добавил торент Федоры, подождал приблизительно 5 минут - размер свыше 3гиг. Выключил uTorrent сказал заветные комманды, и включил торрент-клиент. Размер остался тем же, что я сделал неправильно? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2010, 20:47:29 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Ты смотришь логический размер. А я говорю о физически занимаемом на диске. В линуксе этот размер смотрится через команду: Код: plaintext и: Код: plaintext Как посмотреть его физический размер в Windows/NTFS я еще не придумал. Поэтому пока использую наблюдение за свободным местом на диске. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2010, 21:05:07 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
В uTorrent 2.0 можно использовать параметр diskio.sparse_files=true ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.02.2010, 23:36:56 |
|
||
|
Файловая система под torrent
|
|||
|---|---|---|---|
|
#18+
Роберт Лав - Linux Системное .... Вызов lseek() можно применять также для перемещения указателя за пределы файла...... ...Это заполненное нулями пространство называется дырой (hole). В файловых системах типа Unix дыры не занимают места на диске. Это означает что общий размер всех файлов в ФС может превышать физический размер диска... ...Запрос на чтение, сделанный в тот фрагмент файла ... возвращает соответствующее число двоичных нулей. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.09.2010, 00:32:35 |
|
||
|
|

start [/forum/topic.php?all=1&fid=16&tid=1343435]: |
0ms |
get settings: |
6ms |
get forum list: |
14ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
180ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
78ms |
get tp. blocked users: |
2ms |
| others: | 198ms |
| total: | 496ms |

| 0 / 0 |
