ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Файловая система под torrent
19 сообщений из 69, страница 3 из 3
  3  все
Файловая система под torrent
    #36390194
Фотография С0ВЕСТЬ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
С0ВЕСТЬ
Участник
mcureenabС0ВЕСТЬЭто 100%-Измененный алгоритм в программе!!!
За прошлый год выкачал около терабайта данных и не наблюдал ситуацию распределения всего пространства сразу, только по мере заполненности.


Когда раздача побита на много небольших файлов эффект выражен не так ярко. Ведь торрент не бросается на все файлы сразу и не размечает их сразу. Когда есть пара гигов оперативной памяти, гиговый файл может поместиться в оперативной памяти, а уже потом постепенно сохраниться на диск без перегрузки кэша.

Вы хоть поняли о чем глаголите, сударь?
Немного теории:
авторdiskio.coalesce_write_size: This option determines the size threshold for which BitTorrent Mainline should write data out coalesced, and is relevant only if diskio.coalesce_writes is enabled. This value is interpreted in bytes per second , so please enter it as such.
Какие гигабайты, что за чушь?
...
Рейтинг: 0 / 0
28.12.2009, 16:00
| Ответить | Цитировать | Написать  
Файловая система под torrent
    #36390201
Фотография С0ВЕСТЬ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
С0ВЕСТЬ
Участник
Этот параметр пару недель назад удвоил, чтобы меньше диск нагружать:
...
Рейтинг: 0 / 0
28.12.2009, 16:03
| Ответить | Цитировать | Написать  
Файловая система под torrent
    #36390318
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
mcureenabКогда есть пара гигов оперативной памяти, гиговый файл может поместиться в оперативной памяти, а уже потом постепенно сохраниться на диск без перегрузки кэша.
Ты не в теме. Оперативка здесь вообще не причем.
...
Рейтинг: 0 / 0
28.12.2009, 16:44
| Ответить | Цитировать | Написать  
Файловая система под torrent
    #36390342
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
mcureenabНу я ж говорю, торрент клиента лечить надо. А операционной системе до лампы, торрент пишет файл или MSWord или СУБД какая нибудь.

Вообще, твои манипуляции с файлами смахивают на мошенничетво, потому как в P2P сетях нужно ещё и раздавать файлы, т.е. держать их на диске довольно длительное время. Режим, скачал, посмотрел, стёр не в духе P2P.
Я думаю - ты прав. Но у меня не стоит вопрос - лечить uTorrent. Я вообще - мастак ставить глобальные задачи. К примеру... есть проблемка. Нерациональное использование диска. И я её решаю в общем случае. А будет-ли это torrent или eDonkey клиент - не суть важно. Быть может это даже будет кусок табличного пространства Oracle, который RDBMS еще не успел заполнить экстентами.

По поводу раздачи. Я действительно должен отдавать реальный контент. И я его буду отдавать. Но ведь я могу более гибко балансировать диском, когда есть возможность "ужать" неиспользуемое.

Ладно. Всё - оффтоп. Пошёл ставить Qt. Надо в конце-то концов добить makesparse. (Вчера застрял на проблеме UNICODE и Win32API).
...
Рейтинг: 0 / 0
28.12.2009, 16:50
| Ответить | Цитировать | Написать  
Файловая система под torrent
    #36390666
mcureenab
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mcureenab
Участник
mayton,

ну тут уже писали - если прикладной софт не заточен, то только сжатие файлов поможет. В былые времена сжатие даже ускоряло обмен с диском, за счёт уменьшения трафика. Только в Windows я точно не знаю когда сжатие происходит и какая у Windows политика. Некоторые OS сжимают файлы, если к ним давно не обращались, в момент обращения создают несжатую копию файла, а если обращения к файлу повторяется несколько раз, то сжатая копия удаляется - т.е. иногда расход ещё больше получается.

Но. ИМХО, проблема из пальца. Всё это решается другим способом - очередь загрузок, приоритеты и современное железо. Мне как бы лучше получать целые загрузки поочереди, чем ждать все загрузки сразу. Собсно, мне даже не ясно, чего ты хочешь добиться своей оптимизацией. Если все закачки идут одновременно, то и закончатся они примерно в одно время и займут столько места на диске, сколько им нужно.
...
Рейтинг: 0 / 0
28.12.2009, 18:55
| Ответить | Цитировать | Написать  
Файловая система под torrent
    #36390873
Фотография С0ВЕСТЬ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
С0ВЕСТЬ
Участник
ТС следует найти дистрибутив µTorrent более годичной давности и попробовать.
Как ни крутись, все равно придется докупать винт.
Или писать кляузы разработчикам и спрашивать с них :)


...
Рейтинг: 0 / 0
28.12.2009, 22:00
| Ответить | Цитировать | Написать  
Файловая система под torrent
    #36395925
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Похоже что проблема не существует для Linux на файловой системе XFS. Я походу являюсь счастливым обладателем опции SparseFiles для этой ФС. По материалам wiki эта-же опция поддерживается целым рядом файловых систем: ext2, ext3, XFS etc.

Проводил эксперимент с добавлением крупной ссылки на 4.7 Гб. Физическое дисковое пространство уменьшилось на несколько мегабайт сразу после старта закачки. Логический размер - действительно 4.7 Гб. Чанки распределены случайным образом.

Чуть позже я приведу цифры. Моя текущая конфигурация: Linux (OpenSuse11.0 for x86_64).

Если такой расклад - то на проблему можно вобщем-то забить. Еще чуть позже я проведу парочку экспериментов с созданием файла и жонглировением fseek. Еще интересно, будет-ли XFS возвращать "обнулившийся" блок в пул общедоступных блоков, если таковая транзакция будет сделана.
...
Рейтинг: 0 / 0
02.01.2010, 21:34
| Ответить | Цитировать | Написать  
Файловая система под torrent
    #36395935
Фотография mriadus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mriadus
Участник
maytonПохоже что проблема не существует для Linux на файловой системе XFS. Я походу являюсь счастливым обладателем опции SparseFiles для этой ФС. По материалам wiki эта-же опция поддерживается целым рядом файловых систем: ext2, ext3, XFS etc.

Проводил эксперимент с добавлением крупной ссылки на 4.7 Гб. Физическое дисковое пространство уменьшилось на несколько мегабайт сразу после старта закачки. Логический размер - действительно 4.7 Гб. Чанки распределены случайным образом.

Чуть позже я приведу цифры. Моя текущая конфигурация: Linux (OpenSuse11.0 for x86_64).

Если такой расклад - то на проблему можно вобщем-то забить. Еще чуть позже я проведу парочку экспериментов с созданием файла и жонглировением fseek. Еще интересно, будет-ли XFS возвращать "обнулившийся" блок в пул общедоступных блоков, если таковая транзакция будет сделана.
wow
...
Рейтинг: 0 / 0
02.01.2010, 21:45
| Ответить | Цитировать | Написать  
Файловая система под torrent
    #36396191
Фотография С0ВЕСТЬ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
С0ВЕСТЬ
Участник
maytonПохоже что проблема не существует для Linux на файловой системе XFS. Я походу являюсь счастливым обладателем опции SparseFiles для этой ФС. По материалам wiki эта-же опция поддерживается целым рядом файловых систем: ext2, ext3, XFS etc.

Проводил эксперимент с добавлением крупной ссылки на 4.7 Гб. Физическое дисковое пространство уменьшилось на несколько мегабайт сразу после старта закачки. Логический размер - действительно 4.7 Гб. Чанки распределены случайным образом.

Чуть позже я приведу цифры. Моя текущая конфигурация: Linux (OpenSuse11.0 for x86_64).

Если такой расклад - то на проблему можно вобщем-то забить. Еще чуть позже я проведу парочку экспериментов с созданием файла и жонглировением fseek. Еще интересно, будет-ли XFS возвращать "обнулившийся" блок в пул общедоступных блоков, если таковая транзакция будет сделана.

Лучше промолчу,
чтобы ТС не дулся.
...
Рейтинг: 0 / 0
03.01.2010, 15:26
| Ответить | Цитировать | Написать  
Файловая система под torrent
    #36396193
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Говори. Не буду дутся.
...
Рейтинг: 0 / 0
03.01.2010, 15:33
| Ответить | Цитировать | Написать  
Файловая система под torrent
    #36396199
Фотография С0ВЕСТЬ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
С0ВЕСТЬ
Участник
maytonГовори. Не буду дутся.

Не, сначала убей 20 дней на эксперименты, потом еще 20 дней на другие извращения, а потом и еще 20 дней на обдумывание - "А стоило-ли?"
...
Рейтинг: 0 / 0
03.01.2010, 15:54
| Ответить | Цитировать | Написать  
Файловая система под torrent
    #36396201
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Я ещё пяток дней убью на сравнение xfs, jfs чтобы выбрать какая лучше освобождает sparsed блоки.
...
Рейтинг: 0 / 0
03.01.2010, 15:56
| Ответить | Цитировать | Написать  
Файловая система под torrent
    #36396203
Фотография С0ВЕСТЬ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
С0ВЕСТЬ
Участник
maytonЯ ещё пяток дней убью на сравнение xfs, jfs чтобы выбрать какая лучше освобождает sparsed блоки.
А может для начала стоит поискать более старую версию?
Сейчас 1.8.2, есть закрома на которых uTorrent версии 0.8 можно найти или старых дисках к журналам?
Попробовать можно, потому что в 2008 году мне приходилось качать много, а заполненности особой не замечал, а?
...
Рейтинг: 0 / 0
03.01.2010, 15:59
| Ответить | Цитировать | Написать  
Файловая система под torrent
    #36396204
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Даунгрейд делать не буду. В принципе фича устраивает. Просто я не знал что sparse включена по дефолту для ВСЕХ файлов файловых систем Linux / XFS, JFS. Меня сбил с толку Windows/NTFS, где нужно жонглировать fsutil чтобы активировать эту особенность.
...
Рейтинг: 0 / 0
03.01.2010, 16:07
| Ответить | Цитировать | Написать  
Файловая система под torrent
    #36396319
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Вобщем для Windows сценарий может быть такой. На диске свободно 14Гб.

1) Добавляем закачку в торрент-клиента

2) Для всех особо крупных файлов используем fsutil
Код: plaintext
1.
C:\...художественной гимнастике  2009 .Япония\Художественная гимнастика. 10 . 09 . 09 >fsutil sparse setflag "01.Художественная гимнастика.10.09.09.ts"
3) Смотрим результат

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
C:\...художественной гимнастике  2009 .Япония\Художественная гимнастика. 10 . 09 . 09 >dir
 Том в устройстве C не имеет метки.
 Серийный номер тома: 6C86-A7CF

 Содержимое папки C:\uTorrent\downloads\ЧМ по художественной гимнастике  2009 .Япония\Художественная гимнастика. 10 . 09 . 09 

 02 . 12 . 2009    22 : 04     <DIR>          .
 02 . 12 . 2009    22 : 04     <DIR>          ..
 03 . 01 . 2010    18 : 51       4   862   351   160   01 .Художественная гимнастика. 10 . 09 . 09 .ts
                1  файлов   4   862   351   160  байт
                2  папок   14   852   395   008  байт свободно

C:\...художественной гимнастике  2009 .Япония\Художественная гимнастика. 10 . 09 . 09 >fsutil sparse queryrange "01.Художественная гимнастика.10.09.09.ts"
sparse range: [ 1207959552 ] [ 9633792 ]
sparse range: [ 1217789952 ] [ 131072 ]
sparse range: [ 2147483648 ] [ 1179648 ]
sparse range: [ 2214592512 ] [ 4194304 ]
sparse range: [ 4848615424 ] [ 65536 ]

До добавления закачки было свободно 14Г. И после создания 4 Гб видеофайла тоже осталось 14Г.

Far Manager показывает этот sparse-атрибут значком $.

Exporer не показывает никак.
...
Рейтинг: 0 / 0
03.01.2010, 20:04
| Ответить | Цитировать | Написать  
Файловая система под torrent
    #36396353
Фотография С0ВЕСТЬ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
С0ВЕСТЬ
Участник
mayton...
Добавил торент Федоры, подождал приблизительно 5 минут - размер свыше 3гиг.
Выключил uTorrent сказал заветные комманды, и включил торрент-клиент.
Размер остался тем же, что я сделал неправильно?
...
Рейтинг: 0 / 0
03.01.2010, 20:47
| Ответить | Цитировать | Написать  
Файловая система под torrent
    #36396368
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Ты смотришь логический размер. А я говорю о физически занимаемом на диске.

В линуксе этот размер смотрится через команду:

Код: plaintext
du -s -B1 --apparent-size sparse-file

и:

Код: plaintext
du -s -B1 sparse-file


Как посмотреть его физический размер в Windows/NTFS я еще не придумал. Поэтому пока использую наблюдение за свободным местом на диске.
...
Рейтинг: 0 / 0
03.01.2010, 21:05
| Ответить | Цитировать | Написать  
Файловая система под torrent
    #36461884
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
В uTorrent 2.0 можно использовать параметр diskio.sparse_files=true
...
Рейтинг: 0 / 0
10.02.2010, 23:36
| Ответить | Цитировать | Написать  
Файловая система под torrent
    #36867173
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Роберт Лав - Linux Системное ....
Вызов lseek() можно применять также для перемещения указателя за пределы файла......

...Это заполненное нулями пространство называется дырой (hole). В файловых системах типа Unix дыры не занимают места на диске. Это означает что общий размер всех файлов в ФС может превышать физический размер диска...

...Запрос на чтение, сделанный в тот фрагмент файла ... возвращает соответствующее число двоичных нулей.
...
Рейтинг: 0 / 0
27.09.2010, 00:32
| Ответить | Цитировать | Написать  
19 сообщений из 69, страница 3 из 3
  3  все
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Файловая система под torrent
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=16&gotonew=1&tid=1343435]:
 0ms
get settings:
 8ms
get forum list:
 16ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 183ms
get topic data:
 9ms
get first new msg:
 6ms
get forum data:
 2ms
get page messages:
 55ms
get tp. blocked users:
 1ms
others: 207ms
total:  493ms
созд. / загр.: 493ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]