Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Dima T, возвращаемся в самое начало топика -- к вопросу о том, существуют ли алгоритмы сжатие, позволяющие заметно повышать степень сжатия битовых последовательностей* посредством производства над ними большого объёма ("сложных") вычислений**? То есть ваше "очень быстро и в итоге общее время минимальное получается" -- это есть прямо противоположное тому, что мне надо. ____________________ * = "битовых последовательностей а ля транзакции криптовалют" -- мог бы я сказать, очень слабо понимая, впрочем, что это за "а ля". ** = включая всякие переборы вариантов; в том числе, например, "комбинаторные" переборы вариантов расположения битовых подпоследовательностей внутри этой битовой последовательности (поскольку у создателя блока есть весьма много свободы в том, как упорядочить транзакции в создаваемом им самим блоке; и даже есть свобода в том, какие именно транзакции включать в создаваемый им блок). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2017, 20:17 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSТо есть ваше "очень быстро и в итоге общее время минимальное получается" -- это есть прямо противоположное тому, что мне надо. Ты определись что надо: жать или пожатое передавать. Скромный 1 Гигабит ставит большой вопрос "надо ли жать?" ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2017, 20:24 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Dima T, надо в блок размером 2 Мб (от которого размера почему-то буквально месяц назад отказалось -- со скандалом! -- уходить сообщество биткойнеров) запихнуть существенно больше инфы, чем удаётся запихнуть им (нынешним биткойнерам). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2017, 20:33 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSS.G., я возмущаюсь тем, что САМИ ПО СЕБЕ вычисления, производимые (в Биткойне) для выполнения "норматива сложности", бесполезны. И предлагаю заменить их полезными САМИ ПО СЕБЕ вычислениями, состоящими в сильном сжатии блока. и чем же полезны вычисления для сжатия? :) в этой задаче они полезны ровно настолько, насколько полезно вычисление хеша. Иван FXS Сжимать предлагается то битовое представление блока, в котором он (блок) распространяется по сети интернет. хотя, без разницы. Сжатие не годится для биткоина, и вот почему: - узнать какой будет хеш, имея начальные данные, можно только одним образом - вычислив. обратная задача - по хешу узнать первоначальные данные - практически невозможна, т.е. все равно надо перебрать все множество начальных данных. То есть мы не можем просто взять хороший для нас хеш, нам надо знать (показать всем) и его первообраз. Таким образом, мы получаем трудную задачу получения золота, простите, биткоина. Почему нам нужна трудная, я уже писал. - с другой стороны, компрессия - легкая задача. известно, что хорошо сжимаются структурированные данные (низкая энтропия) и плохо сжимаются неструктурированные, случайные данные (высокоэнтропийные). имея началные данные, примерно можно узнать не компрессируя, хорошие это данные или нет. Более того, имея любые начальные данные, можно составить рекурсивный архив с огромным соотношением компресии (правда он выводит начальные байты много раз, но формально удовлетворяет условиям большой сжимаемости) так что, нет, сжатие не годится. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.12.2017, 12:46 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXS возвращаемся в самое начало топика -- к вопросу о том, существуют ли алгоритмы сжатие, позволяющие заметно повышать степень сжатия битовых последовательностей* посредством производства над ними большого объёма ("сложных") вычислений**? Алгоритмы сжатия устоялись лет эдак 20 тому назад, и вроде ничего нового не открыто с тех пор. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.12.2017, 12:50 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSDima T, надо в блок размером 2 Мб (от которого размера почему-то буквально месяц назад отказалось -- со скандалом! -- уходить сообщество биткойнеров) запихнуть существенно больше инфы, чем удаётся запихнуть им (нынешним биткойнерам).это уже ничего общего с вычислением хешей не имеет. с этими вашими PoW и PoC о которых речь была выше. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.12.2017, 12:56 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
S.G.- узнать какой будет хеш, имея начальные данные, можно только одним образом - вычислив. обратная задача - по хешу узнать первоначальные данные - практически невозможна, т.е. все равно надо перебрать все множество начальных данных. То есть мы не можем просто взять хороший для нас хеш, нам надо знать (показать всем) и его первообраз. Таким образом, мы получаем трудную задачу получения золота, простите, биткоина. Почему нам нужна трудная, я уже писал. -- я надеюсь, что вы понимаете (просто не договариваете), что хеш_с_большим_количеством_ведущих_нулей -- а именно к этом и сводится "хорошесть" хэша в Биткоине -- нужен там ТОЛЬКО для ограничения скорости поступления в систему новых блоков и ни для чего другого. (И я совсем не уверен, что Накамото предвидел то, какой тера-хэшовый ажиот раскрутят в Биткойне жадные китайцы к исходу первого десятилетия ...) Хеш_с_большим_количеством_ведущих_нулей -- это придуманная Накамото реализация сложной_задачи_с_лёгкой_проверкой . Но, вообще говоря, наверное, возможны и другие реализации этой задачи. Я предлагаю рассмотреть в качестве таковой -- задачу (сверх-)сильного сжатия. (Где префикс "сверх-" добавлен авансом -- учитывая уже известную нам теперь жадность китайцев.) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.12.2017, 15:41 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Я-бы следующим пятничным поднял обсуждение оптимизации процесса майнинга. Но боюсь что пока не в теме. И кроме того непонятно о каких клиентах будет идти речь и о каких валютах. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.12.2017, 15:43 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
S.G.компрессия - легкая задача - а вот я открываю в Total Commander вкладку настройки архиватора Zip и там в разделе "Степень сжатия" предлагается выбрать от 0 до 9, причём 1 обозначена как "быстрое" ... не подскажете, почему? И если 1 -- "быстрое", то 9, наверное, "медленное"? ... А почему оно медленное -- потому что процессор просто работает с ленцой? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.12.2017, 15:49 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Кстати (в режиме мозгового штурма), почему бы в качестве другой реализации сложной_задачи_с_лёгкой_проверкой не рассмотреть, например, задачу тренировки нейронной сети? В самом деле, натренировать НС -- сложно (а очень_хорошо натренировать -- очень_сложно). А проверить, что сеть хорошо натренирована -- легко. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.12.2017, 16:02 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSS.G.компрессия - легкая задача - а вот я открываю в Total Commander вкладку настройки архиватора Zip и там в разделе "Степень сжатия" предлагается выбрать от 0 до 9, причём 1 обозначена как "быстрое" ... не подскажете, почему? И если 1 -- "быстрое", то 9, наверное, "медленное"? ... А почему оно медленное -- потому что процессор просто работает с ленцой? Шуткуем? Ведь ясно же, что чем больше степень сжатия, тем дольше (т.е. медленнее) будет идти сам процесс сжатия... Всё логично. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.12.2017, 16:22 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
d7i, значит всё-таки большая степень сжатия это не такая "лёгкая задача", как маленькая степень сжатия? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.12.2017, 16:34 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSКстати (в режиме мозгового штурма), почему бы в качестве другой реализации сложной_задачи_с_лёгкой_проверкой не рассмотреть, например, задачу тренировки нейронной сети? В самом деле, натренировать НС -- сложно (а очень_хорошо натренировать -- очень_сложно). А проверить, что сеть хорошо натренирована -- легко. Натренировать не сложно. НС - это просто ящик со входами и выходами. Сложно вот что: - выбрать архитектуру сети (двухслойная НС с логистической активацией выхода - это классика но есть и другие, Хопфилд, Гроссберг, неокогнитрон e.t.c.) и обосновать почему она такова. - определить что есть входы. - определить репрезентативную выборку для обучения и контрольную (здесь большинство - хитрят. Недообучают или пере-обучают сеть. "Подгоняют под ответ"). - дать смысл значениям на выходе. Тоже по сути связано с предыдущими всеми пунктами. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.12.2017, 16:42 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSS.G.компрессия - легкая задача - а вот я открываю в Total Commander вкладку настройки архиватора Zip и там в разделе "Степень сжатия" предлагается выбрать от 0 до 9, причём 1 обозначена как "быстрое" ... не подскажете, почему? И если 1 -- "быстрое", то 9, наверное, "медленное"? ... А почему оно медленное -- потому что процессор просто работает с ленцой? 1..9 - это скорее всего набор векторов пре-сетов для разных алгоритмов. Никакой линейной зависимости между цифрами нет. Скорее всего авторы просто эмпирически подобрали их и решили что это условно "уровни глубины" процесса архивации. Cкорее всего регулирует размер словаря для LZW алгоритма. И возможно еще опционально включает другие фазы обработки. Поджатие самого словаря. Если посмотреть в настройки 7zip и WinRAR там будет вообще целые семейства алгоритмов с разными настройками. Пожалуй RAR наиболее богатый на настройки тул. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.12.2017, 16:46 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
неужели мы всерьёз обсуждаем вопрос, является ли сильное сжатие более вычислительно_сложной задачей, чем слабое сжатие?! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.12.2017, 17:10 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSнеужели мы всерьёз обсуждаем вопрос, является ли сильное сжатие более вычислительно_сложной задачей, чем слабое сжатие?! они практически одинаковы в вычислительном смысле разница, как и отметил майтон - в величине буферов (словарей) и в прочих мелких деталях. соответственно разница в величине компрессии и времени компрессии - парочка процентов, не более. и, повторюсь, нет волшебного алгоритма для компрессии, который бы долго-долго думал и сжал бы 10GB фильм в пару килобайт. Если вам интересно узнать, что такое "сложная задача", (имеется ввиду действительно сложная), почитайте про шифрование с открытым ключом. Ну там, задача нахождения множителей числа, состоящегося из 1000 цифр, в том случае когда оно представляет произведение двух простых чисел. по сравнению с этим, сжатие - это как собрать детский пазл из 6-ти частей. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.12.2017, 21:09 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
S.G., 1. я не профессионал в проблематике сжатия данных. 2. мне не нужно сжатие в 5 000 000 раз ("10GB ... в пару килобайт"). 10 будет достаточно, 100 - фантастика. 3. "Лидеры же рейтинга — PAQ8PX и WinRK — превосходят 7-Zip в сжатии на 28% и 24% соответственно, но тратят на упаковку гораздо больше времени[10]." ( https://ru.wikipedia.org/wiki/7-Zip ) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.12.2017, 23:55 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXS3. "Лидеры же рейтинга — PAQ8PX и WinRK — превосходят 7-Zip в сжатии на 28% и 24% соответственно, но тратят на упаковку гораздо больше времени[10]." ( https://ru.wikipedia.org/wiki/7-Zip ) Я думаю что все они базируются на определенном предположении относительно природы сжимаемых данных. Если предположение ошибочно - то эти архиваторы бесполезны. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.01.2018, 03:41 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
mayton, ну да, они проверяют имеющиеся у них "модели" и используют ту (те), которая работает для сжимаемого файла. Что в этом плохого? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.01.2018, 13:37 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSS.G., 1. я не профессионал в проблематике сжатия данных. 2. мне не нужно сжатие в 5 000 000 раз ("10GB ... в пару килобайт"). 10 будет достаточно, 100 - фантастика. 3. "Лидеры же рейтинга — PAQ8PX и WinRK — превосходят 7-Zip в сжатии на 28% и 24% соответственно, но тратят на упаковку гораздо больше времени[10]." ( https://ru.wikipedia.org/wiki/7-Zip )все просто. возмьмите несколько архиваторов, посмотрите как они сжимают один и тот же блок, (то, что вы хотели) сделайте табличку-сравнение, выложите сюда. посмотрим :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.01.2018, 18:01 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
S.G., ничего, что все существующие архиваторы ориентированы на быстрое выполнение задачи (на "слабых" бытовых машинках), а мне требуется неограниченно сложное -- по количеству вычислений -- сжатие? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.01.2018, 19:06 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Старик Шеннон хохочет над нами. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.01.2018, 11:13 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
На первой странице топика кто-то упоминал, что можно очень сильно сжимать передаваемое по сети сообщение, если на обеих сторонах (у отправителя и получателЕЙ) имеется одинаковый достаточно объёмный "словарь". Обращаю ваше внимание, что в блокчейн-сетях у каждого участника как раз имеется нечто одинаковое и весьма объёмное -- а именно сам блокчейн. Осталось только приспособить его в качестве "словаря". Привет Шеннону! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.01.2018, 13:15 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Боюсь что этот словарь бесполезен. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.01.2018, 20:30 |
|
||
|
|

start [/forum/topic.php?fid=16&msg=39578459&tid=1340183]: |
0ms |
get settings: |
11ms |
get forum list: |
15ms |
check forum access: |
5ms |
check topic access: |
5ms |
track hit: |
183ms |
get topic data: |
9ms |
get forum data: |
3ms |
get page messages: |
61ms |
get tp. blocked users: |
1ms |
| others: | 13ms |
| total: | 306ms |

| 0 / 0 |
