powered by simpleCommunicator - 2.0.59     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Дисперсия длины архива?
25 сообщений из 146, страница 2 из 6
Дисперсия длины архива?
    #39578064
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dima T,

возвращаемся в самое начало топика -- к вопросу о том, существуют ли алгоритмы сжатие, позволяющие заметно повышать степень сжатия битовых последовательностей* посредством производства над ними большого объёма ("сложных") вычислений**?

То есть ваше "очень быстро и в итоге общее время минимальное получается" -- это есть прямо противоположное тому, что мне надо.
____________________
* = "битовых последовательностей а ля транзакции криптовалют" -- мог бы я сказать, очень слабо понимая, впрочем, что это за "а ля".

** = включая всякие переборы вариантов; в том числе, например, "комбинаторные" переборы вариантов расположения битовых подпоследовательностей внутри этой битовой последовательности (поскольку у создателя блока есть весьма много свободы в том, как упорядочить транзакции в создаваемом им самим блоке; и даже есть свобода в том, какие именно транзакции включать в создаваемый им блок).
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578067
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSТо есть ваше "очень быстро и в итоге общее время минимальное получается" -- это есть прямо противоположное тому, что мне надо.
Ты определись что надо: жать или пожатое передавать. Скромный 1 Гигабит ставит большой вопрос "надо ли жать?"
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578070
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dima T,

надо в блок размером 2 Мб (от которого размера почему-то буквально месяц назад отказалось -- со скандалом! -- уходить сообщество биткойнеров) запихнуть существенно больше инфы, чем удаётся запихнуть им (нынешним биткойнерам).
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578371
Фотография S.G.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSS.G.,

я возмущаюсь тем, что САМИ ПО СЕБЕ вычисления, производимые (в Биткойне) для выполнения "норматива сложности", бесполезны. И предлагаю заменить их полезными САМИ ПО СЕБЕ вычислениями, состоящими в сильном сжатии блока. и чем же полезны вычисления для сжатия? :) в этой задаче они полезны ровно настолько, насколько полезно вычисление хеша.


Иван FXS Сжимать предлагается то битовое представление блока, в котором он (блок) распространяется по сети интернет. хотя, без разницы.
Сжатие не годится для биткоина, и вот почему:

- узнать какой будет хеш, имея начальные данные, можно только одним образом - вычислив. обратная задача - по хешу узнать первоначальные данные - практически невозможна, т.е. все равно надо перебрать все множество начальных данных. То есть мы не можем просто взять хороший для нас хеш, нам надо знать (показать всем) и его первообраз. Таким образом, мы получаем трудную задачу получения золота, простите, биткоина. Почему нам нужна трудная, я уже писал.

- с другой стороны, компрессия - легкая задача. известно, что хорошо сжимаются структурированные данные (низкая энтропия) и плохо сжимаются неструктурированные, случайные данные (высокоэнтропийные). имея началные данные, примерно можно узнать не компрессируя, хорошие это данные или нет. Более того, имея любые начальные данные, можно составить рекурсивный архив с огромным соотношением компресии (правда он выводит начальные байты много раз, но формально удовлетворяет условиям большой сжимаемости)
так что, нет, сжатие не годится.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578372
Фотография S.G.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS
возвращаемся в самое начало топика -- к вопросу о том, существуют ли алгоритмы сжатие, позволяющие заметно повышать степень сжатия битовых последовательностей* посредством производства над ними большого объёма ("сложных") вычислений**?


Алгоритмы сжатия устоялись лет эдак 20 тому назад, и вроде ничего нового не открыто с тех пор.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578373
Фотография S.G.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSDima T,

надо в блок размером 2 Мб (от которого размера почему-то буквально месяц назад отказалось -- со скандалом! -- уходить сообщество биткойнеров) запихнуть существенно больше инфы, чем удаётся запихнуть им (нынешним биткойнерам).это уже ничего общего с вычислением хешей не имеет. с этими вашими PoW и PoC о которых речь была выше.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578385
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
S.G.- узнать какой будет хеш, имея начальные данные, можно только одним образом - вычислив. обратная задача - по хешу узнать первоначальные данные - практически невозможна, т.е. все равно надо перебрать все множество начальных данных. То есть мы не можем просто взять хороший для нас хеш, нам надо знать (показать всем) и его первообраз. Таким образом, мы получаем трудную задачу получения золота, простите, биткоина. Почему нам нужна трудная, я уже писал.

-- я надеюсь, что вы понимаете (просто не договариваете), что хеш_с_большим_количеством_ведущих_нулей -- а именно к этом и сводится "хорошесть" хэша в Биткоине -- нужен там ТОЛЬКО для ограничения скорости поступления в систему новых блоков и ни для чего другого.

(И я совсем не уверен, что Накамото предвидел то, какой тера-хэшовый ажиот раскрутят в Биткойне жадные китайцы к исходу первого десятилетия ...)

Хеш_с_большим_количеством_ведущих_нулей -- это придуманная Накамото реализация сложной_задачи_с_лёгкой_проверкой .

Но, вообще говоря, наверное, возможны и другие реализации этой задачи. Я предлагаю рассмотреть в качестве таковой -- задачу (сверх-)сильного сжатия. (Где префикс "сверх-" добавлен авансом -- учитывая уже известную нам теперь жадность китайцев.)
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578387
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я-бы следующим пятничным поднял обсуждение оптимизации процесса майнинга.

Но боюсь что пока не в теме. И кроме того непонятно о каких клиентах будет идти речь
и о каких валютах.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578388
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
S.G.компрессия - легкая задача

- а вот я открываю в Total Commander вкладку настройки архиватора Zip и там в разделе "Степень сжатия" предлагается выбрать от 0 до 9, причём 1 обозначена как "быстрое" ... не подскажете, почему?

И если 1 -- "быстрое", то 9, наверное, "медленное"? ... А почему оно медленное -- потому что процессор просто работает с ленцой?
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578391
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кстати (в режиме мозгового штурма), почему бы в качестве другой реализации сложной_задачи_с_лёгкой_проверкой не рассмотреть, например, задачу тренировки нейронной сети? В самом деле, натренировать НС -- сложно (а очень_хорошо натренировать -- очень_сложно). А проверить, что сеть хорошо натренирована -- легко.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578395
d7i
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSS.G.компрессия - легкая задача

- а вот я открываю в Total Commander вкладку настройки архиватора Zip и там в разделе "Степень сжатия" предлагается выбрать от 0 до 9, причём 1 обозначена как "быстрое" ... не подскажете, почему?

И если 1 -- "быстрое", то 9, наверное, "медленное"? ... А почему оно медленное -- потому что процессор просто работает с ленцой?
Шуткуем?
Ведь ясно же, что чем больше степень сжатия, тем дольше (т.е. медленнее) будет идти сам процесс сжатия...
Всё логично.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578398
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
d7i,

значит всё-таки большая степень сжатия это не такая "лёгкая задача", как маленькая степень сжатия?
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578400
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSКстати (в режиме мозгового штурма), почему бы в качестве другой реализации сложной_задачи_с_лёгкой_проверкой не рассмотреть, например, задачу тренировки нейронной сети? В самом деле, натренировать НС -- сложно (а очень_хорошо натренировать -- очень_сложно). А проверить, что сеть хорошо натренирована -- легко.
Натренировать не сложно. НС - это просто ящик со входами и выходами.

Сложно вот что:
- выбрать архитектуру сети (двухслойная НС с логистической активацией выхода - это классика но есть и другие,
Хопфилд, Гроссберг, неокогнитрон e.t.c.) и обосновать почему она такова.
- определить что есть входы.
- определить репрезентативную выборку для обучения и контрольную (здесь большинство - хитрят. Недообучают или
пере-обучают сеть. "Подгоняют под ответ").
- дать смысл значениям на выходе. Тоже по сути связано с предыдущими всеми пунктами.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578403
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSS.G.компрессия - легкая задача

- а вот я открываю в Total Commander вкладку настройки архиватора Zip и там в разделе "Степень сжатия" предлагается выбрать от 0 до 9, причём 1 обозначена как "быстрое" ... не подскажете, почему?

И если 1 -- "быстрое", то 9, наверное, "медленное"? ... А почему оно медленное -- потому что процессор просто работает с ленцой?
1..9 - это скорее всего набор векторов пре-сетов для разных алгоритмов.

Никакой линейной зависимости между цифрами нет. Скорее всего авторы просто
эмпирически подобрали их и решили что это условно "уровни глубины" процесса архивации.

Cкорее всего регулирует размер словаря для LZW алгоритма. И возможно еще опционально
включает другие фазы обработки. Поджатие самого словаря.

Если посмотреть в настройки 7zip и WinRAR там будет вообще целые семейства алгоритмов
с разными настройками. Пожалуй RAR наиболее богатый на настройки тул.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578406
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
неужели мы всерьёз обсуждаем вопрос, является ли сильное сжатие более вычислительно_сложной задачей, чем слабое сжатие?!
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578459
Фотография S.G.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSнеужели мы всерьёз обсуждаем вопрос, является ли сильное сжатие более вычислительно_сложной задачей, чем слабое сжатие?! они практически одинаковы в вычислительном смысле
разница, как и отметил майтон - в величине буферов (словарей) и в прочих мелких деталях.
соответственно разница в величине компрессии и времени компрессии - парочка процентов, не более.
и, повторюсь, нет волшебного алгоритма для компрессии, который бы долго-долго думал и сжал бы 10GB фильм в пару килобайт.

Если вам интересно узнать, что такое "сложная задача", (имеется ввиду действительно сложная), почитайте про шифрование с открытым ключом. Ну там, задача нахождения множителей числа, состоящегося из 1000 цифр, в том случае когда оно представляет произведение двух простых чисел.
по сравнению с этим, сжатие - это как собрать детский пазл из 6-ти частей.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578482
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
S.G.,

1. я не профессионал в проблематике сжатия данных.

2. мне не нужно сжатие в 5 000 000 раз ("10GB ... в пару килобайт"). 10 будет достаточно, 100 - фантастика.

3. "Лидеры же рейтинга — PAQ8PX и WinRK — превосходят 7-Zip в сжатии на 28% и 24% соответственно, но тратят на упаковку гораздо больше времени[10]." ( https://ru.wikipedia.org/wiki/7-Zip )
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578501
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS3. "Лидеры же рейтинга — PAQ8PX и WinRK — превосходят 7-Zip в сжатии на 28% и 24% соответственно, но тратят на упаковку гораздо больше времени[10]." ( https://ru.wikipedia.org/wiki/7-Zip )
Я думаю что все они базируются на определенном предположении относительно
природы сжимаемых данных. Если предположение ошибочно - то эти архиваторы
бесполезны.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578536
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,

ну да, они проверяют имеющиеся у них "модели" и используют ту (те), которая работает для сжимаемого файла. Что в этом плохого?
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578566
Фотография S.G.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSS.G.,

1. я не профессионал в проблематике сжатия данных.

2. мне не нужно сжатие в 5 000 000 раз ("10GB ... в пару килобайт"). 10 будет достаточно, 100 - фантастика.

3. "Лидеры же рейтинга — PAQ8PX и WinRK — превосходят 7-Zip в сжатии на 28% и 24% соответственно, но тратят на упаковку гораздо больше времени[10]." ( https://ru.wikipedia.org/wiki/7-Zip )все просто.
возмьмите несколько архиваторов, посмотрите как они сжимают один и тот же блок, (то, что вы хотели) сделайте табличку-сравнение, выложите сюда.
посмотрим :)
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578573
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
S.G.,

ничего, что все существующие архиваторы ориентированы на быстрое выполнение задачи (на "слабых" бытовых машинках), а мне требуется неограниченно сложное -- по количеству вычислений -- сжатие?
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578656
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Старик Шеннон хохочет над нами.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578676
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
На первой странице топика кто-то упоминал, что можно очень сильно сжимать передаваемое по сети сообщение, если на обеих сторонах (у отправителя и получателЕЙ) имеется одинаковый достаточно объёмный "словарь".

Обращаю ваше внимание, что в блокчейн-сетях у каждого участника как раз имеется нечто одинаковое и весьма объёмное -- а именно сам блокчейн. Осталось только приспособить его в качестве "словаря".

Привет Шеннону!
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578773
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Боюсь что этот словарь бесполезен.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578785
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
... если просто не уметь его готовить.
...
Рейтинг: 0 / 0
25 сообщений из 146, страница 2 из 6
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Дисперсия длины архива?
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]