powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Дисперсия длины архива?
146 сообщений из 146, показаны все 6 страниц
Дисперсия длины архива?
    #39576305
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Если взять некоторый набор независимых (друг от друга) последовательностей битов длины N, упаковать их все каким нибудь архиватором (например, zip) и посчитать среднее значение (S) длины получившихся архивов и дисперсию (D) длин архивов, то ...

1. каким (по порядку величины хотя бы) будет отношение D/S?

2. у какого из известных архиваторов (наряду с zip) это отношение будет "заметно" бОльшим ( чем у остальных)?

3. Кстати, будет ли само распределение длин таких архивов (для конкретного архиватора) нормальным ... то есть, типа, что там -- Гаус или Пуассон?
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39576312
Соколинский Борис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS,
1. Надо брать не дисперсию, а корень из нее. Его отношение к среднему будет называться коэффициентом вариации и безразмерным.
2. Экспериментальная проверка займет минут 10.
3. Скорее всего, ничего похожего на "правильное" распределение не будет.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39576318
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS1. каким (по порядку величины хотя бы) будет отношение D/S?
Это бессмысленный показатель, у числителя и знаменателя разные размерности.

А вообще - вопрос сам по себе тоже бессмысленен. Архивация как процесс опирается на тот факт, что реальные данные обладают внутренней структурой и существенно неслучайны. Попытка проверить что-то на каком-то случайном наборе бит приведёт лишь к ответу на вопрос "какой архиватор дописывает меньше хрени к несжимаемым данным".
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39576364
exp98
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
О! Никогда не проверял, давным баловался меотдами сжатия, кажется теоретический предел сжатия ~2/3 (для текстов ~ 1/4). Можно на примере ехе-файла. Избыточность рулит.
а) Предполагаю, что так и будет.
б) Дополню Соколинского. Да, типовая мера = М/СКО, а не на Д. Т.е, скоко СКО умещается в М.
в) Такой широкий рынок архиваторов? В Пуассона/Релея как-то по смыслу больше верится: сильных алгоритмов мало, слабых - больше, а плохие никто не использует. Типа так ожидается. Правда это для чисто сжатия ( не для файла)
г) Следует помнить, что в сжатых архивах некое кол-во идёт на инфу, и даже потом пустой архив может оказаться не нулевым.

А вообще, это всё было о-о-очень давно...
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39576475
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А если к опискам не цепляться (конечно, корень из D, а не D), а по содержанию что-нибудь сказать попробовать? Не?
______________
softwarer, я разве сказал "случайный набор"?
________________
И да, вопрос мог бы быть сформулирован так:

1. как выглядит статистика коэффициента сжатия (для "типичных" архиваторов)?

2. у каких архиваторов статистика коэффициента сжатия имеет бОльшую (по сравнению с другими "типичными" архиваторами) дисперсию?
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39576479
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вот тут что-то было.

http://www.compression.ru/arctest/act/act-calg.htm
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39576525
WebSharper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
exp98О! Никогда не проверял, давным баловался меотдами сжатия, кажется теоретический предел сжатия ~2/3

Мне кажется теоретического предела сжатия нет. Например однотерабайтный файл из одних нулей можно сжать до словосочетания "терабайт нулей".
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39576546
exp98
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
WebSharper, ну это тоже из области придирок. Тогда уж и тексты можно сжимать до одной ссылки на глобальный корпус текстов. Говорят о статистическом теоретическом пределе в общем случае. Жипег взять - он не сожмётся, потому как там уже Хафман порылся. А возьми равномернорасределённую послед-сть ... А ещё помню, что английский сжимается больше русского, т.к. там язык для "лиц с ограниченными способностями". Наверняка есть сжималки, специализированные под конкретику.
И вопрос ТС я интерпретировал именно как для случайных выборок.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39576625
WebSharper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
exp98WebSharper, ну это тоже из области придирок. Тогда уж и тексты можно сжимать до одной ссылки на глобальный корпус текстов.


Именно так.

Говорят о статистическом теоретическом пределе в общем случае.


Не могли бы вы дать определение этого?

т.к. там язык для "лиц с ограниченными способностями".


Задорнов жив!

И вопрос ТС я интерпретировал именно как для случайных выборок.

Случайные выборки их чего?
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39576669
exp98
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
WebSharperСлучайные выборки их чего? их мн-ва {0;1} согласно ТСу
Сейчас посмотрел ехешки - раньше и ехешки были другими, менее сжимаемыми.
Кто такой этот ваш Задорнов? Я сам придумал!! Могу ещё: вставьте пипюру в пипюроприёмник
Об остальном - ну его нафиr ...
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39577036
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
exp98Говорят о статистическом теоретическом пределе

-- меня интересует не предел, а дисперсия сжимаемости.

Хорошо, открою карты: меня интересует, есть ли возможность в системах типа блокчейна PoW реализовать в форме PoC (Proof of Compression). Так понятней?
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39577083
exp98
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дык здесь и говорят: Сигму не знаем, надо изучать.
Для простых случаев понятно лишь только на пальцах. Шифрованные данные практически не сжимаемы, потому как равномерны.
Популярные сжималки могут комбинировать набор методов в завис-и от файла или от цели: время/объём. Уверен, что тот же зип два одинаковых файла сожмёт каждый из них как новый - это уже фреймворк применения. Для чистых же методов, не знающих формата данных, могу только навскидку M/S сильно больше 1.
Короче, это личная карма вопрошающего .

Я технологию чейнов не знаю, однако был реализован в железе проект, давно закрытый, как идея только.
Фирма была что-то типа Peribit / PerEbit. Сжатие трафика на лету (на сетевом где-то уровне, ниже уровня приложений), типа через глобальный частично пополняемый словарь. Девайс корпорации не приняли, поскольку на VPN никакого сжатия. А то было бы как я выше писал: пересылается ссылка на глобальную БД (+обновление).
Примерно в те же времена в своей конторе мы договорились с Главным Аналитиком на нечто похожее, но в софт-варианте и на уровне приложений, но, увы, он скоропостижно слёг с онкологией, а потом и контора - хлоп.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39577085
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
exp98Шифрованные данные практически не сжимаемы

-- я танцую, как от печки, от того, что сейчас биткойновые майнеры совершают какой-то невообразимый объем совершенно бессмысленной -- сама по себе -- вычислительной работы. Почему бы не предложить им вместо этого пустого перебора хэшей позаниматься сжатием того же самого блока (который этот самый майнер готовится предложить в блокчейн). И если этому майнеру удаётся этом своём блоке достичь выдающегося показателя сжатия (лучше некоторого "порога сжатия", который и будет играть роль параметра "сложности"),

-- то только (и именно) тогда признавать манера выполнившим норматив по PoW (оно же, в этом случае, PoC -- Proof of Compression) ...
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39577089
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
"... майнеру удаётся на этом своём блоке достичь ..."
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39577176
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
exp98WebSharper, ну это тоже из области придирок. Тогда уж и тексты можно сжимать до одной ссылки на глобальный корпус текстов. Говорят о статистическом теоретическом пределе в общем случае. Жипег взять - он не сожмётся, потому как там уже Хафман порылся. А возьми равномернорасределённую послед-сть ... А ещё помню, что английский сжимается больше русского, т.к. там язык для "лиц с ограниченными способностями". Наверняка есть сжималки, специализированные под конкретику.
И вопрос ТС я интерпретировал именно как для случайных выборок.
Мне почему-то вспоминается криптография и анализ криптостойкости.
По сути - поиск закономерностей. Слабых. Еле уловимых на уровне авто-корреляций.

ИМХО если таковые есть в тексте для сжатия - то можем сжимать дальше.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39577396
exp98
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS,
без надувания щёк, я не в теме от слова совсем.
К "сжатию" есть интерес академический, да, а слазил в инет на тему pow&poc и понял, чтобы в это вникнуть, нужно время. Это целый фреймворк, спец.мат.теория, коллективные вычисления, теория игр ... Это не моё, и думаю, Вам нужна специализированная тусовка, копать спец.журналы и т.п.

У меня в последнее время более прозаично: как внедрить один контрол в другой штатным способом без документации и т.п. - вот это действительно проблема, и вроде есть кто знает, но не объясняют, потому что все усвоили, что информация правит балл.

Из инета 1 грошик:
Вьюгин, Колмлгоровская сложность и алгоритмическая случайность, 2012.
Что-то к теме Статистические испытания ( nrjetix_com /fileadmin/doc/publications/Lectures_security/Lecture2_pdf).
Что-то к сравнению архиваторов (ict_nsc_ru /ws/YM2007/12817/paper_html).
Ещё вот дома книжка, Мир, 1988 ~ Информация неопределённость сложность (ну да, по обложке это Трауб). Правда она нудная, у них там так водится, не вдохновила тогда.
Везде в конце Литература.

З.Ы,
У Колмогорова опред. кол-ва инфы, адекватнее энтропии по Шеннону, и чем-то напоминает условную вероятность. В нём уже не вынести за скобки объём централизованного репозитария. Но оно неудобно для реализации.

Если ещё раз вернуться к сигме (п.2 в первом посте). Типовые методы "энтропийные", уменьшают среднюю энтропию, и в такой методе очевидно есть предел. Это "шенноновский" подход. Поэтому кажется, что безусловного лидера во всех тестах вряд ли найти. А к примеру вынос централизованного репозитария из компрессора во вне - это уже фреймворк, но к pow это вроде не подходит.
У сжималок может ещё оказаться фича втягивать файл целиком, если предвидится, что метаданные првысят эффект от сжатия.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39577424
Фотография S.G.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS-- я танцую, как от печки, от того, что сейчас биткойновые майнеры совершают какой-то невообразимый объем совершенно бессмысленной -- сама по себе -- вычислительной работы. Почему бы не предложить им вместо этого пустого перебора хэшей позаниматься сжатием того же самого блока (который этот самый майнер готовится предложить в блокчейн). И если этому майнеру удаётся этом своём блоке достичь выдающегося показателя сжатия (лучше некоторого "порога сжатия", который и будет играть роль параметра "сложности"), потому что одна из характеристик денег, или эквивалента денег - это трудность добывания.
Сравните скажем, золото и воду. Первого на земле мало, и его трудно добывать. вода - ее много и ее добыть гораздо легче. теперь сравните цены на золото и воду (килограмм).

возвращаясь к биткоинам, если сделать простой тест, то первый же майнер получит все биткоины, и... и что?


Иван FXS-- то только (и именно) тогда признавать манера выполнившим норматив по PoW (оно же, в этом случае, PoC -- Proof of Compression) ...зачем к блоку, который прошел стандартный тест, добавлять еще какой-то тест?
или вы предлагаете не делать первый тест, а только ваш?
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39577486
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
S.G.потому что одна из характеристик денег, или эквивалента денег - это трудность добывания

-- если разобраться, то дело не в трудности добывания. Килограмм золота добыть довольно трудно (трудоёмко), а миллиграмм -- миллион раз менее трудоёмко. А килограмм (натурального) шёлка и килограмм, скажем, сушёных комаров добыть, пожалуй, примерно также трудоёмко, как килограмм золота ...

S.G.если сделать простой тест, то первый же майнер получит все биткоины

-- "если сделать простой тест", то произойдёт другое: система потонет в потоке создаваемых всеми узлами блоков.

Собственно, поэтому в неё и зашит параметр "сложность", который авторегулирует скорость создания блоков. Иными словами, протокол Биткойна создан таким, что "сделать простой тест" в нём просто невозможно.

S.G.вы предлагаете не делать первый тест, а только ваш

-- да, я предлагаю заменить "трудную задачу" поиска "красивого" хэша -- "трудной задачей" очень сильного сжатия.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39577768
exp98
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
И почему бы им не поискать ферзевые расстановки для 30х30 и выше. И им польза, и нам здесь тоже пригодится))
Всех с НГ-2018
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39577877
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
exp98,

например, потому, что есть реальная -- для криптовалют -- проблема ограничения, накладываемого размером блока. А ограничений, накладываемых ферзями, там нет ...

И вас с НГ.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39577921
Фотография S.G.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSS.G.потому что одна из характеристик денег, или эквивалента денег - это трудность добывания

-- если разобраться, то дело не в трудности добывания. Килограмм золота добыть довольно трудно (трудоёмко), а миллиграмм -- миллион раз менее трудоёмко. А килограмм (натурального) шёлка и килограмм, скажем, сушёных комаров добыть, пожалуй, примерно также трудоёмко, как килограмм золота ... Во-первых, сравнивать надо не килограмм с миллиграмом одного и того же, а килограмм с килограммом разных сущностей. :)
Если действительно разобраться, то вы неправ, трудность добывания напрямую связана с ценой. Можно накидать кучу примеров - например аллюминий, который был жутко дорогим, когда его добывалось трудно и мало, и сильно подешевел, когда придумали как добывать много и легко. ну и пример с шелком, который был дорогим, когда только Китай знал как добывать, а сегодня он не очень дорог.
А насчет шелка и комаров.. если внимательно прочитать мой текст, можно прочитать "трудность.. одна из характеристик". Чтобы что-то стало деньгами, оно должно иметь и другие характеристики.
Оставлю вам самому сообразить почему шелк и комары не годятся в качестве денег.

Иван FXSS.G.если сделать простой тест, то первый же майнер получит все биткоины

-- "если сделать простой тест", то произойдёт другое: система потонет в потоке создаваемых всеми узлами блоков. возможно, система и потонет, возможно и не потонет, но во всяком случае произойдет то, что я сказал.

Иван FXS Собственно, поэтому в неё и зашит параметр "сложность", который авторегулирует скорость создания блоков. Иными словами, протокол Биткойна создан таким, что "сделать простой тест" в нём просто невозможно. Прекрасно, значит вы уже понимаете, что сложность не бессмысленная, (тут 21067973 ) а она специально такая, со смыслом?

Иван FXS S.G.вы предлагаете не делать первый тест, а только ваш

-- да, я предлагаю заменить "трудную задачу" поиска "красивого" хэша -- "трудной задачей" очень сильного сжатия. ок, и сжимать чего именно?
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39577976
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
S.G.но во всяком случае произойдет то, что я сказал
если у вас есть волшебная палочка, которая позволяет ПО ВАШЕМУ желанию, заставить Биткойн работать, "если сделать простой тест", -- при том, согласно регламента работы Биткойна никто не в праве произвольно "делать простой тест" в нём ... То, конечно, эта волшебная палочка поможет вам сделать так, чтобы "первый же майнер получит все биткоины". Я только отказываюсь признавать этот цирк "биткойном".

S.G.сложность не бессмысленная, (тут 21067973 ) а она специально такая, со смыслом?
да, сложность со смыслом: смысл сложности в том, чтобы быть сложной.

S.G.ок, и сжимать чего именно?
сжимать тот самый блок, который создал майнер, которому предлагается сжимать. Извините за повтор того, что уже было написано #27 дек 17, 19:24#.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578046
Фотография S.G.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSS.G.но во всяком случае произойдет то, что я сказал
если у вас есть волшебная палочка, которая позволяет ПО ВАШЕМУ желанию, заставить Биткойн работать, "если сделать простой тест", -- при том, согласно регламента работы Биткойна никто не в праве произвольно "делать простой тест" в нём ... То, конечно, эта волшебная палочка поможет вам сделать так, чтобы "первый же майнер получит все биткоины". Я только отказываюсь признавать этот цирк "биткойном".

S.G.сложность не бессмысленная, (тут 21067973 ) а она специально такая, со смыслом?
да, сложность со смыслом: смысл сложности в том, чтобы быть сложной. По-моему, вы теряете нить разговора.
Мы начали с того, что вы возмущались бессмысленной сложностью расчетов для блока. Я показал вам, что большая сложность имеет смысл, (она делает биткоин похожим на деньги или золото) и что если сложность будет небольшой, то ничего хорошего не получится.
Ок, кажется вы согласились со мной.


Иван FXS S.G.ок, и сжимать чего именно?
сжимать тот самый блок, который создал майнер, которому предлагается сжимать. Извините за повтор того, что уже было написано #27 дек 17, 19:24#.вот пример биткоин блока:

автор
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
Block #138849
BlockHash 00000000000001c21dbf4715d5da1a288061faa21e950dd8df6ae25c8b55d868
Summary
Number Of Transactions 	184
Height 	138849 (Mainchain)
Block Reward 	50 BTC
Timestamp 	Jul 31, 2011 12:37:14 AM
Mined by 	
Merkle Root 	
98c5d975bf556f0344770eee7ab31688a1c108223c14cea908ff99b0ab8fe947
Previous Block 	138848
Difficulty 	1690895.80305239
Bits 	1a09ec04
Size (bytes) 	58913
Version 	1
Nonce 	3723473450
Next Block 	138850


Что именно в нем предлагаете сжимать? весь блок в виде текста? Только хеш в виде текста? Только хеш в числовом (байтовом) виде?
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578050
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
S.G.,

я возмущаюсь тем, что САМИ ПО СЕБЕ вычисления, производимые (в Биткойне) для выполнения "норматива сложности", бесполезны. И предлагаю заменить их полезными САМИ ПО СЕБЕ вычислениями, состоящими в сильном сжатии блока.

Сжимать предлагается то битовое представление блока, в котором он (блок) распространяется по сети интернет.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578054
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSя возмущаюсь тем, что САМИ ПО СЕБЕ вычисления, производимые (в Биткойне) для выполнения "норматива сложности", бесполезны. И предлагаю заменить их полезными САМИ ПО СЕБЕ вычислениями, состоящими в сильном сжатии блока.
В чем разница? Можно просто посчитать хэш, а можно считать хэш до посинения, выискивая более красивый. Точно так же можно просто пожать, а можно жать всяко-всяческими способами выкраивая единицы байт. Итого не меняется, надо потратить кучу времени на поиск лучшего решения.

Иван FXSСжимать предлагается то битовое представление блока, в котором он (блок) распространяется по сети интернет.
Тут GZIP/DEFLATE лучше использовать. Пусть жмут не идеально, но очень быстро и в итоге общее время минимальное получается.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578064
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dima T,

возвращаемся в самое начало топика -- к вопросу о том, существуют ли алгоритмы сжатие, позволяющие заметно повышать степень сжатия битовых последовательностей* посредством производства над ними большого объёма ("сложных") вычислений**?

То есть ваше "очень быстро и в итоге общее время минимальное получается" -- это есть прямо противоположное тому, что мне надо.
____________________
* = "битовых последовательностей а ля транзакции криптовалют" -- мог бы я сказать, очень слабо понимая, впрочем, что это за "а ля".

** = включая всякие переборы вариантов; в том числе, например, "комбинаторные" переборы вариантов расположения битовых подпоследовательностей внутри этой битовой последовательности (поскольку у создателя блока есть весьма много свободы в том, как упорядочить транзакции в создаваемом им самим блоке; и даже есть свобода в том, какие именно транзакции включать в создаваемый им блок).
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578067
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSТо есть ваше "очень быстро и в итоге общее время минимальное получается" -- это есть прямо противоположное тому, что мне надо.
Ты определись что надо: жать или пожатое передавать. Скромный 1 Гигабит ставит большой вопрос "надо ли жать?"
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578070
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dima T,

надо в блок размером 2 Мб (от которого размера почему-то буквально месяц назад отказалось -- со скандалом! -- уходить сообщество биткойнеров) запихнуть существенно больше инфы, чем удаётся запихнуть им (нынешним биткойнерам).
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578371
Фотография S.G.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSS.G.,

я возмущаюсь тем, что САМИ ПО СЕБЕ вычисления, производимые (в Биткойне) для выполнения "норматива сложности", бесполезны. И предлагаю заменить их полезными САМИ ПО СЕБЕ вычислениями, состоящими в сильном сжатии блока. и чем же полезны вычисления для сжатия? :) в этой задаче они полезны ровно настолько, насколько полезно вычисление хеша.


Иван FXS Сжимать предлагается то битовое представление блока, в котором он (блок) распространяется по сети интернет. хотя, без разницы.
Сжатие не годится для биткоина, и вот почему:

- узнать какой будет хеш, имея начальные данные, можно только одним образом - вычислив. обратная задача - по хешу узнать первоначальные данные - практически невозможна, т.е. все равно надо перебрать все множество начальных данных. То есть мы не можем просто взять хороший для нас хеш, нам надо знать (показать всем) и его первообраз. Таким образом, мы получаем трудную задачу получения золота, простите, биткоина. Почему нам нужна трудная, я уже писал.

- с другой стороны, компрессия - легкая задача. известно, что хорошо сжимаются структурированные данные (низкая энтропия) и плохо сжимаются неструктурированные, случайные данные (высокоэнтропийные). имея началные данные, примерно можно узнать не компрессируя, хорошие это данные или нет. Более того, имея любые начальные данные, можно составить рекурсивный архив с огромным соотношением компресии (правда он выводит начальные байты много раз, но формально удовлетворяет условиям большой сжимаемости)
так что, нет, сжатие не годится.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578372
Фотография S.G.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS
возвращаемся в самое начало топика -- к вопросу о том, существуют ли алгоритмы сжатие, позволяющие заметно повышать степень сжатия битовых последовательностей* посредством производства над ними большого объёма ("сложных") вычислений**?


Алгоритмы сжатия устоялись лет эдак 20 тому назад, и вроде ничего нового не открыто с тех пор.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578373
Фотография S.G.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSDima T,

надо в блок размером 2 Мб (от которого размера почему-то буквально месяц назад отказалось -- со скандалом! -- уходить сообщество биткойнеров) запихнуть существенно больше инфы, чем удаётся запихнуть им (нынешним биткойнерам).это уже ничего общего с вычислением хешей не имеет. с этими вашими PoW и PoC о которых речь была выше.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578385
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
S.G.- узнать какой будет хеш, имея начальные данные, можно только одним образом - вычислив. обратная задача - по хешу узнать первоначальные данные - практически невозможна, т.е. все равно надо перебрать все множество начальных данных. То есть мы не можем просто взять хороший для нас хеш, нам надо знать (показать всем) и его первообраз. Таким образом, мы получаем трудную задачу получения золота, простите, биткоина. Почему нам нужна трудная, я уже писал.

-- я надеюсь, что вы понимаете (просто не договариваете), что хеш_с_большим_количеством_ведущих_нулей -- а именно к этом и сводится "хорошесть" хэша в Биткоине -- нужен там ТОЛЬКО для ограничения скорости поступления в систему новых блоков и ни для чего другого.

(И я совсем не уверен, что Накамото предвидел то, какой тера-хэшовый ажиот раскрутят в Биткойне жадные китайцы к исходу первого десятилетия ...)

Хеш_с_большим_количеством_ведущих_нулей -- это придуманная Накамото реализация сложной_задачи_с_лёгкой_проверкой .

Но, вообще говоря, наверное, возможны и другие реализации этой задачи. Я предлагаю рассмотреть в качестве таковой -- задачу (сверх-)сильного сжатия. (Где префикс "сверх-" добавлен авансом -- учитывая уже известную нам теперь жадность китайцев.)
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578387
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я-бы следующим пятничным поднял обсуждение оптимизации процесса майнинга.

Но боюсь что пока не в теме. И кроме того непонятно о каких клиентах будет идти речь
и о каких валютах.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578388
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
S.G.компрессия - легкая задача

- а вот я открываю в Total Commander вкладку настройки архиватора Zip и там в разделе "Степень сжатия" предлагается выбрать от 0 до 9, причём 1 обозначена как "быстрое" ... не подскажете, почему?

И если 1 -- "быстрое", то 9, наверное, "медленное"? ... А почему оно медленное -- потому что процессор просто работает с ленцой?
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578391
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кстати (в режиме мозгового штурма), почему бы в качестве другой реализации сложной_задачи_с_лёгкой_проверкой не рассмотреть, например, задачу тренировки нейронной сети? В самом деле, натренировать НС -- сложно (а очень_хорошо натренировать -- очень_сложно). А проверить, что сеть хорошо натренирована -- легко.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578395
d7i
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSS.G.компрессия - легкая задача

- а вот я открываю в Total Commander вкладку настройки архиватора Zip и там в разделе "Степень сжатия" предлагается выбрать от 0 до 9, причём 1 обозначена как "быстрое" ... не подскажете, почему?

И если 1 -- "быстрое", то 9, наверное, "медленное"? ... А почему оно медленное -- потому что процессор просто работает с ленцой?
Шуткуем?
Ведь ясно же, что чем больше степень сжатия, тем дольше (т.е. медленнее) будет идти сам процесс сжатия...
Всё логично.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578398
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
d7i,

значит всё-таки большая степень сжатия это не такая "лёгкая задача", как маленькая степень сжатия?
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578400
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSКстати (в режиме мозгового штурма), почему бы в качестве другой реализации сложной_задачи_с_лёгкой_проверкой не рассмотреть, например, задачу тренировки нейронной сети? В самом деле, натренировать НС -- сложно (а очень_хорошо натренировать -- очень_сложно). А проверить, что сеть хорошо натренирована -- легко.
Натренировать не сложно. НС - это просто ящик со входами и выходами.

Сложно вот что:
- выбрать архитектуру сети (двухслойная НС с логистической активацией выхода - это классика но есть и другие,
Хопфилд, Гроссберг, неокогнитрон e.t.c.) и обосновать почему она такова.
- определить что есть входы.
- определить репрезентативную выборку для обучения и контрольную (здесь большинство - хитрят. Недообучают или
пере-обучают сеть. "Подгоняют под ответ").
- дать смысл значениям на выходе. Тоже по сути связано с предыдущими всеми пунктами.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578403
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSS.G.компрессия - легкая задача

- а вот я открываю в Total Commander вкладку настройки архиватора Zip и там в разделе "Степень сжатия" предлагается выбрать от 0 до 9, причём 1 обозначена как "быстрое" ... не подскажете, почему?

И если 1 -- "быстрое", то 9, наверное, "медленное"? ... А почему оно медленное -- потому что процессор просто работает с ленцой?
1..9 - это скорее всего набор векторов пре-сетов для разных алгоритмов.

Никакой линейной зависимости между цифрами нет. Скорее всего авторы просто
эмпирически подобрали их и решили что это условно "уровни глубины" процесса архивации.

Cкорее всего регулирует размер словаря для LZW алгоритма. И возможно еще опционально
включает другие фазы обработки. Поджатие самого словаря.

Если посмотреть в настройки 7zip и WinRAR там будет вообще целые семейства алгоритмов
с разными настройками. Пожалуй RAR наиболее богатый на настройки тул.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578406
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
неужели мы всерьёз обсуждаем вопрос, является ли сильное сжатие более вычислительно_сложной задачей, чем слабое сжатие?!
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578459
Фотография S.G.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSнеужели мы всерьёз обсуждаем вопрос, является ли сильное сжатие более вычислительно_сложной задачей, чем слабое сжатие?! они практически одинаковы в вычислительном смысле
разница, как и отметил майтон - в величине буферов (словарей) и в прочих мелких деталях.
соответственно разница в величине компрессии и времени компрессии - парочка процентов, не более.
и, повторюсь, нет волшебного алгоритма для компрессии, который бы долго-долго думал и сжал бы 10GB фильм в пару килобайт.

Если вам интересно узнать, что такое "сложная задача", (имеется ввиду действительно сложная), почитайте про шифрование с открытым ключом. Ну там, задача нахождения множителей числа, состоящегося из 1000 цифр, в том случае когда оно представляет произведение двух простых чисел.
по сравнению с этим, сжатие - это как собрать детский пазл из 6-ти частей.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578482
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
S.G.,

1. я не профессионал в проблематике сжатия данных.

2. мне не нужно сжатие в 5 000 000 раз ("10GB ... в пару килобайт"). 10 будет достаточно, 100 - фантастика.

3. "Лидеры же рейтинга — PAQ8PX и WinRK — превосходят 7-Zip в сжатии на 28% и 24% соответственно, но тратят на упаковку гораздо больше времени[10]." ( https://ru.wikipedia.org/wiki/7-Zip )
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578501
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS3. "Лидеры же рейтинга — PAQ8PX и WinRK — превосходят 7-Zip в сжатии на 28% и 24% соответственно, но тратят на упаковку гораздо больше времени[10]." ( https://ru.wikipedia.org/wiki/7-Zip )
Я думаю что все они базируются на определенном предположении относительно
природы сжимаемых данных. Если предположение ошибочно - то эти архиваторы
бесполезны.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578536
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,

ну да, они проверяют имеющиеся у них "модели" и используют ту (те), которая работает для сжимаемого файла. Что в этом плохого?
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578566
Фотография S.G.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSS.G.,

1. я не профессионал в проблематике сжатия данных.

2. мне не нужно сжатие в 5 000 000 раз ("10GB ... в пару килобайт"). 10 будет достаточно, 100 - фантастика.

3. "Лидеры же рейтинга — PAQ8PX и WinRK — превосходят 7-Zip в сжатии на 28% и 24% соответственно, но тратят на упаковку гораздо больше времени[10]." ( https://ru.wikipedia.org/wiki/7-Zip )все просто.
возмьмите несколько архиваторов, посмотрите как они сжимают один и тот же блок, (то, что вы хотели) сделайте табличку-сравнение, выложите сюда.
посмотрим :)
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578573
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
S.G.,

ничего, что все существующие архиваторы ориентированы на быстрое выполнение задачи (на "слабых" бытовых машинках), а мне требуется неограниченно сложное -- по количеству вычислений -- сжатие?
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578656
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Старик Шеннон хохочет над нами.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578676
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
На первой странице топика кто-то упоминал, что можно очень сильно сжимать передаваемое по сети сообщение, если на обеих сторонах (у отправителя и получателЕЙ) имеется одинаковый достаточно объёмный "словарь".

Обращаю ваше внимание, что в блокчейн-сетях у каждого участника как раз имеется нечто одинаковое и весьма объёмное -- а именно сам блокчейн. Осталось только приспособить его в качестве "словаря".

Привет Шеннону!
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578773
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Боюсь что этот словарь бесполезен.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578785
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
... если просто не уметь его готовить.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578798
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Давайте "приспособим" в качестве словаря ГПСЧ.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578806
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonДавайте "приспособим" в качестве словаря ГПСЧ.

-- в смысле Большой Файл, заполненный выдачей ГПСЧ и розданный всем участникам коммуникации, конечно? Давайте. Чему это противоречит?

Может быть, вы станете утверждать, что в конкретной сжимаемой битовой последовательности я не найду вообще НИ ОДНОЙ подпоследовательности, которая бы присутствовала также и в Большом ГПСЧ-файле, и адрес которой в нём (Большом ГПСЧ-файле) записывался бы существенно короче, чем она сама?
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578809
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Найдете. Но зачем вам сжимать блокчейн? Сжатые данные лишают нас интерфейса
произвольного доступа.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578810
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
не блокчейн, а только рассылаемый по сети новый блок. Получатели его распакуют и добавят к своим копиям блокчена.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578812
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Тогда вы говорите о сжатии сетевых пакетов. Тема - скушная и неинтересная ИМХО.

Старик Шеннон просто сообщает нам о том что существует некая верхняя теоретическая
граница сжатия. Он - ничего не знает о блокчейне. Я-же добавляю от себя что пользы от
коллективного сжатия будет никакой. В качестве proof-of-work она не годится в силу
отсутствия полезного эффекта. Сжимали долго. Достигли теоретической границы.
Дальше не сжимается. Вопрос. Задлянахрена мы работали?
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578815
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonСтарик Шеннон просто сообщает нам о том что существует некая верхняя теоретическая
граница сжатия. Он - ничего не знает о блокчейне.
-- к сожалению, я настолько безграмотен, что даже не знаю, о какой именно "задаче сжатия" это говорил старик Шеннон. Говорил ли он (это) о задаче сжатия, в которой некий "большой словарь" отправлен адресату заранее отдельно от сжимаемого сообщения, например?

maytonВ качестве proof-of-work она не годится в силу отсутствия полезного эффекта.
-- эта фраза для моего уха звучит более чем странно, поскольку я обсуждаю именно вариант ухода от (нынешнего биткойнового) proof-of-work, в который именно в самом деле "отсутствует полезный эффект".

maytonДостигли теоретической границы. Дальше не сжимается.
-- если задачи сжатия окажется недостаточно (для реализации достаточного proof-of-work), то можно, в конце концов, ПОСЛЕ (поверх) неё добавить обычный (нынешний) "бесполезный" proof-of-work.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578816
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSmaytonДостигли теоретической границы. Дальше не сжимается.
-- если задачи сжатия окажется недостаточно (для реализации достаточного proof-of-work), то можно, в конце концов, ПОСЛЕ (поверх) неё добавить обычный (нынешний) "бесполезный" proof-of-work.
Я думаю что в наших с вами тезисах нужно убрать всякие "если".

Должен быть обоснованный объем вычислений.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578817
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,

вы можете представить гибридный автомобиль, который "тормозит генератором" (рекуперируя кинетическую энергию), а ЕСЛИ этого торможения не достаточно, то включается "бесполезное" торможение дисковыми тормозами? Или здесь тоже "нужно убрать всякие если"?
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578818
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
(Кстати, proof-of-work -- это, собственно, и есть "тормоза" ... процесса генерации новых блоков.)
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578820
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А именно: если в системе скачком возрастает мощность задействованных майнинговых ферм (например, владельцы переключают их с майнинга BCH обратно на майнинг BTC), то система "разгоняется" -- блоки начинаю появляться с частотой, большей нормативного значения 1 в 10 минут.

Но при следующем пересчёте "сложности" она возрастает так, чтобы "затормозить" систему до нормативной "скорости" -- нормативной частоты появления блоков (1 в 10 минут).
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578823
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSmayton,

вы можете представить гибридный автомобиль, который "тормозит генератором" (рекуперируя кинетическую энергию), а ЕСЛИ этого торможения не достаточно, то включается "бесполезное" торможение дисковыми тормозами? Или здесь тоже "нужно убрать всякие если"?
Вы находитесь в позиции доказующего. Это - тяжелая позиция. Вы должны собрать статистику
по блокчейну и доказать что ваш метод несет полезный эффект.

Моя позиция удобна. Я - критик. Я указал что у нас недостаточно стат-сведений о том
чтобы утверждать что сжатие даст какую-то пользу. Особенно для сжатия без потерь
которое изначально очень зависимо от энтропии.

А если-бы вы сжимали c lossy compression звук или видео то я-бы сразу занял вашу
позицию т.к. очень уважаю методы в которых результат заведомо известен и несет
расчетную пользу априори. Но нам это не подходит.

Бесполезный-же эффект - это тот самый вариант когда "сжатия оказалось недостаточно" - это
шаг алгоритма который не приносит никакой пользы для технологии но вызывает массу
вопросов у участников проекта. Хуже. У него нет даже приближенной оценки эффективности.

Они спрашивают - Зачем Иван внес бесполезный step в алгоритм? - Я не знаю. Мне нечего ответить.

А торможение генератором здесь не в тему. Красивый но неудачный пример.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578825
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Мне кажется, я уже писал, что очевидная польза от сжатия состоит в том, что оно позволяет "расшить" ограничение на размер блока. Я думаю, ради этого можно даже стерпеть некоторое усложнение алгоритма.

Как сильно "ресурсоёмкое сжатие" (и какое именно) позволит сжимать байткод блоков Биткойна -- этого я, конечно, не знаю.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578874
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Учитывая бесконечное разнообразие форков блокчейна я думаю что мы сможем сами
создать свой собственный с произвольным размером блока.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578881
Фотография S.G.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS поскольку я обсуждаю именно вариант ухода от (нынешнего биткойнового) proof-of-work, в который именно в самом деле "отсутствует полезный эффект".
у вас все намешано в кучу.
то вы хотите заменить стандартную проверку хеша какой-то проверкой через сжатие, то вы хотите сжатие наложить поверх стандартной проверки (как еще одна проверка?), то вы хотите просто сжать готовые блоки для переноса по сети.
притом, вы кажется уверены, что существуют волшебные алгоритмы для сжатия любых начальных данных, просто процессоры для них слабоваты.

вы уверены, что сами для себя выяснили что именно хотите? или просто хочется засунуть сжатие в блокчейн по принципу "кашу маслом не испортить"?

выше по теме вроде все уже разжевано.
- и почему проверка должна быть трудной
- и почему сжатие не годится для проверки
- и все остальное
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578888
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
S.G.,

видимо, мне не удаётся достаточно ясно выражаться.

1. не "проверка хеша" и "проверка через сжатие", а "демонстрация выполненной работы (proof-of-work) через предъявление красивого хеша" и "демонстрация выполненной работы (proof-of-work) через предъявление сильно сжатого блока".

2. не "сжатие наложить поверх стандартной проверки", а, наоборот, обязательно сильное сжатие, и только если его не хватит для "создания достаточной сложности" (в чём я не уверен) ВОЗМОЖНОСТЬ дополнить его требованием "красивого хеша".

Но да, именно "хочется засунуть сжатие в блокчейн", поскольку жалко огромных вычислительных ресурсов, расходуемых на бессодержательные (сами по себе) поиски "красивыхо хешей".

S.G.- и почему проверка должна быть трудной
-- спасибо, я знаю.

S.G.- и почему сжатие не годится для проверки
-- годится.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578899
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSНо да, именно "хочется засунуть сжатие в блокчейн", поскольку жалко огромных вычислительных ресурсов, расходуемых на бессодержательные (сами по себе) поиски "красивыхо хешей".Жалко - у пчёлки, а своей хотелкой вы просто выкидываете идею цифрового золота?
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578908
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Basil A. Sidorov,

совершенно не выкидываю идею цифрового золота, поскольку принцип "трудоёмкости" ("ресурсоёмкости") "добычи" новых блоков остаётся на своём месте.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578909
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
"Об одном способе ресурсоёмкого сжатия данных"
http://www.sql.ru/forum/1281667/ob-odnom-sposobe-resursoyomkogo-szhatiya-dannyh
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578921
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSНо да, именно "хочется засунуть сжатие в блокчейн", поскольку жалко огромных вычислительных ресурсов, расходуемых на бессодержательные (сами по себе) поиски "красивыхо хешей".
Для бесполезного сжатия не жалко ресурсов? Какая разница: жечь ресурсы ради дополнительного нолика в хэше или ради уменьшения архива на 1 байт?

По моему разницы никакой.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578928
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dima T,

у вас есть версия ответа на вопрос, почему в ноябре сообщество Биткойна отказалось от (обещанного!) увеличения размера блока с жалких 2 Мб до (столь же жалких, собственно) 4 Мб?
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578944
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSDima T,

у вас есть версия ответа на вопрос, почему в ноябре сообщество Биткойна отказалось от (обещанного!) увеличения размера блока с жалких 2 Мб до (столь же жалких, собственно) 4 Мб?
Не знаю, не слежу за этой темой.

По-большому счету пофиг на размер этой цифры, ни 2, ни 4 тут неуместно. Это значение не должно быть узким местом всей системы, т.е. должно быть аналогом "дофига", т.е. какое-то гигантское число, которое никогда не будет достигнуто. Например 2^64.

От того что 2 Мб заменить на "2 Мб пожатые" проблема никак не решается, т.к. это не "дофига", а всего в 3-5-10 раз больше чем 2 Мб, т.е. сжатие проблему не решает, а отодвигает в будущее.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578945
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
У меня есть версия, что *coin/*cash - очередной кипеш, позволяющий одним участникам отнимать деньги других в игре с нулевой суммой.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578948
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dima Tсжатие проблему не решает, а отодвигает в будущее.
да, нужен вечный двигатель. А вся эта борьба за снижение расхода топлива на 100 км пробега (какая разница, 7 литров или 2 ?!) проблему не решает, а отодвигает в будущее.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39578949
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Basil A. Sidorov,

вы не в теме: у БиткойнКеша размер блока 8Мб и он-то как раз появился. А с 2Мб до 4Мб (летом) договорились
повысить (с ноября) размер блока в "основном" Биткойне. А потом передумали.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39579023
Фотография S.G.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSS.G.компрессия - легкая задача

- а вот я открываю в Total Commander вкладку настройки архиватора Zip и там в разделе "Степень сжатия" предлагается выбрать от 0 до 9, причём 1 обозначена как "быстрое" ... не подскажете, почему?

И если 1 -- "быстрое", то 9, наверное, "медленное"? ... А почему оно медленное -- потому что процессор просто работает с ленцой?а еще вы путаете сложность алгоритма и скорость процессора.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39579145
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Basil A. SidorovУ меня есть версия, что *coin/*cash - очередной кипеш, позволяющий одним участникам отнимать деньги других в игре с нулевой суммой.
Мне кажется что существуют условия при которых придет кирдык всем коинам.
1) Энергозатраты на эмиссию электронной банкноты превышают ее номинал. Добыча новых банкнот завершена.
2) Датацентры станут продавать услугу хранения всего чейна. Больше не нужно хранить 120 Гиг кошелёк.
Теряется сама идея децентрализованного хранения. Приходим снова к централизации.
3) Датацентры станут продавать услугу подписывания цепочки. Снова централизация.
4) Мощные рабочие станции уходят из розничной продажи как класс устройств. Остаются мобилы и смартфоны и ноуты
на которых майнить бесполезно.
5) Большая часть полимеров монеток про$бана и никто ими не владеет. А следовательно утеряна для оборота.
Это наступит не скоро... но когда-тож блин наступит.

Можно рассмотреть еще ситуацию когда очередной железячный гигант (IBM/Intel....e.t.c) создаёт квантовое железо
которое решает проблему эффективнее ЦОД-ов и облаков. Что также нивелирует наши жалкие потуги соперничать
с таким прорывом. Как и чо там под капотом будет устроено - ХЗ. Я не в теме. Но эксперты постоянно вещают-де
квантовый комп с кубитами и прочими запутанными молекулами способен поделить на ноль любую криптографию.
Опять-же я здесь подчеркну что не в теме пока.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39579160
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonквантовый комп с кубитами и прочими запутанными молекулами способен поделить на ноль любую криптографию ... кроме квантовой.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39579176
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonНо эксперты постоянно вещают-де квантовый комп с кубитами и прочими запутанными молекулами способен поделить на ноль любую криптографию.Насколько я понимаю, размеры уже существующих квантовых компьютеров "маловаты будут".
Когда станет возможно и станет ли возможно вообще делать квантовые компьютеры адекватных размеров - большой вопрос.
Это как с "P=NP". Ну докажут, что "эффективное решение существует". Замечательно.
Каким образом это знание приближает нас к нахождение этого самого эффективного решения?
Правильно - никаким. Просто потому, что это - совсем другая задача.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39579202
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
В математике так принято. Сначала доказать существование.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39579204
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonЭнергозатраты на эмиссию электронной банкноты превышают ее номинал.
энергозатраты измеряются в КВт-часах, "номинал электронной банкноты" -- это, наверное всё-таки, "один биткоин"... как может любое количество КВт-часов -- само по себе! -- "превышать один биткоин"?
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39579209
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSmaytonЭнергозатраты на эмиссию электронной банкноты превышают ее номинал.
энергозатраты измеряются в КВт-часах, "номинал электронной банкноты" -- это, наверное всё-таки, "один биткоин"... как может любое количество КВт-часов -- само по себе! -- "превышать один биткоин"?
А как можно сравнивать доллар с евро? Тоже никак. Размерность разная.
Но люди как-то сравнивают а некоторые даже делают на этом бизнес.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39579212
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,

люди не используют словосочетание "номинал банкноты" при таких сравнениях. Вообще, номинал стодолларовой банкноты -- это 100, просто безразмерное число 100. Вот, "самый крупный номинал банкнот Евро в пять раз больше самого крупного номинала долларовых банкнот" -- это правильное суждение о "сравнении номиналов".

По содержанию, PoW это адаптивный механизм, в котором параметр "сложность" может как снижаться, так и повышаться. Поэтому (плюс стандартная экономическая логика) добыча биткоинов точно не прекратится из-за "энергозатрат".
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39580478
Фотография S.G.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSВообще, номинал стодолларовой банкноты -- это 100, просто безразмерное число 100. здрасьте, как это безразмерное? Вполне себе размерное, размерность - доллары.
а то у вас получается, 100 долларов - безразмерное число, 100 рублей - тоже безразмерное число, и выходит что 100 долларов = 100 рублей.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39580808
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
S.G.,

да, с "номиналом" я прокололся, признаю. Поэтому спрошу по другому:
maytonЭнергозатраты на эмиссию электронной банкноты превышают ее номинал. Добыча новых банкнот завершена.
-- энергозатраты в чём измеряются -- по прежнему в КВт-часах или уже напрямую в биткоинах?
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39580838
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Рискну предположить что киловатт/час все таки первичен.

Физика, брат...
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39580844
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,

значит прежде чем утверждать "энергозатраты на эмиссию электронной банкноты превышают ее номинал" нужно что-то сказать про коэффициент пересчёта киловатт-часов в эту электронную валюту?

И сами "энергозатраты на эмиссию электронной банкноты" тоже не входят, кстати, в число фундаментальных физических констант ...
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39581014
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonМне кажется что существуют условия при которых придет кирдык всем коинам...
ИМХО не с той стороны смотришь. Все что ты перечислил - решаемо. Эти лохотроны будут работать пока любители халявы не переведутся, т.е. вечно.

https://www.bfm.ru/news/374461 Криптовалютные биржи закрылись из-за натиска новых пользователей. Крупные биржи Bitfinex в Гонконге, Binance в Шанхае и Bittrex в США перестали регистрировать новые аккаунты из-за их массового притока. Об этом пишет Cointelegraph.

Шанхайская и гонконгская биржи приостановили регистрацию в конце 2017 года, а американская перекрыла доступ новым пользователям 5 января. Представители бирж объясняют это необходимостью обновить инфраструктуру. Та, что имеется, сейчас уже не справляется с большим числом запросов.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39581035
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
а тем временем По данным издания, сеть Telegram Open Network (TON) станет «блокчейном третьего поколения» после биткоина и эфира. Компания запустит токены Gram для внутренних пользовательских платежей.
.....
По данным TechCrunch, запуск Telegram External Secure ID намечен на первый квартал. Кошелек Telegram Wallet планируется запустить в четвертом квартале, а основанная на TON экономика может появиться в первом квартале 2019 года.

Подробнее на https://ru.insider.pro/topnews/2018-01-09/smi-telegram-provedet-odno-iz-krupnejshih-v-istorii-ico/
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39581383
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Мдя... Дадут копоти. Интересно куда партия зеленых смотрит?
Атмосферу греют ... Вобщем глобальный капец еще ближе.

Давайте больше криптовалют! Так чтоб бытовые конвекторы
стали не нужны...
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39581395
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Может у Павла Дурова в его Gram-е будет не PoW ...
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39581566
exp98
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonАтмосферу греют ... больше криптовалют! Так чтоб ... ...чтоб тарифы на электричество фзлетели
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39581573
exp98
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS, ага, у дурова будут виртуальные тюльпаны на криптопонике. Важно, чтбы бусы блестели, иначе их никто не захочет заиметь.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39581579
exp98
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Объявление на стенке: Организую поставки криптонавоза, идентичного натуральному, для криптопоники.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39581638
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
exp98,

подозреваю, что вы (как и я) практически ничего пока не знаете о том, что именно будет у Дурова.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39581650
exp98
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
У "наших" нуворишей может получиться что-нить отличное от ммм? лишь бы урвать поскорее. Мы уже наблюдали ё-моё. Это не авиапромышленность воссоздавать, к примеру ... Пари?
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39581684
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
exp98,

Павел Дуров -- "наш нувориш"?
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39581801
Фотография S.G.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonРискну предположить что киловатт/час все таки первичен.

Физика, брат...да, это действительно проблема.
бумажные деньги не тратят электроэнергию для своего хранения, а биткоины- тратят.

с другой стороны, кто измерял трату электроэнергии в серверах банков (да и вообще в банках) по всему миру?
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39581805
exp98
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSПавел Дуров -- "наш нувориш"? Мне больше импонирует Моцарт
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39581806
exp98
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
exp98, "Порву за Моцарта!" )
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39581814
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
S.G.кто измерял трату электроэнергии в серверах банков где-то встречал, что VISA тратит электроэнергии очень до фига ... но и транзакций, конечно, тоже до фига осуществляет...
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39581833
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Есть варианты криптовалют без сжигания электроэнергии: сообщество выбрало ответственных, они каждый своей ЭЦП подписали, вознаграждение за это попили меж собой. Готово. Никаких бесполезных переборов.

Есть тут спорные моменты в выборе подписывателей, но, думаю, в итоге эта схема приживется. Потому что расход электричества на майнинг уже перешел все разумные пределы. Недавно в новостях писали что в Китае майнерам хотят ограничить электроснабжение, т.к. инфраструктура не справляется с такими нагрузками.
Иначе будет как выше написали: "вырастут тарифы всем", т.к. на инфраструктуру деньги надо будет.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39584220
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Basil A. SidorovЛично для меня бессмысленны оба занятия
это повтор (уже говорилось), поэтому и мне приходится повторяться: майнинг бессмыслен сам по себе , но в внутри блокчейна (даже не криптовалюты, а именно блокчейна!) он выполняет вполне определённую (а значит осмысленную) функцию авторегулировки частоты возникновения новых блоков.

Точно также, например, бессмысленны ( сами по себе ) усилия по разложению на множители гигантских целых чисел. Но внутри проекта поиска простых чисел они совершенно необходимы (не обсуждаю, насколько осмыслен сам этот проект).

Basil A. Sidorov для майнинга хэшей есть чёткий алгоритм и побеждать будет тот, у кого больше вычислительных мощностей при равной архитектуре. Включая архитектуру, специально разработанную под конкретную задачу.

Майнинг -- процесс вероятностный: "побеждает" -- на каждом шаге -- тот, кому повезёт. Но шансы больше у того, у кого более мощное оборудование. Собственно, в "модельной" задаче поиска простых чисел тоже так: "побеждает" (находит каждое новое число) не обязательно именно тот, у кого самый мощный компьютер.

(Да, кстати, можно и явно произнести, что существую проекты (и даже, кажется, реализации) блокчейнов, в которых майнятся не хэши, а именно (новые) простые числа!)

Basil A. Sidorov Чтобы майнить степени сжатия требуется или каждый раз разрабатывать алгоритм сжатия под конкретную последовательность, что выглядит несколько утопично или подбирать некий мифический параметр.

именно -- "или подбирать ... параметр". Наконец мы начали различать подбор параметра и изобретение алгоритма.

А если в процессе "майнинга степени сжатия" будут изобретаться новые, более эффективные алгоритмы сжатия, -- так это же просто пир духа, прямая польза для благодарного Человечества!
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39584265
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSименно -- "или подбирать ... параметр". Наконец мы начали различать подбор параметра и изобретение алгоритма.Вы, блин, блаадетель челвечества, параметры обычных алгоритмов видели?
Параметров этих - счётное число. Даже меньше, чем можно человеческим телом сосчитать (720).
Неужели вы думаете, что перебрать эти параметры - тяжкий труд? Да архиваторы уже используют параллельное сжатие с разными вариантами для выбора "наилучшего на данном блоке".
Или, может быть, вы думаете, что сумеете обеспечить параметр мощности порядка 2^64 и со стохастическим разбросом степени сжатия по этому множеству?
Снимите, наконец, розовые очки и спускайтесь с облаков на землю.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39584274
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Basil A. Sidorov,

ну я же придумал (прямо на коленке) пример (не работающий, наверняка, но пример) алгоритма сжатия, который использует перебор seed ( 21079962 ).

А вы продолжаете про " обычных алгоритмов"! В моей постановке задачи нужен не " обычный ", а специальный ресурсоёмкий алгоритм.

(Какая польза от таклго агоритма -- буде он избретён -- случится вне задачи "майнинга степени сжатия" -- это отдельный разговор.)
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39584296
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSну я же придумал (прямо на коленке) пример ( не работающий , наверняка, но пример)Я подчеркнул ключевое слово. Неработающих идей у меня самого - хоть пруд пруди.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39584304
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Basil A. Sidorov,

дык, я тут играю в поддавки, а вы поддаётесь на эту игру в поддавки.

Но вообще-то, почему порождаемый (на основе ГПСЧ) "словарь" (который, благодаря его порождаемости, не нужно целиком запихивать в архивный файл) не даст преимущества перед хранимыми (в архивном файле) словарями, -- никто мне пока не объяснил.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39584306
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSНо вообще-то, почему порождаемый (на основе ГПСЧ) "словарь" (который, благодаря его порождаемости, не нужно целиком запихивать в архивный файл) не даст преимущества перед хранимыми (в архивном файле) словарями, -- никто мне пока не объяснил.Лемовские "Сказки роботов" почитайте - там практически ваш случая рассмотрен. Генерация информации из белого шума.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39584311
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Basil A. Sidorov,

да-да, вы, наверное, и шифрование сообщений при помощи ГПСЧ будете отрицать. А всего-то: порождаем на основании очередного (записанного на бумажке и у Штирлица, и в Центре) seed случайную последовательность битов и суммируем её (побитово) с отправляемым сообщением.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39584359
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSшифрование сообщений при помощи ГПСЧ будете отрицать. А всего-то: порождаем на основании очередного (записанного на бумажке и у Штирлица, и в Центре) seed случайную последовательность битов и суммируем её (побитово) с отправляемым сообщением.Гамма не порождает информацию, а прячет её в белом шуме. Чтобы понять это не требуется даже высшей математики.
Вот когда научитесь шифровать одной гаммой, а расшифровывать другой - тогда и будете ёрничать.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39584370
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Basil A. SidorovГамма не порождает информациюа словарь порождает информацию?
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39584373
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
... он, собственно, тоже шифрует информацию. Вопрос ровно в том, удастся ли сделать зашифрованное сообщение короче (числом битов), чем исходное.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39584387
exp98
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS, сейчас наткнулся, Вы это пробовали? (я - нет)
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39584394
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
exp98, нет.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39584681
Фотография S.G.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSНо вообще-то, почему порождаемый (на основе ГПСЧ) "словарь" (который, благодаря его порождаемости, не нужно целиком запихивать в архивный файл) не даст преимущества перед хранимыми (в архивном файле) словарями, -- никто мне пока не объяснил.

Когда очередной изобретатель приходит в академию наук с очередной идеей вечного двигателя, ему никто ничего не объясняет, просто показывают на дверь.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39584698
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
S.G., где в это академии наук дверь?
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39584815
Фотография S.G.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSS.G., где в это академии наук дверь?это та, через которую входят.
она же, через которую выходят :)
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39584954
exp98
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
S.G.в академию наук с очередной идеей вечного двигателя А никто не помнит "окончательные вердикты" Французской Ак.Н. ?
Камни не могут падать с неба, ибо оно не твердь земная.
Аппараты тяжелее воздуха летать не могут.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39585342
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
exp98, вообще не проблема: кто-то малознакомый (не будем показывать пальцем ... на S.G.) нагрубил. Ну, нагрубил и нагрубил.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39585343
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
exp98S.G.в академию наук с очередной идеей вечного двигателя А никто не помнит "окончательные вердикты" Французской Ак.Н. ?
Камни не могут падать с неба, ибо оно не твердь земная.
Аппараты тяжелее воздуха летать не могут.
Ну наивные они и непредусмотрительные. Надо так: "Проект вечного двигателя будет рассмотрен после того, как его работающий прототип в течение двухсот лет бесперебойно снабдит электричеством здание Академии".
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39585533
exp98
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я знаю как как передать любые сжатые данные достаточно большой длины ещё короче, чем их длина. В принципе это не шутка, это из области фреймворков.
Какого хрена тсп-пакеты порожняком бегают? Кодируем часть данных номерами пакетов. Над вариантами можно думать. Например одна инверсия номеров (i+1, i) == 1, 0 - отсутствию инверсии.
Для большей надёжности можно использовать помехоустойчивое кодирование. Например среди кодов хэмминга. 1 == нечётная перестановка нескольких номеров, 0 - чётная. Кодируемый кусок данных на другом конце стыкуется с "легальными". Конечно такой способ бессилен против "order by desc" провайдера.
Однако, если исходную часть разбить на части, передаваемые поотдельности, то можно например биты кодировать сессиями. Или ещё как-нить.
Главное, провайдеру не говорить.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39585568
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Мы спекулируем термином ГПСЧ. Но если его (гпсч) рассмотреть в композиции Марковской модели автомата
Который порождает слоги, буквы , слова и словосочетания то идея Ивана вполне себе рабочая.

Но основную сложность мы переносом в другую функцию, которую также надо сжато передать по каналу связи и это больший челлендж чем гпсч.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39585622
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,

вообще говоря, если мы на Альфа Центавра отправляем сжатый архиватором файл, и хотим чтобы тамошние альфацетавряне его распаковали, то мы должны вместе с файлом архива и (де-)архиватор отправить, и ... операционную систему, и много чего ещё, даже перечислять не возьмусь.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39585641
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonНо если его (гпсч) рассмотреть в композиции Марковской модели автомата
Который порождает слоги, буквы , слова и словосочетания то идея Ивана вполне себе рабочая.
Нерабочая идея, т.к. по сути это тот же самый словарь что и при обычном сжатии, но это словарь с огромной избыточностью, как следствие избыточна длина идентификатора каждой записи словаря.
Сжатие ведь идет за счет того что самые частые записи имеют самый короткий идентификатор.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39585686
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dima TСжатие ведь идет за счет того что самые частые записи имеют самый короткий идентификатор.
-- это верно, но приписывание различным "частым записям" идентификаторов, более коротких, чем сами эти записи могло бы продвинуться весьма далеко, если бы не необходимость создать для каждой такой замены "словарную статью". Представьте, что в нашем входном потоке в конце концом обнаружилось два вхождения строки длиной 1000 бит, а возможность создавать короткие идентификаторы исчерпана вплоть до идентификатора длиной 998 бит ... Ничего, мы обозначим (и заменим) эту 1000-битную строку 999-битным идентификатором -- сожмём, казалось бы, входную строку ещё на 2 бита! Однако нет, "расход битов" на указание соответствия 1000-битной строки 999-битному идентификатору будет по-любому больше этой "экономии" 2-х битов.

То есть создание словаря прекращается тогда, когда "маржинальные" расходы (в битах) на пополнение словаря становятся равны экономии (битов) от применения новых "словарных статей".

А вот это последнее условие будет совершенно по другому "исчисляться" при использовании "генерируемого словаря" (чем при использовании словаря, вписываемого в архив). При том, что сам по себе "генерируемый словарь" будет, конечно, заметно менее эффективен (по экономии битов при применении "словарных статей"), чем вписываемый в архив "свободный" словарь.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39585722
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSDima TСжатие ведь идет за счет того что самые частые записи имеют самый короткий идентификатор.
-- это верноточнее, не верно: сжатие идет за счет того, что записи имеют более короткий идентификатор, чем они сами. А вот " хорошим " (" лучшим ") сжатие становится "за счет того что самые частые записи имеют самый короткий идентификатор", как вы написали.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39585735
Фотография S.G.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
exp98S.G.в академию наук с очередной идеей вечного двигателя А никто не помнит "окончательные вердикты" Французской Ак.Н. ?
Камни не могут падать с неба, ибо оно не твердь земная.
Аппараты тяжелее воздуха летать не могут.Не знаю, почему этот пример всегда приводят.
Это было во времена, когда химия была еще алхимией, и наука была сродни теперешним псевдо-наукам. По сути, было одно название, науки как таковой не было.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39585742
Фотография S.G.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
softwarerexp98пропущено...
А никто не помнит "окончательные вердикты" Французской Ак.Н. ?
Камни не могут падать с неба, ибо оно не твердь земная.
Аппараты тяжелее воздуха летать не могут.
Ну наивные они и непредусмотрительные. Надо так: "Проект вечного двигателя будет рассмотрен после того, как его работающий прототип в течение двухсот лет бесперебойно снабдит электричеством здание Академии". +1

Аналогично, пусть кто-то (не будем указывать пальцем, но это Иван FXS) , сначала покажет работающий прототип архиватора на основе ГПСЧ, а потом уже будем рассуждать по нему.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39585754
Фотография LR
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSточнее, не верно: сжатие идет за счет того, что записи имеют более короткий идентификатор, чем они сами.
Необязательно. Помню свою первую реализацию "аля Хаффмана" (тогда, в конце 80-х, о Хаффмане мы еще ничего не знали, по частоте встречаемости символов в тексте, косое бинарное дерево) - идентификатор наиболее часто встречаемого символа занимал 1 бит, наиболее редко встречаемого мог занимать гораздо более 8 бит. Степень сжатия, конечно, была не очень, но цели были несколько другими (зашифровать текстовую справочную систему и успевать отображать на экране из архива, чтобы при скролинге пользователь не замечал тормозов).
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39585777
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
LRидентификатор наиболее часто встречаемого символа занимал 1 бит, наиболее редко встречаемого мог занимать гораздо более 8 бит. Степень сжатия, конечно, была не очень, но цели были несколько другими (зашифроватья даже не буду цепляться к "цели были несколько другими (зашифровать"

Дело том, что если оставить некоторые подстроки "не закодированными" (не заменять их идентификаторами), то нужно будет тратить ресурсы (биты) на маркировку этих частей выходного потока как "сырые данные" (которые бери как есть, не пытайся раскодировать). Поэтому можно представить ситуацию, когда некоторые ("последних из могикан") подстроки входного потока оказывается выгоднее закодировать даже более длинными, чем они сами, идентификаторами.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39585783
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
кстати
LRидентификатор наиболее часто встречаемого символа занимал 1 бит -- а сколько бит занимала "разметка", позволяющая идентифицировать этот идентификатор как идентификатор?
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39585791
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
S.G.Аналогично, пусть кто-то (не будем указывать пальцем, но это Иван FXS) , сначала покажет работающий прототип архиватора на основе ГПСЧ, а потом уже будем рассуждать по нему.объясните, -- если предположить, что я сваял "работающий прототип архиватора на основе ГПСЧ", -- зачем бы мне понадобилось вот это вот -- "сначала покажет ..., а потом уже будем рассуждать по нему"?

Я обсуждаю тему, по которой у меня нет ясного понимания, чтобы получить это -- более ясное -- понимание. Если вам это не интересно, значит ... вам это не интересно, вот и всё. Это, кажется, свободны форум свободных людей.

(Извините, если получилось резко.)
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39585847
Фотография LR
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSкстати
LRидентификатор наиболее часто встречаемого символа занимал 1 бит -- а сколько бит занимала "разметка", позволяющая идентифицировать этот идентификатор как идентификатор?
В архив сначала записывалось полученное "косое дерево" (словарь), затем - _битовая_ последовательность кодированного содержимого. Из архива вначале извлекалось "дерево", на котором "листьями" висят символы, и, затем последующая _битовая_ последовательность бит за битом указывала куда идти по дереву (0/1 = налево/направо), до "листиков" - листик за листиком. Вот сами и решайте сколько бит занимает здесь "разметка"...
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39585862
Фотография LR
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS,

вот здесь в вики все подробно расписано и даже анимированная гифка есть))
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39585874
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
LR, то есть никакая часть Z входной строки не остаётся не закодированной (в выходной строке S)? Тогда да, в "_битовой_ последовательность кодированного содержимого" можно обойтись без разметки.

Если некоторая подстрока Z во входной строке S встретилась ровно один раз (уникальна), то вам нужно 1) разместить её в словаре; 2) как-то "увязать" её там с её кодом (возможно, именно это получится довольно компактно); 3) поставить её код (в "_битовой_ последовательность кодированного содержимого") на место, указывающее положение Z в S. То есть конкретно эта подстрока Z "сыграет" весьма против сжатия ...
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39585876
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
читай "никакая часть Z входной строки S не остаётся не закодированной (в выходной строке S')"
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39585881
Фотография LR
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS,

да, кодируется все
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39585890
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSподстрока Z "сыграет" весьма против сжатия... даже не упоминая о том, что её код может оказаться длиннее её самой
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39585942
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSЕсли некоторая подстрока Z во входной строке S встретилась ровно один раз (уникальна), то вам нужно 1) разместить её в словаре; 2) как-то "увязать" её там с её кодом (возможно, именно это получится довольно компактно); 3) поставить её код (в "_битовой_ последовательность кодированного содержимого") на место, указывающее положение Z в S. То есть конкретно эта подстрока Z "сыграет" весьма против сжатия ...
Размещение Z в теле архива тоже не бесплатно: надо будет предусмотреть какой-то идентификатор что далее значение строки, а не ее идентификатор из словаря. Еще надо как-то задать размер строки.
Поэтому вопрос спорный как в итоге компактнее будет.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39585972
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dima T, вроде бы я именно это и написал в 13:33 :
Иван FXSДело том, что если оставить некоторые подстроки "не закодированными" (не заменять их идентификаторами), то нужно будет тратить ресурсы (биты) на маркировку этих частей выходного потока как "сырые данные" (которые бери как есть, не пытайся раскодировать).
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39585986
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSПредставьте, что в нашем входном потоке в конце концом обнаружилось два вхождения строки длиной 1000 бит ...
ИМХО Я бы вообще повторы не стал рассматривать, обсуждая ГПСЧ, т.к. при наличии повтора более короткую подстроку можно заменить ссылкой на более длинную, т.е. ГПСЧ получается вовсе ни при чем.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39585992
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
не понял, что такое Dima Tболее короткую подстроку ... более длинную в случае повтора?

Ну и подстроки "0" и "1" (или, скажем, "00", "01", "10" и "11") повторяются до ... многократно. Только на что их заменять?
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39586025
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSне понял, что такое Dima Tболее короткую подстроку ... более длинную в случае повтора?

Ну и подстроки "0" и "1" (или, скажем, "00", "01", "10" и "11") повторяются до ... многократно. Только на что их заменять?
ИМХО ответ на этот вопрос очевиден. Если менять не на что, то не менять.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39586084
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSmayton,

вообще говоря, если мы на Альфа Центавра отправляем сжатый архиватором файл, и хотим чтобы тамошние альфацетавряне его распаковали, то мы должны вместе с файлом архива и (де-)архиватор отправить, и ... операционную систему, и много чего ещё, даже перечислять не возьмусь.
Зачем операционную систему?
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39586089
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
типа, (де-)архиватор настолько кроссплатформенный, что и на альфацетаврианской операционке отработает?
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39586125
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSтипа, (де-)архиватор настолько кроссплатформенный, что и на альфацетаврианской операционке отработает?Можно подумать, что операционная система поднимется на центаврианском железе.
Это даже если (внезапно) найдётся способ воплотить передаваемый сигнал в принятые на Центавре системы хранения.

P.S. А зря вы не хотите думать о физических пределах и ограничениях.
...
Рейтинг: 0 / 0
Дисперсия длины архива?
    #39586532
Фотография S.G.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXSS.G.Аналогично, пусть кто-то (не будем указывать пальцем, но это Иван FXS) , сначала покажет работающий прототип архиватора на основе ГПСЧ, а потом уже будем рассуждать по нему.объясните, -- если предположить, что я сваял "работающий прототип архиватора на основе ГПСЧ", -- зачем бы мне понадобилось вот это вот -- "сначала покажет ..., а потом уже будем рассуждать по нему"?

Я обсуждаю тему, по которой у меня нет ясного понимания, чтобы получить это -- более ясное -- понимание. Если вам это не интересно, значит ... вам это не интересно, вот и всё. Это, кажется, свободны форум свободных людей.

(Извините, если получилось резко.)Потому что создать таким образом архиватор - невозможно.
Поэтому полезно попробовать не только "на пальцах", но и создать прототип, и посмотреть как он будет работать. Скомпрессировать, например, какой-нибудь хеш :)
...
Рейтинг: 0 / 0
146 сообщений из 146, показаны все 6 страниц
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Дисперсия длины архива?
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]