Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Если взять некоторый набор независимых (друг от друга) последовательностей битов длины N, упаковать их все каким нибудь архиватором (например, zip) и посчитать среднее значение (S) длины получившихся архивов и дисперсию (D) длин архивов, то ... 1. каким (по порядку величины хотя бы) будет отношение D/S? 2. у какого из известных архиваторов (наряду с zip) это отношение будет "заметно" бОльшим ( чем у остальных)? 3. Кстати, будет ли само распределение длин таких архивов (для конкретного архиватора) нормальным ... то есть, типа, что там -- Гаус или Пуассон? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.12.2017, 17:19 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXS, 1. Надо брать не дисперсию, а корень из нее. Его отношение к среднему будет называться коэффициентом вариации и безразмерным. 2. Экспериментальная проверка займет минут 10. 3. Скорее всего, ничего похожего на "правильное" распределение не будет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.12.2017, 17:29 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXS1. каким (по порядку величины хотя бы) будет отношение D/S? Это бессмысленный показатель, у числителя и знаменателя разные размерности. А вообще - вопрос сам по себе тоже бессмысленен. Архивация как процесс опирается на тот факт, что реальные данные обладают внутренней структурой и существенно неслучайны. Попытка проверить что-то на каком-то случайном наборе бит приведёт лишь к ответу на вопрос "какой архиватор дописывает меньше хрени к несжимаемым данным". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.12.2017, 17:33 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
О! Никогда не проверял, давным баловался меотдами сжатия, кажется теоретический предел сжатия ~2/3 (для текстов ~ 1/4). Можно на примере ехе-файла. Избыточность рулит. а) Предполагаю, что так и будет. б) Дополню Соколинского. Да, типовая мера = М/СКО, а не на Д. Т.е, скоко СКО умещается в М. в) Такой широкий рынок архиваторов? В Пуассона/Релея как-то по смыслу больше верится: сильных алгоритмов мало, слабых - больше, а плохие никто не использует. Типа так ожидается. Правда это для чисто сжатия ( не для файла) г) Следует помнить, что в сжатых архивах некое кол-во идёт на инфу, и даже потом пустой архив может оказаться не нулевым. А вообще, это всё было о-о-очень давно... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.12.2017, 18:34 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
А если к опискам не цепляться (конечно, корень из D, а не D), а по содержанию что-нибудь сказать попробовать? Не? ______________ softwarer, я разве сказал "случайный набор"? ________________ И да, вопрос мог бы быть сформулирован так: 1. как выглядит статистика коэффициента сжатия (для "типичных" архиваторов)? 2. у каких архиваторов статистика коэффициента сжатия имеет бОльшую (по сравнению с другими "типичными" архиваторами) дисперсию? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.12.2017, 00:55 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
exp98О! Никогда не проверял, давным баловался меотдами сжатия, кажется теоретический предел сжатия ~2/3 Мне кажется теоретического предела сжатия нет. Например однотерабайтный файл из одних нулей можно сжать до словосочетания "терабайт нулей". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.12.2017, 09:01 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
WebSharper, ну это тоже из области придирок. Тогда уж и тексты можно сжимать до одной ссылки на глобальный корпус текстов. Говорят о статистическом теоретическом пределе в общем случае. Жипег взять - он не сожмётся, потому как там уже Хафман порылся. А возьми равномернорасределённую послед-сть ... А ещё помню, что английский сжимается больше русского, т.к. там язык для "лиц с ограниченными способностями". Наверняка есть сжималки, специализированные под конкретику. И вопрос ТС я интерпретировал именно как для случайных выборок. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.12.2017, 09:35 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
exp98WebSharper, ну это тоже из области придирок. Тогда уж и тексты можно сжимать до одной ссылки на глобальный корпус текстов. Именно так. Говорят о статистическом теоретическом пределе в общем случае. Не могли бы вы дать определение этого? т.к. там язык для "лиц с ограниченными способностями". Задорнов жив! И вопрос ТС я интерпретировал именно как для случайных выборок. Случайные выборки их чего? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.12.2017, 10:59 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
WebSharperСлучайные выборки их чего? их мн-ва {0;1} согласно ТСу Сейчас посмотрел ехешки - раньше и ехешки были другими, менее сжимаемыми. Кто такой этот ваш Задорнов? Я сам придумал!! Могу ещё: вставьте пипюру в пипюроприёмник Об остальном - ну его нафиr ... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.12.2017, 11:40 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
exp98Говорят о статистическом теоретическом пределе -- меня интересует не предел, а дисперсия сжимаемости. Хорошо, открою карты: меня интересует, есть ли возможность в системах типа блокчейна PoW реализовать в форме PoC (Proof of Compression). Так понятней? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.12.2017, 17:34 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Дык здесь и говорят: Сигму не знаем, надо изучать. Для простых случаев понятно лишь только на пальцах. Шифрованные данные практически не сжимаемы, потому как равномерны. Популярные сжималки могут комбинировать набор методов в завис-и от файла или от цели: время/объём. Уверен, что тот же зип два одинаковых файла сожмёт каждый из них как новый - это уже фреймворк применения. Для чистых же методов, не знающих формата данных, могу только навскидку M/S сильно больше 1. Короче, это личная карма вопрошающего . Я технологию чейнов не знаю, однако был реализован в железе проект, давно закрытый, как идея только. Фирма была что-то типа Peribit / PerEbit. Сжатие трафика на лету (на сетевом где-то уровне, ниже уровня приложений), типа через глобальный частично пополняемый словарь. Девайс корпорации не приняли, поскольку на VPN никакого сжатия. А то было бы как я выше писал: пересылается ссылка на глобальную БД (+обновление). Примерно в те же времена в своей конторе мы договорились с Главным Аналитиком на нечто похожее, но в софт-варианте и на уровне приложений, но, увы, он скоропостижно слёг с онкологией, а потом и контора - хлоп. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.12.2017, 19:01 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
exp98Шифрованные данные практически не сжимаемы -- я танцую, как от печки, от того, что сейчас биткойновые майнеры совершают какой-то невообразимый объем совершенно бессмысленной -- сама по себе -- вычислительной работы. Почему бы не предложить им вместо этого пустого перебора хэшей позаниматься сжатием того же самого блока (который этот самый майнер готовится предложить в блокчейн). И если этому майнеру удаётся этом своём блоке достичь выдающегося показателя сжатия (лучше некоторого "порога сжатия", который и будет играть роль параметра "сложности"), -- то только (и именно) тогда признавать манера выполнившим норматив по PoW (оно же, в этом случае, PoC -- Proof of Compression) ... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.12.2017, 19:24 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
"... майнеру удаётся на этом своём блоке достичь ..." ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.12.2017, 19:25 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
exp98WebSharper, ну это тоже из области придирок. Тогда уж и тексты можно сжимать до одной ссылки на глобальный корпус текстов. Говорят о статистическом теоретическом пределе в общем случае. Жипег взять - он не сожмётся, потому как там уже Хафман порылся. А возьми равномернорасределённую послед-сть ... А ещё помню, что английский сжимается больше русского, т.к. там язык для "лиц с ограниченными способностями". Наверняка есть сжималки, специализированные под конкретику. И вопрос ТС я интерпретировал именно как для случайных выборок. Мне почему-то вспоминается криптография и анализ криптостойкости. По сути - поиск закономерностей. Слабых. Еле уловимых на уровне авто-корреляций. ИМХО если таковые есть в тексте для сжатия - то можем сжимать дальше. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2017, 00:31 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXS, без надувания щёк, я не в теме от слова совсем. К "сжатию" есть интерес академический, да, а слазил в инет на тему pow&poc и понял, чтобы в это вникнуть, нужно время. Это целый фреймворк, спец.мат.теория, коллективные вычисления, теория игр ... Это не моё, и думаю, Вам нужна специализированная тусовка, копать спец.журналы и т.п. У меня в последнее время более прозаично: как внедрить один контрол в другой штатным способом без документации и т.п. - вот это действительно проблема, и вроде есть кто знает, но не объясняют, потому что все усвоили, что информация правит балл. Из инета 1 грошик: Вьюгин, Колмлгоровская сложность и алгоритмическая случайность, 2012. Что-то к теме Статистические испытания ( nrjetix_com /fileadmin/doc/publications/Lectures_security/Lecture2_pdf). Что-то к сравнению архиваторов (ict_nsc_ru /ws/YM2007/12817/paper_html). Ещё вот дома книжка, Мир, 1988 ~ Информация неопределённость сложность (ну да, по обложке это Трауб). Правда она нудная, у них там так водится, не вдохновила тогда. Везде в конце Литература. З.Ы, У Колмогорова опред. кол-ва инфы, адекватнее энтропии по Шеннону, и чем-то напоминает условную вероятность. В нём уже не вынести за скобки объём централизованного репозитария. Но оно неудобно для реализации. Если ещё раз вернуться к сигме (п.2 в первом посте). Типовые методы "энтропийные", уменьшают среднюю энтропию, и в такой методе очевидно есть предел. Это "шенноновский" подход. Поэтому кажется, что безусловного лидера во всех тестах вряд ли найти. А к примеру вынос централизованного репозитария из компрессора во вне - это уже фреймворк, но к pow это вроде не подходит. У сжималок может ещё оказаться фича втягивать файл целиком, если предвидится, что метаданные првысят эффект от сжатия. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2017, 13:31 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXS-- я танцую, как от печки, от того, что сейчас биткойновые майнеры совершают какой-то невообразимый объем совершенно бессмысленной -- сама по себе -- вычислительной работы. Почему бы не предложить им вместо этого пустого перебора хэшей позаниматься сжатием того же самого блока (который этот самый майнер готовится предложить в блокчейн). И если этому майнеру удаётся этом своём блоке достичь выдающегося показателя сжатия (лучше некоторого "порога сжатия", который и будет играть роль параметра "сложности"), потому что одна из характеристик денег, или эквивалента денег - это трудность добывания. Сравните скажем, золото и воду. Первого на земле мало, и его трудно добывать. вода - ее много и ее добыть гораздо легче. теперь сравните цены на золото и воду (килограмм). возвращаясь к биткоинам, если сделать простой тест, то первый же майнер получит все биткоины, и... и что? Иван FXS-- то только (и именно) тогда признавать манера выполнившим норматив по PoW (оно же, в этом случае, PoC -- Proof of Compression) ...зачем к блоку, который прошел стандартный тест, добавлять еще какой-то тест? или вы предлагаете не делать первый тест, а только ваш? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2017, 14:51 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
S.G.потому что одна из характеристик денег, или эквивалента денег - это трудность добывания -- если разобраться, то дело не в трудности добывания. Килограмм золота добыть довольно трудно (трудоёмко), а миллиграмм -- миллион раз менее трудоёмко. А килограмм (натурального) шёлка и килограмм, скажем, сушёных комаров добыть, пожалуй, примерно также трудоёмко, как килограмм золота ... S.G.если сделать простой тест, то первый же майнер получит все биткоины -- "если сделать простой тест", то произойдёт другое: система потонет в потоке создаваемых всеми узлами блоков. Собственно, поэтому в неё и зашит параметр "сложность", который авторегулирует скорость создания блоков. Иными словами, протокол Биткойна создан таким, что "сделать простой тест" в нём просто невозможно. S.G.вы предлагаете не делать первый тест, а только ваш -- да, я предлагаю заменить "трудную задачу" поиска "красивого" хэша -- "трудной задачей" очень сильного сжатия. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.12.2017, 17:17 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
И почему бы им не поискать ферзевые расстановки для 30х30 и выше. И им польза, и нам здесь тоже пригодится)) Всех с НГ-2018 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2017, 11:16 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
exp98, например, потому, что есть реальная -- для криптовалют -- проблема ограничения, накладываемого размером блока. А ограничений, накладываемых ферзями, там нет ... И вас с НГ. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2017, 13:34 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSS.G.потому что одна из характеристик денег, или эквивалента денег - это трудность добывания -- если разобраться, то дело не в трудности добывания. Килограмм золота добыть довольно трудно (трудоёмко), а миллиграмм -- миллион раз менее трудоёмко. А килограмм (натурального) шёлка и килограмм, скажем, сушёных комаров добыть, пожалуй, примерно также трудоёмко, как килограмм золота ... Во-первых, сравнивать надо не килограмм с миллиграмом одного и того же, а килограмм с килограммом разных сущностей. :) Если действительно разобраться, то вы неправ, трудность добывания напрямую связана с ценой. Можно накидать кучу примеров - например аллюминий, который был жутко дорогим, когда его добывалось трудно и мало, и сильно подешевел, когда придумали как добывать много и легко. ну и пример с шелком, который был дорогим, когда только Китай знал как добывать, а сегодня он не очень дорог. А насчет шелка и комаров.. если внимательно прочитать мой текст, можно прочитать "трудность.. одна из характеристик". Чтобы что-то стало деньгами, оно должно иметь и другие характеристики. Оставлю вам самому сообразить почему шелк и комары не годятся в качестве денег. Иван FXSS.G.если сделать простой тест, то первый же майнер получит все биткоины -- "если сделать простой тест", то произойдёт другое: система потонет в потоке создаваемых всеми узлами блоков. возможно, система и потонет, возможно и не потонет, но во всяком случае произойдет то, что я сказал. Иван FXS Собственно, поэтому в неё и зашит параметр "сложность", который авторегулирует скорость создания блоков. Иными словами, протокол Биткойна создан таким, что "сделать простой тест" в нём просто невозможно. Прекрасно, значит вы уже понимаете, что сложность не бессмысленная, (тут 21067973 ) а она специально такая, со смыслом? Иван FXS S.G.вы предлагаете не делать первый тест, а только ваш -- да, я предлагаю заменить "трудную задачу" поиска "красивого" хэша -- "трудной задачей" очень сильного сжатия. ок, и сжимать чего именно? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2017, 14:20 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
S.G.но во всяком случае произойдет то, что я сказал если у вас есть волшебная палочка, которая позволяет ПО ВАШЕМУ желанию, заставить Биткойн работать, "если сделать простой тест", -- при том, согласно регламента работы Биткойна никто не в праве произвольно "делать простой тест" в нём ... То, конечно, эта волшебная палочка поможет вам сделать так, чтобы "первый же майнер получит все биткоины". Я только отказываюсь признавать этот цирк "биткойном". S.G.сложность не бессмысленная, (тут 21067973 ) а она специально такая, со смыслом? да, сложность со смыслом: смысл сложности в том, чтобы быть сложной. S.G.ок, и сжимать чего именно? сжимать тот самый блок, который создал майнер, которому предлагается сжимать. Извините за повтор того, что уже было написано #27 дек 17, 19:24#. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2017, 16:05 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSS.G.но во всяком случае произойдет то, что я сказал если у вас есть волшебная палочка, которая позволяет ПО ВАШЕМУ желанию, заставить Биткойн работать, "если сделать простой тест", -- при том, согласно регламента работы Биткойна никто не в праве произвольно "делать простой тест" в нём ... То, конечно, эта волшебная палочка поможет вам сделать так, чтобы "первый же майнер получит все биткоины". Я только отказываюсь признавать этот цирк "биткойном". S.G.сложность не бессмысленная, (тут 21067973 ) а она специально такая, со смыслом? да, сложность со смыслом: смысл сложности в том, чтобы быть сложной. По-моему, вы теряете нить разговора. Мы начали с того, что вы возмущались бессмысленной сложностью расчетов для блока. Я показал вам, что большая сложность имеет смысл, (она делает биткоин похожим на деньги или золото) и что если сложность будет небольшой, то ничего хорошего не получится. Ок, кажется вы согласились со мной. Иван FXS S.G.ок, и сжимать чего именно? сжимать тот самый блок, который создал майнер, которому предлагается сжимать. Извините за повтор того, что уже было написано #27 дек 17, 19:24#.вот пример биткоин блока: автор Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. Что именно в нем предлагаете сжимать? весь блок в виде текста? Только хеш в виде текста? Только хеш в числовом (байтовом) виде? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2017, 18:26 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
S.G., я возмущаюсь тем, что САМИ ПО СЕБЕ вычисления, производимые (в Биткойне) для выполнения "норматива сложности", бесполезны. И предлагаю заменить их полезными САМИ ПО СЕБЕ вычислениями, состоящими в сильном сжатии блока. Сжимать предлагается то битовое представление блока, в котором он (блок) распространяется по сети интернет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2017, 19:03 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSя возмущаюсь тем, что САМИ ПО СЕБЕ вычисления, производимые (в Биткойне) для выполнения "норматива сложности", бесполезны. И предлагаю заменить их полезными САМИ ПО СЕБЕ вычислениями, состоящими в сильном сжатии блока. В чем разница? Можно просто посчитать хэш, а можно считать хэш до посинения, выискивая более красивый. Точно так же можно просто пожать, а можно жать всяко-всяческими способами выкраивая единицы байт. Итого не меняется, надо потратить кучу времени на поиск лучшего решения. Иван FXSСжимать предлагается то битовое представление блока, в котором он (блок) распространяется по сети интернет. Тут GZIP/DEFLATE лучше использовать. Пусть жмут не идеально, но очень быстро и в итоге общее время минимальное получается. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2017, 19:13 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Dima T, возвращаемся в самое начало топика -- к вопросу о том, существуют ли алгоритмы сжатие, позволяющие заметно повышать степень сжатия битовых последовательностей* посредством производства над ними большого объёма ("сложных") вычислений**? То есть ваше "очень быстро и в итоге общее время минимальное получается" -- это есть прямо противоположное тому, что мне надо. ____________________ * = "битовых последовательностей а ля транзакции криптовалют" -- мог бы я сказать, очень слабо понимая, впрочем, что это за "а ля". ** = включая всякие переборы вариантов; в том числе, например, "комбинаторные" переборы вариантов расположения битовых подпоследовательностей внутри этой битовой последовательности (поскольку у создателя блока есть весьма много свободы в том, как упорядочить транзакции в создаваемом им самим блоке; и даже есть свобода в том, какие именно транзакции включать в создаваемый им блок). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2017, 20:17 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSТо есть ваше "очень быстро и в итоге общее время минимальное получается" -- это есть прямо противоположное тому, что мне надо. Ты определись что надо: жать или пожатое передавать. Скромный 1 Гигабит ставит большой вопрос "надо ли жать?" ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2017, 20:24 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Dima T, надо в блок размером 2 Мб (от которого размера почему-то буквально месяц назад отказалось -- со скандалом! -- уходить сообщество биткойнеров) запихнуть существенно больше инфы, чем удаётся запихнуть им (нынешним биткойнерам). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.12.2017, 20:33 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSS.G., я возмущаюсь тем, что САМИ ПО СЕБЕ вычисления, производимые (в Биткойне) для выполнения "норматива сложности", бесполезны. И предлагаю заменить их полезными САМИ ПО СЕБЕ вычислениями, состоящими в сильном сжатии блока. и чем же полезны вычисления для сжатия? :) в этой задаче они полезны ровно настолько, насколько полезно вычисление хеша. Иван FXS Сжимать предлагается то битовое представление блока, в котором он (блок) распространяется по сети интернет. хотя, без разницы. Сжатие не годится для биткоина, и вот почему: - узнать какой будет хеш, имея начальные данные, можно только одним образом - вычислив. обратная задача - по хешу узнать первоначальные данные - практически невозможна, т.е. все равно надо перебрать все множество начальных данных. То есть мы не можем просто взять хороший для нас хеш, нам надо знать (показать всем) и его первообраз. Таким образом, мы получаем трудную задачу получения золота, простите, биткоина. Почему нам нужна трудная, я уже писал. - с другой стороны, компрессия - легкая задача. известно, что хорошо сжимаются структурированные данные (низкая энтропия) и плохо сжимаются неструктурированные, случайные данные (высокоэнтропийные). имея началные данные, примерно можно узнать не компрессируя, хорошие это данные или нет. Более того, имея любые начальные данные, можно составить рекурсивный архив с огромным соотношением компресии (правда он выводит начальные байты много раз, но формально удовлетворяет условиям большой сжимаемости) так что, нет, сжатие не годится. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.12.2017, 12:46 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXS возвращаемся в самое начало топика -- к вопросу о том, существуют ли алгоритмы сжатие, позволяющие заметно повышать степень сжатия битовых последовательностей* посредством производства над ними большого объёма ("сложных") вычислений**? Алгоритмы сжатия устоялись лет эдак 20 тому назад, и вроде ничего нового не открыто с тех пор. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.12.2017, 12:50 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSDima T, надо в блок размером 2 Мб (от которого размера почему-то буквально месяц назад отказалось -- со скандалом! -- уходить сообщество биткойнеров) запихнуть существенно больше инфы, чем удаётся запихнуть им (нынешним биткойнерам).это уже ничего общего с вычислением хешей не имеет. с этими вашими PoW и PoC о которых речь была выше. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.12.2017, 12:56 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
S.G.- узнать какой будет хеш, имея начальные данные, можно только одним образом - вычислив. обратная задача - по хешу узнать первоначальные данные - практически невозможна, т.е. все равно надо перебрать все множество начальных данных. То есть мы не можем просто взять хороший для нас хеш, нам надо знать (показать всем) и его первообраз. Таким образом, мы получаем трудную задачу получения золота, простите, биткоина. Почему нам нужна трудная, я уже писал. -- я надеюсь, что вы понимаете (просто не договариваете), что хеш_с_большим_количеством_ведущих_нулей -- а именно к этом и сводится "хорошесть" хэша в Биткоине -- нужен там ТОЛЬКО для ограничения скорости поступления в систему новых блоков и ни для чего другого. (И я совсем не уверен, что Накамото предвидел то, какой тера-хэшовый ажиот раскрутят в Биткойне жадные китайцы к исходу первого десятилетия ...) Хеш_с_большим_количеством_ведущих_нулей -- это придуманная Накамото реализация сложной_задачи_с_лёгкой_проверкой . Но, вообще говоря, наверное, возможны и другие реализации этой задачи. Я предлагаю рассмотреть в качестве таковой -- задачу (сверх-)сильного сжатия. (Где префикс "сверх-" добавлен авансом -- учитывая уже известную нам теперь жадность китайцев.) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.12.2017, 15:41 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Я-бы следующим пятничным поднял обсуждение оптимизации процесса майнинга. Но боюсь что пока не в теме. И кроме того непонятно о каких клиентах будет идти речь и о каких валютах. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.12.2017, 15:43 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
S.G.компрессия - легкая задача - а вот я открываю в Total Commander вкладку настройки архиватора Zip и там в разделе "Степень сжатия" предлагается выбрать от 0 до 9, причём 1 обозначена как "быстрое" ... не подскажете, почему? И если 1 -- "быстрое", то 9, наверное, "медленное"? ... А почему оно медленное -- потому что процессор просто работает с ленцой? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.12.2017, 15:49 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Кстати (в режиме мозгового штурма), почему бы в качестве другой реализации сложной_задачи_с_лёгкой_проверкой не рассмотреть, например, задачу тренировки нейронной сети? В самом деле, натренировать НС -- сложно (а очень_хорошо натренировать -- очень_сложно). А проверить, что сеть хорошо натренирована -- легко. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.12.2017, 16:02 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSS.G.компрессия - легкая задача - а вот я открываю в Total Commander вкладку настройки архиватора Zip и там в разделе "Степень сжатия" предлагается выбрать от 0 до 9, причём 1 обозначена как "быстрое" ... не подскажете, почему? И если 1 -- "быстрое", то 9, наверное, "медленное"? ... А почему оно медленное -- потому что процессор просто работает с ленцой? Шуткуем? Ведь ясно же, что чем больше степень сжатия, тем дольше (т.е. медленнее) будет идти сам процесс сжатия... Всё логично. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.12.2017, 16:22 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
d7i, значит всё-таки большая степень сжатия это не такая "лёгкая задача", как маленькая степень сжатия? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.12.2017, 16:34 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSКстати (в режиме мозгового штурма), почему бы в качестве другой реализации сложной_задачи_с_лёгкой_проверкой не рассмотреть, например, задачу тренировки нейронной сети? В самом деле, натренировать НС -- сложно (а очень_хорошо натренировать -- очень_сложно). А проверить, что сеть хорошо натренирована -- легко. Натренировать не сложно. НС - это просто ящик со входами и выходами. Сложно вот что: - выбрать архитектуру сети (двухслойная НС с логистической активацией выхода - это классика но есть и другие, Хопфилд, Гроссберг, неокогнитрон e.t.c.) и обосновать почему она такова. - определить что есть входы. - определить репрезентативную выборку для обучения и контрольную (здесь большинство - хитрят. Недообучают или пере-обучают сеть. "Подгоняют под ответ"). - дать смысл значениям на выходе. Тоже по сути связано с предыдущими всеми пунктами. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.12.2017, 16:42 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSS.G.компрессия - легкая задача - а вот я открываю в Total Commander вкладку настройки архиватора Zip и там в разделе "Степень сжатия" предлагается выбрать от 0 до 9, причём 1 обозначена как "быстрое" ... не подскажете, почему? И если 1 -- "быстрое", то 9, наверное, "медленное"? ... А почему оно медленное -- потому что процессор просто работает с ленцой? 1..9 - это скорее всего набор векторов пре-сетов для разных алгоритмов. Никакой линейной зависимости между цифрами нет. Скорее всего авторы просто эмпирически подобрали их и решили что это условно "уровни глубины" процесса архивации. Cкорее всего регулирует размер словаря для LZW алгоритма. И возможно еще опционально включает другие фазы обработки. Поджатие самого словаря. Если посмотреть в настройки 7zip и WinRAR там будет вообще целые семейства алгоритмов с разными настройками. Пожалуй RAR наиболее богатый на настройки тул. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.12.2017, 16:46 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
неужели мы всерьёз обсуждаем вопрос, является ли сильное сжатие более вычислительно_сложной задачей, чем слабое сжатие?! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.12.2017, 17:10 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSнеужели мы всерьёз обсуждаем вопрос, является ли сильное сжатие более вычислительно_сложной задачей, чем слабое сжатие?! они практически одинаковы в вычислительном смысле разница, как и отметил майтон - в величине буферов (словарей) и в прочих мелких деталях. соответственно разница в величине компрессии и времени компрессии - парочка процентов, не более. и, повторюсь, нет волшебного алгоритма для компрессии, который бы долго-долго думал и сжал бы 10GB фильм в пару килобайт. Если вам интересно узнать, что такое "сложная задача", (имеется ввиду действительно сложная), почитайте про шифрование с открытым ключом. Ну там, задача нахождения множителей числа, состоящегося из 1000 цифр, в том случае когда оно представляет произведение двух простых чисел. по сравнению с этим, сжатие - это как собрать детский пазл из 6-ти частей. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.12.2017, 21:09 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
S.G., 1. я не профессионал в проблематике сжатия данных. 2. мне не нужно сжатие в 5 000 000 раз ("10GB ... в пару килобайт"). 10 будет достаточно, 100 - фантастика. 3. "Лидеры же рейтинга — PAQ8PX и WinRK — превосходят 7-Zip в сжатии на 28% и 24% соответственно, но тратят на упаковку гораздо больше времени[10]." ( https://ru.wikipedia.org/wiki/7-Zip ) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.12.2017, 23:55 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXS3. "Лидеры же рейтинга — PAQ8PX и WinRK — превосходят 7-Zip в сжатии на 28% и 24% соответственно, но тратят на упаковку гораздо больше времени[10]." ( https://ru.wikipedia.org/wiki/7-Zip ) Я думаю что все они базируются на определенном предположении относительно природы сжимаемых данных. Если предположение ошибочно - то эти архиваторы бесполезны. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.01.2018, 03:41 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
mayton, ну да, они проверяют имеющиеся у них "модели" и используют ту (те), которая работает для сжимаемого файла. Что в этом плохого? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.01.2018, 13:37 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSS.G., 1. я не профессионал в проблематике сжатия данных. 2. мне не нужно сжатие в 5 000 000 раз ("10GB ... в пару килобайт"). 10 будет достаточно, 100 - фантастика. 3. "Лидеры же рейтинга — PAQ8PX и WinRK — превосходят 7-Zip в сжатии на 28% и 24% соответственно, но тратят на упаковку гораздо больше времени[10]." ( https://ru.wikipedia.org/wiki/7-Zip )все просто. возмьмите несколько архиваторов, посмотрите как они сжимают один и тот же блок, (то, что вы хотели) сделайте табличку-сравнение, выложите сюда. посмотрим :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.01.2018, 18:01 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
S.G., ничего, что все существующие архиваторы ориентированы на быстрое выполнение задачи (на "слабых" бытовых машинках), а мне требуется неограниченно сложное -- по количеству вычислений -- сжатие? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.01.2018, 19:06 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Старик Шеннон хохочет над нами. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.01.2018, 11:13 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
На первой странице топика кто-то упоминал, что можно очень сильно сжимать передаваемое по сети сообщение, если на обеих сторонах (у отправителя и получателЕЙ) имеется одинаковый достаточно объёмный "словарь". Обращаю ваше внимание, что в блокчейн-сетях у каждого участника как раз имеется нечто одинаковое и весьма объёмное -- а именно сам блокчейн. Осталось только приспособить его в качестве "словаря". Привет Шеннону! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.01.2018, 13:15 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Боюсь что этот словарь бесполезен. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.01.2018, 20:30 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
... если просто не уметь его готовить. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.01.2018, 21:50 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Давайте "приспособим" в качестве словаря ГПСЧ. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.01.2018, 23:03 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
maytonДавайте "приспособим" в качестве словаря ГПСЧ. -- в смысле Большой Файл, заполненный выдачей ГПСЧ и розданный всем участникам коммуникации, конечно? Давайте. Чему это противоречит? Может быть, вы станете утверждать, что в конкретной сжимаемой битовой последовательности я не найду вообще НИ ОДНОЙ подпоследовательности, которая бы присутствовала также и в Большом ГПСЧ-файле, и адрес которой в нём (Большом ГПСЧ-файле) записывался бы существенно короче, чем она сама? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.01.2018, 23:36 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Найдете. Но зачем вам сжимать блокчейн? Сжатые данные лишают нас интерфейса произвольного доступа. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.01.2018, 23:45 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
не блокчейн, а только рассылаемый по сети новый блок. Получатели его распакуют и добавят к своим копиям блокчена. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.01.2018, 23:55 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Тогда вы говорите о сжатии сетевых пакетов. Тема - скушная и неинтересная ИМХО. Старик Шеннон просто сообщает нам о том что существует некая верхняя теоретическая граница сжатия. Он - ничего не знает о блокчейне. Я-же добавляю от себя что пользы от коллективного сжатия будет никакой. В качестве proof-of-work она не годится в силу отсутствия полезного эффекта. Сжимали долго. Достигли теоретической границы. Дальше не сжимается. Вопрос. Задлянахрена мы работали? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2018, 00:42 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
maytonСтарик Шеннон просто сообщает нам о том что существует некая верхняя теоретическая граница сжатия. Он - ничего не знает о блокчейне. -- к сожалению, я настолько безграмотен, что даже не знаю, о какой именно "задаче сжатия" это говорил старик Шеннон. Говорил ли он (это) о задаче сжатия, в которой некий "большой словарь" отправлен адресату заранее отдельно от сжимаемого сообщения, например? maytonВ качестве proof-of-work она не годится в силу отсутствия полезного эффекта. -- эта фраза для моего уха звучит более чем странно, поскольку я обсуждаю именно вариант ухода от (нынешнего биткойнового) proof-of-work, в который именно в самом деле "отсутствует полезный эффект". maytonДостигли теоретической границы. Дальше не сжимается. -- если задачи сжатия окажется недостаточно (для реализации достаточного proof-of-work), то можно, в конце концов, ПОСЛЕ (поверх) неё добавить обычный (нынешний) "бесполезный" proof-of-work. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2018, 01:08 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSmaytonДостигли теоретической границы. Дальше не сжимается. -- если задачи сжатия окажется недостаточно (для реализации достаточного proof-of-work), то можно, в конце концов, ПОСЛЕ (поверх) неё добавить обычный (нынешний) "бесполезный" proof-of-work. Я думаю что в наших с вами тезисах нужно убрать всякие "если". Должен быть обоснованный объем вычислений. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2018, 01:17 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
mayton, вы можете представить гибридный автомобиль, который "тормозит генератором" (рекуперируя кинетическую энергию), а ЕСЛИ этого торможения не достаточно, то включается "бесполезное" торможение дисковыми тормозами? Или здесь тоже "нужно убрать всякие если"? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2018, 01:25 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
(Кстати, proof-of-work -- это, собственно, и есть "тормоза" ... процесса генерации новых блоков.) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2018, 01:29 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
А именно: если в системе скачком возрастает мощность задействованных майнинговых ферм (например, владельцы переключают их с майнинга BCH обратно на майнинг BTC), то система "разгоняется" -- блоки начинаю появляться с частотой, большей нормативного значения 1 в 10 минут. Но при следующем пересчёте "сложности" она возрастает так, чтобы "затормозить" систему до нормативной "скорости" -- нормативной частоты появления блоков (1 в 10 минут). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2018, 01:44 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSmayton, вы можете представить гибридный автомобиль, который "тормозит генератором" (рекуперируя кинетическую энергию), а ЕСЛИ этого торможения не достаточно, то включается "бесполезное" торможение дисковыми тормозами? Или здесь тоже "нужно убрать всякие если"? Вы находитесь в позиции доказующего. Это - тяжелая позиция. Вы должны собрать статистику по блокчейну и доказать что ваш метод несет полезный эффект. Моя позиция удобна. Я - критик. Я указал что у нас недостаточно стат-сведений о том чтобы утверждать что сжатие даст какую-то пользу. Особенно для сжатия без потерь которое изначально очень зависимо от энтропии. А если-бы вы сжимали c lossy compression звук или видео то я-бы сразу занял вашу позицию т.к. очень уважаю методы в которых результат заведомо известен и несет расчетную пользу априори. Но нам это не подходит. Бесполезный-же эффект - это тот самый вариант когда "сжатия оказалось недостаточно" - это шаг алгоритма который не приносит никакой пользы для технологии но вызывает массу вопросов у участников проекта. Хуже. У него нет даже приближенной оценки эффективности. Они спрашивают - Зачем Иван внес бесполезный step в алгоритм? - Я не знаю. Мне нечего ответить. А торможение генератором здесь не в тему. Красивый но неудачный пример. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2018, 01:49 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Мне кажется, я уже писал, что очевидная польза от сжатия состоит в том, что оно позволяет "расшить" ограничение на размер блока. Я думаю, ради этого можно даже стерпеть некоторое усложнение алгоритма. Как сильно "ресурсоёмкое сжатие" (и какое именно) позволит сжимать байткод блоков Биткойна -- этого я, конечно, не знаю. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2018, 02:03 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Учитывая бесконечное разнообразие форков блокчейна я думаю что мы сможем сами создать свой собственный с произвольным размером блока. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2018, 10:51 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXS поскольку я обсуждаю именно вариант ухода от (нынешнего биткойнового) proof-of-work, в который именно в самом деле "отсутствует полезный эффект". у вас все намешано в кучу. то вы хотите заменить стандартную проверку хеша какой-то проверкой через сжатие, то вы хотите сжатие наложить поверх стандартной проверки (как еще одна проверка?), то вы хотите просто сжать готовые блоки для переноса по сети. притом, вы кажется уверены, что существуют волшебные алгоритмы для сжатия любых начальных данных, просто процессоры для них слабоваты. вы уверены, что сами для себя выяснили что именно хотите? или просто хочется засунуть сжатие в блокчейн по принципу "кашу маслом не испортить"? выше по теме вроде все уже разжевано. - и почему проверка должна быть трудной - и почему сжатие не годится для проверки - и все остальное ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2018, 11:15 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
S.G., видимо, мне не удаётся достаточно ясно выражаться. 1. не "проверка хеша" и "проверка через сжатие", а "демонстрация выполненной работы (proof-of-work) через предъявление красивого хеша" и "демонстрация выполненной работы (proof-of-work) через предъявление сильно сжатого блока". 2. не "сжатие наложить поверх стандартной проверки", а, наоборот, обязательно сильное сжатие, и только если его не хватит для "создания достаточной сложности" (в чём я не уверен) ВОЗМОЖНОСТЬ дополнить его требованием "красивого хеша". Но да, именно "хочется засунуть сжатие в блокчейн", поскольку жалко огромных вычислительных ресурсов, расходуемых на бессодержательные (сами по себе) поиски "красивыхо хешей". S.G.- и почему проверка должна быть трудной -- спасибо, я знаю. S.G.- и почему сжатие не годится для проверки -- годится. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2018, 11:51 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSНо да, именно "хочется засунуть сжатие в блокчейн", поскольку жалко огромных вычислительных ресурсов, расходуемых на бессодержательные (сами по себе) поиски "красивыхо хешей".Жалко - у пчёлки, а своей хотелкой вы просто выкидываете идею цифрового золота? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2018, 12:33 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Basil A. Sidorov, совершенно не выкидываю идею цифрового золота, поскольку принцип "трудоёмкости" ("ресурсоёмкости") "добычи" новых блоков остаётся на своём месте. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2018, 12:39 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
"Об одном способе ресурсоёмкого сжатия данных" http://www.sql.ru/forum/1281667/ob-odnom-sposobe-resursoyomkogo-szhatiya-dannyh ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2018, 12:40 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSНо да, именно "хочется засунуть сжатие в блокчейн", поскольку жалко огромных вычислительных ресурсов, расходуемых на бессодержательные (сами по себе) поиски "красивыхо хешей". Для бесполезного сжатия не жалко ресурсов? Какая разница: жечь ресурсы ради дополнительного нолика в хэше или ради уменьшения архива на 1 байт? По моему разницы никакой. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2018, 12:57 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Dima T, у вас есть версия ответа на вопрос, почему в ноябре сообщество Биткойна отказалось от (обещанного!) увеличения размера блока с жалких 2 Мб до (столь же жалких, собственно) 4 Мб? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2018, 13:11 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSDima T, у вас есть версия ответа на вопрос, почему в ноябре сообщество Биткойна отказалось от (обещанного!) увеличения размера блока с жалких 2 Мб до (столь же жалких, собственно) 4 Мб? Не знаю, не слежу за этой темой. По-большому счету пофиг на размер этой цифры, ни 2, ни 4 тут неуместно. Это значение не должно быть узким местом всей системы, т.е. должно быть аналогом "дофига", т.е. какое-то гигантское число, которое никогда не будет достигнуто. Например 2^64. От того что 2 Мб заменить на "2 Мб пожатые" проблема никак не решается, т.к. это не "дофига", а всего в 3-5-10 раз больше чем 2 Мб, т.е. сжатие проблему не решает, а отодвигает в будущее. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2018, 13:43 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
У меня есть версия, что *coin/*cash - очередной кипеш, позволяющий одним участникам отнимать деньги других в игре с нулевой суммой. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2018, 13:43 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Dima Tсжатие проблему не решает, а отодвигает в будущее. да, нужен вечный двигатель. А вся эта борьба за снижение расхода топлива на 100 км пробега (какая разница, 7 литров или 2 ?!) проблему не решает, а отодвигает в будущее. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2018, 13:57 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Basil A. Sidorov, вы не в теме: у БиткойнКеша размер блока 8Мб и он-то как раз появился. А с 2Мб до 4Мб (летом) договорились повысить (с ноября) размер блока в "основном" Биткойне. А потом передумали. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2018, 14:01 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSS.G.компрессия - легкая задача - а вот я открываю в Total Commander вкладку настройки архиватора Zip и там в разделе "Степень сжатия" предлагается выбрать от 0 до 9, причём 1 обозначена как "быстрое" ... не подскажете, почему? И если 1 -- "быстрое", то 9, наверное, "медленное"? ... А почему оно медленное -- потому что процессор просто работает с ленцой?а еще вы путаете сложность алгоритма и скорость процессора. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2018, 17:00 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Basil A. SidorovУ меня есть версия, что *coin/*cash - очередной кипеш, позволяющий одним участникам отнимать деньги других в игре с нулевой суммой. Мне кажется что существуют условия при которых придет кирдык всем коинам. 1) Энергозатраты на эмиссию электронной банкноты превышают ее номинал. Добыча новых банкнот завершена. 2) Датацентры станут продавать услугу хранения всего чейна. Больше не нужно хранить 120 Гиг кошелёк. Теряется сама идея децентрализованного хранения. Приходим снова к централизации. 3) Датацентры станут продавать услугу подписывания цепочки. Снова централизация. 4) Мощные рабочие станции уходят из розничной продажи как класс устройств. Остаются мобилы и смартфоны и ноуты на которых майнить бесполезно. 5) Большая часть полимеров монеток про$бана и никто ими не владеет. А следовательно утеряна для оборота. Это наступит не скоро... но когда-тож блин наступит. Можно рассмотреть еще ситуацию когда очередной железячный гигант (IBM/Intel....e.t.c) создаёт квантовое железо которое решает проблему эффективнее ЦОД-ов и облаков. Что также нивелирует наши жалкие потуги соперничать с таким прорывом. Как и чо там под капотом будет устроено - ХЗ. Я не в теме. Но эксперты постоянно вещают-де квантовый комп с кубитами и прочими запутанными молекулами способен поделить на ноль любую криптографию. Опять-же я здесь подчеркну что не в теме пока. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2018, 23:17 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
maytonквантовый комп с кубитами и прочими запутанными молекулами способен поделить на ноль любую криптографию ... кроме квантовой. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2018, 23:52 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
maytonНо эксперты постоянно вещают-де квантовый комп с кубитами и прочими запутанными молекулами способен поделить на ноль любую криптографию.Насколько я понимаю, размеры уже существующих квантовых компьютеров "маловаты будут". Когда станет возможно и станет ли возможно вообще делать квантовые компьютеры адекватных размеров - большой вопрос. Это как с "P=NP". Ну докажут, что "эффективное решение существует". Замечательно. Каким образом это знание приближает нас к нахождение этого самого эффективного решения? Правильно - никаким. Просто потому, что это - совсем другая задача. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.01.2018, 01:01 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
В математике так принято. Сначала доказать существование. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.01.2018, 09:27 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
maytonЭнергозатраты на эмиссию электронной банкноты превышают ее номинал. энергозатраты измеряются в КВт-часах, "номинал электронной банкноты" -- это, наверное всё-таки, "один биткоин"... как может любое количество КВт-часов -- само по себе! -- "превышать один биткоин"? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.01.2018, 09:38 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSmaytonЭнергозатраты на эмиссию электронной банкноты превышают ее номинал. энергозатраты измеряются в КВт-часах, "номинал электронной банкноты" -- это, наверное всё-таки, "один биткоин"... как может любое количество КВт-часов -- само по себе! -- "превышать один биткоин"? А как можно сравнивать доллар с евро? Тоже никак. Размерность разная. Но люди как-то сравнивают а некоторые даже делают на этом бизнес. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.01.2018, 09:50 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
mayton, люди не используют словосочетание "номинал банкноты" при таких сравнениях. Вообще, номинал стодолларовой банкноты -- это 100, просто безразмерное число 100. Вот, "самый крупный номинал банкнот Евро в пять раз больше самого крупного номинала долларовых банкнот" -- это правильное суждение о "сравнении номиналов". По содержанию, PoW это адаптивный механизм, в котором параметр "сложность" может как снижаться, так и повышаться. Поэтому (плюс стандартная экономическая логика) добыча биткоинов точно не прекратится из-за "энергозатрат". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.01.2018, 09:58 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSВообще, номинал стодолларовой банкноты -- это 100, просто безразмерное число 100. здрасьте, как это безразмерное? Вполне себе размерное, размерность - доллары. а то у вас получается, 100 долларов - безразмерное число, 100 рублей - тоже безразмерное число, и выходит что 100 долларов = 100 рублей. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.01.2018, 09:50 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
S.G., да, с "номиналом" я прокололся, признаю. Поэтому спрошу по другому: maytonЭнергозатраты на эмиссию электронной банкноты превышают ее номинал. Добыча новых банкнот завершена. -- энергозатраты в чём измеряются -- по прежнему в КВт-часах или уже напрямую в биткоинах? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.01.2018, 08:08 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Рискну предположить что киловатт/час все таки первичен. Физика, брат... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.01.2018, 09:57 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
mayton, значит прежде чем утверждать "энергозатраты на эмиссию электронной банкноты превышают ее номинал" нужно что-то сказать про коэффициент пересчёта киловатт-часов в эту электронную валюту? И сами "энергозатраты на эмиссию электронной банкноты" тоже не входят, кстати, в число фундаментальных физических констант ... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.01.2018, 10:10 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
maytonМне кажется что существуют условия при которых придет кирдык всем коинам... ИМХО не с той стороны смотришь. Все что ты перечислил - решаемо. Эти лохотроны будут работать пока любители халявы не переведутся, т.е. вечно. https://www.bfm.ru/news/374461 Криптовалютные биржи закрылись из-за натиска новых пользователей. Крупные биржи Bitfinex в Гонконге, Binance в Шанхае и Bittrex в США перестали регистрировать новые аккаунты из-за их массового притока. Об этом пишет Cointelegraph. Шанхайская и гонконгская биржи приостановили регистрацию в конце 2017 года, а американская перекрыла доступ новым пользователям 5 января. Представители бирж объясняют это необходимостью обновить инфраструктуру. Та, что имеется, сейчас уже не справляется с большим числом запросов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.01.2018, 13:21 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
а тем временем По данным издания, сеть Telegram Open Network (TON) станет «блокчейном третьего поколения» после биткоина и эфира. Компания запустит токены Gram для внутренних пользовательских платежей. ..... По данным TechCrunch, запуск Telegram External Secure ID намечен на первый квартал. Кошелек Telegram Wallet планируется запустить в четвертом квартале, а основанная на TON экономика может появиться в первом квартале 2019 года. Подробнее на https://ru.insider.pro/topnews/2018-01-09/smi-telegram-provedet-odno-iz-krupnejshih-v-istorii-ico/ ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.01.2018, 13:42 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Мдя... Дадут копоти. Интересно куда партия зеленых смотрит? Атмосферу греют ... Вобщем глобальный капец еще ближе. Давайте больше криптовалют! Так чтоб бытовые конвекторы стали не нужны... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2018, 00:42 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Может у Павла Дурова в его Gram-е будет не PoW ... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2018, 01:30 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
maytonАтмосферу греют ... больше криптовалют! Так чтоб ... ...чтоб тарифы на электричество фзлетели ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2018, 11:05 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXS, ага, у дурова будут виртуальные тюльпаны на криптопонике. Важно, чтбы бусы блестели, иначе их никто не захочет заиметь. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2018, 11:10 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Объявление на стенке: Организую поставки криптонавоза, идентичного натуральному, для криптопоники. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2018, 11:16 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
exp98, подозреваю, что вы (как и я) практически ничего пока не знаете о том, что именно будет у Дурова. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2018, 12:09 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
У "наших" нуворишей может получиться что-нить отличное от ммм? лишь бы урвать поскорее. Мы уже наблюдали ё-моё. Это не авиапромышленность воссоздавать, к примеру ... Пари? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2018, 12:28 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
exp98, Павел Дуров -- "наш нувориш"? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2018, 13:10 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
maytonРискну предположить что киловатт/час все таки первичен. Физика, брат...да, это действительно проблема. бумажные деньги не тратят электроэнергию для своего хранения, а биткоины- тратят. с другой стороны, кто измерял трату электроэнергии в серверах банков (да и вообще в банках) по всему миру? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2018, 15:24 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSПавел Дуров -- "наш нувориш"? Мне больше импонирует Моцарт ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2018, 15:29 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
exp98, "Порву за Моцарта!" ) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2018, 15:30 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
S.G.кто измерял трату электроэнергии в серверах банков где-то встречал, что VISA тратит электроэнергии очень до фига ... но и транзакций, конечно, тоже до фига осуществляет... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2018, 15:38 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Есть варианты криптовалют без сжигания электроэнергии: сообщество выбрало ответственных, они каждый своей ЭЦП подписали, вознаграждение за это попили меж собой. Готово. Никаких бесполезных переборов. Есть тут спорные моменты в выборе подписывателей, но, думаю, в итоге эта схема приживется. Потому что расход электричества на майнинг уже перешел все разумные пределы. Недавно в новостях писали что в Китае майнерам хотят ограничить электроснабжение, т.к. инфраструктура не справляется с такими нагрузками. Иначе будет как выше написали: "вырастут тарифы всем", т.к. на инфраструктуру деньги надо будет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2018, 15:51 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Basil A. SidorovЛично для меня бессмысленны оба занятия это повтор (уже говорилось), поэтому и мне приходится повторяться: майнинг бессмыслен сам по себе , но в внутри блокчейна (даже не криптовалюты, а именно блокчейна!) он выполняет вполне определённую (а значит осмысленную) функцию авторегулировки частоты возникновения новых блоков. Точно также, например, бессмысленны ( сами по себе ) усилия по разложению на множители гигантских целых чисел. Но внутри проекта поиска простых чисел они совершенно необходимы (не обсуждаю, насколько осмыслен сам этот проект). Basil A. Sidorov для майнинга хэшей есть чёткий алгоритм и побеждать будет тот, у кого больше вычислительных мощностей при равной архитектуре. Включая архитектуру, специально разработанную под конкретную задачу. Майнинг -- процесс вероятностный: "побеждает" -- на каждом шаге -- тот, кому повезёт. Но шансы больше у того, у кого более мощное оборудование. Собственно, в "модельной" задаче поиска простых чисел тоже так: "побеждает" (находит каждое новое число) не обязательно именно тот, у кого самый мощный компьютер. (Да, кстати, можно и явно произнести, что существую проекты (и даже, кажется, реализации) блокчейнов, в которых майнятся не хэши, а именно (новые) простые числа!) Basil A. Sidorov Чтобы майнить степени сжатия требуется или каждый раз разрабатывать алгоритм сжатия под конкретную последовательность, что выглядит несколько утопично или подбирать некий мифический параметр. именно -- "или подбирать ... параметр". Наконец мы начали различать подбор параметра и изобретение алгоритма. А если в процессе "майнинга степени сжатия" будут изобретаться новые, более эффективные алгоритмы сжатия, -- так это же просто пир духа, прямая польза для благодарного Человечества! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.01.2018, 10:42 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSименно -- "или подбирать ... параметр". Наконец мы начали различать подбор параметра и изобретение алгоритма.Вы, блин, блаадетель челвечества, параметры обычных алгоритмов видели? Параметров этих - счётное число. Даже меньше, чем можно человеческим телом сосчитать (720). Неужели вы думаете, что перебрать эти параметры - тяжкий труд? Да архиваторы уже используют параллельное сжатие с разными вариантами для выбора "наилучшего на данном блоке". Или, может быть, вы думаете, что сумеете обеспечить параметр мощности порядка 2^64 и со стохастическим разбросом степени сжатия по этому множеству? Снимите, наконец, розовые очки и спускайтесь с облаков на землю. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.01.2018, 11:42 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Basil A. Sidorov, ну я же придумал (прямо на коленке) пример (не работающий, наверняка, но пример) алгоритма сжатия, который использует перебор seed ( 21079962 ). А вы продолжаете про " обычных алгоритмов"! В моей постановке задачи нужен не " обычный ", а специальный ресурсоёмкий алгоритм. (Какая польза от таклго агоритма -- буде он избретён -- случится вне задачи "майнинга степени сжатия" -- это отдельный разговор.) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.01.2018, 11:56 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSну я же придумал (прямо на коленке) пример ( не работающий , наверняка, но пример)Я подчеркнул ключевое слово. Неработающих идей у меня самого - хоть пруд пруди. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.01.2018, 12:08 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Basil A. Sidorov, дык, я тут играю в поддавки, а вы поддаётесь на эту игру в поддавки. Но вообще-то, почему порождаемый (на основе ГПСЧ) "словарь" (который, благодаря его порождаемости, не нужно целиком запихивать в архивный файл) не даст преимущества перед хранимыми (в архивном файле) словарями, -- никто мне пока не объяснил. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.01.2018, 12:17 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSНо вообще-то, почему порождаемый (на основе ГПСЧ) "словарь" (который, благодаря его порождаемости, не нужно целиком запихивать в архивный файл) не даст преимущества перед хранимыми (в архивном файле) словарями, -- никто мне пока не объяснил.Лемовские "Сказки роботов" почитайте - там практически ваш случая рассмотрен. Генерация информации из белого шума. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.01.2018, 12:20 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Basil A. Sidorov, да-да, вы, наверное, и шифрование сообщений при помощи ГПСЧ будете отрицать. А всего-то: порождаем на основании очередного (записанного на бумажке и у Штирлица, и в Центре) seed случайную последовательность битов и суммируем её (побитово) с отправляемым сообщением. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.01.2018, 12:26 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSшифрование сообщений при помощи ГПСЧ будете отрицать. А всего-то: порождаем на основании очередного (записанного на бумажке и у Штирлица, и в Центре) seed случайную последовательность битов и суммируем её (побитово) с отправляемым сообщением.Гамма не порождает информацию, а прячет её в белом шуме. Чтобы понять это не требуется даже высшей математики. Вот когда научитесь шифровать одной гаммой, а расшифровывать другой - тогда и будете ёрничать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.01.2018, 13:15 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Basil A. SidorovГамма не порождает информациюа словарь порождает информацию? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.01.2018, 13:25 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
... он, собственно, тоже шифрует информацию. Вопрос ровно в том, удастся ли сделать зашифрованное сообщение короче (числом битов), чем исходное. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.01.2018, 13:27 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXS, сейчас наткнулся, Вы это пробовали? (я - нет) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.01.2018, 13:35 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
exp98, нет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.01.2018, 13:40 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSНо вообще-то, почему порождаемый (на основе ГПСЧ) "словарь" (который, благодаря его порождаемости, не нужно целиком запихивать в архивный файл) не даст преимущества перед хранимыми (в архивном файле) словарями, -- никто мне пока не объяснил. Когда очередной изобретатель приходит в академию наук с очередной идеей вечного двигателя, ему никто ничего не объясняет, просто показывают на дверь. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.01.2018, 19:35 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
S.G., где в это академии наук дверь? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.01.2018, 20:29 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSS.G., где в это академии наук дверь?это та, через которую входят. она же, через которую выходят :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2018, 09:29 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
S.G.в академию наук с очередной идеей вечного двигателя А никто не помнит "окончательные вердикты" Французской Ак.Н. ? Камни не могут падать с неба, ибо оно не твердь земная. Аппараты тяжелее воздуха летать не могут. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2018, 12:02 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
exp98, вообще не проблема: кто-то малознакомый (не будем показывать пальцем ... на S.G.) нагрубил. Ну, нагрубил и нагрубил. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2018, 17:49 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
exp98S.G.в академию наук с очередной идеей вечного двигателя А никто не помнит "окончательные вердикты" Французской Ак.Н. ? Камни не могут падать с неба, ибо оно не твердь земная. Аппараты тяжелее воздуха летать не могут. Ну наивные они и непредусмотрительные. Надо так: "Проект вечного двигателя будет рассмотрен после того, как его работающий прототип в течение двухсот лет бесперебойно снабдит электричеством здание Академии". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2018, 17:54 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Я знаю как как передать любые сжатые данные достаточно большой длины ещё короче, чем их длина. В принципе это не шутка, это из области фреймворков. Какого хрена тсп-пакеты порожняком бегают? Кодируем часть данных номерами пакетов. Над вариантами можно думать. Например одна инверсия номеров (i+1, i) == 1, 0 - отсутствию инверсии. Для большей надёжности можно использовать помехоустойчивое кодирование. Например среди кодов хэмминга. 1 == нечётная перестановка нескольких номеров, 0 - чётная. Кодируемый кусок данных на другом конце стыкуется с "легальными". Конечно такой способ бессилен против "order by desc" провайдера. Однако, если исходную часть разбить на части, передаваемые поотдельности, то можно например биты кодировать сессиями. Или ещё как-нить. Главное, провайдеру не говорить. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2018, 10:00 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Мы спекулируем термином ГПСЧ. Но если его (гпсч) рассмотреть в композиции Марковской модели автомата Который порождает слоги, буквы , слова и словосочетания то идея Ивана вполне себе рабочая. Но основную сложность мы переносом в другую функцию, которую также надо сжато передать по каналу связи и это больший челлендж чем гпсч. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2018, 10:41 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
mayton, вообще говоря, если мы на Альфа Центавра отправляем сжатый архиватором файл, и хотим чтобы тамошние альфацетавряне его распаковали, то мы должны вместе с файлом архива и (де-)архиватор отправить, и ... операционную систему, и много чего ещё, даже перечислять не возьмусь. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2018, 11:30 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
maytonНо если его (гпсч) рассмотреть в композиции Марковской модели автомата Который порождает слоги, буквы , слова и словосочетания то идея Ивана вполне себе рабочая. Нерабочая идея, т.к. по сути это тот же самый словарь что и при обычном сжатии, но это словарь с огромной избыточностью, как следствие избыточна длина идентификатора каждой записи словаря. Сжатие ведь идет за счет того что самые частые записи имеют самый короткий идентификатор. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2018, 11:45 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Dima TСжатие ведь идет за счет того что самые частые записи имеют самый короткий идентификатор. -- это верно, но приписывание различным "частым записям" идентификаторов, более коротких, чем сами эти записи могло бы продвинуться весьма далеко, если бы не необходимость создать для каждой такой замены "словарную статью". Представьте, что в нашем входном потоке в конце концом обнаружилось два вхождения строки длиной 1000 бит, а возможность создавать короткие идентификаторы исчерпана вплоть до идентификатора длиной 998 бит ... Ничего, мы обозначим (и заменим) эту 1000-битную строку 999-битным идентификатором -- сожмём, казалось бы, входную строку ещё на 2 бита! Однако нет, "расход битов" на указание соответствия 1000-битной строки 999-битному идентификатору будет по-любому больше этой "экономии" 2-х битов. То есть создание словаря прекращается тогда, когда "маржинальные" расходы (в битах) на пополнение словаря становятся равны экономии (битов) от применения новых "словарных статей". А вот это последнее условие будет совершенно по другому "исчисляться" при использовании "генерируемого словаря" (чем при использовании словаря, вписываемого в архив). При том, что сам по себе "генерируемый словарь" будет, конечно, заметно менее эффективен (по экономии битов при применении "словарных статей"), чем вписываемый в архив "свободный" словарь. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2018, 12:18 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSDima TСжатие ведь идет за счет того что самые частые записи имеют самый короткий идентификатор. -- это верноточнее, не верно: сжатие идет за счет того, что записи имеют более короткий идентификатор, чем они сами. А вот " хорошим " (" лучшим ") сжатие становится "за счет того что самые частые записи имеют самый короткий идентификатор", как вы написали. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2018, 12:47 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
exp98S.G.в академию наук с очередной идеей вечного двигателя А никто не помнит "окончательные вердикты" Французской Ак.Н. ? Камни не могут падать с неба, ибо оно не твердь земная. Аппараты тяжелее воздуха летать не могут.Не знаю, почему этот пример всегда приводят. Это было во времена, когда химия была еще алхимией, и наука была сродни теперешним псевдо-наукам. По сути, было одно название, науки как таковой не было. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2018, 13:04 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
softwarerexp98пропущено... А никто не помнит "окончательные вердикты" Французской Ак.Н. ? Камни не могут падать с неба, ибо оно не твердь земная. Аппараты тяжелее воздуха летать не могут. Ну наивные они и непредусмотрительные. Надо так: "Проект вечного двигателя будет рассмотрен после того, как его работающий прототип в течение двухсот лет бесперебойно снабдит электричеством здание Академии". +1 Аналогично, пусть кто-то (не будем указывать пальцем, но это Иван FXS) , сначала покажет работающий прототип архиватора на основе ГПСЧ, а потом уже будем рассуждать по нему. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2018, 13:06 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSточнее, не верно: сжатие идет за счет того, что записи имеют более короткий идентификатор, чем они сами. Необязательно. Помню свою первую реализацию "аля Хаффмана" (тогда, в конце 80-х, о Хаффмане мы еще ничего не знали, по частоте встречаемости символов в тексте, косое бинарное дерево) - идентификатор наиболее часто встречаемого символа занимал 1 бит, наиболее редко встречаемого мог занимать гораздо более 8 бит. Степень сжатия, конечно, была не очень, но цели были несколько другими (зашифровать текстовую справочную систему и успевать отображать на экране из архива, чтобы при скролинге пользователь не замечал тормозов). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2018, 13:14 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
LRидентификатор наиболее часто встречаемого символа занимал 1 бит, наиболее редко встречаемого мог занимать гораздо более 8 бит. Степень сжатия, конечно, была не очень, но цели были несколько другими (зашифроватья даже не буду цепляться к "цели были несколько другими (зашифровать" Дело том, что если оставить некоторые подстроки "не закодированными" (не заменять их идентификаторами), то нужно будет тратить ресурсы (биты) на маркировку этих частей выходного потока как "сырые данные" (которые бери как есть, не пытайся раскодировать). Поэтому можно представить ситуацию, когда некоторые ("последних из могикан") подстроки входного потока оказывается выгоднее закодировать даже более длинными, чем они сами, идентификаторами. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2018, 13:33 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
кстати LRидентификатор наиболее часто встречаемого символа занимал 1 бит -- а сколько бит занимала "разметка", позволяющая идентифицировать этот идентификатор как идентификатор? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2018, 13:36 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
S.G.Аналогично, пусть кто-то (не будем указывать пальцем, но это Иван FXS) , сначала покажет работающий прототип архиватора на основе ГПСЧ, а потом уже будем рассуждать по нему.объясните, -- если предположить, что я сваял "работающий прототип архиватора на основе ГПСЧ", -- зачем бы мне понадобилось вот это вот -- "сначала покажет ..., а потом уже будем рассуждать по нему"? Я обсуждаю тему, по которой у меня нет ясного понимания, чтобы получить это -- более ясное -- понимание. Если вам это не интересно, значит ... вам это не интересно, вот и всё. Это, кажется, свободны форум свободных людей. (Извините, если получилось резко.) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2018, 13:42 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSкстати LRидентификатор наиболее часто встречаемого символа занимал 1 бит -- а сколько бит занимала "разметка", позволяющая идентифицировать этот идентификатор как идентификатор? В архив сначала записывалось полученное "косое дерево" (словарь), затем - _битовая_ последовательность кодированного содержимого. Из архива вначале извлекалось "дерево", на котором "листьями" висят символы, и, затем последующая _битовая_ последовательность бит за битом указывала куда идти по дереву (0/1 = налево/направо), до "листиков" - листик за листиком. Вот сами и решайте сколько бит занимает здесь "разметка"... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2018, 14:44 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
LR, то есть никакая часть Z входной строки не остаётся не закодированной (в выходной строке S)? Тогда да, в "_битовой_ последовательность кодированного содержимого" можно обойтись без разметки. Если некоторая подстрока Z во входной строке S встретилась ровно один раз (уникальна), то вам нужно 1) разместить её в словаре; 2) как-то "увязать" её там с её кодом (возможно, именно это получится довольно компактно); 3) поставить её код (в "_битовой_ последовательность кодированного содержимого") на место, указывающее положение Z в S. То есть конкретно эта подстрока Z "сыграет" весьма против сжатия ... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2018, 15:11 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
читай "никакая часть Z входной строки S не остаётся не закодированной (в выходной строке S')" ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2018, 15:14 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXS, да, кодируется все ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2018, 15:17 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSподстрока Z "сыграет" весьма против сжатия... даже не упоминая о том, что её код может оказаться длиннее её самой ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2018, 15:22 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSЕсли некоторая подстрока Z во входной строке S встретилась ровно один раз (уникальна), то вам нужно 1) разместить её в словаре; 2) как-то "увязать" её там с её кодом (возможно, именно это получится довольно компактно); 3) поставить её код (в "_битовой_ последовательность кодированного содержимого") на место, указывающее положение Z в S. То есть конкретно эта подстрока Z "сыграет" весьма против сжатия ... Размещение Z в теле архива тоже не бесплатно: надо будет предусмотреть какой-то идентификатор что далее значение строки, а не ее идентификатор из словаря. Еще надо как-то задать размер строки. Поэтому вопрос спорный как в итоге компактнее будет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2018, 16:23 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Dima T, вроде бы я именно это и написал в 13:33 : Иван FXSДело том, что если оставить некоторые подстроки "не закодированными" (не заменять их идентификаторами), то нужно будет тратить ресурсы (биты) на маркировку этих частей выходного потока как "сырые данные" (которые бери как есть, не пытайся раскодировать). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2018, 17:07 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSПредставьте, что в нашем входном потоке в конце концом обнаружилось два вхождения строки длиной 1000 бит ... ИМХО Я бы вообще повторы не стал рассматривать, обсуждая ГПСЧ, т.к. при наличии повтора более короткую подстроку можно заменить ссылкой на более длинную, т.е. ГПСЧ получается вовсе ни при чем. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2018, 17:25 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
не понял, что такое Dima Tболее короткую подстроку ... более длинную в случае повтора? Ну и подстроки "0" и "1" (или, скажем, "00", "01", "10" и "11") повторяются до ... многократно. Только на что их заменять? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2018, 17:31 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSне понял, что такое Dima Tболее короткую подстроку ... более длинную в случае повтора? Ну и подстроки "0" и "1" (или, скажем, "00", "01", "10" и "11") повторяются до ... многократно. Только на что их заменять? ИМХО ответ на этот вопрос очевиден. Если менять не на что, то не менять. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2018, 18:36 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSmayton, вообще говоря, если мы на Альфа Центавра отправляем сжатый архиватором файл, и хотим чтобы тамошние альфацетавряне его распаковали, то мы должны вместе с файлом архива и (де-)архиватор отправить, и ... операционную систему, и много чего ещё, даже перечислять не возьмусь. Зачем операционную систему? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2018, 21:26 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
типа, (де-)архиватор настолько кроссплатформенный, что и на альфацетаврианской операционке отработает? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2018, 21:52 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSтипа, (де-)архиватор настолько кроссплатформенный, что и на альфацетаврианской операционке отработает?Можно подумать, что операционная система поднимется на центаврианском железе. Это даже если (внезапно) найдётся способ воплотить передаваемый сигнал в принятые на Центавре системы хранения. P.S. А зря вы не хотите думать о физических пределах и ограничениях. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.01.2018, 00:07 |
|
||
|
Дисперсия длины архива?
|
|||
|---|---|---|---|
|
#18+
Иван FXSS.G.Аналогично, пусть кто-то (не будем указывать пальцем, но это Иван FXS) , сначала покажет работающий прототип архиватора на основе ГПСЧ, а потом уже будем рассуждать по нему.объясните, -- если предположить, что я сваял "работающий прототип архиватора на основе ГПСЧ", -- зачем бы мне понадобилось вот это вот -- "сначала покажет ..., а потом уже будем рассуждать по нему"? Я обсуждаю тему, по которой у меня нет ясного понимания, чтобы получить это -- более ясное -- понимание. Если вам это не интересно, значит ... вам это не интересно, вот и всё. Это, кажется, свободны форум свободных людей. (Извините, если получилось резко.)Потому что создать таким образом архиватор - невозможно. Поэтому полезно попробовать не только "на пальцах", но и создать прототип, и посмотреть как он будет работать. Скомпрессировать, например, какой-нибудь хеш :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.01.2018, 16:04 |
|
||
|
|

start [/forum/topic.php?all=1&fid=16&tid=1340183]: |
0ms |
get settings: |
10ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
167ms |
get topic data: |
14ms |
get forum data: |
3ms |
get page messages: |
141ms |
get tp. blocked users: |
2ms |
| others: | 278ms |
| total: | 637ms |

| 0 / 0 |
