ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Ты суслика видишь? А он есть! (с) Как его найти?
25 сообщений из 26, страница 1 из 2
  1  все
Ты суслика видишь? А он есть! (с) Как его найти?
    #38860013
iskatelsql
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iskatelsql
Участник
допустим есть число, к примеру 12345 21012015105545

как видно оно содержит дату/время (выделил жирным)

и есть другое число, к примеру 54321 21012015105547

вобщем есть мильон таких чисел, для каждого известны дата/время но не известно где в подопытном числе они закодированы (зто для примера я выделил жирным шрифтом, а в оригинале неизвестны ни местоположение в числе, ни формат, да и вообще может быть UNIX-time )

суть в том, что есть миллион семплов, содержащих информацию, для каждого из которых эта информация известна

Есть ли какой нить алгоритм и т.п. для того чтоб провести статистический анализ, и в итоге из мильонпервого (нового) семпла, выделить необходимую информацию (которая заранее неизвестна)?

Другими словами нужно "вскрыть" алгоритм упаковки даты в число, зная только то, что дата в числе есть, и имея мильон семплов с правильными датами
...
Рейтинг: 0 / 0
21.01.2015, 18:24
| Ответить | Цитировать | Написать  
Ты суслика видишь? А он есть! (с) Как его найти?
    #38860082
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
Смотри на число как на строку

В данном случае для поиска даты тупо отрезать последние 14 символов. В общем случае Каждые 8 (или 14) символов проверять на валидность даты, т.е. вписывается календарь.
...
Рейтинг: 0 / 0
21.01.2015, 19:39
| Ответить | Цитировать | Написать  
Ты суслика видишь? А он есть! (с) Как его найти?
    #38860085
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
PS Если прятали не дилетанты - суслика не увидишь.
...
Рейтинг: 0 / 0
21.01.2015, 19:40
| Ответить | Цитировать | Написать  
Ты суслика видишь? А он есть! (с) Как его найти?
    #38860092
iskatelsql
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iskatelsql
Участник
Dima T,

да в том и вопро - можно ли на основе статистики найти некоторую преобразующую функцию....

понятно что это не просто парсинг, это чтото из области нейронных сетей... только про них я знаю мало, на уровне распознавания символов :(
...
Рейтинг: 0 / 0
21.01.2015, 19:54
| Ответить | Цитировать | Написать  
Ты суслика видишь? А он есть! (с) Как его найти?
    #38860093
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Akina
Участник
iskatelsqlизвестны дата/время но не известно где в подопытном числе они закодированыЕсли они не пошифрованы, следует группировать их по частичному совпадению и искать полностью совпадающие в группе блоки битов.
Иначе задача простыми методами (а то и вообще) нерешаема.
...
Рейтинг: 0 / 0
21.01.2015, 19:55
| Ответить | Цитировать | Написать  
Ты суслика видишь? А он есть! (с) Как его найти?
    #38860101
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Это по сути - забавная угадайка. Тоесть на вход нам идёт случайный шум в виде символов. И нам предлагается угадать
что этот шум может содержать либо

дату в различных форматах (21012015105545 - 2101-20-15 10:55:45 типа YYYY-MM-DD HH24:MI:SS). Которых OVER 9000

символы целого числа представляющего собой Unix-время в мс с 1 января 1970 г.
...
Рейтинг: 0 / 0
21.01.2015, 20:04
| Ответить | Цитировать | Написать  
Ты суслика видишь? А он есть! (с) Как его найти?
    #38860104
Фотография Relic Hunter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Relic Hunter
Участник
iskatelsqlдопустим есть число, к примеру 12345 21012015105545 Этоt алгоритм называется "garbage-in-garbage-out". Оч. популярный кстати :)
...
Рейтинг: 0 / 0
21.01.2015, 20:08
| Ответить | Цитировать | Написать  
Ты суслика видишь? А он есть! (с) Как его найти?
    #38860105
iskatelsql
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iskatelsql
Участник
mayton,

вобщем то да!

Вопрос конечно больше теоретический, но всеже... долго вглядываясь в лужу можно найти воду...

одно НО: формат сохраняется, а семплов немеряно - грубо говоря: остальное меняется а это остается.
...
Рейтинг: 0 / 0
21.01.2015, 20:11
| Ответить | Цитировать | Написать  
Ты суслика видишь? А он есть! (с) Как его найти?
    #38860109
iskatelsql
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iskatelsql
Участник
ЗЫЫ тут речь СОВСЕМ НЕ О ПАРСИНГЕ, ибо им задачу не решишь

речь больше об алгоритме с обратной связью, который этот "шум" изучит, и найдет некоторую передаточную функцию
...
Рейтинг: 0 / 0
21.01.2015, 20:16
| Ответить | Цитировать | Написать  
Ты суслика видишь? А он есть! (с) Как его найти?
    #38860110
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Мусор на входе - стопудово. Но если взять за основу два элемента выборки
что привёл автор. То можно видеть как-будто-бы положительную корреляцию
начиная с 6-й позиции символов.
Код: sql
1.
2.
1234521012015105545
5432121012015105547


Для минут и секунд скорее всего будет фейл ну и фиг с ним. Вообще
судить о выборке по 2 элементам невозможно т.к. неясно какие еще
тренды могут быть.
...
Рейтинг: 0 / 0
21.01.2015, 20:16
| Ответить | Цитировать | Написать  
Ты суслика видишь? А он есть! (с) Как его найти?
    #38860140
scf
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
scf
Участник
Топикстартеру для начала следует сформулировать, что именно он хочет найти. Есть строка. Как решить является ли она датой/временем? "0" является датой-временем, например?
...
Рейтинг: 0 / 0
21.01.2015, 21:08
| Ответить | Цитировать | Написать  
Ты суслика видишь? А он есть! (с) Как его найти?
    #38860146
iskatelsql
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iskatelsql
Участник
хочу найти суслика...
знаю что он там есть
образцы сусликов есть...

это чтото из области статистики, нейронных сетей...

НЕ НАДО парсить строку (всем парсерам посвящается :))
...
Рейтинг: 0 / 0
21.01.2015, 21:16
| Ответить | Цитировать | Написать  
Ты суслика видишь? А он есть! (с) Как его найти?
    #38860147
scf
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
scf
Участник
iskatelsql,

Так бы сразу и сказал, что любитель поиска сферических сусликов в вакууме.
...
Рейтинг: 0 / 0
21.01.2015, 21:18
| Ответить | Цитировать | Написать  
Ты суслика видишь? А он есть! (с) Как его найти?
    #38860149
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
iskatelsqlда в том и вопро - можно ли на основе статистики найти некоторую преобразующую функцию....
Теоритически возможно, только искомая функция состоит из двух значений: x и y. Связнные y = f(x)
Ты привел набор значений y, а где соответствующие им x?
...
Рейтинг: 0 / 0
21.01.2015, 21:19
| Ответить | Цитировать | Написать  
Ты суслика видишь? А он есть! (с) Как его найти?
    #38860176
iskatelsql
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iskatelsql
Участник
Dima T,

а Х это сами дата/время которые известны, приводил в каждом посте...

y = f(дата/время)
...
Рейтинг: 0 / 0
21.01.2015, 22:53
| Ответить | Цитировать | Написать  
Ты суслика видишь? А он есть! (с) Как его найти?
    #38860258
JeStone
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
JeStone
Участник
iskatelsqlэто чтото из области статистики, нейронных сетей...

задача не укладывается в нейросети. Для обучения нейросети необходимо знать входные и выходные параметры, вы же знаете только входные. Вот если бы вы знали значения дат для того миллиона семплов, что у вас есть, то обучить сеть на определение дат в других семплах было бы тривиально.
...
Рейтинг: 0 / 0
22.01.2015, 07:14
| Ответить | Цитировать | Написать  
Ты суслика видишь? А он есть! (с) Как его найти?
    #38860782
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
scfТопикстартеру для начала следует сформулировать, что именно он хочет найти.
Я за него сформулирую: он хочет по набору лицензионных ключей найти как в них кодируется ограничение на время их использования.
...
Рейтинг: 0 / 0
22.01.2015, 15:15
| Ответить | Цитировать | Написать  
Ты суслика видишь? А он есть! (с) Как его найти?
    #38860829
scf
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
scf
Участник
Dimitry Sibiryakov,

Эх, тоже когда-то увлекался. Только одноразовыми кодами для пополнения счета за интернет.
...
Рейтинг: 0 / 0
22.01.2015, 16:00
| Ответить | Цитировать | Написать  
Ты суслика видишь? А он есть! (с) Как его найти?
    #38860865
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Akina
Участник
Dimitry Sibiryakovон хочет по набору лицензионных ключей найти как в них кодируется ограничение на время их использования.
Любой более-менее приличный ключ использует достаточно устойчивое шифрование, причём непременно оригинально модифицированное. В таких случаях задача мнится нерешаемой.
...
Рейтинг: 0 / 0
22.01.2015, 16:32
| Ответить | Цитировать | Написать  
Ты суслика видишь? А он есть! (с) Как его найти?
    #38860868
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
iskatelsql, приаттачь в форум выборку побольше (100 - 1000 строк хотя-бы)
...
Рейтинг: 0 / 0
22.01.2015, 16:36
| Ответить | Цитировать | Написать  
Ты суслика видишь? А он есть! (с) Как его найти?
    #38860957
Фотография Ggg_old
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ggg_old
Участник
формат хранения даты/времени тоже не известен?
Но можно предположить. что он везде одинаковый и скорее всего типовой.
Тогда, берете какой-то поднабор, пишите парсалку на множество видов преобразований потока чисел в дату и последовательно применяете каждый из парсеров. На выходе каждого из парсеров у вас будет:
невалидная дата,
валидная дата. Если дата валидна, то проеверяете, что он а попадает во вменяемый диапазон. Если дата попадает в диапазон, то для этого парсерв в статистику прибавляете 1.
прогоняете по тестовому набору данный и строете гистрограмму "вменяемости" дат для каждого из парсеров. Скорее всего у вас будет явный лидер, таким образом определеите алгоритм хранения даты.
Ну а потом просто для входногопотока применяете этот алгоритм в режиме скользящего окна и вот вам и извлеченные даты.
...
Рейтинг: 0 / 0
22.01.2015, 17:36
| Ответить | Цитировать | Написать  
Ты суслика видишь? А он есть! (с) Как его найти?
    #38861350
Barlone
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Barlone
Участник
iskatelsqlвобщем есть мильон таких чисел, для каждого известны дата/время но не известно где в подопытном числе они закодированы (зто для примера я выделил жирным шрифтом, а в оригинале неизвестны ни местоположение в числе, ни формат, да и вообще может быть UNIX-time )
Взяли 32 бита UNIX-time + 32 случайных бита, зашифровали (DES/IDEA/Blowfish/...). Всё, суслика искать бесполезно.
...
Рейтинг: 0 / 0
23.01.2015, 08:38
| Ответить | Цитировать | Написать  
Ты суслика видишь? А он есть! (с) Как его найти?
    #38861497
scf
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
scf
Участник
Barlone,

Не совсем бесполезно. Не нужно переоценивать студентов 3 курса, которые обычно и ваяют админки и платежные системы для контор. Так что всё может быть - от простой формулы до изготовления серийников генератором случайных чисел
...
Рейтинг: 0 / 0
23.01.2015, 11:17
| Ответить | Цитировать | Написать  
Ты суслика видишь? А он есть! (с) Как его найти?
    #38861654
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Barloneiskatelsqlвобщем есть мильон таких чисел, для каждого известны дата/время но не известно где в подопытном числе они закодированы (зто для примера я выделил жирным шрифтом, а в оригинале неизвестны ни местоположение в числе, ни формат, да и вообще может быть UNIX-time )
Взяли 32 бита UNIX-time + 32 случайных бита, зашифровали (DES/IDEA/Blowfish/...). Всё, суслика искать бесполезно.
Да Unix time это конечно подлянка. Но если мы знаем что "даты в будущем" обычно нету, то старшие биты
32-битного целого представлящего 2014 год обычно стационарны. В совокупности с DES/3DES и при условии
что мы знаем как расположено число внутри блока можно делать различные атаки.

Так-что DES здесь был упомянут невовремя.
...
Рейтинг: 0 / 0
23.01.2015, 13:10
| Ответить | Цитировать | Написать  
Ты суслика видишь? А он есть! (с) Как его найти?
    #38861712
Barlone
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Barlone
Участник
maytonТак-что DES здесь был упомянут невовремя. Если точено знать что использован DES, то можно конечно перебрать все 2^56 ключей. Но если известно только, что в числе закодирована дата, но неизвестно как, перебрать все известные криптоалгоритмы + неизвестные наколенные поделки - нереально.
...
Рейтинг: 0 / 0
23.01.2015, 13:43
| Ответить | Цитировать | Написать  
25 сообщений из 26, страница 1 из 2
  1  все
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Ты суслика видишь? А он есть! (с) Как его найти?
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=16&msg=38861654&tid=1341107]:
 0ms
get settings:
 5ms
get forum list:
 14ms
check forum access:
 2ms
check topic access:
 2ms
track hit:
 59ms
get topic data:
 7ms
get forum data:
 2ms
get page messages:
 76ms
get tp. blocked users:
 1ms
others: 207ms
total:  375ms
созд. / загр.: 375ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]