|
Как отбирать из потока 1/1000 лучших экземпляров?
|
|||
---|---|---|---|
#18+
Иван FXS допуски приемлемы ... |
|||
:
Нравится:
Не нравится:
|
|||
14.05.2021, 10:25 |
|
Как отбирать из потока 1/1000 лучших экземпляров?
|
|||
---|---|---|---|
#18+
Иван FXS Так что хранить в памяти 1/1000 от потока -- понятное решение, но несколько прямолинейное. Догадаться в памяти хранить только Q, а остальное сбрасывать на диск - это настолько невероятно сложная идея?.. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.05.2021, 13:44 |
|
Как отбирать из потока 1/1000 лучших экземпляров?
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov Иван FXS Так что хранить в памяти 1/1000 от потока -- понятное решение, но несколько прямолинейное. Догадаться в памяти хранить только Q, а остальное сбрасывать на диск - это настолько невероятно сложная идея?.. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.05.2021, 14:09 |
|
Как отбирать из потока 1/1000 лучших экземпляров?
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov Догадаться в памяти хранить только Q, а остальное сбрасывать на диск - это настолько невероятно сложная идея?. а хранить в памяти Q и key, а все "отчётные данные" для сбрасывания на диск готовить заново по key, когда принимается решение их сбросить на диск. Но да, правда, не догадался... ... |
|||
:
Нравится:
Не нравится:
|
|||
14.05.2021, 14:19 |
|
Как отбирать из потока 1/1000 лучших экземпляров?
|
|||
---|---|---|---|
#18+
Иван FXS, пробежал тему по диагонали, основное сказанное - скользящее окно и распределение, и в целом согласен. М.б. полезна будет отсылочка к известным вещам, токмо чтобы порыть инет. Распределение - для соцопросов, с целью экономии ресурсов, используют понятие репрезентативной выборки. Есть формулы для оценки оптимальной выборки (чтобы и детализация тоже была представительной). При условии, что апостериори предположения о распределении ген.совокупности окажутся достаточно достоверными. И придерживаясь методов обеспечения случайности выборки. Окно - в простом случае однократного выбора есть задачка. Перед Иваном(хи-хи)-Царевичем чередой проходят царевны (по бесконечной однократной схеме). Какой стратегии он должен придерживаться, чтобы не прогадать с невестой? Кажется, нужно было на основе распределения максимума, но не помню. Типа, выждать некое время и выбрать первую выше мах. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.05.2021, 14:45 |
|
Как отбирать из потока 1/1000 лучших экземпляров?
|
|||
---|---|---|---|
#18+
exp98 Окно - в простом случае однократного выбора есть задачка. Перед Иваном(хи-хи)-Царевичем чередой проходят царевны (по бесконечной однократной схеме). Какой стратегии он должен придерживаться, чтобы не прогадать с невестой? Кажется, нужно было на основе распределения максимума, но не помню. Типа, выждать некое время и выбрать первую выше мах. Блин. Вот ты что-то знакомое у меня снял с языка. Кажется из теории игр. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.05.2021, 14:56 |
|
Как отбирать из потока 1/1000 лучших экземпляров?
|
|||
---|---|---|---|
#18+
mayton exp98 Окно - в простом случае однократного выбора есть задачка. Перед Иваном(хи-хи)-Царевичем чередой проходят царевны (по бесконечной однократной схеме). Какой стратегии он должен придерживаться, чтобы не прогадать с невестой? Кажется, нужно было на основе распределения максимума, но не помню. Типа, выждать некое время и выбрать первую выше мах. Блин. Вот ты что-то знакомое у меня снял с языка. Кажется из теории игр. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.05.2021, 15:08 |
|
Как отбирать из потока 1/1000 лучших экземпляров?
|
|||
---|---|---|---|
#18+
Возможно,я это запомнил как 1/3. Не собирался обобщать, но вопрос вот, если для Р.Р.С.В. оценка матож Mn= n/(n+1) (т.е. M-->1), можно ли оценивать 2-й, 3-й .... мах как соответственно предыдущий по росту, предпредыду-й и т.д. ?.. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.05.2021, 16:19 |
|
Как отбирать из потока 1/1000 лучших экземпляров?
|
|||
---|---|---|---|
#18+
Имя пользователя1 "задача о разборчивой невесте" Я могу другую задачку из своей комсомольской юности пересказать -- её точно полагается в уме решать (без бумажки): к Белоснежке в гости пришло бесконечное количество гномов, и каждый поставил в прихожей свой зонтик. Потом случился какой-то шухер (гусары, молчать!), и гномы в спешке разбежались, похватав первые попавшиеся им зонтики. Какова вероятность, что ни один из гномов не взял свой зонтик? ... |
|||
:
Нравится:
Не нравится:
|
|||
14.05.2021, 16:33 |
|
Как отбирать из потока 1/1000 лучших экземпляров?
|
|||
---|---|---|---|
#18+
Иван FXS к Белоснежке в гости пришло бесконечное количество гномов, и каждый поставил в прихожей свой зонтик. Потом случился какой-то шухер (гусары, молчать!), и гномы в спешке разбежались, похватав первые попавшиеся им зонтики. Какова вероятность, что ни один из гномов не взял свой зонтик? ... |
|||
:
Нравится:
Не нравится:
|
|||
14.05.2021, 16:54 |
|
Как отбирать из потока 1/1000 лучших экземпляров?
|
|||
---|---|---|---|
#18+
Тут напрашивается решение Lim (1 - 1/n)^n. А чем равен предел, я не помню (мож и 1/e, мож и 0). Только к СТ отношение отдалённое. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.05.2021, 17:41 |
|
Как отбирать из потока 1/1000 лучших экземпляров?
|
|||
---|---|---|---|
#18+
Иван FXS а хранить в памяти Q и key, а все "отчётные данные" для сбрасывания на диск готовить заново по key Ни о каких "отчётных данных" и тем более о их "готовке" в постановке задачи речь не шла. Речь шла о приходящем потоке готовых записей. Каждую из которых можно либо дропуть если она не попадает в диапазон "лучших", либо сохранить во временное хранилище из которого потом и выдать "1/1000 лучших". ... |
|||
:
Нравится:
Не нравится:
|
|||
15.05.2021, 13:39 |
|
Как отбирать из потока 1/1000 лучших экземпляров?
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov, и в чём был глубокий смысл вашего рецепта Dimitry Sibiryakov в памяти хранить только Q, а остальное сбрасывать на диск Или вы хотели сказать "в памяти хранить все Q"... тогда замена слова "все" на конструкцию "только-остальное" была не слишком удачной. Ну и последняя фраза поста -- "Также не желательно решение, предполагающее накопление (по ходу работы) всех числовых значений самого Q.Хотя бы потому, что оно является тривиальным." -- по-моему, вполне выразительна. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.05.2021, 14:35 |
|
Как отбирать из потока 1/1000 лучших экземпляров?
|
|||
---|---|---|---|
#18+
Иван FXS, Не знаю как, но может удастся применить к этой задаче алгоритм p-square для расчета квантилей(процентилей) без сохранения всех значений (квадратичной интерполяцией из сэмплов)? https://pypi.org/project/psquare/ ... |
|||
:
Нравится:
Не нравится:
|
|||
15.05.2021, 15:59 |
|
Как отбирать из потока 1/1000 лучших экземпляров?
|
|||
---|---|---|---|
#18+
Иван FXS Или вы хотели сказать "в памяти хранить все Q"... Я сказал в точности то, что хотел сказать. В памяти хранить 1/1000 лучших Q, соответствующие им полные записи хранить на диске. Что именно в этой схеме тебе кажется странным или непонятным? ... |
|||
:
Нравится:
Не нравится:
|
|||
15.05.2021, 18:10 |
|
Как отбирать из потока 1/1000 лучших экземпляров?
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov В памяти хранить 1/1000 лучших Q 2) таким образом я сохраню на диск около 2/1000 от этого числа, то есть в два раза больше, чем собирался. Причем если я прерву процесс раньше, то сохраню на диск существенно большую долю, чем 2/1000, иными словами, поначалу я буду сохранять многократно больше, чем 1/1000 (первую тысячу, например, сохраню полностью). Наверное, это не такое уж плохое решение (при условии (1) ). Может быть даже вообще хорошее... __________________ UPDATE. Не уверен насчет 2/1000 и "в два раза больше" -- это были интуитивные заявления. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.05.2021, 22:40 |
|
Как отбирать из потока 1/1000 лучших экземпляров?
|
|||
---|---|---|---|
#18+
Иван FXS Не уверен насчет 2/1000 и "в два раза больше" -- это были интуитивные заявления. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.05.2021, 22:51 |
|
Как отбирать из потока 1/1000 лучших экземпляров?
|
|||
---|---|---|---|
#18+
Иван FXS 1) я должен заранее знать нет. Иван FXS 2) таким образом я сохраню на диск около 2/1000 от этого числа нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.05.2021, 00:15 |
|
Как отбирать из потока 1/1000 лучших экземпляров?
|
|||
---|---|---|---|
#18+
Иван FXS, Вам white owl уже предложил точное решение этой несложной задачи, но Вы теперь хотите найти неточное? Если на диск помещается Q/1000 потока, то решение White Owl точно отвечает формулировке. Если не помещается, то задача нерешаема, тк в условии надо сохранить 1/1000 всего потока на диске. Если задача учебная, то напишите текст в оригинале. Иногда студенты так перевирают задачу "своими словами", что вся суть потеряна. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.05.2021, 07:12 |
|
Как отбирать из потока 1/1000 лучших экземпляров?
|
|||
---|---|---|---|
#18+
НеофитSQL, когда white owl писал "выделяешь себе в памяти массив" -- он, наверное, всё-таки имел в виду оперативную память (в которой "живут" массивы), вы же ничтоже сумняшеся заменяете "память" на "диск" ... вам, как неофиту, это различение "памяти" и "диска" кажется несущественным? Не говоря уже о том, что в задаче не сказано, что размер потока заранее известен, а если бы он был известен, то, вообще говоря, слово "поток" было бы не слишком уместно -- тогда это было бы "множество" или "набор"... ... |
|||
:
Нравится:
Не нравится:
|
|||
16.05.2021, 09:00 |
|
Как отбирать из потока 1/1000 лучших экземпляров?
|
|||
---|---|---|---|
#18+
размер потока значения не имеет вы просто сравниваете текущее значение с минимальным в массиве на X элементов и если больше, то заменяете это минимальное значение в массиве далее берёте новое минимальное, и т.о. заполняете массив самыми высокими значениями диск нужен, только когда надо сохранить уже заполненный массив, а так то текущий массив в памяти живёт ... |
|||
:
Нравится:
Не нравится:
|
|||
16.05.2021, 10:38 |
|
Как отбирать из потока 1/1000 лучших экземпляров?
|
|||
---|---|---|---|
#18+
бабушкин зайчик то заменяете это минимальное значение в массив ... |
|||
:
Нравится:
Не нравится:
|
|||
16.05.2021, 10:59 |
|
Как отбирать из потока 1/1000 лучших экземпляров?
|
|||
---|---|---|---|
#18+
на текущее в цикле ... |
|||
:
Нравится:
Не нравится:
|
|||
16.05.2021, 13:39 |
|
Как отбирать из потока 1/1000 лучших экземпляров?
|
|||
---|---|---|---|
#18+
Иван FXS 1) я должен заранее знать, сколько экземпляров я обработаю, чтобы знать, чему равно 1/1000 от этого числа; Так ты его уже назвал - миллиард. Если ненароком их окажется меньше - просто на конечном этапе выдашь меньше. Иван FXS Кстати, это интересная задачка -- сколько экземпляров я на самом деле сохраню на диск Совершенно неинтересная - максимум миллион. При размере записи в килобайт - на диске это займёт один гигабайт. Иван FXS вам, как неофиту, это различение "памяти" и "диска" кажется несущественным? Оно кажется несущественным любому, знакомому с понятиями "кэш" и "своп". ... |
|||
:
Нравится:
Не нравится:
|
|||
16.05.2021, 13:52 |
|
|
start [/forum/topic.php?fid=16&msg=40070621&tid=1339663]: |
0ms |
get settings: |
12ms |
get forum list: |
14ms |
check forum access: |
5ms |
check topic access: |
5ms |
track hit: |
65ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
71ms |
get tp. blocked users: |
2ms |
others: | 12ms |
total: | 201ms |
0 / 0 |