ReSQL.ru
     
powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Как отбирать из потока 1/1000 лучших экземпляров?
25 сообщений из 151, страница 4 из 7
  4  все
Как отбирать из потока 1/1000 лучших экземпляров?
    #40070771
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Иван FXS
Участник
бабушкин зайчик, то есть вы продолжаете исходить из того, что я не знаю, как из миллиарда значений Q отобрать миллион самых больших?
...
Рейтинг: 0 / 0
17.05.2021, 13:27
| Ответить | Цитировать | Написать  
Как отбирать из потока 1/1000 лучших экземпляров?
    #40070773
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
бабушкин зайчик

как бы там ни было, в чём проблема сложить эти ваши значения в БД, оставив в памяти лишь Q, из которых отсеять нужные?
Помимо очевидных выгод, таким образом можно надеяться, что данные не выпадут из кэша CPU, что ускорит процесс раз в 50.

Это очень жесткие требования. На такое можно пойти только в том случае, когда система, принимающая решение так-же
быстро должна реагировать. Синхронно с фронтом приходящих новых данных. Но такое бывает редко IMHO. Тем более что
биржевые индексы - это инфа вторичная. Для нее тоже есть свой источник данных и расчет этого индекса не факт что такой-же
быстрый.
...
Рейтинг: 0 / 0
17.05.2021, 13:37
| Ответить | Цитировать | Написать  
Как отбирать из потока 1/1000 лучших экземпляров?
    #40070774
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Иван FXS
вы продолжаете исходить из того, что я не знаю, как из миллиарда значений Q отобрать миллион самых больших?

Похоже, Вы не знаете, что 1/1000 от бесконечности это бесконечность и динамически подстраиваете задачу под невозможность её решения. Это бесперспективняк.

PS: Диски быстрее, чем сеть и рассматривать их как ограничение можно только если ваши "сущности" порождаются ГСЧ.
...
Рейтинг: 0 / 0
17.05.2021, 13:41
| Ответить | Цитировать | Написать  
Как отбирать из потока 1/1000 лучших экземпляров?
    #40070776
бабушкин зайчик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
бабушкин зайчик
Гость
mayton
Это очень жесткие требования.

в БД сохранять? А "не жёсткие" - это какие?
...
Рейтинг: 0 / 0
17.05.2021, 13:48
| Ответить | Цитировать | Написать  
Как отбирать из потока 1/1000 лучших экземпляров?
    #40070779
бабушкин зайчик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
бабушкин зайчик
Гость
Иван FXS
бабушкин зайчик, то есть вы продолжаете исходить из того, что я не знаю, как из миллиарда значений Q отобрать миллион самых больших?

при вашем регулярно растущем ТЗ вы скоро забудете, зачем вообще приходили
вы до сих пор так и не сделали главного... не показали исходную строку И конечную строку.
ну отберите, в чём проблема?
...
Рейтинг: 0 / 0
17.05.2021, 13:51
| Ответить | Цитировать | Написать  
Как отбирать из потока 1/1000 лучших экземпляров?
    #40070780
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
бабушкин зайчик
mayton
Это очень жесткие требования.

в БД сохранять? А "не жёсткие" - это какие?

Не жосткие - это когда человек-от-бизнеса захочет на них взглянуть. Подумать. И принять какое-то решение.
...
Рейтинг: 0 / 0
17.05.2021, 13:54
| Ответить | Цитировать | Написать  
Как отбирать из потока 1/1000 лучших экземпляров?
    #40070783
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Иван FXS
Участник
Dimitry Sibiryakov
Похоже, Вы не знаете, что 1/1000 от бесконечности это бесконечность
стесняюсь спросить, вы всегда слово "поток" прочитываете как "бесконечность"?

Dimitry Sibiryakov
рассматривать их как ограничение можно только если ваши "сущности" порождаются ГСЧ
да, они именно ГСЧ и порождаются, я уже это упоминал, и даже ссылку на тему давал ( https://www.sql.ru/forum/1335743/o-razvorachivanii-dlinnogo-celogo-v-nabor-iz-100-psevdosluchaynyh-deystvitelnyh ) -- неоднократно упоминавшийся мною key -- это и есть то длинное целое, которое разворачивается в сто псевдослучайных действительных.
...
Рейтинг: 0 / 0
17.05.2021, 13:58
| Ответить | Цитировать | Написать  
Как отбирать из потока 1/1000 лучших экземпляров?
    #40070784
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
Я так понимаю Иван FXS хочет заранее предсказать пороговое значение Q, а дальше просто дергать с потока только те сущности у которых Q больше порога. Только придумать не может как порог найти.

ИМХУ тут разве что нейросети тренировать, и то решение будет негарантированным.
...
Рейтинг: 0 / 0
17.05.2021, 14:03
| Ответить | Цитировать | Написать  
Как отбирать из потока 1/1000 лучших экземпляров?
    #40070785
НеофитSQL
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
НеофитSQL
Гость
Иван FXS,

Если каждая сущность генерится из трех чисел, то хранить сущности нет необходимости.
Сгенерите, посчитайте Q, запомните интересующие тройки. По тройкам сгенерите второй (и третий, и четвертый) раз.
У вас скорость генерации превышает скорость высокоскоростных дисков.
Такое хранить смысла нет, быстрее сгенерить чем прочитать.
...
Рейтинг: 0 / 0
17.05.2021, 14:04
| Ответить | Цитировать | Написать  
Как отбирать из потока 1/1000 лучших экземпляров?
    #40070786
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Иван FXS
да, они именно ГСЧ и порождаются, я уже это упоминал, и даже ссылку на тему давал

В пределах той темы не нужно "1/1000 лучших", достаточно и просто "миллиона лучших". А с учётом того, что они генерятся из одного целого - этот миллион займёт четыре мегабайта памяти, на диск сбрасывать ничего не нужно.
...
Рейтинг: 0 / 0
17.05.2021, 14:15
| Ответить | Цитировать | Написать  
Как отбирать из потока 1/1000 лучших экземпляров?
    #40070788
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Иван FXS
Участник
НеофитSQL,

я объяснял на предыдущей странице ( 22322961 ), что у меня сущности генерируются "пакетами" по 100*200=20000 штук
...
Рейтинг: 0 / 0
17.05.2021, 14:19
| Ответить | Цитировать | Написать  
Как отбирать из потока 1/1000 лучших экземпляров?
    #40070791
бабушкин зайчик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
бабушкин зайчик
Гость
mayton
бабушкин зайчик
пропущено...

в БД сохранять? А "не жёсткие" - это какие?

Не жосткие - это когда человек-от-бизнеса захочет на них взглянуть. Подумать. И принять какое-то решение.

т.е. алгоритм придумывает обыватель?
его дело чётко составить ТЗ и показать требуемый результат.
А он блин ставит задачу так, что её надо непременно сохранять на диск, а потом оказывается, что там всего 20000 сущностей, которые можно в памяти держать не парясь...
Да там ещё под вопросом эта 20... а чё не 1000?
...
Рейтинг: 0 / 0
17.05.2021, 14:24
| Ответить | Цитировать | Написать  
Как отбирать из потока 1/1000 лучших экземпляров?
    #40070793
бабушкин зайчик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
бабушкин зайчик
Гость
и почему нельзя прямо во время генерации отсеять нужные?
...
Рейтинг: 0 / 0
17.05.2021, 14:31
| Ответить | Цитировать | Написать  
Как отбирать из потока 1/1000 лучших экземпляров?
    #40070794
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Иван FXS
Участник
бабушкин зайчик
а потом оказывается, что там всего 20000 сущностей
ну что, ещё раз разжевать, что

key имеет тип Длинное целое, мощность которого 4 миллиарда, и для каждого значения key я генерирую пакет из 20000 сущностей

... или всё бесполезно?
...
Рейтинг: 0 / 0
17.05.2021, 14:43
| Ответить | Цитировать | Написать  
Как отбирать из потока 1/1000 лучших экземпляров?
    #40070800
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Иван FXS
или всё бесполезно?

Без точной формулировки задачи - бесполезно. Твоё "хочу поработать с большим количеством" - пустое сотрясение воздуха.
...
Рейтинг: 0 / 0
17.05.2021, 15:13
| Ответить | Цитировать | Написать  
Как отбирать из потока 1/1000 лучших экземпляров?
    #40070802
бабушкин зайчик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
бабушкин зайчик
Гость
а вам разжевать значение слова "разжевать"?
вы 4 страницы только запутываете мозги беззащитных программистов.
" мощность long int = 4 миллиарда"... што это вообще?!
 
...
Рейтинг: 0 / 0
17.05.2021, 15:14
| Ответить | Цитировать | Написать  
Как отбирать из потока 1/1000 лучших экземпляров?
    #40070806
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Иван FXS
Участник
Dimitry Sibiryakov, я продолжаю считать, что если вы перестанете пытаться убедить меня и себя, что в моей задаче поток -- это никакой не поток , а его целиком можно залить в бассейн, и работать с ним как с целиком доступным набором , то исходная формулировка задачи окажется вполне точной.

Просто повторите десять раз: поток, поток, поток, поток, поток, поток, поток, поток, поток, поток .
...
Рейтинг: 0 / 0
17.05.2021, 15:22
| Ответить | Цитировать | Написать  
Как отбирать из потока 1/1000 лучших экземпляров?
    #40070812
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Иван FXS
исходная формулировка задачи окажется вполне точной.

И для этой исходной формулировки "наилучшим по соотношению качество/затраты" будет решение, которое Вы назвали "брутфорсом": сохранять на диске текущий набор "лучших", перезаписывая худшие из них новыми по мере поступления.
...
Рейтинг: 0 / 0
17.05.2021, 15:32
| Ответить | Цитировать | Написать  
Как отбирать из потока 1/1000 лучших экземпляров?
    #40070815
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
бабушкин зайчик
мощность long int = 4 миллиарда"... што это вообще?!

Математики так называют количество возможных значений
...
Рейтинг: 0 / 0
17.05.2021, 15:52
| Ответить | Цитировать | Написать  
Как отбирать из потока 1/1000 лучших экземпляров?
    #40070816
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
Иван FXS
Dimitry Sibiryakov, я продолжаю считать, что если вы перестанете пытаться убедить меня и себя, что в моей задаче поток -- это никакой не поток , а его целиком можно залить в бассейн, и работать с ним как с целиком доступным набором , то исходная формулировка задачи окажется вполне точной.

Передергивать не надо. Никто не предлагал сохранять все. Только хранить миллион самых лучших на текущий момент. Ты сам выше писал что сохранить придется в 7 раз больше чем надо, это нормальный оверхэд, не 0.1%, а 0,7%. Что тут плохого?
...
Рейтинг: 0 / 0
17.05.2021, 16:01
| Ответить | Цитировать | Написать  
Как отбирать из потока 1/1000 лучших экземпляров?
    #40070817
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Иван FXS
Участник
Dimitry Sibiryakov, можете сформулировать критерий, на основании которого будет приниматься решение о том, что очередную сущность в потоке не следует сохранять на диск?

Вот, я обрабатываю сущность номер k (k может быть равно 1, 999, 1000, 1001, 145142 или 217363728) -- и Q(k) оказалось равно 1.23456 ... сохранять её на диск или проигнорировать?
...
Рейтинг: 0 / 0
17.05.2021, 16:02
| Ответить | Цитировать | Написать  
Как отбирать из потока 1/1000 лучших экземпляров?
    #40070819
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Иван FXS
Участник
Dima T
Только хранить миллион самых лучших на текущий момент
как только вы произнесли "миллион" -- вы перестали работать с потоком как с потоком . Потому что у потока нет никакого ни миллиона, ни миллиарда, ни триллиона.
...
Рейтинг: 0 / 0
17.05.2021, 16:06
| Ответить | Цитировать | Написать  
Как отбирать из потока 1/1000 лучших экземпляров?
    #40070820
бабушкин зайчик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
бабушкин зайчик
Гость
Иван FXS
Dima T
Только хранить миллион самых лучших на текущий момент
как только вы произнесли "миллион" -- вы перестали работать с потоком как с потоком . Потому что у потока нет никакого ни миллиона, ни миллиарда, ни триллиона.

поток = цикл
у цикла есть счётчик
перестаньте уже за программистов думать
лучше учитесь чётко описывать задачу
...
Рейтинг: 0 / 0
17.05.2021, 16:12
| Ответить | Цитировать | Написать  
Как отбирать из потока 1/1000 лучших экземпляров?
    #40070821
бабушкин зайчик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
бабушкин зайчик
Гость
Dima T
бабушкин зайчик
мощность long int = 4 миллиарда"... што это вообще?!

Математики так называют количество возможных значений

а зачем это на форуме программистов и какое отношение имеет к задаче?
ему то что эти 4 ярда? Он вообще знает, что 4 000 000 000 ярда или 1 всё = 8 байт?
а то что long это 9223372036854775807 он вообще никогда не слышал.
...
Рейтинг: 0 / 0
17.05.2021, 16:14
| Ответить | Цитировать | Написать  
Как отбирать из потока 1/1000 лучших экземпляров?
    #40070822
White Owl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
White Owl
Участник
Иван FXS
Dimitry Sibiryakov, можете сформулировать критерий, на основании которого будет приниматься решение о том, что очередную сущность в потоке не следует сохранять на диск?

Вот, я обрабатываю сущность номер k (k может быть равно 1, 999, 1000, 1001, 145142 или 217363728) -- и Q(k) оказалось равно 1.23456 ... сохранять её на диск или проигнорировать?
Это 1.23456 лучше чем самая плохая ранее встреченная сущность? Если да - то сохранять, если нет - не сохранять.
...
Рейтинг: 0 / 0
17.05.2021, 16:15
| Ответить | Цитировать | Написать  
25 сообщений из 151, страница 4 из 7
  4  все
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Как отбирать из потока 1/1000 лучших экземпляров?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru             Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=16&msg=40070788&tid=1339663]:
 0ms
get settings:
 7ms
get forum list:
 11ms
check forum access:
 2ms
check topic access:
 2ms
track hit:
 74ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 58ms
get tp. blocked users:
 1ms
others: 288ms
total:  455ms
созд. / загр.: 455ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]