|
|
|
vector на триллион объектов
|
|||
|---|---|---|---|
|
#18+
Алексей Роза 2020Если юзер пользуется твоим сервисом, в какую ты его очередь собрался пихать? В БД миллиард юзеров и всегда есть шанс, что они все одновременно зайдут попользоваться. Зачем их пихать в очередь? Пришёл - тут же обслужился. ФОТ не ограничен, дополнительных рабочих можно создать по потребности в любой момент. Миллиард пользователей встанут в очередь у своего провайдера, просто чтобы пакетик отправить, а это уже не наша забота. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.08.2020, 13:19 |
|
||
|
vector на триллион объектов
|
|||
|---|---|---|---|
|
#18+
Dimitry Sibiryakov Зачем их пихать в очередь? не знаю, это вон там тролли детсадовские вылезли, очередь им подавай. Наша забота, чтобы все активные были в памяти. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.08.2020, 14:01 |
|
||
|
vector на триллион объектов
|
|||
|---|---|---|---|
|
#18+
mayton Триллион сущностей (даже целых числел) очень трудно обработать на классической архитектуре, где есть 1 вычислительный узел (8-12 CPU). Даже при максимальном числе потоков и при двух-канальной памяти они начнут неизбежно конкурировать за память и большую часть времени мы будем стоять в ожиданиях доступа к каналу памяти. как же живут системы с 1'000'000 rps? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.08.2020, 14:03 |
|
||
|
vector на триллион объектов
|
|||
|---|---|---|---|
|
#18+
Leonid Kudryavtsev Алексей Роза 2020 В БД миллиард юзеров и всегда есть шанс, что они все одновременно зайдут попользоваться. Цукерберг, Вы уже спалились!!! Никогда не знал, что на этом форуме такие люди тусуются. Поговори за меня с отделом кадров, я в Файсбуке работать хочу, please спешу тебя расстроить, это не тот случай, когда преждевременная оптимизация вышла из берегов и пролила гигабаксы в трубу. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.08.2020, 14:04 |
|
||
|
vector на триллион объектов
|
|||
|---|---|---|---|
|
#18+
Алексей Роза 2020, авторrps Появилось первое инженерное слово) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.08.2020, 14:17 |
|
||
|
vector на триллион объектов
|
|||
|---|---|---|---|
|
#18+
Алексей Роза 2020 mayton Триллион сущностей (даже целых числел) очень трудно обработать на классической архитектуре, где есть 1 вычислительный узел (8-12 CPU). Даже при максимальном числе потоков и при двух-канальной памяти они начнут неизбежно конкурировать за память и большую часть времени мы будем стоять в ожиданиях доступа к каналу памяти. как же живут системы с 1'000'000 rps? Они децентрализованные. А цифра - просто суммарная пропускная способность узлов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.08.2020, 14:17 |
|
||
|
vector на триллион объектов
|
|||
|---|---|---|---|
|
#18+
Алексей Роза 2020 Dimitry Sibiryakov Зачем их пихать в очередь? не знаю, это вон там тролли детсадовские вылезли, очередь им подавай. Наша забота, чтобы все активные были в памяти. А вектор и упорядоченные списки это не очередь). Ну да. Вы же очередь живьём представляете. Из юзверей. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.08.2020, 14:22 |
|
||
|
vector на триллион объектов
|
|||
|---|---|---|---|
|
#18+
Алексей Роза 2020Наша забота, чтобы все активные были в памяти. Пока миллиардный станет активным - первый не просто отключится, а давно умрёт. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.08.2020, 14:27 |
|
||
|
vector на триллион объектов
|
|||
|---|---|---|---|
|
#18+
PetroNotC Sharp Алексей Роза 2020 пропущено... не знаю, это вон там тролли детсадовские вылезли, очередь им подавай. Наша забота, чтобы все активные были в памяти. А вектор и упорядоченные списки это не очередь). Ну да. Вы же очередь живьём представляете. Из юзверей. вектор - это и есть юзеры. тебе пора уже валить из моей темы и заняться своей диссертацией по IT это всё таки не тролльский детсад. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.08.2020, 15:01 |
|
||
|
vector на триллион объектов
|
|||
|---|---|---|---|
|
#18+
Dimitry Sibiryakov Алексей Роза 2020Наша забота, чтобы все активные были в памяти. Пока миллиардный станет активным - первый не просто отключится, а давно умрёт. А для БД это не важно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.08.2020, 15:02 |
|
||
|
vector на триллион объектов
|
|||
|---|---|---|---|
|
#18+
mayton Алексей Роза 2020 пропущено... как же живут системы с 1'000'000 rps? Они децентрализованные. А цифра - просто суммарная пропускная способность узлов. нуу, это скучно. куда это подевался твой пятничный дух... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.08.2020, 15:03 |
|
||
|
vector на триллион объектов
|
|||
|---|---|---|---|
|
#18+
Алексей Роза 2020 mayton пропущено... Они децентрализованные. А цифра - просто суммарная пропускная способность узлов. нуу, это скучно. куда это подевался твой пятничный дух... Хорошо. Давай порассуждаем что такое 1'000'000 rps? Ты можешь сейчас (без заглядывания в вики) просто сказать как ты это понял? Очевидно что это некая скорость. Каких-то попугаев в секунду. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.08.2020, 15:11 |
|
||
|
vector на триллион объектов
|
|||
|---|---|---|---|
|
#18+
Алексей Роза 2020А для БД это не важно. Вот именно. Поэтому используй БД, а не вектор и будет тебе счастье. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.08.2020, 15:11 |
|
||
|
vector на триллион объектов
|
|||
|---|---|---|---|
|
#18+
Алексей Роза 2020, Неа. Вся тема трольский детсад. Уже все отписались. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.08.2020, 15:22 |
|
||
|
vector на триллион объектов
|
|||
|---|---|---|---|
|
#18+
Dimitry Sibiryakov Алексей Роза 2020А для БД это не важно. Вот именно. Поэтому используй БД, а не вектор и будет тебе счастье. может ещё на ветку залезть? это не счастье, а ненависть ко всему IT. mayton что такое 1'000'000 rps? 1 лям попугаев ломятся на сервак mayton просто сказать как ты это понял? что понял? Забей, хрен с ними с попугаями, до них ещё дожить надо. Они потенциально есть, но не на первом месте. Ты говоришь, что есть некий предел, когда всё умрёт... этот предел выражается в занятой памяти (при условии, что она не закончилась, но почему-то всё равно всё умрёт) или же в кол-ве подключений? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.08.2020, 18:44 |
|
||
|
vector на триллион объектов
|
|||
|---|---|---|---|
|
#18+
Алексей Роза 2020, Тема про веб что ли?) автор1 лям попугаев ломятся на сервак Угу. И все на одну страницу Контакты, которая выдается из кэша браузера))))). Ну или балансировщик впереди. Детский сад. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.08.2020, 19:56 |
|
||
|
vector на триллион объектов
|
|||
|---|---|---|---|
|
#18+
почему ты ещё здесь? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.08.2020, 21:51 |
|
||
|
vector на триллион объектов
|
|||
|---|---|---|---|
|
#18+
Алексей Роза 2020, Попкорн взял. Сижу в первом ряду. Удобно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.08.2020, 22:07 |
|
||
|
vector на триллион объектов
|
|||
|---|---|---|---|
|
#18+
Какой попкорн ((( Я бухаю с горя ((( На нашем форуме оказывается Цукенберг обитает, а в профильных ветках даже никаких вакансий из Файсбука нет ((( Как жить дальше? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.08.2020, 22:12 |
|
||
|
vector на триллион объектов
|
|||
|---|---|---|---|
|
#18+
Leonid Kudryavtsev, Осторожней бухай. Он подсаживается к барной стойке и разводит клиентов на .....разговоры про триллионы, миллиарды и квадрилионы. Пока деньги не кончатся. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.08.2020, 22:22 |
|
||
|
vector на триллион объектов
|
|||
|---|---|---|---|
|
#18+
Вся тема пиз#$% и провокация 1) Вектор на триллион в памяти - при отсутствие компьютера с терабайтом оперативной памяти 2) Миллиард пользователей - в российском форуме, где в стране общая численность населения 146 748 590 на 1 января 2020 года 3) Одновременно залогинились - при том, что 146 748 590 человек это с учетом младенцев и прочих нелогиноспособных категорий граждан и так далее ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.08.2020, 22:26 |
|
||
|
vector на триллион объектов
|
|||
|---|---|---|---|
|
#18+
Leonid Kudryavtsev Какой попкорн ((( Я бухаю с горя ((( На нашем форуме оказывается Цукенберг обитает, а в профильных ветках даже никаких вакансий из Файсбука нет ((( Как жить дальше? Я как-то читал статью от парня, программиста, из Киева. В общем, он поставил себе цель уехать в Европу. После ВУЗ-а он нашёл работу в лондонском подразделении Фейсбука, даже Цукерберга видел в очереди в корпоративном кафе на обеде. Вы просто не делаете ничего. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.08.2020, 22:29 |
|
||
|
vector на триллион объектов
|
|||
|---|---|---|---|
|
#18+
Алексей Роза 2020 Ты говоришь, что есть некий предел, когда всё умрёт... этот предел выражается в занятой памяти (при условии, что она не закончилась, но почему-то всё равно всё умрёт) или же в кол-ве подключений? Я не говорю что умрет. Просто надо помнить о законе Мура. Мы можем на борт поставить много памяти. Но мы не можем ПРОПОРЦИОНАЛЬНО гарантировать те-же вычислительные мощности. Тоже самое сеть. Лям пользователей ломануться на сервак? Это как? Один сетевой интерфес. Будь то 100Мегабит. 1Гигабит. И так далее. Это последовательное устройство. IP пакет пересекает границу сетевого интерфейса строго последовательно. Поэтому этот лям пользователей выстроится в очередь еще на дальних рубежах. Еще даже не дойдя до нашего сервера. Впрочем это слишком специфично к задаче и это надо обсуждать. Что этот лям хочет делать? Если он делает HTTP GET титульной странички - так это по другому решается. Поднимем 1000 региональных NGinx и каждый из них отработает 1000 соединений и даже не долетит до нашего аппликейшена. Если Лям пользователей делает лям бизнес переводов денег - то здесь узким местом может стать некий mutex, который контролирует sequence объект для всей системы. И он тоже работает строго последовательно. Любая финансовая операция требует последовательности. Хотябы для фиксации логов и SCN и метки времени для установления причинно-следственной связи. Пропускная способность гугла как такового может быть высокой. Но гугл - это не один сервак. Это грид. В этом можно убедиться просто пингуя его из разных географических регионов. И этот грид много-слойный. Есть отдельные слои mappers, reducers, слои хранения текстового индекса. Google сумел спроектировать свой грид так что у него нет этой единой точки конкуренции и всё работае параллельно в режиме PA (Partition-tolerance, Availability) по Брюеру. Консистентности нету. Но всем пофиг. От гугла не требуют консистетности между узлами. И от DNS тоже. У Твиттеров и Фейсбуков - скорее всего тоже единой консистентноси нет. У них - eventual consistency. Тоесть гарантируется что отправленное сообщение когда-то да будет доставлено получателю. Когда - точно неизвестно. Может через 10 милисекунд. Может чуть дольше. Как в JMS/MQ. Вобщем к чему я это все написал. Если надо сетапить такую толстую архитектуру. То надо чем-то жертвовать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.08.2020, 22:47 |
|
||
|
vector на триллион объектов
|
|||
|---|---|---|---|
|
#18+
PetroNotC Sharp Алексей Роза 2020, Попкорн взял. Сижу в первом ряду. Удобно. Зачем, ты что, ущербный? У тебя, судя по всему, прельстивая и насыщенная жизнь, полная смысла. А тут какую-то неведомую херню обсуждают, глупости и детский сад Что ты в детском саду делаешь? Ты что, педофил? Вбросы твои даже не улыбают. Ценности от твоей инфы никакой. Я эту тему создал не для тебя. От тебя мне ничего не надо. Уходи. Leonid Kudryavtsev 146 748 590 мелко плаваешь. Моя цель - Галактика. mayton Я не говорю что умрет. Просто надо помнить о законе Мура. Мы можем на борт поставить много памяти. Но мы не можем ПРОПОРЦИОНАЛЬНО гарантировать те-же вычислительные мощности. так фишка в том, что НЕ нужны такие мощности в моём случае. По проводу зайдёт лям в секунду. А вот как быстро ты их сможешь раскидать - ответ на вопрос "как обезьяна стала человеком". (провод, кстати, может быть и не один. Не обязательно их всех в одном проводе в очередь штабелями класть). mayton Поднимем 1000 региональных NGinx и каждый из них отработает 1000 соединений и даже не долетит до нашего аппликейшена. фу так делать ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.08.2020, 23:21 |
|
||
|
vector на триллион объектов
|
|||
|---|---|---|---|
|
#18+
Алексей Роза 2020 так фишка в том, что НЕ нужны такие мощности в моём случае. По проводу зайдёт лям в секунду. А вот как быстро ты их сможешь раскидать - ответ на вопрос "как обезьяна стала человеком". (провод, кстати, может быть и не один. Не обязательно их всех в одном проводе в очередь штабелями класть). Ты хочешь лям в секунду ПРИНЯТЬ. Или обработать? Или обработать и выслать ответ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.08.2020, 23:33 |
|
||
|
|
start [/forum/topic.php?fid=57&msg=39991995&tid=2017354]: |
0ms |
get settings: |
7ms |
get forum list: |
13ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
167ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
60ms |
get tp. blocked users: |
1ms |
| others: | 266ms |
| total: | 534ms |
| 0 / 0 |
