|
Проектирование системы сбора геолокационных данных
|
|||
---|---|---|---|
#18+
Задача такова у фирмы много работников, транспорта и т.п. у каждого работника есть смартфон. на этих сматфонах будет размещаться ПО отсылающая на сервер данные их песто положения каждые скажем 5-10 секунд. сервер принемает инфу. Сохраняет. и отсылает обработанные данные на смартфоны глав групп работников и т.д Воросы Какую субд порекомендуете? Я так думаю нужна NOSQL? MongoDB или ещё чего оассмотреть следует Использовать запросы или сокеты? если можете посоветовать материалы и примеры то теме, буду благодарен! ... |
|||
:
Нравится:
Не нравится:
|
|||
07.03.2020, 00:47 |
|
Проектирование системы сбора геолокационных данных
|
|||
---|---|---|---|
#18+
Нужно пойти от запросов которые вы будете к этой системе предъявлять. В данной постановке - вам подходит всё что угодно. Берите PostgresQL. Бесплатно и универсально. Может подойти InfluxDb если основной вид запросов будет по интервалу времени. Mongo КМК не подходит т.к. избыточно. Вам же только координаты передать и код смартфона. Кстати да. Нарисуйте вашу главную табличку. (Концептуальную модель). И от нее можно пойти с вопросами. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.03.2020, 00:54 |
|
Проектирование системы сбора геолокационных данных
|
|||
---|---|---|---|
#18+
mayton, про InfluxDb раньше не слышал, почитаю. Смартов может быть несколько тысяч. соответственно несколько тысяч запросов принять и донескольких сотен отослать. MySQL/PostgreSQL Это переварят? Все данные планируется собирать - тоесть накапливать не хилые обьёмы(BigData) - по этому я про NOSQL и упамянул? с этой стороны что лучше? ... |
|||
:
Нравится:
Не нравится:
|
|||
07.03.2020, 06:19 |
|
Проектирование системы сбора геолокационных данных
|
|||
---|---|---|---|
#18+
Areostar, Делайте на том ПО, в котором разбираетесь, ибо 10-20 млн записей с координатами в день - это ниочем для современных систем. А еще можно дедубликацию сделать в виде (координаты, периодС, периодПо)... ... |
|||
:
Нравится:
Не нравится:
|
|||
07.03.2020, 09:19 |
|
Проектирование системы сбора геолокационных данных
|
|||
---|---|---|---|
#18+
Критик, Спапсибо за ответ! ... |
|||
:
Нравится:
Не нравится:
|
|||
07.03.2020, 10:17 |
|
Проектирование системы сбора геолокационных данных
|
|||
---|---|---|---|
#18+
Areostar Все данные планируется собирать - тоесть накапливать не хилые обьёмы(BigData) - по этому я про NOSQL и упамянул? с этой стороны что лучше? Я не знаю что такое "нехилые". Уточните цифры. Возможно то что вы считаете BitData - это вовсе не бигдата а просто обычная современная БД. В моём понимании биг-дата начинается от десятков и сотен терабайт. И от денормализации самих данных. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.03.2020, 10:48 |
|
Проектирование системы сбора геолокационных данных
|
|||
---|---|---|---|
#18+
mayton, 15-25 милиардов записей только в одной таблице это как много или не очень? Как по вашему? Обьясните в кратце чем PostgreSQL превосходит MySQL? Может тогда майсиквель взять по старинке? ... |
|||
:
Нравится:
Не нравится:
|
|||
07.03.2020, 12:57 |
|
Проектирование системы сбора геолокационных данных
|
|||
---|---|---|---|
#18+
Areostar, У вас будут транзакции, которые обновляют те данные, которые вставлены? ... |
|||
:
Нравится:
Не нравится:
|
|||
07.03.2020, 14:06 |
|
Проектирование системы сбора геолокационных данных
|
|||
---|---|---|---|
#18+
Areostar 15-25 милиардов записей только в одной таблице это как много или не очень? Не очень. Но я сомневаюсь, что тебя наймут в фирму с миллионом работников. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.03.2020, 14:32 |
|
Проектирование системы сбора геолокационных данных
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov, Это записей милиарды. А записывать собираюсь геоданные с телефонов. Талефонов до нескольких тысяч, данные снимаются каждые 3-5 секунд. За пару лет надерётся несколько милиардов. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.03.2020, 15:11 |
|
Проектирование системы сбора геолокационных данных
|
|||
---|---|---|---|
#18+
mayton, Что значит обновляют? Выборки делать конечно, обрабатывать данные. А изменять координаты геолакацый зачем? ... |
|||
:
Нравится:
Не нравится:
|
|||
07.03.2020, 15:14 |
|
Проектирование системы сбора геолокационных данных
|
|||
---|---|---|---|
#18+
У тебя, получается write-only. Верно? ... |
|||
:
Нравится:
Не нравится:
|
|||
07.03.2020, 15:27 |
|
Проектирование системы сбора геолокационных данных
|
|||
---|---|---|---|
#18+
Я почему спрашиваю. Мы здесь за 1 итерацию не сможем выдать архитектурное решение которое покроет все потребности. Может быть надо будет сделать 2-3 макета или POC прежде чем оно заработает. Сейчас под требование автора подходят любые системы класса Event-Store, Time-Series DB (Influx). Берите любую и она подходит. Это одна матрица. Если вы хотите поднимать на своем железе. https://db-engines.com/en/ranking/time series dbms https://db-engines.com/en/ranking/event store Другая матрица - хостинг в Амазон и Гугл. У них EC2 стоят дороже. И лучше покупать не голую операционку а службу как сервис и там будет другая матрица. И надо смотреть по деньгам как выходит. Постргрес это просто серебрянная пуля которая всегда стрельнет но она может быть не такой быстрой например по записи или не такой дешевой. Компромисс короче. Не имею ничего против MySQL. Но я просто в нем не специалист. Может на данной итерации (накопление гео-данных) вам вообще dbms не нужна и вам хватит end-point который просто пишет все POST события в текстовый лог. А уже потом от запросов бизнеса и производтсва можно этот лог перекладывать из одной системы в другую решая сиюминутные задачи. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.03.2020, 16:59 |
|
Проектирование системы сбора геолокационных данных
|
|||
---|---|---|---|
#18+
Areostar если можете посоветовать материалы и примеры то теме, буду благодарен! ... |
|||
:
Нравится:
Не нравится:
|
|||
07.03.2020, 19:17 |
|
Проектирование системы сбора геолокационных данных
|
|||
---|---|---|---|
#18+
Areostar сервер принемает инфу. Сохраняет. и отсылает обработанные данные на смартфоны глав групп работников и т.д С пунктом "отсылает обработанные данные" не понятно, какова обработка. А в остальном - я бы в csv (или dbf!) файлы данные писал, по файлу на каждое устройство, возможно, с разбивкой по дате/времени. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.03.2020, 20:32 |
|
Проектирование системы сбора геолокационных данных
|
|||
---|---|---|---|
#18+
Dbf - это что? DBase? FoxPro? ... |
|||
:
Нравится:
Не нравится:
|
|||
08.03.2020, 00:58 |
|
Проектирование системы сбора геолокационных данных
|
|||
---|---|---|---|
#18+
mayton Dbf - это что? DBase? FoxPro? зачем усложнять, без мемо-полей,индкесов и с ASCII кодировкой - просто DBase III ... |
|||
:
Нравится:
Не нравится:
|
|||
08.03.2020, 02:13 |
|
Проектирование системы сбора геолокационных данных
|
|||
---|---|---|---|
#18+
По факту там может быть больше данных. Широта-долгота. Высота тоже может писаться. Скорость. +Какая-то техническая хрень. И будет пухнуть datarow в этот бедный dbf. А беря во внимание что dbf - не умеет поджимать nulls, получится не файл а .. пенопласт. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.03.2020, 02:19 |
|
Проектирование системы сбора геолокационных данных
|
|||
---|---|---|---|
#18+
mayton, топикстартер замалчивает детали - вот и приходится фантазировать ... |
|||
:
Нравится:
Не нравится:
|
|||
08.03.2020, 02:45 |
|
Проектирование системы сбора геолокационных данных
|
|||
---|---|---|---|
#18+
mayton Mongo КМК не подходит т.к. избыточно. Вам же только координаты передать и код смартфона. MongoDB из коробки поддерживает работу с геоданными: GeoJSON, индексы, запросы, агрегации. Не думаю, что дело ограничивается передачей координат, судя по: Areostar и отсылает обработанные данные на смартфоны глав групп работников и т.д ... |
|||
:
Нравится:
Не нравится:
|
|||
08.03.2020, 07:27 |
|
Проектирование системы сбора геолокационных данных
|
|||
---|---|---|---|
#18+
Изопропил, Замалчиваю так как сам ещё не всю инфу получил от начальствующих дебилов ... |
|||
:
Нравится:
Не нравится:
|
|||
08.03.2020, 13:47 |
|
Проектирование системы сбора геолокационных данных
|
|||
---|---|---|---|
#18+
skyANA, Спасибо за ответ ... |
|||
:
Нравится:
Не нравится:
|
|||
08.03.2020, 13:48 |
|
Проектирование системы сбора геолокационных данных
|
|||
---|---|---|---|
#18+
Areostar А записывать собираюсь геоданные с телефонов. Талефонов до нескольких тысяч, данные снимаются каждые 3-5 секунд. За пару лет надерётся несколько милиардов. И тебе требуется узнать где конкретный телефон был в конкретную секунду два года назад. Не проблема. Неважно сколько миллиардов записей в таблице, индексы справятся. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.03.2020, 14:45 |
|
Проектирование системы сбора геолокационных данных
|
|||
---|---|---|---|
#18+
Он же говорит. Бизнес еще не определился с ТЗ. Я думаю - в топике мало инфы и стоит подождать. Дизайн подсистемы хранения исторических данных точняк должен отличатся от дизайна данных оперативных. Это вполне разумно. Иначе владелец будет переплачивать в 1000% сам не зная за что. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.03.2020, 14:53 |
|
|
start [/forum/topic.php?fid=16&msg=39935565&tid=1339814]: |
0ms |
get settings: |
10ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
173ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
68ms |
get tp. blocked users: |
2ms |
others: | 246ms |
total: | 531ms |
0 / 0 |