Гость
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Проектирование системы сбора геолокационных данных / 25 сообщений из 38, страница 1 из 2
07.03.2020, 00:47
    #39935343
Areostar
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование системы сбора геолокационных данных
Задача такова

у фирмы много работников, транспорта и т.п. у каждого работника есть смартфон. на этих сматфонах будет размещаться ПО отсылающая на сервер данные их песто положения каждые скажем 5-10 секунд. сервер принемает инфу. Сохраняет.

и отсылает обработанные данные на смартфоны глав групп работников и т.д

Воросы

Какую субд порекомендуете? Я так думаю нужна NOSQL? MongoDB или ещё чего оассмотреть следует

Использовать запросы или сокеты?

если можете посоветовать материалы и примеры то теме, буду благодарен!
...
Рейтинг: 0 / 0
07.03.2020, 00:54
    #39935346
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование системы сбора геолокационных данных
Нужно пойти от запросов которые вы будете к этой системе предъявлять.
В данной постановке - вам подходит всё что угодно. Берите PostgresQL.
Бесплатно и универсально.

Может подойти InfluxDb если основной вид запросов будет по интервалу времени.

Mongo КМК не подходит т.к. избыточно. Вам же только координаты передать и код смартфона.

Кстати да. Нарисуйте вашу главную табличку. (Концептуальную модель). И от нее можно
пойти с вопросами.
...
Рейтинг: 0 / 0
07.03.2020, 06:19
    #39935357
Areostar
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование системы сбора геолокационных данных
mayton,

про InfluxDb раньше не слышал, почитаю.

Смартов может быть несколько тысяч. соответственно несколько тысяч запросов принять и донескольких сотен отослать.

MySQL/PostgreSQL Это переварят?

Все данные планируется собирать - тоесть накапливать не хилые обьёмы(BigData) - по этому я про NOSQL и упамянул? с этой стороны что лучше?
...
Рейтинг: 0 / 0
07.03.2020, 09:19
    #39935363
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование системы сбора геолокационных данных
Areostar,

Делайте на том ПО, в котором разбираетесь, ибо 10-20 млн записей с координатами в день - это ниочем для современных систем. А еще можно дедубликацию сделать в виде (координаты, периодС, периодПо)...
...
Рейтинг: 0 / 0
07.03.2020, 10:17
    #39935368
Areostar
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование системы сбора геолокационных данных
Критик,

Спапсибо за ответ!
...
Рейтинг: 0 / 0
07.03.2020, 10:48
    #39935372
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование системы сбора геолокационных данных
Areostar

Все данные планируется собирать - тоесть накапливать не хилые обьёмы(BigData) - по этому я про NOSQL и упамянул? с этой стороны что лучше?

Я не знаю что такое "нехилые". Уточните цифры. Возможно то что вы считаете BitData - это вовсе не бигдата а просто
обычная современная БД.

В моём понимании биг-дата начинается от десятков и сотен терабайт. И от денормализации самих данных.
...
Рейтинг: 0 / 0
07.03.2020, 12:57
    #39935401
Areostar
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование системы сбора геолокационных данных
mayton,

15-25 милиардов записей только в одной таблице это как много или не очень? Как по вашему?

Обьясните в кратце чем PostgreSQL превосходит MySQL?

Может тогда майсиквель взять по старинке?
...
Рейтинг: 0 / 0
07.03.2020, 14:06
    #39935413
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование системы сбора геолокационных данных
Areostar,

У вас будут транзакции, которые обновляют те данные, которые вставлены?
...
Рейтинг: 0 / 0
07.03.2020, 14:32
    #39935422
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование системы сбора геолокационных данных
Areostar
15-25 милиардов записей только в одной таблице это как много или не очень?

Не очень. Но я сомневаюсь, что тебя наймут в фирму с миллионом работников.
...
Рейтинг: 0 / 0
07.03.2020, 15:11
    #39935430
Areostar
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование системы сбора геолокационных данных
Dimitry Sibiryakov,

Это записей милиарды. А записывать собираюсь геоданные с телефонов. Талефонов до нескольких тысяч, данные снимаются каждые 3-5 секунд. За пару лет надерётся несколько милиардов.
...
Рейтинг: 0 / 0
07.03.2020, 15:14
    #39935431
Areostar
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование системы сбора геолокационных данных
mayton,

Что значит обновляют? Выборки делать конечно, обрабатывать данные. А изменять координаты геолакацый зачем?
...
Рейтинг: 0 / 0
07.03.2020, 15:27
    #39935434
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование системы сбора геолокационных данных
У тебя, получается write-only. Верно?
...
Рейтинг: 0 / 0
07.03.2020, 16:59
    #39935446
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование системы сбора геолокационных данных
Я почему спрашиваю. Мы здесь за 1 итерацию не сможем выдать архитектурное решение которое покроет
все потребности. Может быть надо будет сделать 2-3 макета или POC прежде чем оно заработает.

Сейчас под требование автора подходят любые системы класса Event-Store, Time-Series DB (Influx).
Берите любую и она подходит. Это одна матрица. Если вы хотите поднимать на своем железе.
https://db-engines.com/en/ranking/time series dbms
https://db-engines.com/en/ranking/event store

Другая матрица - хостинг в Амазон и Гугл. У них EC2 стоят дороже. И лучше покупать не голую операционку
а службу как сервис и там будет другая матрица. И надо смотреть по деньгам как выходит.

Постргрес это просто серебрянная пуля которая всегда стрельнет но она может быть не такой быстрой
например по записи или не такой дешевой. Компромисс короче. Не имею ничего против MySQL.
Но я просто в нем не специалист.

Может на данной итерации (накопление гео-данных) вам вообще dbms не нужна и вам хватит
end-point который просто пишет все POST события в текстовый лог. А уже потом от запросов
бизнеса и производтсва можно этот лог перекладывать из одной системы в другую решая
сиюминутные задачи.
...
Рейтинг: 0 / 0
07.03.2020, 19:17
    #39935460
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование системы сбора геолокационных данных
Areostar
если можете посоветовать материалы и примеры то теме, буду благодарен!
https://habr.com/ru/post/485484/
...
Рейтинг: 0 / 0
07.03.2020, 20:32
    #39935469
x1ca4064
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование системы сбора геолокационных данных
Areostar
сервер принемает инфу. Сохраняет.

и отсылает обработанные данные на смартфоны глав групп работников и т.д



С пунктом "отсылает обработанные данные" не понятно, какова обработка.
А в остальном - я бы в csv (или dbf!) файлы данные писал, по файлу на каждое устройство, возможно, с разбивкой по дате/времени.
...
Рейтинг: 0 / 0
08.03.2020, 00:58
    #39935508
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование системы сбора геолокационных данных
Dbf - это что? DBase? FoxPro?
...
Рейтинг: 0 / 0
08.03.2020, 02:13
    #39935516
Изопропил
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование системы сбора геолокационных данных
mayton
Dbf - это что? DBase? FoxPro?

зачем усложнять,
без мемо-полей,индкесов и с ASCII кодировкой - просто DBase III
...
Рейтинг: 0 / 0
08.03.2020, 02:19
    #39935517
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование системы сбора геолокационных данных
По факту там может быть больше данных. Широта-долгота. Высота тоже может писаться. Скорость.
+Какая-то техническая хрень. И будет пухнуть datarow в этот бедный dbf. А беря во внимание что
dbf - не умеет поджимать nulls, получится не файл а .. пенопласт.
...
Рейтинг: 0 / 0
08.03.2020, 02:45
    #39935519
Изопропил
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование системы сбора геолокационных данных
mayton,

топикстартер замалчивает детали - вот и приходится фантазировать
...
Рейтинг: 0 / 0
08.03.2020, 07:27
    #39935530
skyANA
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование системы сбора геолокационных данных
mayton
Mongo КМК не подходит т.к. избыточно. Вам же только координаты передать и код смартфона.

MongoDB из коробки поддерживает работу с геоданными: GeoJSON, индексы, запросы, агрегации.

Не думаю, что дело ограничивается передачей координат, судя по:
Areostar
и отсылает обработанные данные на смартфоны глав групп работников и т.д
...
Рейтинг: 0 / 0
08.03.2020, 13:47
    #39935565
Areostar
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование системы сбора геолокационных данных
Изопропил,

Замалчиваю так как сам ещё не всю инфу получил от начальствующих дебилов
...
Рейтинг: 0 / 0
08.03.2020, 13:48
    #39935566
Areostar
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование системы сбора геолокационных данных
skyANA,

Спасибо за ответ
...
Рейтинг: 0 / 0
08.03.2020, 14:45
    #39935570
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование системы сбора геолокационных данных
Areostar
А записывать собираюсь геоданные с телефонов. Талефонов до нескольких тысяч, данные снимаются каждые 3-5 секунд. За пару лет надерётся несколько милиардов.

И тебе требуется узнать где конкретный телефон был в конкретную секунду два года назад. Не проблема. Неважно сколько миллиардов записей в таблице, индексы справятся.
...
Рейтинг: 0 / 0
08.03.2020, 14:53
    #39935573
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование системы сбора геолокационных данных
Он же говорит. Бизнес еще не определился с ТЗ.

Я думаю - в топике мало инфы и стоит подождать. Дизайн подсистемы хранения исторических
данных точняк должен отличатся от дизайна данных оперативных. Это вполне разумно.
Иначе владелец будет переплачивать в 1000% сам не зная за что.
...
Рейтинг: 0 / 0
08.03.2020, 16:08
    #39935576
skyANA
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проектирование системы сбора геолокационных данных
mayton
Он же говорит. Бизнес еще не определился с ТЗ.

Но топик-то он уже создал :) Мог бы и подождать "начальствующих дебилов".
...
Рейтинг: 0 / 0
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Проектирование системы сбора геолокационных данных / 25 сообщений из 38, страница 1 из 2
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]