powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Реляционная бд или NoSQL?
34 сообщений из 34, показаны все 2 страниц
Реляционная бд или NoSQL?
    #39363679
noob1111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Есть несколько компаний,которые обмениваются данными о клиентах в виде сообщений.

Необходимо организовать децентрализованную распределенную систему хранения данных о клиентах.
Я представлю это так,каждая компания хранит копию БД и добавляет туда по необходимости карточку с данными клиента или несколько карточек, желательно чтобы можно было добавлять по необходимости поля в карточку или была возможность выбора добавляемого поля из ранее зафиксированных дополнительных полей. Также хотелось бы,чтобы поддерживалось пакетное добавление карточек.

С помощью чего это лучше и удобнее всего организовать?
...
Рейтинг: 0 / 0
Реляционная бд или NoSQL?
    #39363685
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
noob1111С помощью чего это лучше и удобнее всего организовать?

Совершенно пофиг: БД в этой системе не ключевая вещь. Используй то, что уже есть у этих
компаний.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Реляционная бд или NoSQL?
    #39363710
noob1111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Dimitry Sibiryakov,
а что является ключевым?
...
Рейтинг: 0 / 0
Реляционная бд или NoSQL?
    #39363715
noob1111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Dimitry Sibiryakov,

как силами БД организовать такую систему?
...
Рейтинг: 0 / 0
Реляционная бд или NoSQL?
    #39363749
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
noob1111как силами БД организовать такую систему?

Никак.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Реляционная бд или NoSQL?
    #39363826
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
noob1111Есть несколько компаний,которые обмениваются данными о клиентах в виде сообщений.
Необходимо организовать децентрализованную распределенную систему хранения данных о клиентах ...
желательно чтобы можно было добавлять по необходимости поля в карточкутут много вопросов без ответов на которые что либо советовать это "пальцем в небо"...
впрочем, на вскидку, посмотрите в строну MongoDB + RabbitMQ
...
Рейтинг: 0 / 0
Реляционная бд или NoSQL?
    #39363845
noob1111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Дедушка,
есть ряд требований
Организовать единую защищенную автоматизированную платформу для информационного обмена между субъектами в соответствии с имеющимися современными требованиями и технологиями.
Основное требование к структуре решения – децентрализованность, то есть отсутствие выделенного «центра», агрегирующего и управляющего собранной информацией.

требования к системе.
Работа с базой
Должна быть реализована возможность представления данных пользователю по запросу (поиск информации)
Должна быть реализована возможность добавления (изменения) данных (пополнение базы)
• добавление карточек "по одной"
• пакетное добавление
• при добавлении данных должна быть предусмотрена возможность идентификации ранее созданной карточки
При добавлении данных, должна быть реализована возможность расширения карточек дополнительными полями
• возможность выбора добавляемого поля из ранее зафиксированных дополнительных полей

• возможность добавления новых дополнительных полей с фиксацией следующей информации:
o идентификатор поля (уникален в среди всех возможных полей карточки)
o наименование поля (применяется при построении GUI)
...
Рейтинг: 0 / 0
Реляционная бд или NoSQL?
    #39363846
noob1111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Дедушка,
есть предложение организовать это все на блокчейне Ethereum сети, но лично мне кажется что вполне можно найти альтернативный более традиционный вариант
...
Рейтинг: 0 / 0
Реляционная бд или NoSQL?
    #39363856
mini.weblab
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
noob1111,

я видела решение через вебсервисы
схема примерно такая:
Data Provider 1 -> web-service 1 (provides data to DC) ->|
Data Provider 2 -> web-service 2 (provides data to DC) ->| -> Data Collector -> data distribution web-service
Data Provider 2 -> web-service 3 (provides data to DC) ->|
...
Рейтинг: 0 / 0
Реляционная бд или NoSQL?
    #39363863
noob1111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
mini.weblab,
а можно поподробнее как это работает?
...
Рейтинг: 0 / 0
Реляционная бд или NoSQL?
    #39363871
mini.weblab
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
noob1111,

посмотреть можно здесь. плюс еще документация здесь неплохая:
http://ec.europa.eu/eurostat/data/web-services
...
Рейтинг: 0 / 0
Реляционная бд или NoSQL?
    #39363954
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
noob1111Дедушка,
есть предложение организовать это все на блокчейне Ethereum сети
от кого поступило такое предложение, от Гугла? :)
...
Рейтинг: 0 / 0
Реляционная бд или NoSQL?
    #39363957
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
noob1111Основное требование к структуре решения – децентрализованность, то есть отсутствие выделенного «центра», агрегирующего и управляющего собранной информацией.
Существуют два способа распределения данных: фрагментация (sharding) и репликация. Вам какой нужен?
...
Рейтинг: 0 / 0
Реляционная бд или NoSQL?
    #39363961
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
Реляционная бд или NoSQL?
    #39365324
noob1111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
skyANA,
Спасибо,нужна именно репликация.
То есть настройка будет выглядеть как описано здесь ?

а как решить конфликт когда два мастера одновременно добавляют запись?
...
Рейтинг: 0 / 0
Реляционная бд или NoSQL?
    #39365325
noob1111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
...
Рейтинг: 0 / 0
Реляционная бд или NoSQL?
    #39365335
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
noob1111а как решить конфликт когда два мастера одновременно добавляют запись?

Проще всего - организационными методами.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Реляционная бд или NoSQL?
    #39365475
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
noob1111skyANA,
Спасибо,нужна именно репликация.
То есть настройка будет выглядеть как описано здесь ?

а как решить конфликт когда два мастера одновременно добавляют запись?
По ссылке перечислены СУБД с multi-master-репликацией. Если Вы выбрали MySQL, то почитайте, как решаются конфликты именно там.
...
Рейтинг: 0 / 0
Реляционная бд или NoSQL?
    #39365479
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Но судя по тому, что Вы описываете: "каждая компания хранит копию БД и добавляет туда по необходимости карточку с данными клиента или несколько карточек", - я бы сначал задался вопросом, а когда это разные компании в один и тотже момент добавляют карточку с данными одного и того же клиента.
Клиент что, в двух местах одновременно находится?
...
Рейтинг: 0 / 0
Реляционная бд или NoSQL?
    #39366092
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
имхо, я бы сильно подумал прежде чем брать репликацию. где у вас эти "компании" расположены (в разных городах, на разных континентах), качество канала связи, насколько возможна задержка в синхронизации, насколько допустимо дублирование "карточек клиента" (может быть дублирование до процедуры клининга) и тд и тп. лично я бы сделал сам, на лёгких сервисах и очередях сообщений, но это сильно зависит от вашего контекста.
...
Рейтинг: 0 / 0
Реляционная бд или NoSQL?
    #39366728
noob1111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Дедушка,
вообще суть проблемы вот в чем,передача информации о клиентах (карточек клиентов) ведется по обычной электронной почте и информация несистематизируется. При такой передаче данных возникает ряд проблем таких как:поскольку рассылка проводится в открытом виде по большому списку электронных почтовых адресов, в некоторых случаях это приводит к срабатыванию спам-фильтров на стороне получателей и неполучению ими значимой информации, добавление новых пользователей в рассылку никак не контролируется + каждый получатель самостоятельно решает как полученную информацию хранить, что затрудняет дальнейшую работу с информацией. число участников рассылки 100+
• Характер рассылок нерегулярный,
необходимо
• обеспечение защищенной рассылки данных внутри закрытой группы пользователей, желательно чтобы все сообщения доходили до адресатов и были ими обработаны без потерь
• отслеживание добавления новых участников в рассылку
• обеспечение систематизированного,централизованного хранения полученной информации на стороне пользователя с возможной последующей обработкой и поиском в массиве ранее переданной информации.
т.е необходимо организовать единую защищенную автоматизированную платформу для информационного обмена между субъектами с систематизированным хранением сообщений.

необходимо подобрать механизмы для оптимального решения. пишу диплом
...
Рейтинг: 0 / 0
Реляционная бд или NoSQL?
    #39366736
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
noob1111т.е необходимо организовать единую защищенную автоматизированную платформу
для информационного обмена между субъектами с систематизированным хранением сообщений.

необходимо подобрать механизмы для оптимального решения.
Всё уже придумано до вас: используйте RSS.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Реляционная бд или NoSQL?
    #39366747
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Хотя нет, RSS годится только для централизованной рассылки. Так что вам скорее нужно P2P
или B2B.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Реляционная бд или NoSQL?
    #39366767
noob1111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
skyANA,
а если компаний 100+? мультимастер репликация подойдет?
...
Рейтинг: 0 / 0
Реляционная бд или NoSQL?
    #39366816
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
noob1111а если компаний 100+? мультимастер репликация подойдет?

Мультимастер репликация не потянет в разнородной среде. Тебе нужно B2B и согласование
формата обмена данными.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Реляционная бд или NoSQL?
    #39367062
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
noob1111Дедушка,
вообще суть проблемы вот в чем,передача информации о клиентах (карточек клиентов) ведется по обычной электронной почте и информация несистематизируется. При такой передаче данных возникает ряд проблем таких как:поскольку рассылка проводится в открытом виде по большому списку электронных почтовых адресов, в некоторых случаях это приводит к срабатыванию спам-фильтров на стороне получателей и неполучению ими значимой информации, добавление новых пользователей в рассылку никак не контролируется + каждый получатель самостоятельно решает как полученную информацию хранить, что затрудняет дальнейшую работу с информацией. число участников рассылки 100+
• Характер рассылок нерегулярный,
необходимо
• обеспечение защищенной рассылки данных внутри закрытой группы пользователей, желательно чтобы все сообщения доходили до адресатов и были ими обработаны без потерь
• отслеживание добавления новых участников в рассылку
• обеспечение систематизированного,централизованного хранения полученной информации на стороне пользователя с возможной последующей обработкой и поиском в массиве ранее переданной информации.
т.е необходимо организовать единую защищенную автоматизированную платформу для информационного обмена между субъектами с систематизированным хранением сообщений.

необходимо подобрать механизмы для оптимального решения. пишу диплом
Мы для email рассылок используем связку ActiveMQ + MailBee
...
Рейтинг: 0 / 0
Реляционная бд или NoSQL?
    #39367063
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
noob1111skyANA,
а если компаний 100+? мультимастер репликация подойдет?
Почему нет? :) Но лучше вы подробнее опишите, что собрались реплицировать.
...
Рейтинг: 0 / 0
Реляционная бд или NoSQL?
    #39367222
noob1111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
skyANA,
вместо рассылки сообщений, добавлять карточки клиентов сразу в БД, соответственно чтобы добавлять могли 100+ компаний, как один из вариантов,возможно не самый лучший)
...
Рейтинг: 0 / 0
Реляционная бд или NoSQL?
    #39367276
noob1111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Dimitry Sibiryakov,

а как отследить,что сообщение дошло до всех узлов в p2p сети? или как узлу определить,что он все карточки получил и по необходимости добавить недостающие?
...
Рейтинг: 0 / 0
Реляционная бд или NoSQL?
    #39367362
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
В двухтысячных мы писали систему для нефтяников: Oracle, 100+ серверов по всей России, репликация.
...
Рейтинг: 0 / 0
Реляционная бд или NoSQL?
    #39367391
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
noob1111а как отследить,что сообщение дошло до всех узлов в p2p сети? или как узлу определить,что он все карточки получил и по необходимости добавить недостающие?почитайте про eventual consistency и сар - теорему.
...
Рейтинг: 0 / 0
Реляционная бд или NoSQL?
    #39370581
noob1111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
skyANA,
а одноранговая репликация может использоваться? как часто она используется на практике?
...
Рейтинг: 0 / 0
Реляционная бд или NoSQL?
    #39370623
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
noob1111skyANA,
а одноранговая репликация может использоваться? как часто она используется на практике?
Хм... Amazon DynamoDB (S3), Cassandra, MongoDB, Riak...
...
Рейтинг: 0 / 0
Реляционная бд или NoSQL?
    #39370903
noob1111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
skyANA, а какие недостатки,подводные камни у такой репликации?
...
Рейтинг: 0 / 0
34 сообщений из 34, показаны все 2 страниц
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Реляционная бд или NoSQL?
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]