
    Новые сообщения [новые:0]
  
  Дайджест 
  
  Горячие темы
    Избранное [новые:0]
  
Форумы 
 
Пользователи 
Статистика 
Статистика нагрузки 
    Мод. лог 
  
  Поиск 
  | 
| 
 13.09.2018, 08:48 
 | 
|||
|---|---|---|---|
  
  | 
|||
Посоветуйте подходы и литературу по массовой обработке данных.  | 
|||
| 
 #18+ 
  
    
  Добрый день! Есть некоторая задача по обработке данных. В качестве хранилища данных выступает реляционная бд(oracle). В качестве обработчиков выступает N экземпляров java приложения. Каждый обработчик умеет вычитывать данные из бд и с помощью бизнес логики изменять и обновлять. Каждый из обработчиков должен каким-то образом получать свою пачку записей из бд, не пересекающую с данными, полученными другими обработчиками и обрабатывать эти данные. То есть каждый из них вычитывает свой набор строк из таблицы и обновляет эти строки. Зачем : снизить нагрузку с севера бд. Что важно: попытаться сохранить производительность, обеспечиваемую сервером бд. Интересует опыт построения такого рода систем да и вообще какие подходы, книги есть по массовой обработке данных, их плюсы и минусы, best practices. Заранее спасибо. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 
  
  
   | 
| 
 13.09.2018, 13:25 
 | 
|||
|---|---|---|---|
Посоветуйте подходы и литературу по массовой обработке данных.  | 
|||
| 
 #18+ 
  
    
  feomatrКаждый из обработчиков должен каким-то образом получать свою пачку записей из бд, не пересекающую с данными, полученными другими обработчиками и обрабатывать эти данные. ... Зачем : снизить нагрузку с севера бд. Что важно: попытаться сохранить производительность, обеспечиваемую сервером бд. Вы предложили решение до того, как познакомились с ожидаемыми best practices и т.д. Ну и сели в лужу. feomatr Интересует опыт построения такого рода систем да и вообще какие подходы, книги есть по массовой обработке данных, их плюсы и минусы, best practices. Best practices здесь простые - понимать, что вы делаете. Вы - не понимаете (видно по предложенному решению). Вообще сложная обработка это (на привычно вам языке) английское словосочетание про искусство в применении к техническим задачам. Искусство, говорят, так особо и не формализовали, так что best practices здесь наверное найти можно, но вот качество оных обычно вызывает сомнения. Для понимания вашей проблемы попробуйте рассказать, каким же образом ваши обработчики снизят нагрузку на БД? И что такое "сохранить производительность"? ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 
  
  
   | 
| 
 13.09.2018, 19:44 
 | 
|||
|---|---|---|---|
Посоветуйте подходы и литературу по массовой обработке данных.  | 
|||
| 
 #18+ 
  
    
  feomatrЗачем : снизить нагрузку с севера бд. А какова сейчас нагрузка на север бд? Какую долю из этой нагрузки составляет "задача обработки данных" (в её серверной реализации)? Какова эта реализация? Какие у неё резервы оптимизации? Какие дополнительные данные требуются в ходе обработки? Какой профиль нагрузки в этой обработке? Во что она упирается на севере бд? И т. д. и т. п. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 
  
  
   | 
| 
 10.10.2018, 06:30 
 | 
|||
|---|---|---|---|
Посоветуйте подходы и литературу по массовой обработке данных.  | 
|||
| 
 #18+ 
  
    
  книга с кабанчиком  (Клеппман, Мартин. Высоконагруженные приложения. Программирование, масштабирование, поддержка) есть пдф на рутрекере ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 
  
  
   | 
  | 

start [/forum/topic.php?fid=33&mobile=1&tid=1547188]:  | 
    0ms | 
get settings:  | 
    11ms | 
get forum list:  | 
    15ms | 
check forum access:  | 
    4ms | 
check topic access:  | 
    4ms | 
track hit:  | 
    36ms | 
get topic data:  | 
    13ms | 
get forum data:  | 
    3ms | 
get page messages:  | 
    48ms | 
get tp. blocked users:  | 
    1ms | 
| others: | 234ms | 
| total: | 369ms | 

    | 0 / 0 | 

На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даете согласие с использованием данных технологий.