Здравствуйте. Подскажите пожалуйста. Пытаюсь изучить Hibernate. Покопавшись в старых темах, не обнаружил похожего вопроса.(если не заметил буду рад за ссылку)

Имеется проект. В нём > 200 одинаковых таблиц(совершенно одинаковая структура). Имена у них на подобии table_1, table_2 итд (таблицы могут автоматически добавляться)
В них находятся некоторые данные, которые выбираются по primary key.
Номер таблицы, выбирается по определённому алгоритму, на основе primary key ID.
Помимо этого, есть много таблиц в единичном экземпляре.

С теми таблицами которых один экземпляр, вопросов нет.

Но вот как замапить что не в 1 экземпляре (все эти table_XXX)? Может ли Hibernate вообще работать с такой структурой?
Хочется сделать что-то вроде 1 класса на все.


Заранее всем спасибо за ответы.

BlazkowiczЕсть ещё какие-то таблицы помимо этих 200? Если нет, то и hibernate брать не за чем.
В том и проблема что есть.
Как я писал выше: Помимо этого, есть много таблиц в единичном экземпляре.

just_vladimirNetImperia,
я так понимаю у вас таким образом реализован шардинг, вроде в hibernate было что-то такое, посмотрите hibernate shards.
А так соглашусь с Blazkowicz, что стоит хорошо подумать, а нужен ли Вам hibernate?

Именно. Спасибо за наводку. Сел читать.

Я удивлён что такие споры из-за моего вопроса.

Приоткрою немного инфы. :)

Скажу сразу. Это не публичный проект.
Изначально проект был 1 сервер (за 300$ в месяц) + MySQL 3 + PHP 3. Тогда и не планировалось что данных будет так много.
Данных становилось всё больше и больше. И они перестали вмещаться на один винт. Помимо этого, поиск даже по индексу занимал очень много времени. Так как решать надо было быстро, да и денег было мало. В результате просто добавили винты и таблицы поделены на части.

Через некоторое время проект медленно начали переписывать на Java. Потом проект был заброшен. Но продолжал работать.
И так всё это продолжалось довольно долго. В результате это всё превратилось в полное извращение.

Сейчас это монстр из 7 компов в каждом 36 винтов. Часть на PHP, часть на Java и есть даже кусок на ruby(кто на нём написал до сих пор не ясно. Очень хочется поймать его и кое что оторвать). + MySQL 5

Вообщем 100% пример. Как нельзя делать проекты.

Недавно было решено таки закончить с перепиской на Java. Обозначалось это фразой: Ты у нас сейчас свободен. Вот и иди занимайся :) Попутно решил изучить Hibernate получше.

Как понимаете сейчас весь это зоопарк выглядит просто дико. Но что есть то есть.

Понятное дело что по хорошему надо сделать тупо кластер. Но сейчас нет денег на это. У проекта очень ограниченный бюджет.

По поводу структуры:

Для тех кто

По поводу всяких Oracle итд. Опять-же всё упирается в деньги.

По поводу структуры:

Таблицы которых так много. Это что-то вроде логов к которым постоянно обращение идёт.
Но помимо этих, есть много обычных. Они небольшие. Но с ними тоже работа идёт.
Именно поэтому хотелось сделать Hibernate. Чтобы упростить себе жизнь.



По поводу почему сделано столько таблиц.
1) Они не помещались на диске.
2) На кластер не было денег. (да и сейчас нет)
3) Скорость поиска даже по Primary key быстрее к маленькой таблице чем к большой.
4) Это не Oracle это MySQL. В нём немного по другому всё :)

Blazkowicz,

Яб за. НО... Для того чтобы всё слить в одну. Нужен кластер. Создавать кластер надо на чистом компе. Отсюда встаёт вопрос, где взять 7 компов с 36 винтами... Или куда скопировать эти данные. И как всё это настроить за 2 дня. И главное где взять деньги на новое железо. :)

Petro123нет.
По хорошему надо:
- начать всё таки Новый проект с Новой моделью


По хорошему да. Но у нас не тот случай. Это не проект который пачками деньги приносит.
Именно по этому, мы не можем, просто взять и купить новое железо.
Этот проект по большей части окупает сервера + админа который следит за ним + очень немного остаётся.

Petro123- привести цифры, а не бла-бла .... 36 винтов

Какие именно?
7 компов Dual Xeon 2650 + 32Gb памяти + Винты 1 Tb (36)
Обращений к базе примерно 30 в секунду.
По поводу как идёт обращение к базе и этим 7 компам.
В зависимости от ID идёт подключение к одному или иному компу.

Petro123- эти цифры на ветку по СУБД, а не Java


Изначально был вопрос про то как замапить Hibernate. А не по SQL.
А это всё я привёл, только, что-бы было понятно почему такой бардак.

Petro123- нанять или выделить спеца по СУБД, т.к. данных Много.


Вот меня и выделили. В базах я вроде неплохо разбираюсь. Но плохо разбираюсь в Hibernate.
По поводу нанять. Возвращаемся к вопросу о деньгах.

Petro123ЗЫ. Какой размер БД, т.к. есть сиквел и оракл бесплатный


База сейчас ~203Тb Поэтому Оракл уже не бесплатен.

Petro123NetImperiaЭто что-то вроде логов к которым постоянно обращение идёт
зачем?
- сливайте логи в другую БД (OLAP - OLTP)

Это не то чтобы логи. Как таковые. Это данные с нескольких источников + они еще и обновляться могут.
Понятно что сейчас эта архитектура просто бред. Но какие-то глобальные правки сделать не представляется возможным.

Йуный джавистЪНужен кластер. Создавать кластер надо на чистом компе. Отсюда встаёт вопрос, где взять 7 компов с 36 винтами...
Подержанный SAN такого объема стоит в районе 500 000 р.

Вопрос в деньгах.

Йуный джавистЪ3) Скорость поиска даже по Primary key быстрее к маленькой таблице чем к большой.
Вообще-то, все равно. Btree очень медленно растет в глубину.

Когда это делалось был. MySQL 3.... Тогда была другая история.

just_vladimirNetImperia,
а для чего нужно работать с логами через Hibernate?

Хотелось сделать красиво :)
Но видимо не выйдет

just_vladimirСделайте работу с нормальными объектами через Hibernate, а логи лейте в какой нибудь отдельный MongoDB, т.к. на сколько понимаю требований по удовлетворению ACID нету.
Как обойтись имеющимся хардваром, то достаточно выделить один компьютер, частями, хоть по одной табличке переливать и по мере освобождения ресурсов производить их переброску.
Я к этому и стремлюсь. Но для начала надо навести порядок в самом коде. Зоопарк из Java + PHP + Ruby это не вариант.

WGANetImperiaБаза сейчас ~203Тb Поэтому Оракл уже не бесплатен.А на чем такие объемы? На ум приходит только BLOB в БД
очень много Text полей. Плюс там очень много записей.

Локшин МаркWGAпропущено...
А на чем такие объемы? На ум приходит только BLOB в БД
А это скорее всего опечатка - 203 Tб на 36 1-Тб винтах могут поместиться, разве что там включена компрессия...
203 это не на 1 компе, а на 7

Petro123WGAпропущено...
А на чем такие объемы? На ум приходит только BLOB в БД
вот и я думаю, с этих цифр и надо было начинать.
Т.к. изучать Хибер на куче таблица_1...N не следует.
Аффтар! Неужели нельзя найти похожую предметную область?
Почему все думают, что у них проект на нобелевскую?

- обсуждали проект на форуме своей БД? Ссылка есть?...про терабайты?
Если вы посмотрите на тему. Я спрашивал как замапить. А не как сделать структуру базы нормальную.
Хотелось сделать красивую и удобную обёртку на Hibernate. Но понял уже, что Hibernate такое нормально без костылей не умеет.
Поэтому отказался от этой идеи.
И при чём тут нобелевская. Просто есть живой проект надо переписать код его. Ничего сверх естественного.



Как я уже говорил ранее. У меня нет сейчас возможности менять структуру базы. Всё что я сейчас пытаюсь сделать, это переписать весь код на Java не трогая базу. Всех почему-то понесло обсуждать кривую базу. :)

Тему можно закрывать. Я всё понял. Всем спасибо за критику и советы.

P.S. Если уж так всем хочется на тему базы поговорить. Можем это приватно сделать :)

WGANetImperia,Интересно было бы посмотреть на БД таких объемов. Как с Вами можно связаться?

В профайле есть контакты мои...