По поводу структуры:

Таблицы которых так много. Это что-то вроде логов к которым постоянно обращение идёт.
Но помимо этих, есть много обычных. Они небольшие. Но с ними тоже работа идёт.
Именно поэтому хотелось сделать Hibernate. Чтобы упростить себе жизнь.



По поводу почему сделано столько таблиц.
1) Они не помещались на диске.
2) На кластер не было денег. (да и сейчас нет)
3) Скорость поиска даже по Primary key быстрее к маленькой таблице чем к большой.
4) Это не Oracle это MySQL. В нём немного по другому всё :)

Blazkowicz,

Яб за. НО... Для того чтобы всё слить в одну. Нужен кластер. Создавать кластер надо на чистом компе. Отсюда встаёт вопрос, где взять 7 компов с 36 винтами... Или куда скопировать эти данные. И как всё это настроить за 2 дня. И главное где взять деньги на новое железо. :)

Petro123нет.
По хорошему надо:
- начать всё таки Новый проект с Новой моделью


По хорошему да. Но у нас не тот случай. Это не проект который пачками деньги приносит.
Именно по этому, мы не можем, просто взять и купить новое железо.
Этот проект по большей части окупает сервера + админа который следит за ним + очень немного остаётся.

Petro123- привести цифры, а не бла-бла .... 36 винтов

Какие именно?
7 компов Dual Xeon 2650 + 32Gb памяти + Винты 1 Tb (36)
Обращений к базе примерно 30 в секунду.
По поводу как идёт обращение к базе и этим 7 компам.
В зависимости от ID идёт подключение к одному или иному компу.

Petro123- эти цифры на ветку по СУБД, а не Java


Изначально был вопрос про то как замапить Hibernate. А не по SQL.
А это всё я привёл, только, что-бы было понятно почему такой бардак.

Petro123- нанять или выделить спеца по СУБД, т.к. данных Много.


Вот меня и выделили. В базах я вроде неплохо разбираюсь. Но плохо разбираюсь в Hibernate.
По поводу нанять. Возвращаемся к вопросу о деньгах.

Petro123ЗЫ. Какой размер БД, т.к. есть сиквел и оракл бесплатный


База сейчас ~203Тb Поэтому Оракл уже не бесплатен.

Petro123NetImperiaЭто что-то вроде логов к которым постоянно обращение идёт
зачем?
- сливайте логи в другую БД (OLAP - OLTP)

Это не то чтобы логи. Как таковые. Это данные с нескольких источников + они еще и обновляться могут.
Понятно что сейчас эта архитектура просто бред. Но какие-то глобальные правки сделать не представляется возможным.

Йуный джавистЪНужен кластер. Создавать кластер надо на чистом компе. Отсюда встаёт вопрос, где взять 7 компов с 36 винтами...
Подержанный SAN такого объема стоит в районе 500 000 р.

Вопрос в деньгах.

Йуный джавистЪ3) Скорость поиска даже по Primary key быстрее к маленькой таблице чем к большой.
Вообще-то, все равно. Btree очень медленно растет в глубину.

Когда это делалось был. MySQL 3.... Тогда была другая история.

just_vladimirNetImperia,
а для чего нужно работать с логами через Hibernate?

Хотелось сделать красиво :)
Но видимо не выйдет

just_vladimirСделайте работу с нормальными объектами через Hibernate, а логи лейте в какой нибудь отдельный MongoDB, т.к. на сколько понимаю требований по удовлетворению ACID нету.
Как обойтись имеющимся хардваром, то достаточно выделить один компьютер, частями, хоть по одной табличке переливать и по мере освобождения ресурсов производить их переброску.
Я к этому и стремлюсь. Но для начала надо навести порядок в самом коде. Зоопарк из Java + PHP + Ruby это не вариант.

WGANetImperiaБаза сейчас ~203Тb Поэтому Оракл уже не бесплатен.А на чем такие объемы? На ум приходит только BLOB в БД
очень много Text полей. Плюс там очень много записей.

Локшин МаркWGAпропущено...
А на чем такие объемы? На ум приходит только BLOB в БД
А это скорее всего опечатка - 203 Tб на 36 1-Тб винтах могут поместиться, разве что там включена компрессия...
203 это не на 1 компе, а на 7

Petro123WGAпропущено...
А на чем такие объемы? На ум приходит только BLOB в БД
вот и я думаю, с этих цифр и надо было начинать.
Т.к. изучать Хибер на куче таблица_1...N не следует.
Аффтар! Неужели нельзя найти похожую предметную область?
Почему все думают, что у них проект на нобелевскую?

- обсуждали проект на форуме своей БД? Ссылка есть?...про терабайты?
Если вы посмотрите на тему. Я спрашивал как замапить. А не как сделать структуру базы нормальную.
Хотелось сделать красивую и удобную обёртку на Hibernate. Но понял уже, что Hibernate такое нормально без костылей не умеет.
Поэтому отказался от этой идеи.
И при чём тут нобелевская. Просто есть живой проект надо переписать код его. Ничего сверх естественного.



Как я уже говорил ранее. У меня нет сейчас возможности менять структуру базы. Всё что я сейчас пытаюсь сделать, это переписать весь код на Java не трогая базу. Всех почему-то понесло обсуждать кривую базу. :)

Тему можно закрывать. Я всё понял. Всем спасибо за критику и советы.

P.S. Если уж так всем хочется на тему базы поговорить. Можем это приватно сделать :)

WGANetImperia,Интересно было бы посмотреть на БД таких объемов. Как с Вами можно связаться?

В профайле есть контакты мои...