Dima T,
Если взять БД какой-нибудь бухгалтерии, торговли и т.п. ERP, то текста там будет немного, не более 10%

Похоже, что это мнение человека, никогда не видевшего БД бухгалтерии, торговли, ERP и т. п.

Я сам утверждаю что текст вообще никакой не массив а Stream<Char>.

Поток это то, что мы не можем прочитать сразу, что не помещается в оперативную память, а лежит на внешнем устройстве. Такой смысл этого изначально. И вот у нас много оперативной памяти, но нас заставляют искусственно обращаться с ней, как с потоком.

Это всего 11 бит.

В UTF8 тратится 16. Да, неэффективно - я говорю о том же. Хреново сделали.

что 20% данных имеют фиксированных размер, а 80% - "те самые пухнущие строки":

Зачем фантазировать когда известно на практике, что как только начинаете мерять, на что тратится память, сразу на первом месте вылезут строки. И какая разница, фиксированный размер у них или нет? Они все равно вырастают в два раза.

Сами символы в словаре, а в хранилище только индексы.
Если используется менее 256 символов, то один символ будет один байт независимо от языка(ов).
Шутка

Это не шутка, и кодировка CP1251, например, является таким словарем.

Нам нужно сохранить нижнюю половину таблицы полностью. Тоесть 128 симвлов оставить как есть.
+ 200 знаков для всех киррилических языков мира

Нужно меньше на кириллицу и не обязательно в нижней половине таблицы оставлять как есть. Англосаксы же не подумали об остальных языках с умлаутами, когда делали свою кодовую таблицу. Включили свои символы и все. И когда переводят языки на латиницу, не озабочиваются придумыванием новых букв, используют те, что есть. В отличие от советских ученых, которым надо было показать оригинальность и самобытность чукчей или ненцев.

В общем, русскую азбуку + может быть что то из славянских языков, в которых это сохраняется с древности, как умлауты в немецком. 100 не надо.

бизнесовые идентификаторы которые пробиты латиницей.

В России вообще то все должно быть на государственном языке - русском. Вообще все. Так что большинство строк в таблицах для российской бухгалтерии или ERP будут кириллическими.

Если я ошибся или вы сомневаетесь то давайте мне вашу киррилическую базу и мы погоняем в ней

Все строки в "моей" базе кириллические. То есть должны быть рассчитаны на хранение русских текстов. Я могу лишь проверить на досуге, сколько конкретно байт уходит на строки и сколько на все остальное.

Тоесть масса служебной инфы кроме прикладной. Это только особенность JVM.

RTTI в наше смутное время есть почти в каждом языке.

А сколько собственно строк и каков их средний размер?

Не считал, т. к. нужды не было.

Я не принимаю этот аргумент. Где justification? Документация? Фрагмент кода?

Очевидно же, что добавляется предварительный анализ каждого очередного байта, и склеивание их между собой в случае необходимости. Да, это не сложно. Но тем менее это придется делать.

Это просто прекрасно! Из этого можно сделать вывод что не стоит использовать русский язык.

Боюсь, что к этому и ведут. Потом развернут компанию - русский язык плохо хранится на компьютерах, давайте переходить на латиницу, мол.

Я - же хочу числовую оценку. А вы просто сообщаете банальность.

А что мне еще сказать? Для чисто русских текстов - в два раза. Тоже банальность.

Именно от чего-то такого и отказались, когда придумали Unicode.
Напрасно.

ваша идея означает существенное увеличение сложности (т.е. потери производительности) ценой некоторого сокращения объема хранимых данных.

Скажите, пожалуйста, откуда появляется увеличение сложности и падение производительности по сравнению с обработкой utf-8.

Об организационной стороне вашей идеи даже думать не хочется :)
Не вижу проблемы.

mayton,
Ок, я в базе посчитаю, когда найду время этим заняться.
Еще раз замечу, что все, абсолютно все строковые поля в реляционной базе нужно расширять в 2 раза. Чтобы иметь гарантию, что туда поместится нужное число русских букв.

Кстати, думаю, что для немцев и прочих западноевропейцев весь этот уникод выглядит совсем не так, как для нас. У них это, скорее всего, основная масса однобайтовых символов латиницы с редкими вкраплениями экзотических умлаутов. О увеличении объема в два раза в таком случае речи не идет.

Выходит, что с русским языком поступили по-хамски, совершенно игнорируя наши интересы, и это хамство заслуживает наказания.

exp98,
что делать с иностранными названиями комплектующих в русскоязычных БД ?
Писать по-русски. Если это продается или покупается в Российской Федерации, оно обязано иметь русское название. Иначе вы его в счет-фактуру записать не сможете. Т. к. весь документооборот ведется на русском языке.

Посчитал поля одной БД. Индексы не считал, как не учитывал и прочие технические детали. Просто размер поля * число строк в таблице.

Вышло, что строки занимают 39% от всех.

Но вы можете в БД хранить в отдельных полях названия хоть на суахили, если вам это надо.

И если вы откажетесь от идеи рандомного доступа ко всему всегда и везде - вдруг окается что многие контракты
легче соблюдать.

Жили давно в хрущевке. Потом переехали во дворец площадью 2000 кв. м. Но стали всю ставить стены и перегородки, чтобы ни одно помещение не было большим и забивать их вещами, хламом, навозом с улицы. В итоге оказалось, что места осталось еще меньше чем раньше и все стало еще неудобнее, т. к. на кухню площадью те же 4 кв. метра теперь надо ходить на третий этаж по коридору, а спускаться обратно по веревочной лестнице.

В будущем железо будет усложнятся в сторону эдакой себе пирамиды технологий.

Судя по искуственному усложнению софта, когда то, что раньше занимало в 1000 раз меньше места и работало лучше, теперь представляет из себя некоего монстра, можно поверить и в искусственное усложнение железа. Но является ли это правильным? Нет. Это будет именно искусственное усложнение, так как технический прогресс в этой области уже остановился. Сейчас такое время, что берут технологии 1970-х и выдают их за великий прорыв.

Кого собираетесь наказать? И как?

Я сказал, что они заслуживают наказания. Заслуживают. Накажем их для начала презрением и неприятием.

Точнее, для латиницы уже придумано столько дополнительных букв, что хватает для большинства новописьменных языков

Тупо лепят стандартный латинский алфавит и все. Не хватало им еще этих заморочек. У них вообще распространенное выражение "speak human" - то есть всего один язык считается человеческим - английский.

Приравнивание кириллицы и великого русского языка к языкам отсталых народностей, не имевших даже письменности - это сильное унижение русского языка и его носителей. Вы же тоже по-русски говорите. Вам это зачем?

Забавный факт - латиница не приспособлена для английского языка! В нем для некоторых звуков требуется сочетание букв и большинство слов не произносится так, как пишется. Запись слова на английском вообще имеет слабую связь с его произношением.

Русский язык в этом плане намного лучше. Вы можете читать слова так, как они написано.

Стандартной кириллицей можно записать больше звуков, чем латиницей.

На фоне этого придумывание новых букв для ньюансов произношения каких-то звуков выглядит искуственным.

О языках народов Российской Федерации

Поскольку нигде нет списка т. н. народов Российской Федерации, отсутствует объект для применения этого закона.
Зато есть есть закон о государственном языке России

И давайте больше не будем отклоняться от основной темы.

Так я дал же числовую оценку.

21688419

Посчитал поля одной БД. Индексы не считал, как не учитывал и прочие технические детали. Просто размер поля * число строк в таблице.

Вышло, что строки занимают 39% от всех.

mayton,
насколько я понимаю, вы хорошо знаете Oracle. расскажите мне, пожалуйста, как Oracle хранит записи и почему для varchar(100) не выделяется всегда 100 символов. Если окажется, что я глубоко заблуждался, посыплю голову пеплом и уйду с форума учить матчасть.

Не использовал я Oracle. В блоках оно хранит и сколько надо. Теперь понятно, отчего вас не так беспокоят лишние затраты памяти. Причем это обычный подход для современных СУБД.
Даже интересно стало этот Oracle покрутить, посмотреть как в нем с таким подходом дела с обновлениями строковых данных обстоят.

Не сказать, чтобы это обнулило все, что я говорил - это не так.

Но оплеуху я неплохую получил.

Пойду пеплом голову посыпать..