powered by simpleCommunicator - 2.0.41     © 2025 Programmizd 02
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Dinamyc hard coding
25 сообщений из 88, страница 2 из 4
Dinamyc hard coding
    #40099762
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
artemana
mayton

Но при чем здесь черт возьми базы данных и безо?

1. Что Вы означает "безо"?
2. В ролике, в том месте куда дана ссылка, рассматривается отличительный от классического подход к созданию движка базы данных. Тем специалистам, которые представляют как устроен движок РСУБД, управляемой посредством SQL, вроде все должно быть понятно, черт возьми! ;)

Но ты согласен что это попытка объяснять доступ к сырой памяти была полной фейерической
хренью. С таким-же успехом без контекста можно было говорить про черные дыры и квазары.
...
Рейтинг: 0 / 0
Dinamyc hard coding
    #40099769
Фотография artemana
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
servit

Например, здесь Python и Fortran "почему-то" уделали C++.

Почитал.
Смешно!
Производительность C++ просто "утопили", заставив читать большой файл отдельными операциями по 8 байт (или сколько там float в нем занимает)
...
Рейтинг: 0 / 0
Dinamyc hard coding
    #40099770
Фотография artemana
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton

Но ты согласен что это попытка объяснять доступ к сырой памяти была полной фейерической
хренью. С таким-же успехом без контекста можно было говорить про черные дыры и квазары.

Какая еще сырая память, Вы о чем вообще!? Вы программист?
...
Рейтинг: 0 / 0
Dinamyc hard coding
    #40099779
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
artemanaВ ролике, в том месте куда дана ссылка, рассматривается отличительный от
классического подход к созданию *движка базы данных.*

А в чём он "отличный"-то? Embedded SQL, то бишь препроцессоры с SQL в нативные
языки появились одновременно с самим SQL.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Dinamyc hard coding
    #40099780
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakov

А в чём он "отличный"-то? Embedded SQL, то бишь препроцессоры с SQL в нативные
языки появились одновременно с самим SQL.

Совершать новые открытия очень помогает незнание старых.
...
Рейтинг: 0 / 0
Dinamyc hard coding
    #40099781
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
artemana
mayton

Но ты согласен что это попытка объяснять доступ к сырой памяти была полной фейерической
хренью. С таким-же успехом без контекста можно было говорить про черные дыры и квазары.

Какая еще сырая память, Вы о чем вообще!? Вы программист?

Извини если я тебя обидел. Я видел много конференций. И хочу отметить что форма подачи
материала напоминает хаос. Так делать нельзя. Должна быть последовательность. Я конечно
понимаю что автор ограничен регламентом в несколько минут. Но лучше ничего не говорить
чем выдавать такую тиарду которую я цитировал. Это - неструктуность изложения.

Если ты продвиаешь его идеи - то я тебя пойму.

Но меня интересует мнение других мемберов топика. Поняли ли они зачем было это
пояснение?
...
Рейтинг: 0 / 0
Dinamyc hard coding
    #40099783
Фотография artemana
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakov

artemanaВ ролике, в том месте куда дана ссылка, рассматривается отличительный от
классического подход к созданию *движка базы данных.*

А в чём он "отличный"-то? Embedded SQL, то бишь препроцессоры с SQL в нативные
языки появились одновременно с самим SQL.

я нигде не употреблял слова "изобрел", "новое", "революция' и тому подобное.
Говорил что мы сделали вот так, и это отличается от того, как делают в классике.
Возьмем 5 первых In memory database, они будут устроены не так как наша.

Если есть те, кто делают похоже ,и они были раньше, я буду только рад.
Значит мы не одни и схема жизнеспособна.

В связи с этим, озвучь, пожалуйста, конкретно.
Какие СУБД (In memory или дисковые) работают с использованием этого принципа.?
То есть превращают SQL в нативные язык, с последующей компиляций и исполнением в эффективном машинном коде.
Мне это нужно.
...
Рейтинг: 0 / 0
Dinamyc hard coding
    #40099788
Фотография artemana
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
softwarer
Dimitry Sibiryakov

А в чём он "отличный"-то? Embedded SQL, то бишь препроцессоры с SQL в нативные
языки появились одновременно с самим SQL.

Совершать новые открытия очень помогает незнание старых.

Вы видите то, чего нет. я не говорил об открытии.
...
Рейтинг: 0 / 0
Dinamyc hard coding
    #40099792
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
artemanaГоворил что мы сделали вот так, и это отличается от того, как делают в классике.

Наоборот, ESQL это классика, от которой все уже давно отказались. Из известных
мне СУБД полуживые препроцессоры есть у Oracle и IB/FB. Вики добавляет ещё
пачку: https://en.wikipedia.org/wiki/Embedded_SQL
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Dinamyc hard coding
    #40099795
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
artemana

То есть превращают SQL в нативные язык, с последующей компиляций и исполнением в эффективном машинном коде.
Мне это нужно.

А как-же они это могут сделать не зная профиль оборудования и статистику таблиц?

Суть SQL машины как раз в том что она динамически подстраивается под изменяющиеся
условия. А вы что? Сделали хеш-джойн хардкодом? А если данные поменяются?
...
Рейтинг: 0 / 0
Dinamyc hard coding
    #40099796
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
artemana

В связи с этим, озвучь, пожалуйста, конкретно.
Какие СУБД (In memory или дисковые) работают с использованием этого принципа.?
То есть превращают SQL в нативные язык, с последующей компиляций и исполнением в эффективном машинном коде.
Мне это нужно.

да любая. вы базы совсем не видели? SQL это строка, она парсится, оптимизатор на базе статистики строит план. это эффективный машинный код. для сторед процедур у оракла, к примеру, тоже есть понятие native compilation, сторед процедура компилируется в нативный машинный код.

я послушал минут 10, там какая-то охинея. с чего вдруг интерпритатор .net стал эффективным. с чего вдруг скопиленный класс .net станет хоть в чем то быстрее работать с памятью. что за ерунда про указатели ? кто-то считает что внизу .net без указателей обходиться ?

и почитайте про Spark. там оптимизатор catalyst составляет план для экзекьютеров, компилирует джарники и рассылает джарники на экзекьютеры. экзекьютеры, зачастую на других узлах кластера в параллель эти джарники выполняют. со стороны звучит это то что вы пытаетесь воспроизвести.
...
Рейтинг: 0 / 0
Dinamyc hard coding
    #40099799
Фотография artemana
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton

Если ты продвиаешь его идеи - то я тебя пойму.

Дык, это я есть. ;)
Вы тоже извините меня, просто все программисты, кому я показывал этот материал, оценивали его по разному.
В качестве критики, оспаривали ценность озвученных преимуществ, или указывали на то, что подход не нов.
Разные были оценки, но ни у кого я не встречал, такого глубокого не понимания материала и претензий к его подаче.
Это ваше право, но я реально не понимаю, что Вам так критично не зашло.
...
Рейтинг: 0 / 0
Dinamyc hard coding
    #40099803
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
artemana
mayton

Если ты продвиаешь его идеи - то я тебя пойму.

Дык, это я есть. ;)
Вы тоже извините меня, просто все программисты, кому я показывал этот материал, оценивали его по разному.
В качестве критики, оспаривали ценность озвученных преимуществ, или указывали на то, что подход не нов.
Разные были оценки, но ни у кого я не встречал, такого глубокого не понимания материала и претензий к его подаче.
Это ваше право, но я реально не понимаю, что Вам так критично не зашло.

Вот чаще приходи сюда и советуйся. Сорцы показывай. Бенчмарки.

Самая правильная правда ... она всегда идет от критики. Не слушай своих коллег по проекту.
Они тебе нальют в уши сахарный сироп. Коньюнктура.

Нас - слушай.
...
Рейтинг: 0 / 0
Dinamyc hard coding
    #40099808
Фотография artemana
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
Суть SQL машины как раз в том что она динамически подстраивается под изменяющиеся
условия. А вы что? Сделали хеш-джойн хардкодом? А если данные поменяются?

У нас нет джойнов, я вообще то говорил, что наш язык это не совсем SQL. Но подход, можно обсуждать пренебрегая разницей.

Как вы думаете, если в СУБД поступает одна и та же команда select много раз, план для нее строиться каждый раз?
...
Рейтинг: 0 / 0
Dinamyc hard coding
    #40099813
Фотография artemana
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1

да любая. вы базы совсем не видели? SQL это строка, она парсится, оптимизатор на базе статистики строит план. это эффективный машинный код. для сторед процедур у оракла, к примеру, тоже есть понятие native compilation, сторед процедура компилируется в нативный машинный код.

Вот в этом и отличие, Вы просто не хотите его увидит, а хотите оскорбить, спрашивая видел ли я базы данных.
...
Рейтинг: 0 / 0
Dinamyc hard coding
    #40099817
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
artemanaУ нас нет джойнов, я вообще то говорил, что наш язык это не совсем SQL.

А зря. Был бы SQL - было бы проще искать специалистов по использованию. А так
это некий препроцессор с некоего псевдоязыка для FvMas. Ну или просто ещё один
MUMPS.

artemanaКак вы думаете, если в СУБД поступает одна и та же команда select
много раз, план для нее строиться каждый раз?
У нормальных людей одна и та же команда несколько раз не поступает. В API
функции препарирования запроса и его выполнения разделены. И таки да, некоторые
СУБД кэшируют планы именно на такой случай.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Dinamyc hard coding
    #40099819
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
artemana
H5N1

да любая. вы базы совсем не видели? SQL это строка, она парсится, оптимизатор на базе статистики строит план. это эффективный машинный код. для сторед процедур у оракла, к примеру, тоже есть понятие native compilation, сторед процедура компилируется в нативный машинный код.

Вот в этом и отличие, Вы просто не хотите его увидит, а хотите оскорбить, спрашивая видел ли я базы данных.

ну да, а чего вы ожидали приходя сюда и расписываясь, что не понимаете что такое интерпритатор, накладные расходы .net машины, ее расходы на управление памятью и без даже близкого представления как работает cost based optimizer, что он генерит и когда инвалидирует планы и статистики.
да черт, я не верю что вы код писали, если заподозрили .net в эффективной работой с памятью
...
Рейтинг: 0 / 0
Dinamyc hard coding
    #40099824
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
artemana

У нас нет джойнов, я вообще то говорил, что наш язык это не совсем SQL. Но подход, можно обсуждать пренебрегая разницей.

Это очень печально конечно. Это очень ограничивает ваши разработки. А как у вас с транзакциями и консистентностью?
Это обычно - главный вопрос. Или последний патрон который добивает горе-создателей. Обычно они заканчивают
на атомарности и говорят - здесь всё. Мы закончили.

Как вы думаете, если в СУБД поступает одна и та же команда select много раз, план для нее строиться каждый раз?
Стоп-стоп. Не хитри.

Ты пришел в этот форум с позиции доказующего. И задавать вопросы - это наша задача. Это ты должен
собрать сведенья и принести их сюда о том как работают хотябы TOP-3 DBMS, как строит планы и какие бывают
виды гистограмм на колонках. И как можно быстро сделать comparison двух планов не выполняя их.

І на сам кінець... Як каже мій колега Петро - ТС має працювати більше усіх.
...
Рейтинг: 0 / 0
Dinamyc hard coding
    #40099826
Фотография artemana
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1,
Ваши познания по работе в дотнете (с памятью и про интерпретацию)наверно устарели.
Или вы не умеете их готовить. (С)
В любом случае Вы можете представить реализацию обсуждаемого подхода, если Вы все таки поняли в чем он состоит, для любого языка, чья производительность, лично у Вас, не вызывает сомнения.
Вот раньше здесь говорили, что на ObjectiveScrip все летает.
Меня ;t в C# все более чем устраивает!
Ваш выбор за Вами.

И главное!
Вы с одной стороны приводите схему спарк, которая чем то похоже, с другой стороны говорите что все фигня. Вы уж определитесь.
И да, мы то же планируем делать распределенную обработку сверх больших данных, примерно так, как Вы описали работает в спарк.
...
Рейтинг: 0 / 0
Dinamyc hard coding
    #40099836
Фотография artemana
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton

А как у вас с транзакциями и консистентностью?
Это обычно - главный вопрос. Или последний патрон который добивает горе-создателей. Обычно они заканчивают
на атомарности и говорят - здесь всё. Мы закончили.

Это OLAP система. Обеспечивает консистентность уровня repeatableRead для свои пользователей. То есть во время формирования отчета, они видят либо все новые данные, уже залитые экстрактором, либо ни видят никаких изменений, если процесс извлечения не закончен (находиться середине). Разумеется сам экстрактор обращается к исходной базе в режиме repeatableRead, если это возможно, чтобы тоже выполнить извлечение согласованных данных.
mayton

Ты пришел в этот форум с позиции доказующего.

Нет, мне интересно было услышать мнения. Обоснованную критику. Узнать об аналогах.
Отчасти, благодаря в частности servit, я эту задачу решил.
Все остальное, такая ерунда, особено ваши первые посты, что не приведи господи.

mayton

И задавать вопросы - это наша задача.

Это ваше право
mayton
Это ты должен

я ничего не должен. Будут конструктив (про транзакции Ваш первый нормальный вопрос),
постараюсь в меру сил ответить, ну а если поток сознания, то извините.
...
Рейтинг: 0 / 0
Dinamyc hard coding
    #40099843
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
artemana
H5N1,
Ваши познания по работе в дотнете (с памятью и про интерпретацию)наверно устарели.
Или вы не умеете их готовить. (С)
В любом случае Вы можете представить реализацию обсуждаемого подхода, если Вы все таки поняли в чем он состоит, для любого языка, чья производительность, лично у Вас, не вызывает сомнения.
Вот раньше здесь говорили, что на ObjectiveScrip все летает.
Меня ;t в C# все более чем устраивает!
Ваш выбор за Вами.

мой выбор поиздеваться над свиду взрослым дятькой, несущем откровенно нубские вбросы. .net (как впрочем и java) интерпретатор с гарбадж коллектором, программы там в принципе не способны работать напрямую с памятью. вообще никак. это не устаревшая информация, это факт, который известен любому джунеору.
вы понимаете на сколько порядков это медленее, чем то как это делает оракл, написанный на голом C и обращающийся прямиком в shared memory ?

artemana

И главное!
Вы с одной стороны приводите схему спарк, которая чем то похоже, с другой стороны говорите что все фигня. Вы уж определитесь.
И да, мы то же планируем делать распределенную обработку сверх больших данных, примерно так, как Вы описали работает в спарк.

спарк выигрывает исключительно за счет чудовищной параллельности. сам экзекьютор ресурсы использует очень не эффективно, во многом потому как все происходит в jvm. но это же его преимущество в том плане, что на java можно написать очень сложную систему и не напортачить с указателями, мемори ликами и прочим. на языках, без GC, которые эффективно работают с памятью, хреновину уровня спарк попросту не написать.
это первое, второе - спарк признает, что джава тормоз в работе с памятью и уже года полтора продвигает off-heap кеш, куда складываются данные датафреймов и где не властен GC.
...
Рейтинг: 0 / 0
Dinamyc hard coding
    #40099846
Фотография artemana
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakov

artemanaКак вы думаете, если в СУБД поступает одна и та же команда select
много раз, план для нее строиться каждый раз?

У нормальных людей одна и та же команда несколько раз не поступает. В API
функции препарирования запроса и его выполнения разделены. И таки да, некоторые
СУБД кэшируют планы именно на такой случай.

Прелестно. Вот, и обсудите с mayton "А если данные поменяются? и планы нужно перестроит"
...
Рейтинг: 0 / 0
Dinamyc hard coding
    #40099850
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
artemana

Это OLAP система. Обеспечивает консистентность уровня repeatableRead для свои пользователей. То есть во время формирования отчета, они видят либо все новые данные, уже залитые экстрактором, либо ни видят никаких изменений, если процесс извлечения не закончен (находиться середине). Разумеется сам экстрактор обращается к исходной базе в режиме repeatableRead, если это возможно, чтобы тоже выполнить извлечение согласованных данных.

Вот с этого надо было начинать. Мы дескыть строим ОЛАП на дотнете.

Вот класс системы. Вот бенчмарки. Вот сравнение с аналогами.
Последнее важно. Т.к. заинтересованные лица всё равно у вас
будут требовать сравнений с аналогами.

По классам - посмотрите https://db-engines.com/en/ranking

Каждая DBMS тегирована. Лежит на своей полочке. Описаны ее потребительские
характеристики.

А то что вы говорите про SQL - это тоже такое себе. Вторично. Мой опыт показывает
что ущербный SQL обычно никому не нужен если рядом есть альтернативный API.
Сильная сторона SQL - joins и если их нету то зачем тратить время?
...
Рейтинг: 0 / 0
Dinamyc hard coding
    #40099852
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
artemanaВот, и обсудите с mayton "А если данные поменяются? и планы нужно перестроит"

Да нам-то что обсуждать, всё уже обсуждено за годы. Это Вам стоит обратить
внимание на намёк Ё относительно момента инвалидации планов и статистик.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Dinamyc hard coding
    #40099861
Фотография artemana
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1

программы там в принципе не способны работать напрямую с памятью. вообще никак. это не устаревшая информация, это факт,

Это факт только в Вашем сознании. В реальном мире это не факт, а неправда. С# обеспечивает такую возможность, и при необходимости мы могли бы этим пользоваться, но нам, как правило, это не нужно. Я вам уже сказал, не нравиться С# возьмите свой императивный язык, если конечно, что то, кроме как раздавать ярлыки, умеете.
...
Рейтинг: 0 / 0
25 сообщений из 88, страница 2 из 4
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Dinamyc hard coding
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]