|
Dinamyc hard coding
|
|||
---|---|---|---|
#18+
artemana mayton Но при чем здесь черт возьми базы данных и безо? 1. Что Вы означает "безо"? 2. В ролике, в том месте куда дана ссылка, рассматривается отличительный от классического подход к созданию движка базы данных. Тем специалистам, которые представляют как устроен движок РСУБД, управляемой посредством SQL, вроде все должно быть понятно, черт возьми! ;) Но ты согласен что это попытка объяснять доступ к сырой памяти была полной фейерической хренью. С таким-же успехом без контекста можно было говорить про черные дыры и квазары. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2021, 15:06 |
|
Dinamyc hard coding
|
|||
---|---|---|---|
#18+
servit Почитал. Смешно! Производительность C++ просто "утопили", заставив читать большой файл отдельными операциями по 8 байт (или сколько там float в нем занимает) ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2021, 15:11 |
|
Dinamyc hard coding
|
|||
---|---|---|---|
#18+
mayton Но ты согласен что это попытка объяснять доступ к сырой памяти была полной фейерической хренью. С таким-же успехом без контекста можно было говорить про черные дыры и квазары. Какая еще сырая память, Вы о чем вообще!? Вы программист? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2021, 15:13 |
|
Dinamyc hard coding
|
|||
---|---|---|---|
#18+
artemanaВ ролике, в том месте куда дана ссылка, рассматривается отличительный от классического подход к созданию *движка базы данных.* А в чём он "отличный"-то? Embedded SQL, то бишь препроцессоры с SQL в нативные языки появились одновременно с самим SQL. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2021, 15:30 |
|
Dinamyc hard coding
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov А в чём он "отличный"-то? Embedded SQL, то бишь препроцессоры с SQL в нативные языки появились одновременно с самим SQL. Совершать новые открытия очень помогает незнание старых. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2021, 15:31 |
|
Dinamyc hard coding
|
|||
---|---|---|---|
#18+
artemana mayton Но ты согласен что это попытка объяснять доступ к сырой памяти была полной фейерической хренью. С таким-же успехом без контекста можно было говорить про черные дыры и квазары. Какая еще сырая память, Вы о чем вообще!? Вы программист? Извини если я тебя обидел. Я видел много конференций. И хочу отметить что форма подачи материала напоминает хаос. Так делать нельзя. Должна быть последовательность. Я конечно понимаю что автор ограничен регламентом в несколько минут. Но лучше ничего не говорить чем выдавать такую тиарду которую я цитировал. Это - неструктуность изложения. Если ты продвиаешь его идеи - то я тебя пойму. Но меня интересует мнение других мемберов топика. Поняли ли они зачем было это пояснение? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2021, 15:33 |
|
Dinamyc hard coding
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov artemanaВ ролике, в том месте куда дана ссылка, рассматривается отличительный от классического подход к созданию *движка базы данных.* А в чём он "отличный"-то? Embedded SQL, то бишь препроцессоры с SQL в нативные языки появились одновременно с самим SQL. я нигде не употреблял слова "изобрел", "новое", "революция' и тому подобное. Говорил что мы сделали вот так, и это отличается от того, как делают в классике. Возьмем 5 первых In memory database, они будут устроены не так как наша. Если есть те, кто делают похоже ,и они были раньше, я буду только рад. Значит мы не одни и схема жизнеспособна. В связи с этим, озвучь, пожалуйста, конкретно. Какие СУБД (In memory или дисковые) работают с использованием этого принципа.? То есть превращают SQL в нативные язык, с последующей компиляций и исполнением в эффективном машинном коде. Мне это нужно. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2021, 15:46 |
|
Dinamyc hard coding
|
|||
---|---|---|---|
#18+
softwarer Dimitry Sibiryakov А в чём он "отличный"-то? Embedded SQL, то бишь препроцессоры с SQL в нативные языки появились одновременно с самим SQL. Совершать новые открытия очень помогает незнание старых. Вы видите то, чего нет. я не говорил об открытии. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2021, 15:50 |
|
Dinamyc hard coding
|
|||
---|---|---|---|
#18+
artemanaГоворил что мы сделали вот так, и это отличается от того, как делают в классике. Наоборот, ESQL это классика, от которой все уже давно отказались. Из известных мне СУБД полуживые препроцессоры есть у Oracle и IB/FB. Вики добавляет ещё пачку: https://en.wikipedia.org/wiki/Embedded_SQL Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2021, 15:53 |
|
Dinamyc hard coding
|
|||
---|---|---|---|
#18+
artemana То есть превращают SQL в нативные язык, с последующей компиляций и исполнением в эффективном машинном коде. Мне это нужно. А как-же они это могут сделать не зная профиль оборудования и статистику таблиц? Суть SQL машины как раз в том что она динамически подстраивается под изменяющиеся условия. А вы что? Сделали хеш-джойн хардкодом? А если данные поменяются? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2021, 15:59 |
|
Dinamyc hard coding
|
|||
---|---|---|---|
#18+
artemana В связи с этим, озвучь, пожалуйста, конкретно. Какие СУБД (In memory или дисковые) работают с использованием этого принципа.? То есть превращают SQL в нативные язык, с последующей компиляций и исполнением в эффективном машинном коде. Мне это нужно. да любая. вы базы совсем не видели? SQL это строка, она парсится, оптимизатор на базе статистики строит план. это эффективный машинный код. для сторед процедур у оракла, к примеру, тоже есть понятие native compilation, сторед процедура компилируется в нативный машинный код. я послушал минут 10, там какая-то охинея. с чего вдруг интерпритатор .net стал эффективным. с чего вдруг скопиленный класс .net станет хоть в чем то быстрее работать с памятью. что за ерунда про указатели ? кто-то считает что внизу .net без указателей обходиться ? и почитайте про Spark. там оптимизатор catalyst составляет план для экзекьютеров, компилирует джарники и рассылает джарники на экзекьютеры. экзекьютеры, зачастую на других узлах кластера в параллель эти джарники выполняют. со стороны звучит это то что вы пытаетесь воспроизвести. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2021, 15:59 |
|
Dinamyc hard coding
|
|||
---|---|---|---|
#18+
mayton Если ты продвиаешь его идеи - то я тебя пойму. Дык, это я есть. ;) Вы тоже извините меня, просто все программисты, кому я показывал этот материал, оценивали его по разному. В качестве критики, оспаривали ценность озвученных преимуществ, или указывали на то, что подход не нов. Разные были оценки, но ни у кого я не встречал, такого глубокого не понимания материала и претензий к его подаче. Это ваше право, но я реально не понимаю, что Вам так критично не зашло. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2021, 16:02 |
|
Dinamyc hard coding
|
|||
---|---|---|---|
#18+
artemana mayton Если ты продвиаешь его идеи - то я тебя пойму. Дык, это я есть. ;) Вы тоже извините меня, просто все программисты, кому я показывал этот материал, оценивали его по разному. В качестве критики, оспаривали ценность озвученных преимуществ, или указывали на то, что подход не нов. Разные были оценки, но ни у кого я не встречал, такого глубокого не понимания материала и претензий к его подаче. Это ваше право, но я реально не понимаю, что Вам так критично не зашло. Вот чаще приходи сюда и советуйся. Сорцы показывай. Бенчмарки. Самая правильная правда ... она всегда идет от критики. Не слушай своих коллег по проекту. Они тебе нальют в уши сахарный сироп. Коньюнктура. Нас - слушай. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2021, 16:05 |
|
Dinamyc hard coding
|
|||
---|---|---|---|
#18+
mayton Суть SQL машины как раз в том что она динамически подстраивается под изменяющиеся условия. А вы что? Сделали хеш-джойн хардкодом? А если данные поменяются? У нас нет джойнов, я вообще то говорил, что наш язык это не совсем SQL. Но подход, можно обсуждать пренебрегая разницей. Как вы думаете, если в СУБД поступает одна и та же команда select много раз, план для нее строиться каждый раз? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2021, 16:09 |
|
Dinamyc hard coding
|
|||
---|---|---|---|
#18+
H5N1 да любая. вы базы совсем не видели? SQL это строка, она парсится, оптимизатор на базе статистики строит план. это эффективный машинный код. для сторед процедур у оракла, к примеру, тоже есть понятие native compilation, сторед процедура компилируется в нативный машинный код. Вот в этом и отличие, Вы просто не хотите его увидит, а хотите оскорбить, спрашивая видел ли я базы данных. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2021, 16:13 |
|
Dinamyc hard coding
|
|||
---|---|---|---|
#18+
artemanaУ нас нет джойнов, я вообще то говорил, что наш язык это не совсем SQL. А зря. Был бы SQL - было бы проще искать специалистов по использованию. А так это некий препроцессор с некоего псевдоязыка для FvMas. Ну или просто ещё один MUMPS. artemanaКак вы думаете, если в СУБД поступает одна и та же команда select много раз, план для нее строиться каждый раз? У нормальных людей одна и та же команда несколько раз не поступает. В API функции препарирования запроса и его выполнения разделены. И таки да, некоторые СУБД кэшируют планы именно на такой случай. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2021, 16:18 |
|
Dinamyc hard coding
|
|||
---|---|---|---|
#18+
artemana H5N1 да любая. вы базы совсем не видели? SQL это строка, она парсится, оптимизатор на базе статистики строит план. это эффективный машинный код. для сторед процедур у оракла, к примеру, тоже есть понятие native compilation, сторед процедура компилируется в нативный машинный код. Вот в этом и отличие, Вы просто не хотите его увидит, а хотите оскорбить, спрашивая видел ли я базы данных. ну да, а чего вы ожидали приходя сюда и расписываясь, что не понимаете что такое интерпритатор, накладные расходы .net машины, ее расходы на управление памятью и без даже близкого представления как работает cost based optimizer, что он генерит и когда инвалидирует планы и статистики. да черт, я не верю что вы код писали, если заподозрили .net в эффективной работой с памятью ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2021, 16:19 |
|
Dinamyc hard coding
|
|||
---|---|---|---|
#18+
artemana У нас нет джойнов, я вообще то говорил, что наш язык это не совсем SQL. Но подход, можно обсуждать пренебрегая разницей. Это очень печально конечно. Это очень ограничивает ваши разработки. А как у вас с транзакциями и консистентностью? Это обычно - главный вопрос. Или последний патрон который добивает горе-создателей. Обычно они заканчивают на атомарности и говорят - здесь всё. Мы закончили. Как вы думаете, если в СУБД поступает одна и та же команда select много раз, план для нее строиться каждый раз? Стоп-стоп. Не хитри. Ты пришел в этот форум с позиции доказующего. И задавать вопросы - это наша задача. Это ты должен собрать сведенья и принести их сюда о том как работают хотябы TOP-3 DBMS, как строит планы и какие бывают виды гистограмм на колонках. И как можно быстро сделать comparison двух планов не выполняя их. І на сам кінець... Як каже мій колега Петро - ТС має працювати більше усіх. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2021, 16:28 |
|
Dinamyc hard coding
|
|||
---|---|---|---|
#18+
H5N1, Ваши познания по работе в дотнете (с памятью и про интерпретацию)наверно устарели. Или вы не умеете их готовить. (С) В любом случае Вы можете представить реализацию обсуждаемого подхода, если Вы все таки поняли в чем он состоит, для любого языка, чья производительность, лично у Вас, не вызывает сомнения. Вот раньше здесь говорили, что на ObjectiveScrip все летает. Меня ;t в C# все более чем устраивает! Ваш выбор за Вами. И главное! Вы с одной стороны приводите схему спарк, которая чем то похоже, с другой стороны говорите что все фигня. Вы уж определитесь. И да, мы то же планируем делать распределенную обработку сверх больших данных, примерно так, как Вы описали работает в спарк. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2021, 16:33 |
|
Dinamyc hard coding
|
|||
---|---|---|---|
#18+
mayton А как у вас с транзакциями и консистентностью? Это обычно - главный вопрос. Или последний патрон который добивает горе-создателей. Обычно они заканчивают на атомарности и говорят - здесь всё. Мы закончили. Это OLAP система. Обеспечивает консистентность уровня repeatableRead для свои пользователей. То есть во время формирования отчета, они видят либо все новые данные, уже залитые экстрактором, либо ни видят никаких изменений, если процесс извлечения не закончен (находиться середине). Разумеется сам экстрактор обращается к исходной базе в режиме repeatableRead, если это возможно, чтобы тоже выполнить извлечение согласованных данных. mayton Ты пришел в этот форум с позиции доказующего. Нет, мне интересно было услышать мнения. Обоснованную критику. Узнать об аналогах. Отчасти, благодаря в частности servit, я эту задачу решил. Все остальное, такая ерунда, особено ваши первые посты, что не приведи господи. mayton И задавать вопросы - это наша задача. Это ваше право mayton Это ты должен я ничего не должен. Будут конструктив (про транзакции Ваш первый нормальный вопрос), постараюсь в меру сил ответить, ну а если поток сознания, то извините. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2021, 16:48 |
|
Dinamyc hard coding
|
|||
---|---|---|---|
#18+
artemana H5N1, Ваши познания по работе в дотнете (с памятью и про интерпретацию)наверно устарели. Или вы не умеете их готовить. (С) В любом случае Вы можете представить реализацию обсуждаемого подхода, если Вы все таки поняли в чем он состоит, для любого языка, чья производительность, лично у Вас, не вызывает сомнения. Вот раньше здесь говорили, что на ObjectiveScrip все летает. Меня ;t в C# все более чем устраивает! Ваш выбор за Вами. мой выбор поиздеваться над свиду взрослым дятькой, несущем откровенно нубские вбросы. .net (как впрочем и java) интерпретатор с гарбадж коллектором, программы там в принципе не способны работать напрямую с памятью. вообще никак. это не устаревшая информация, это факт, который известен любому джунеору. вы понимаете на сколько порядков это медленее, чем то как это делает оракл, написанный на голом C и обращающийся прямиком в shared memory ? artemana И главное! Вы с одной стороны приводите схему спарк, которая чем то похоже, с другой стороны говорите что все фигня. Вы уж определитесь. И да, мы то же планируем делать распределенную обработку сверх больших данных, примерно так, как Вы описали работает в спарк. спарк выигрывает исключительно за счет чудовищной параллельности. сам экзекьютор ресурсы использует очень не эффективно, во многом потому как все происходит в jvm. но это же его преимущество в том плане, что на java можно написать очень сложную систему и не напортачить с указателями, мемори ликами и прочим. на языках, без GC, которые эффективно работают с памятью, хреновину уровня спарк попросту не написать. это первое, второе - спарк признает, что джава тормоз в работе с памятью и уже года полтора продвигает off-heap кеш, куда складываются данные датафреймов и где не властен GC. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2021, 16:52 |
|
Dinamyc hard coding
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov artemanaКак вы думаете, если в СУБД поступает одна и та же команда select много раз, план для нее строиться каждый раз? У нормальных людей одна и та же команда несколько раз не поступает. В API функции препарирования запроса и его выполнения разделены. И таки да, некоторые СУБД кэшируют планы именно на такой случай. Прелестно. Вот, и обсудите с mayton "А если данные поменяются? и планы нужно перестроит" ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2021, 16:55 |
|
Dinamyc hard coding
|
|||
---|---|---|---|
#18+
artemana Это OLAP система. Обеспечивает консистентность уровня repeatableRead для свои пользователей. То есть во время формирования отчета, они видят либо все новые данные, уже залитые экстрактором, либо ни видят никаких изменений, если процесс извлечения не закончен (находиться середине). Разумеется сам экстрактор обращается к исходной базе в режиме repeatableRead, если это возможно, чтобы тоже выполнить извлечение согласованных данных. Вот с этого надо было начинать. Мы дескыть строим ОЛАП на дотнете. Вот класс системы. Вот бенчмарки. Вот сравнение с аналогами. Последнее важно. Т.к. заинтересованные лица всё равно у вас будут требовать сравнений с аналогами. По классам - посмотрите https://db-engines.com/en/ranking Каждая DBMS тегирована. Лежит на своей полочке. Описаны ее потребительские характеристики. А то что вы говорите про SQL - это тоже такое себе. Вторично. Мой опыт показывает что ущербный SQL обычно никому не нужен если рядом есть альтернативный API. Сильная сторона SQL - joins и если их нету то зачем тратить время? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2021, 17:02 |
|
Dinamyc hard coding
|
|||
---|---|---|---|
#18+
artemanaВот, и обсудите с mayton "А если данные поменяются? и планы нужно перестроит" Да нам-то что обсуждать, всё уже обсуждено за годы. Это Вам стоит обратить внимание на намёк Ё относительно момента инвалидации планов и статистик. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2021, 17:04 |
|
Dinamyc hard coding
|
|||
---|---|---|---|
#18+
H5N1 программы там в принципе не способны работать напрямую с памятью. вообще никак. это не устаревшая информация, это факт, Это факт только в Вашем сознании. В реальном мире это не факт, а неправда. С# обеспечивает такую возможность, и при необходимости мы могли бы этим пользоваться, но нам, как правило, это не нужно. Я вам уже сказал, не нравиться С# возьмите свой императивный язык, если конечно, что то, кроме как раздавать ярлыки, умеете. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2021, 17:25 |
|
|
start [/forum/topic.php?fid=35&msg=40099813&tid=1552159]: |
0ms |
get settings: |
7ms |
get forum list: |
13ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
27ms |
get topic data: |
7ms |
get forum data: |
2ms |
get page messages: |
53ms |
get tp. blocked users: |
1ms |
others: | 287ms |
total: | 401ms |
0 / 0 |