|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Сам я люблю язык структурированных запросов. Но если посмотреть на то, сколько всяких технологий придумали для его замену, на то, что пропагандируют в разных книжках, создается ощущение какой то темной иррациональной ненависти к SQL. Есть ли какие то рациональные причины? Я вижу три возможных: 1. Реляционные БД может быть плохо сочетаются с рапараллеливанием на много компьютеров 2. ООП плохо связывается с SQL 3. Возможно считается, что среднестатистический программист настолько туп и не обладает способностями к абстрактному мышлению, что не в состоянии понять реляционную теорию, основанную на понятии множеств. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.09.2018, 18:18 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene New, можно пример разных книжек? ... |
|||
:
Нравится:
Не нравится:
|
|||
29.09.2018, 20:53 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
SergSuper, Роберт Мартин, "Читая Архитектура", 2018 год. стр 170-172 Вроде человек с перфокарт начинал программировать, хотя и без особого успеха. Теперь книжки пишет, есть то хочется, я его понимаю. У него даже хватает честности признать, что ООП делается на процедурных языках со всеми его фишками. Но на SQL его пробило. Я даже не понял, то ли он себя обманывает, то ли читателей. Суть в том, что он говорит, что решение о том, будет использоваться реляционная БД или нет надо откладывать до самого последнего момента. Приводит в пример свой проектик, который реализовал на плоских файлах. Обман в том, что такой подход работает только если вы будете использовать реляционную базу как набор плоских файлов - то есть не будете использовать ее возможностей. Видал я в начале 2000-х такую программу - использовала Oracle, расчет зарплаты за месяц проводила за 10 часов. Но был выход - если запускать на сервере БД, то считало уже 5 часов. Потому что ребята делали это на dbf-файлах изначально и перенос на Oracel свели к запихиванию данных в таблицы в реляционной БД и полному скачиванию всей информации из них для последующей обработки. Очевидно, что все это можно было с полпинка оптимизировать до скорости в 100-1000 раз больше, если задействовать sql. Насчет Мартина я так и не понял - то ли он действительно сам не может понять реляционные БД, то ли работает на пропаганду "линии партии". Честно было бы сказать на его месте, что решение о использовании или неиспользовании реляционных БД принимается в самом начале. Мне, конечно, сложно представить, как можно не понимать простейших аспектов реляционной теории, но я не берусь отрицать существование таких людей. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.09.2018, 21:17 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene NewСам я люблю язык структурированных запросов. Но если посмотреть на то, сколько всяких технологий придумали для его замену, на то, что пропагандируют в разных книжках, создается ощущение какой то темной иррациональной ненависти к SQL. Причин много. Упрощение. Некоторые узлы сложных систем после миграции в микросервис оказались настолько простыми что им реляционная алгебра не нужна. Но хранилище им нужно. Еще - незаполненный сегмент в части API. Между РСУБД и файловыми библиотеками наподобие BerkeleyDB был ваккуум. Сейчас он заполняется всякими Redis, RockDb, LevelDb, и прочими которые уже не файло-подобные но и еще не реляционные. Ну и конечно - либеральная лицензия. +Нереляционные которые полезны (реально полезны) для графового поиска информации в соц-сетях и генеалогических проектов наподобие MyHeritage. Из таких я помню есть Neo4j. Насчет ненависти - это вы Евгений конечно перебираете. Я не знаю откуда вы черпаете информацию. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.09.2018, 21:25 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov, я люблю Firebird и уважаю его разработчиков! Вы совершенно напрасно думаете, что я враждебен. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.09.2018, 21:32 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene NewНасчет Мартина я так и не понял - то ли он действительно сам не может понять реляционные БД, то ли работает на пропаганду "линии партии". У Теплякова можно почитать критику какой-то из книжек Мартина. Лично я не очень люблю авторов, которые книжки пишут словно рыба икру мечет. Как правило в таких случаях выше риск, что в книге будет преобладать конъюнктурная попса и автор среди прочего будет именно навязывать определенную точку зрения. Eugene NewЕсть ли какие то рациональные причины? С одной стороны как ни странно не все умеют работать. Встречал случаи, когда люди на полном серьезе тащили все на клиента и уже там в разбирали во вложенных циклах. С другой стороны как выше написали тенденция к упрощению и сокращению - объективный фактор. Не случайно в этой связи появление того же node, чисто ради того, чтобы и на клиенте и на сервере был один js. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.09.2018, 21:51 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene NewВидал я в начале 2000-х такую программу - использовала Oracle, расчет зарплаты за месяц проводила за 10 часов. Но был выход - если запускать на сервере БД, то считало уже 5 часов. Потому что ребята делали это на dbf-файлах изначально и перенос на Oracel свели к запихиванию данных в таблицы в реляционной БД и полному скачиванию всей информации из них для последующей обработки. Очевидно, что все это можно было с полпинка оптимизировать до скорости в 100-1000 раз больше, если задействовать sql. Тут все от задачи зависит. Если она - из области distributed computing то может и лучше ее считать распределённо а потом сливать "ручейки информации" в единый хост-хранилище отчотов. Вобще как говорят it depends. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.09.2018, 22:50 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
_nautilus_У Теплякова можно почитать критику какой-то из книжек Мартина. Лично я не очень люблю авторов, которые книжки пишут словно рыба икру мечет. Как правило в таких случаях выше риск, что в книге будет преобладать конъюнктурная попса и автор среди прочего будет именно навязывать определенную точку зрения. На миг сложилось впечатление что мы "Пастернака" осуждаем по линии партии даже нечитая ... А Мартин написал всего-то 5-6 книг (по разным источникам). ... |
|||
:
Нравится:
Не нравится:
|
|||
29.09.2018, 23:02 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
sql это просто реляционная алгебра. математику ненавидят двоечники, которые ее не понимают ... |
|||
:
Нравится:
Не нравится:
|
|||
29.09.2018, 23:18 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene NewОбман в том, что такой подход работает только если вы будете использовать реляционную базу как набор плоских файлов - то есть не будете использовать ее возможностей. обман в том, что оперирование множествами, и язык SQL это круто, но без индексов и прочих ухищрений по оптимизации всё это не будет работать быстро. Может поэтому авторов типа Мартина плющит - хотели пулю из серебра, а получили из г. Тем не менее, эта, даже говённая пуля, всё равно работает. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.09.2018, 23:39 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene New... Суть в том, что он говорит, что решение о том, будет использоваться реляционная БД или нет надо откладывать до самого последнего момента. ... Тони Хоар, соизобретатель "структурного программирования" как подхода к проектированию программ, и соавтор с Далом и Дейкстрой сборника статей "Структурное программирование", где-то давал комментарий к первой статье в сборнике, в которой Дейкстра рассказывает, среди прочего, как он учит своих студентов программированию "сверху-вниз". Хоар высказался в таком духе: это очень здорово, но этому нельзя учить начинающих. Начинающие не знают, где у программы верх. Книжек по архитектуре программного обеспечения раньше какого-то момента тоже читать нежелательно. Начинающий просто не поймет смысла написанного и превратит его в ненависть. О существе архитектуры вообще и программной архитектуры в частности, имхо, красочнее всех высказался Фредерик Брукс, примерно так (точную цитату искать не буду): - архитектура, это то, обо что вы спотыкаетесь, когда ночью бредете в туалет. Если оно не может быть отодвинуто, так, чтобы следующей ночью не спотыкаться, то это и является архитектурой. "Суть" же дела в определении того, что такое система, как проходит её границы, представляет она собой монолит - единственное знание, или набор взаимодействующих систем-построек. Умение строить свое здание так, чтобы при определенном взгляде, оно виделось как цельное и уметь при этом отложить целую часть вопросов на потом, это и есть умение проектировать независимое здание с учетом возможности его вписывания в изменяемую инфраструктуру.. Это искусство изолирования, модуляризации, стремящейся к достижению цельности конкретного строения. Eugene NewЧестно было бы сказать на его месте, что решение о использовании или неиспользовании реляционных БД принимается в самом начале.... Это решение возможно. И в целом наборе обстоятельств - умно. Оно предопределяет существенные элементы архитектуры. Но, если окажется в недостаточной степени изолированным и понятым буквально, то, может оказаться, что приводит к решению, в котором ночью ходить никуда и не надо, поскольку любая точка в здании может быть использована в качестве туалета. Не нужно даже включать свет. Просто делай то, что тебе требуется, там, где стоишь, или лежишь. Пристроить туалет к этому впоследствии возможно, а заставить жителей этого дома им пользоваться в обязательном порядке - никто не обещал, что может получиться. Существо архитектуры - в стенах, дверях и коридорах. Автор всего лишь говорит, что твоя обязанность - запланировать наличие коридора. А какой лампочкой ты будешь его освещать - это можно решать потом. Как-то так. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.09.2018, 00:46 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
maytonНа миг сложилось впечатление И правильно, что миг, ведь я писал про принцип отбора, а не про то, что конкретно Мартин какой-то не такой. boobyУмение строить свое здание так, чтобы при определенном взгляде, оно виделось как цельное и уметь при этом отложить целую часть вопросов на потом, это и есть умение проектировать независимое здание с учетом возможности его вписывания в изменяемую инфраструктуру.. Хорошо сказано. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.09.2018, 01:02 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Аналогии с архитектурой хромают, как и с любым объектом из реального мира, т. к. программирование совмещает в себе проектирование и реализацию. Никто не строит здание так, чтобы переносить после постройки капитальные стены и менять этажность, никто не начинает строительство, понятия не имея, что это будет за здание и для чего оно будет использоваться и никто не меняет проект, когда построена уже половина здания. Не хотелось бы уходить слишком далеко от темы. Вот, например, LinkQ - зачем его сделали вообще? Они что то упростили этим, заставив изучать новый язык запросов? ... |
|||
:
Нравится:
Не нравится:
|
|||
30.09.2018, 01:28 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene NewАналогии с архитектурой хромают, как и ... вот и не надо судить о любви и ненависти к sql, читая книжки по архитектуре. Просто не читайте пока таких книжек. Eugene NewВот, например, LinkQ - зачем его сделали вообще? Они что то упростили этим, заставив изучать новый язык запросов? можно было бы предложить почитать вот это, 2006 год. http://blogs.tedneward.com/post/the-vietnam-of-computer-science/ на хабре есть русский перевод. Сыылка здесь не потому, что вы обязательно прямо сейчас поймете, о чем этот текст в точности. Но может быть, потом, когда-нибудь, вспомните, что ссылку вам давали в связи с вопросом - что могло мотивировать создателей linq ... |
|||
:
Нравится:
Не нравится:
|
|||
30.09.2018, 01:49 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene New... Никто не строит здание так, чтобы переносить после постройки капитальные стены и менять этажность... Это не значит, что архитектурные аналогии не работают или не на ту ногу хромают. Это всего лишь значит, что хорошие программы не пишутся с первого раза , даже если их архитектура тщательно продумывалась. Брукс считает, что о "хорошести" программы можно судить не раньше, чем после третьего переписывания. Правда, состоит в том, что количество переписываний предсказать нельзя. Выделенный тезис - самое сакральное знание о программировании. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.09.2018, 02:28 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
booby, сколько таинственности :-) знаю я про ORM и упомянул об этом в п. 2. по мне так если ООП плохо сочетается с реляционными БД, которые прекрасно подходят для хранения данных, то горе ООП, а не реляционным БД. пусть меня поправят, если я ошибаюсь, но linq же не ORM, а именно язык запросов на замену sql. Entity Framework - ORM. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.09.2018, 04:58 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
А если linkq лучше для использования с ORM - то чем? ... |
|||
:
Нравится:
Не нравится:
|
|||
30.09.2018, 05:08 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene NewА если linkqКогда я был маленький, то некоторое время упорно читал неандреталец, но, всё-таки, исправился. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.09.2018, 16:14 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
во первых не стоит смешивать теплое и мягкое: язык sql с реляционными базами. sql и поверх плоских файликов вполне работает. во вторых реально существует огромный пласт задач где вполне оправдан отказ от полноценной реляционной базы. начиная с сайтиков-форумов, заканчивая бигдата задачами, которые зачастую на файликах поверх hdfs делают. как я понимаю микросервисы с идеологией отдельной базы будут под документо-ориентированные субд перетягивать одеяло. так что прототип на файлике вполне оправдан. что касается sql, то пакость застыла в развитии и 10-15 лет никакого развития. если так пойдет и дальше, новомодные фреймворки и его начнут массово вытеснять. spark хорошо продвинулся в плане скрещивания декларативной и процедурной части языка, тогда как у sql по прежнему между декларативной и процедурным "расширением" пропасть и похоже что-то в там развивать уже никто не будет. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.09.2018, 17:11 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Мартин считает разработчиков в массе своей тупыми обезьянами, неспособными освоить sql: http://www.ooart.ru/uploads/book/arhitektura_korporativnyh_programmnyh_prilozhenij_fauler_m.pdf Товарищ Многие разработчики просто не владеют SQL и потому, пытаясь сформулировать эффективные запросы и команды, сталкиваются с проблемами. Помимо того, все без исключения технологии внедрения предложений SQL в код на языке программирования общего назначения страдают теми или иными изъянами. (Безусловно, было бы лучше осуществлять доступ к содержимому базы данных с помощью неких механизмов уровня языка разработки приложения.) А администраторы баз данных хотели бы уяснить нюансы обработки SQL-выражений, чтобы иметь возможность их оптимизировать. По этим причинам разумнее обособить код SQL от бизнес - логики, разместив его в специальных классах. Возможно, с точки зрения принципов построения ККЭ (красного кровавого энтерпрайза) Мартин прав: работаем с теми людьми, какие есть. Вот и вся интрига. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.09.2018, 18:05 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
H5N1, sql и поверх плоских файликов вполне работает. Это всего лишь значит, что вы используете набор плоских файлоков как реляционную БД. астыла в развитии и 10-15 лет никакого развития А сейчас все в программировании застыло. Разве что велосипеды по новому открывают. Берут то, что придумано в 1970-х и выдают за новейший технологический прорыв. пакость А лично вы почему ненавидите SQL? У вас трудности с пониманием математических абстракций? spark хорошо продвинулся в плане скрещивани spark всего лишь очередная библиотека, которая, кстати, использует SQL -- Котовасия, озможно, с точки зрения принципов построения ККЭ (красного кровавого энтерпрайза) Мартин прав: работаем с теми людьми, какие есть. Есть же еще люди с нормальными способностями. Выходит, что они дебилов отбирают специально. А дебилы ведь все равно ничего хорошего не сделают.. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.09.2018, 18:17 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene New>Есть же еще люди с нормальными способностями Мало, судя по всему. Еще раз: речь об ККЭ, тут не до примадонн, тут массовое производство, где незаменимым не место. Для того и RUP, Agile, и зубрежка шаблонов проектирования и ORM. Подход вполне оправдан при определенных масштабах производства. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.09.2018, 18:24 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
H5N1что касается sql, то пакость застыла в развитии и 10-15 лет никакого развития. если так пойдет и дальше, новомодные фреймворки и его начнут массово вытеснять. spark хорошо продвинулся в плане скрещивания декларативной и процедурной части языка, тогда как у sql по прежнему между декларативной и процедурным "расширением" пропасть и похоже что-то в там развивать уже никто не будет. Куда вы хотите его развивать? ... |
|||
:
Нравится:
Не нравится:
|
|||
30.09.2018, 18:28 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
maytonH5N1что касается sql, то пакость застыла в развитии и 10-15 лет никакого развития. если так пойдет и дальше, новомодные фреймворки и его начнут массово вытеснять. spark хорошо продвинулся в плане скрещивания декларативной и процедурной части языка, тогда как у sql по прежнему между декларативной и процедурным "расширением" пропасть и похоже что-то в там развивать уже никто не будет. Куда вы хотите его развивать? Хочется императивности, вместо "селект ... фром ... вэрэ..." чтобы "for (int i = 1...,", как у пацанов из одинэс... ;) ... |
|||
:
Нравится:
Не нравится:
|
|||
30.09.2018, 18:37 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Котовасия, речь об ККЭ, тут не до примадонн, тут массовое производство, где незаменимым не место. Можно подумать понимание элементарных понятий теории множеств это нечто экстраординарное. Можно подумать не выпускаются толпы инженеров, которые вообще то в любом случае должны знать начала высшей математики - то есть преодолеть этот "страшный барьер", какая бы инженерная специальность у них ни была. Таких людей очень много. массовое производство Скорее уж массовое проектирование, т. к. программа это проект, а производство это запуск компилятора и копирование готовых файлов. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.09.2018, 18:43 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene New, не понимаю, в чем смысл спора. Ты задал вопрос: "почему Фаулер <блаблабла>". Я ответил: "возможно, потому, что он считает <блаблабла>" и привел цитату из его книжки. А ты начинаешь возражать. Ты меня с Фаулером отождествляешь, что ли? ... |
|||
:
Нравится:
Не нравится:
|
|||
30.09.2018, 18:54 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene New, ой, извини. Ты про одного, я - про другого... Но я с тобой в общем согласен, все равно. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.09.2018, 18:56 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Котовасия, не понимаю, в чем смысл спора. Всего лишь на "это оправдано" возражаю. Но вы правы, дальнейший спор бессмыслен. Фаулер У них куча этих Мартинов и Фаулеров, причем Мартин то имя, то фамилия.. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.09.2018, 19:02 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Мне кажется, что вопрос ненависти к SQL как языку вещь надуманная. Мало того, некоторые "NoSQL" решения к нему возвращаются. Опять таки, "NoSQL" это не очень удачный термин. Здесь речь идёт скорее о том, что для хранения и обработки данных используются нереляционные движки. Причины, почему их придумывают и пользуют - самые разные. Либо это специализированное хранилище чего либо, типа key-value, либо отказываются от каких-то принципов RDBMS, например, целостности и т.п. там, где они не особо важны, для более высокой производительности и масштабируемости. Вообще должен заметить, что RDBMS и SQL живее всех живых и как использовались для определённого класса задач, так и продолжают использоваться. Другое дело, что появилась куча областей, где "NoSQL" решения стали альтернативой для RDBMS. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.09.2018, 19:15 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene New... Фаулер У них куча этих Мартинов и Фаулеров, причем Мартин то имя, то фамилия.. Есть люди, осилившие Д.Кнута. А есть - читавшие Фаулеров. Как-то получается, что эти читатели - чаде всего разные люди. Это в дополнение к авторМожно подумать понимание элементарных понятий теории множеств это нечто экстраординарное. Не трать время на фаулеров и прочий околоайтишный менеджмент. Разве в случае интереса к теме "как быстро заставить работать толпу обезьян". ... |
|||
:
Нравится:
Не нравится:
|
|||
30.09.2018, 19:18 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
отказываются от каких-то принципов RDBMS, например, целостности Уж не связаны ли массовые жалобы на списания с давно закрытых карт Сбербанка с отказом от целостности данных? Ну вроде того, что человек три года назад закрыл карту, 10 раз сходит в Сбербанк и ему подтвердили, что карта закрыта, а потом у него образовался долг за обслуживание "закрытой карты". ... |
|||
:
Нравится:
Не нравится:
|
|||
30.09.2018, 19:50 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
КотовасияEugene New... пропущено... У них куча этих Мартинов и Фаулеров, причем Мартин то имя, то фамилия.. Есть люди, осилившие Д.Кнута. А есть - читавшие Фаулеров. Как-то получается, что эти читатели - чаде всего разные люди. Это в дополнение к авторМожно подумать понимание элементарных понятий теории множеств это нечто экстраординарное. Не трать время на фаулеров и прочий околоайтишный менеджмент. Разве в случае интереса к теме "как быстро заставить работать толпу обезьян". Думаешь на одном Дональде Кнуте выехать? Инженерия софтверных знаний - более широка... ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 00:47 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Очень лысыйМне кажется, что вопрос ненависти к SQL как языку вещь надуманная. Мало того, некоторые "NoSQL" решения к нему возвращаются. Опять таки, "NoSQL" это не очень удачный термин. Здесь речь идёт скорее о том, что для хранения и обработки данных используются нереляционные движки. Причины, почему их придумывают и пользуют - самые разные. Либо это специализированное хранилище чего либо, типа key-value, либо отказываются от каких-то принципов RDBMS, например, целостности и т.п. там, где они не особо важны, для более высокой производительности и масштабируемости. Вообще должен заметить, что RDBMS и SQL живее всех живых и как использовались для определённого класса задач, так и продолжают использоваться. Другое дело, что появилась куча областей, где "NoSQL" решения стали альтернативой для RDBMS. Я думаю что идёт от современного прототипирования. Если вы - Java разработчик и на стартапе - то вам в качестве DBMS конечно можете поднимать и конфигурить Постргре или Мискль. Но когда вы решаете о том что вам взять в качестве storage layer (я-то знаю я там был) для простого микросервиса то оказывается что вам ничего не стоит добавить в maven depencencies LevelDb, или RockDb. Эти штуки - бесплатны. Хранят данные на диске как key-value. Работают очень быстро. Некоторые из них уже соптимизированы под SSD. А дальше - пошло-поехало. Прототип работает. Хранилище работает. Зачем его мигрировать в БД. Какие justifications? SQL-запросы? О чем вы? Нет их там. Такой он Микросервис. Вот так. Прототипы часто выползают из недр вашего ноутбука. С ноутбучными storage-layers. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 01:00 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
mayton, Думаешь на одном Дональде Кнуте выехать "Кнут" сидит внутри LevelDb :-) LSM-деревья. Очень уж громкие названия у этих библиотек для решаемой задачи. И что потом с этими данными от микросервисов происходит? Они как-нибудь обрабатываются? Или это просто временные таблицы? ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 02:47 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene New"Кнут" сидит внутри LevelDb :-) LSM-деревья... а Ом, Вольта и Ампер - внутри каждого электрика. А ещё у каждого айтишника есть Бор, Гейзенберг, Ферми и Бозе - куда же нам без квантовой механики. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 05:31 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Basil A. Sidorov, айтишника Неприличными словами не выражаться! (с) ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 06:15 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene Newmayton, Думаешь на одном Дональде Кнуте выехать "Кнут" сидит внутри LevelDb :-) LSM-деревья. Очень уж громкие названия у этих библиотек для решаемой задачи. И что потом с этими данными от микросервисов происходит? Они как-нибудь обрабатываются? Или это просто временные таблицы? А как обрабатываются данные в RDBMS ? ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 07:56 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
maytonКотовасияпропущено... Есть люди, осилившие Д.Кнута. А есть - читавшие Фаулеров. Как-то получается, что эти читатели - чаде всего разные люди. Это в дополнение к пропущено... Не трать время на фаулеров и прочий околоайтишный менеджмент. Разве в случае интереса к теме "как быстро заставить работать толпу обезьян". Думаешь на одном Дональде Кнуте выехать? Инженерия софтверных знаний - более широка... Я как раз об обратном: начитаются одних лишь Фаулеров, и воображают себя архитекторами. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 09:07 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene Newsql и поверх плоских файликов вполне работает. Это всего лишь значит, что вы используете набор плоских файлоков как реляционную БД. пакость А лично вы почему ненавидите SQL? У вас трудности с пониманием математических абстракций? я не ненавижу ламеров, без опыта но с гонором. а SQL я люблю использовать там где он хорошо подходит и не одну сотню ламеров размазал тут на тему SQL за последние 15 лет. spark хорошо продвинулся в плане скрещивани spark всего лишь очередная библиотека, которая, кстати, использует SQL это ты очередная блондинка без базовых знаний, в спарке же sql лишь один из диалектов прислонненый сбоку. основной синтаксис там в совершенно ином стиле Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12.
если SQL не вернеться из комы эта хрень вытеснит SQL повсеместно ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 09:19 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene Newпакость А лично вы почему ненавидите SQL? У вас трудности с пониманием математических абстракций? я не ненавижу ламеров, без опыта но с гонором. а SQL я люблю использовать там где он хорошо подходит и не одну сотню ламеров размазал тут на тему SQL за последние 15 лет. Eugene Newspark хорошо продвинулся в плане скрещивани spark всего лишь очередная библиотека, которая, кстати, использует SQL это ты очередная блондинка без базовых знаний, в спарке же sql лишь один из диалектов прислонненый сбоку. основной синтаксис там в совершенно ином стиле Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12.
если SQL не вернеться из комы эта хрень вытеснит SQL повсеместно ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 09:20 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene Newиррациональной ненависти к SQL. Есть ли какие то рациональные причины?Возможно, причины психологические. Императивное проще понять, чем декларативное . Если человека со школы учить императивному, то для принятия декларативного ему нужно подняться над собой. Это всегда тяжело. Возможна связь с иллюзией контроля . В любом случае- всё вырождается в жонглирование костылями, которое удобнее реализовать императивно, а при декларативном подходе оно слишком бросается в глаза. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 09:42 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
H5N1если SQL не вернеться из комы эта хрень вытеснит SQL повсеместно Субъективно.. пока его знания спрашивают на собеседованиях - он будет нужен. Если вдруг (внезапно) тех лид говорит что ... "тэээкс... тут дальше идут вопросики по SQL но мы их поскипаем ибо нету на проекте" то такова селяви и надо либо менять проект либо согласится с тем что SQL действительно не будет. От себя Добавлю некоторые поинты в плюс SQL 1) SQL достаточно лаконичен в описании отчотов. CriteriaAPI, SparkAPI это все таки решения библиотечные построенные поверх языков носителей Java/Scala и обладающие определенным техническим балластом. Вы не можете написать запрос пока не выучите язык-носитель. 2) Опирается на математический аппарат алгебры множеств. Это дает неоспоримое диалектическое преимущество в спорах с NoSQL концепциями у которых этого аппарата нет либо он - какой-то рудимент сбоку и прочие нюансы (не поддерживает NULL) или вообще не может сделать срез по атрибуту который не индексирован (Cassandra). 3) Изменяется редко. ЕМНИП (Ansi-SQL92 хотя и протух но еще в деле). И хотя некий неведомый консорциум клепает новые SQL-2003,2006,2008 объективно 4) Его можно использовать как некую средневековую "латынь" при описании схем (DDL). Даже если гипотетически представить что SQL уже умер все равно нужен аппарат чтобы сказать create enitity(int id); e.t.c. 5) Генерализирует многие типы-синонимы. 6) Сами по себе реляционные DBMS как правило содержат некий мета-уровень который описывает служебные объекты схемы (индексы процедуры триггеры) и удобен для передачи знаний по новому бизнес-домену. Грубо говоря мне достаточно 10-15 минут чтобы понять что данная ЦРМ-ка состоит из 15 табличек с такими-то такими-то связями и индексирована так-то и так-то. Ничего подобного в NoSQL я не встречал. Там с этим очень плохо. Мрак и печаль. И если у вас нет исходного кода от бизнес приложения которое работает с этой NoSQL dbms то нифига вы там не найдете (прим: MongoDb). Не сможете оперативно ответить на вопрос - а какие собсно бизнес объекты там лежат. Мдя... ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 09:52 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
H5N1 если SQL не вернеться из комы эта хрень вытеснит SQL повсеместно Периодически звучат такие прогнозы о каком-либо продукте. автор"А воз и ныне там..." (с) ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 11:01 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
maytonСубъективно.. пока его знания спрашивают на собеседованиях - он будет нужен. Если вдруг (внезапно) тех лид говорит что ... "тэээкс... тут дальше идут вопросики по SQL но мы их поскипаем ибо нету на проекте" то такова селяви и надо либо менять проект либо согласится с тем что SQL действительно не будет. чихать на менеджеров. некоторые конструкции у этой фигни короче, меньше технического мусора. спайка декларативной конструкции и итеративной местами элегантней. вот если бы оно еще работало ... там проблема в том что синтаксис удобен, но работает через раз. но эта хрень развивается, а sql уже в коме mayton1) SQL достаточно лаконичен в описании отчотов. CriteriaAPI, SparkAPI это все таки решения библиотечные построенные поверх языков носителей Java/Scala и обладающие определенным техническим балластом. Вы не можете написать запрос пока не выучите язык-носитель. ориентироваться на самых тупых это стиль майкрософт. ничего хорошего майкрософт ориентируясь на самых тупых не выжали. сложные манипуляции с данными проводят всякие дата сайнтисты, собственно от них и их питона этот синтаксис с датафреймами в спарк и пришел. студенты вполне питоновский схватывают и студенческим нулям зачастую проще один питоновский синтаксис освоить, чем еще и sql. mayton6) Сами по себе реляционные DBMS как правило содержат некий мета-уровень который описывает служебные объекты схемы (индексы процедуры триггеры) и удобен для передачи знаний по новому бизнес-домену. Грубо говоря мне достаточно 10-15 минут чтобы понять что данная ЦРМ-ка состоит из 15 табличек с такими-то такими-то связями и индексирована так-то и так-то. Ничего подобного в NoSQL я не встречал. Там с этим очень плохо. Мрак и печаль. И если у вас нет исходного кода от бизнес приложения которое работает с этой NoSQL dbms то нифига вы там не найдете (прим: MongoDb). Не сможете оперативно ответить на вопрос - а какие собсно бизнес объекты там лежат. Мдя... просто они смотрят не таблицы, а DAO объекты. у них то все от кода пляшет, а не данных ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 11:05 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
H5N1если SQL не вернеться из комы эта хрень вытеснит SQL повсеместно не увидел ничего нового в этой твоей хрени. При обращении к реляционным СУБД вся эта Linq подобная фигня один фиг генерирует SQL запрос и отправляет его на сервер. При обращении к не реляционным делает это иначе. Просто обобщённый интерфейс для написания запросов непосредственно на том языке в котором программируешь вместо составления строковой переменной напрямую. Удобно? Да. Но ничего нового в этом нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 11:13 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Симонов Денисне увидел ничего нового в этой твоей хрени. При обращении к реляционным СУБД вся эта Linq подобная фигня один фиг генерирует SQL запрос и отправляет его на сервер. При обращении к не реляционным делает это иначе. Просто обобщённый интерфейс для написания запросов непосредственно на том языке в котором программируешь вместо составления строковой переменной напрямую. Удобно? Да. Но ничего нового в этом нет. ничего не знаю про linq, но толку от него если он это в sql превращает, отправляет на сервер, копирует по медленному интерфейсу данные, кастит ? мой пример выполниться в том же jvm процессе, прямо над структурами датафрейма. никто никуда перекачивать данные не будет. кроме этого трансляция в sql говорит о том что записать развесистый объект, полученный к примеру от ML либы в поле уже не выйдет, в колонках только примитивные типы. верно? вобщем трансляция может внешне выглядит похоже, но под капотом выглядит совершенно иначе. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 12:07 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene NewСам я люблю язык структурированных запросов. Но если посмотреть на то, сколько всяких технологий придумали для его замену, на то, что пропагандируют в разных книжках, создается ощущение какой то темной иррациональной ненависти к SQL. Есть ли какие то рациональные причины? Я вижу три возможных: 1. Реляционные БД может быть плохо сочетаются с рапараллеливанием на много компьютеров 2. ООП плохо связывается с SQL 3. Возможно считается, что среднестатистический программист настолько туп и не обладает способностями к абстрактному мышлению, что не в состоянии понять реляционную теорию, основанную на понятии множеств. Все просто. Не осилили. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 14:00 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene New, Ну да, вот, 3;е Возможно считается, что среднестатистический программист настолько туп и не обладает способностями к абстрактному мышлению, что не в состоянии понять реляционную теорию, основанную на понятии множеств. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 14:01 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene NewSergSuper, Роберт Мартин, "Читая Архитектура", 2018 год. стр 170-172 Вроде человек с перфокарт начинал программировать, хотя и без особого успеха. Теперь книжки пишет, есть то хочется, я его понимаю. У него даже хватает честности признать, что ООП делается на процедурных языках со всеми его фишками. Но на SQL его пробило. Я даже не понял, то ли он себя обманывает, то ли читателей. Суть в том, что он говорит, что решение о том, будет использоваться реляционная БД или нет надо откладывать до самого последнего момента. Приводит в пример свой проектик, который реализовал на плоских файлах. Обман в том, что такой подход работает только если вы будете использовать реляционную базу как набор плоских файлов - то есть не будете использовать ее возможностей. Видал я в начале 2000-х такую программу - использовала Oracle, расчет зарплаты за месяц проводила за 10 часов. Но был выход - если запускать на сервере БД, то считало уже 5 часов. Потому что ребята делали это на dbf-файлах изначально и перенос на Oracel свели к запихиванию данных в таблицы в реляционной БД и полному скачиванию всей информации из них для последующей обработки. Очевидно, что все это можно было с полпинка оптимизировать до скорости в 100-1000 раз больше, если задействовать sql. Насчет Мартина я так и не понял - то ли он действительно сам не может понять реляционные БД, то ли работает на пропаганду "линии партии". Честно было бы сказать на его месте, что решение о использовании или неиспользовании реляционных БД принимается в самом начале. Мне, конечно, сложно представить, как можно не понимать простейших аспектов реляционной теории, но я не берусь отрицать существование таких людей. Очевидно же. Человек-дурак написал книгу не чтобы стали, а чтобы написать. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 14:06 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
MasterZivEugene NewСам я люблю язык структурированных запросов. Но если посмотреть на то, сколько всяких технологий придумали для его замену, на то, что пропагандируют в разных книжках, создается ощущение какой то темной иррациональной ненависти к SQL. Есть ли какие то рациональные причины? Я вижу три возможных: 1. Реляционные БД может быть плохо сочетаются с рапараллеливанием на много компьютеров 2. ООП плохо связывается с SQL 3. Возможно считается, что среднестатистический программист настолько туп и не обладает способностями к абстрактному мышлению, что не в состоянии понять реляционную теорию, основанную на понятии множеств. Все просто. Не осилили. А есть причина номер 4. Вот Вы хороший программист. Очень хороший программист. Гениальный программист. И хотите войти в историю. Но SQL уже написали. Тогда Вы изобретаете noSQL, делаете новую БД, какую-нибудь Кассандру или Монго, говорите всем, что это та самая серебряная пуля, "о которой столько говорили большевики", Вас носят на руках, приглашают на конференции, везде почет и уважение. Потом Вас начнут опровергать сторонники SQL, находить в Вашей базе изьяны, но к этому времени у Вас будет целая армия поклонников, которым надоело учить одно и то же, а тут новая технология, непонятная, можно выучить новый глоссарий и сверкать своим образованием, показывая, как такой новый адепт разбирается в мельчайших нюансах IT. И вот Вы почиваете на лаврах, Вы можете пить пиво за одним столом с основателем противоположной методы или языка, а в интернете за Вашей спиной адепты скрещивают мечи в жарких спорах - "что лучше, C# или Java", "что лучше, SQL или noSQL". А Вы отдыхаете от трудов и остаетесь в памяти благодарных потомков как человек, который продвинул IT еще дальше в пропасть в светлое будущее. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 14:09 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
MasterZivEugene New, Ну да, вот, 3;е Возможно считается, что среднестатистический программист настолько туп и не обладает способностями к абстрактному мышлению, что не в состоянии понять реляционную теорию, основанную на понятии множеств. Об этом и пишут, я выше цитату приводил. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 14:09 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Andy_OLAPВот Вы хороший программист. Очень хороший программист. Гениальный программист. И хотите войти в историю. Но SQL уже написали. Тогда Вы изобретаете noSQL, делаете новую БД, какую-нибудь Кассандру или Монго, говорите всем, что это та самая серебряная пуля, "о которой столько говорили большевики", Вас носят на руках, приглашают на конференции, везде почет и уважение. Потом Вас начнут опровергать сторонники SQL, находить в Вашей базе изьяны, но к этому времени у Вас будет целая армия поклонников, которым надоело учить одно и то же, а тут новая технология, непонятная, можно выучить новый глоссарий и сверкать своим образованием, показывая, как такой новый адепт разбирается в мельчайших нюансах IT. И вот Вы почиваете на лаврах, Вы можете пить пиво за одним столом с основателем противоположной методы или языка, а в интернете за Вашей спиной адепты скрещивают мечи в жарких спорах - "что лучше, C# или Java", "что лучше, SQL или noSQL". А Вы отдыхаете от трудов и остаетесь в памяти благодарных потомков как человек, который продвинул IT еще дальше в пропасть в светлое будущее. NoSQL никто не изобретал. Тоесть нам сложно в истории развития It обозначить персону-создателя. Это как с дифференциальным исчислением. Толи Ньютон. Толи Лейбниц. А может они вместе. А может оно (счисление) уже давно витало в воздухе и некоторые физики средневековья втихаря им пользовались. Просто не называли его громкими словами. Изобретение "витает" в воздухе за несколько лет. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 14:38 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
КотовасияMasterZivEugene New, Ну да, вот, 3;е Возможно считается, что среднестатистический программист настолько туп и не обладает способностями к абстрактному мышлению, что не в состоянии понять реляционную теорию, основанную на понятии множеств. Об этом и пишут, я выше цитату приводил. Ему это все не надо. Ему надо закрывать баги, юзер-стори, и спринты. Итеративный подход. Гибкие методологии всё разрулят. Об этом в смежном топике схлестнулись в смертельной схватке несколько ораторов. Этот итеративный подход может деморализовать любого. К чему скажите вообще весь пласт знаний? Фигачь спринты! И ублажай кастомера. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 14:41 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
есть две причины избегать sql: 1)Все должно быть в ООП!!!! 2)Независимость от конкретной бд! отсюда ОРМ linq jpql и др ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 17:07 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
казинакесть две причины избегать sql: 1)Все должно быть в ООП!!!!Последнее время всё больше людей сомневаются в тотальной полезности ООП. казинак2)Независимость от конкретной бд! отсюда ОРМ linq jpql и дрМне всегда было интересно, часто ли потенциальная кросс-платформенность реализовывалась или чаще оставалось для галочки. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 17:48 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
maytonЕму это все не надо. Ему надо закрывать баги, юзер-стори, и спринты. Итеративный подход. Гибкие методологии всё разрулят. Об этом в смежном топике схлестнулись в смертельной схватке несколько ораторов. Этот итеративный подход может деморализовать любого. К чему скажите вообще весь пласт знаний? Фигачь спринты! И ублажай кастомера.осталось понять, чем SQL мешает фигачить спринты)) ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 17:49 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
egorychосталось понять, чем SQL мешает фигачить спринты))Преферанс - отстой ... А в очко - думать надо, шанс считать ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 17:55 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
H5N1Eugene Newпропущено... А лично вы почему ненавидите SQL? У вас трудности с пониманием математических абстракций? я не ненавижу ламеров, без опыта но с гонором. а SQL я люблю использовать там где он хорошо подходит и не одну сотню ламеров размазал тут на тему SQL за последние 15 лет. Eugene Newпропущено... spark всего лишь очередная библиотека, которая, кстати, использует SQL это ты очередная блондинка без базовых знаний, в спарке же sql лишь один из диалектов прислонненый сбоку. основной синтаксис там в совершенно ином стиле Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12.
если SQL не вернеться из комы эта хрень вытеснит SQL повсеместноЙо, именно этот пример плохой, он абсолютно ничем не лучше SQL mayton, внезапно внутри любого SQL-движка живет кей-валуэ хранилище и циклы для джойнов :ohno: ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 18:33 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
эта хрень вытеснит SQL повсеместно Это типа темным людям без образования вроде H5N1 так понятнее, чем просто написать select .. where .. ? некоторые конструкции у этой фигни короче, меньше технического мусора То, что ты написал, на 90% состоит из мусора. ориентироваться на самых тупых это стиль майкрософт. На таких как ты:) никто никуда перекачивать данные не будет. То есть ты ошибочно думаешь, что эта хренотень не для хранения данных, которые потом придется массово обрабатывать. А для какой то локальной временной фигни. Ну так назначение SQL - обрабатывать гигантские объемы данных, а не микро-не-пойми-что, для которого и механизмов то специальных не надо. Для микро-не-пойми-чего ничего вообще не надо, делай хоть левой ногой через правое ухо. Ты вообще не понимаешь смысла своего spark-а, как библиотеки. Смысл этой фигни в том, чтобы писать sql-подобные запросы на данные не из реляционной БД. И чтобы это безболезненно переносилось на хранение в реляционных БД. То есть тебя наоборот ногами пинают в сторону SQL от любимого тобой ООП и императива. Раз уж тебе мозги не дают ни получить образования, ни усвоить элементарные математические понятия. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 20:02 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
внезапно внутри любого SQL-движка живет кей-валуэ хранилище и циклы для джойнов Модератор: Отредактировано Тогда Вы изобретаете noSQL, делаете новую БД, какую-нибудь Кассандру или Монго "Изобретение" в использовании всяких структур вроде деревьев, давно известных, описанных 50 лет назад и давно используемых. Выходит что этот "изобретатель" обманщик и мошенник. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 20:08 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Изобретение "витает" в воздухе за несколько лет Все эти структуры данных и алгоритмы работы с ними изобрели лет 50 назад и настоящих авторов наверняка можно найти. Правда тогда обошлось без бренда noSQL хотя бы потому, что сам SQL в это время еще не придумали :) mayton как обрабатывают данные SQL Я имел в виду, что данные постепенно загружаются в реляционную базу, в которой потом массово обрабатываются SQL-запросами. А данные микросервисов куда нибудь попадают, впоследствии чем то обрабатываются? ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 20:15 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
казинак1)Все должно быть в ООП!!!! Ты отстал от жизни старичок. Это слоган 2000-х годов. 2)Независимость от конкретной бд! По моему скромному наблюдению никто так и не сумел обосновать выгоду от этой "независимости". Лично кастомеру эта независимость не нужна. И она тем более не нужна когда вы уже сидите плотно на лицензии Oracle или MS-SQL. Я еще не встречал ни одной технологии которая-бы дала независимость от stored procedures. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 20:19 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene Newвнезапно внутри любого SQL-движка живет кей-валуэ хранилище и циклы для джойнов Еще один темный неграмотный, который с апломбом утверждает то, чего не знает. Внутри SQL-движка плоские таблицы, страницы памяти и индексы на деревьях. Тогда Вы изобретаете noSQL, делаете новую БД, какую-нибудь Кассандру или Монго "Изобретение" в использовании всяких структур вроде деревьев, давно известных, описанных 50 лет назад и давно используемых. Выходит что этот "изобретатель" обманщик и мошенник. так и запишем, страницы памяти и индексы растут на деревьях =) а струтуры хранения кей-валуэ рождены святым духом.... ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 20:23 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
H5N1, погоди, но ты привёл sql подобный запрос, который по синтаксису даже более громоздкий. Спрашивается почему бы не привести пример запроса на более родном языке, где действительно чему-то можно поучиться? Опустим пока как оно внутри обрабатывается. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 21:36 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Модератор: Отредактировано Еще раз - если ты реляционную базу используешь как хранилище и все тянешь на клиента, у тебя никакой производительности не будет. А при правильной структуре реляционная база дает производительность обработки больших массивов данных на много порядков большую, чем ты способен написать на коленке. И адресные пространства тут не причем. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 21:45 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene New, известный адепт Оракула ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 22:17 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene NewЕще раз - если ты реляционную базу используешь как хранилище и все тянешь на клиента, у тебя никакой производительности не будет. А при правильной структуре реляционная база дает производительность обработки больших массивов данных на много порядков большую, чем ты способен написать на коленке. И адресные пространства тут не причем. Модератор: Отредактировано Eugene NewSQL позволяет получить производительность на порядок или несколько порядков большую. Причем с полпинка, элементарно. если бы производительность позволяла то не пришел бы хадуп и не выдавил бы оракл из аналитики. Симонов Дениспогоди, но ты привёл sql подобный запрос, который по синтаксису даже более громоздкий. Спрашивается почему бы не привести пример запроса на более родном языке, где действительно чему-то можно поучиться? Опустим пока как оно внутри обрабатывается. основная фишка там именно та, что под капотом. если говорить лишь о синтаксисе, то там много чего можно сильно короче sql написать, типа df.filter("age".gt(30)), плюс спайка декларативной части и итеративной заметно красивей Код: java 1. 2. 3. 4. 5. 6. 7. 8.
где там закончилась декларативная часть и пошел итеративный код почти не заметно. при этом все эффективно работает, фреймворк раскидает по нодам и выполнит код MyMegaClass прямо там где данные. при том что этот MyMegaClass это любая жаба либа. в оракле и мсскл вроде и есть jvm/.net в ядре, но толку с них ноль. гораздо разумней тащить данные из sql наружу и там нормальным апп сервером молотить, оставляя sql роль тупого сториджа. со всеми вытекающими к перфоменсу. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 22:36 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Модератор: Удалено. Всем! Завязывайте. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 22:56 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene New, ты не сечёшь фишку. SQL хорош для извлечения данных по некоторым критериям, но не для их аналитической обработки. Подумай что у нас есть в SQL для аналитики. Агрегатные и оконные функции, GROUP BY WITH ROLLUP, ну может быть CUBE. И всё собственно. Ну в Оракуле своя фича MODEL. Аналитика может предполагать гораздо более сложные алгоритмы, которые на SQL реализовать мягко говоря затруднительно. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 23:10 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Симонов Денис, Аналитика может предполагать гораздо более сложные алгоритмы, которые на SQL реализовать мягко говоря затруднительно Примерно понимаю о чем вы, но хотелось бы подробностей. Конкретный пример или что то вроде того. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 23:36 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Микропример не подойдет, нужна именно обработка больших массивов данных. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 23:37 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Siemarglmayton, внезапно внутри любого SQL-движка живет кей-валуэ хранилище и циклы для джойнов :ohno: Хм... Непонятно... А где я давал информационный повод к этому сообщению? ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 23:46 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Симонов ДенисEugene New, ты не сечёшь фишку. SQL хорош для извлечения данных по некоторым критериям, но не для их аналитической обработки. Подумай что у нас есть в SQL для аналитики. Агрегатные и оконные функции, GROUP BY WITH ROLLUP, ну может быть CUBE. И всё собственно. Ну в Оракуле своя фича MODEL. Аналитика может предполагать гораздо более сложные алгоритмы, которые на SQL реализовать мягко говоря затруднительно. Друзья. В топике идет какая-то подмена понятий и переворачивание причин и следствий. Я предлагаю следующие тезисы. 1) SQL - это декларативный язык который позволяет описать нам то ЧТО мы хотим получить из БД. 2) SQL никак не описывает КАК мы хотим получить данные. Тоесть алгорим выборки. Грубо говоря он 100% оставляет этот вопрос на откуп RDBMS. 3) SQL не запрещает в качестве storage-layer использовать хранилища NoSQL (NotOnlySQL). Пример технологий: ApacheDrill, CriteriAPI, Hive e.t.c. Ну реально! Нет нигде на это запрета! Можно даже DBF и CSV файлы брать в качестве источника данных. Стартанём с этой позиции. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.10.2018, 23:58 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
mayton, все же я считаю вопрос о хранении важным, т. к. структура реляционной базы тесно связана и с текстами sql-запросов, и с их эффективностью. Поэтому имеет смысл все это рассматривать как единое целое. Но для случаев, когда данных очень мало, сойдет любая их обработка. По мне так это вообще не тот случай, на который стоит обращать внимание, т. к. малые данные обрабатываются как угодно, хоть левой ногой через правое ухо. Изобретают очередной аналог BDE или ODBC, красивым словом называют. Все равно при переходе на большие данные придется и структуру настоящей реляционной базы делать, и запросами озаботится. Может все эти открытия считаются открытиями потому, что становится бесплатным то, что 20 лет назад было коммерческим и недешевым? Если я в чем то ошибаюсь - поправьте. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 00:36 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene NewМикропример не подойдет, нужна именно обработка больших массивов данных. Не нужно никаких мега-примеров. Достаточно просто иметь представление о том, что такое иерархия памяти, чтобы понять простейшую штуку. Оптимизированная под OLTP "стандартная" СУБД заведомо не годится для работы с "большими данными", независимо от тех или иных моделей их представления, доступа, характера навигации и степени теоретической обоснованности. Когда ты ограничен максимальным размером чтения с диска в один мегабайт, это, на текущий момент, как минимум на полтора-два порядка нерелевантно самым элементарным представлениям с физической стороны о том, как надо работать с "большими данными", независимо от натравливаемых на "большие данные" алгоритмов. Да, "большие данные" бессмысленны, если нет алгоритмов, способных их обрабатывать за приемлемое время. Но если такие алгоритмы есть и готовы работать - бессмысленно чтение с диска, ограниченное мегабайтом. Это сначала закрывает вопрос об использовании "стандартных" субд, а затем те соображают, как и чем на это отвечать, включая специализированные реализации на специально под "большие данные" спроектированном железе. PS Ох уж эти "молоточки"... ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 00:49 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
BerkeleyDb был всегда бесплатен. А на нем кажется весь DNS стоял. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 00:56 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
boobyДа, "большие данные" бессмысленны, если нет алгоритмов, способных их обрабатывать за приемлемое время. Я bigdata считаю изначально безсмысленным по своей сути. Это технологическая "отрыжка" нашего времени. Появились дешевые хосты и хранилища - и сама предметная область обозначилась. Ее нельзя было создать рисуя палочкой на песке или складывая камешки как делал Архимед. Современное It - это на 99% просто приспосабливание имеющегося железа и сетей и CPU-можностей под задачи. А когда задач нет - но есть железо - задачи придумываются. Зачем скажите хранить данные internet of things? Построил по ним OLAP-кубы и грохнул исходные файлы. Зачем хранить логи log4j вашего драгоценного приложения за 25 лет? Соберите статистические цифры. Нарисуте графики. Грепните критические ерроры и все. И снова не нужна никакая биг-дата. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 01:04 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Когда ты ограничен максимальным размером чтения с диска в один мегабайт, Что то я не пойму, кто и где ограничен одним мегабайтом. Вообще то большие данные нужно хранить на диске, т. к. они в памяти не помещаются, потому что большие. Но о мегабайте ведь давно речи не идет. Ок, давайте я сменю условия с больших (которое стали воспринимать как очень большие), на какие то конкретные числа. Ну скажем небольшой такой объем в 1 Гб. Да хоть пару сотен мегабайт. Короче, хоть какой-нибудь реальный пример, который работает не с десятком или сотней записей :) ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 01:12 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
mayton... Ее нельзя было создать рисуя палочкой на песке или складывая камешки как делал Архимед. ... Имхо, это вообще почти единственный способ, что-то создать. "бигдата" в этом смысле не создает, а использует - алгоритмы и инфраструктуру. Как римляне 1000 лет использовали нарисованные на песке и сложенные из камешком математические результаты инженера Архимеда, не создавая новых. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 01:14 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene New... Что то я не пойму, кто и где ограничен одним мегабайтом. ... Вы, при случае, когда наскучит воевать с "темными людьми", все-таки почитайте концепты хоть какой-нибудь "стандартной субд". Что там у них про блоки и физическое чтение расписано. Я видел, вам давали ссылочки. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 01:18 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
maytonПостроил по ним OLAP-кубы и грохнул исходные файлы. А потом появляется новый источник и новое, достаточно простое измерение, которое можно "прикрутить" и к старым данным. И начинается геморой на ровном месте - достать место под старые данные, выгруженные из куба, затем вогнать в куб обратно вместе с новыми данными. И обычно запрос под место - это процедура, а куб нужен таки прямо сейчас. В том-то и весь цимес! А про квалификацию тех, кто делает OLAP кубы - вот начали Вы данные всерьез смотреть, понравилось, грохнули исходные файлы, затем постоянный пользователь куба Вам говорит, что сделано неправильно, куб нужно переделать здесь, здесь и вот здесь - а исходных файлов уже нет. Проще хранить, чем удалить и потом в бэкапах искать. Собственно, сами bigdata - это и данные, и в каком-то смысле бэкап, и расположение информации на N серверах в M копиях (отказоустойчиво) - и все в одной упаковке. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 01:18 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Andy_OLAPПроще хранить, чем удалить и потом в бэкапах искать. Собственно, сами bigdata - это и данные, и в каком-то смысле бэкап, и расположение информации на N серверах в M копиях (отказоустойчиво) - и все в одной упаковке. У меня есть своя теория. О том что количество информации нужной человеку - величина постоянная. А современные инфо-технологии - это просто некий белый шум. Они не сделали человека умнее. Информированнее - да. Но что толку с этого. Он разучился сам делать свои выводы. Мозг разжижается. Вобщем где-то у Савельева было на эту тему. И про строительство ИИ тоже. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 01:35 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Отсюда вывод - эти данные не для человека. Мне все таки хотелось бы какой-нибудь примерчик увидеть, когда выкачивание всего на app-server и его там обработка выгоднее чем sql-запрос с последующей обработкой. Ну или о чем там мне говорят, т. к. я их до конца не понял, потому и прошу примерчик. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 01:45 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene NewОтсюда вывод - эти данные не для человека. Мне все таки хотелось бы какой-нибудь примерчик увидеть, когда выкачивание всего на app-server и его там обработка выгоднее чем sql-запрос с последующей обработкой. Ну или о чем там мне говорят, т. к. я их до конца не понял, потому и прошу примерчик. Я сходу сделаю сразу замечание. Ты нарисовал неправильный юзкейс. С бигдатой так не работают. Ее (бигдату) собсно нельзя вообще сравнивать с DBMS. Как я уже где-то писал - это системы разного класса по CAP. Как грузовик с лимузином. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 01:50 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
mayton, так я вообще не про бигдату. Слово большие было употреблено не в этом смысле. Хотелось бы увидеть как работать без sql с теми объемами, с которыми прекрасно справляется sql, причем существенно быстрее. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 02:02 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene New, поправляю - объем данных, с которым справляется реляционная субд и sql. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 02:03 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene New... Хотелось бы увидеть как работать без sql с теми объемами, с которыми прекрасно ... Там где "про sql", существо дела вообще не в объемах. Ни с начала, ни с конца, ни с какого боку. То что "sql" справляется с какими-то объемами - это почти целиком вторичный момент, с которым "уж как-нибудь, да обойдемся", по отношению к тому, ради чего RDBMS вообще задумывались. Вопрос - буду ли я использовать SQLite, MySQL или Oracle Database - может предопределяться рассуждениями об объемах. Но вопрос - буду ли я вообще закладываться на "sql" или нет, почти всегда отношения к объемам не имеет. Кроме специальных случаев, сорта "бигдаты", где ответ на этот вопрос вчера может отличаться от ответа на него сегодня, а завтра его нужно будет обсуждать снова и отдельно. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 02:51 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
booby, давайте уже что то конкретное, пожалуйста.. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 03:09 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
авторВобщем где-то у Савельева было на эту тему. И про строительство ИИ тоже. Скажите, пожалуйста, о чём это? Есть какая-то книга или конкретная статья? ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 05:50 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
maytonСимонов ДенисEugene New, ты не сечёшь фишку. SQL хорош для извлечения данных по некоторым критериям, но не для их аналитической обработки. Подумай что у нас есть в SQL для аналитики. Агрегатные и оконные функции, GROUP BY WITH ROLLUP, ну может быть CUBE. И всё собственно. Ну в Оракуле своя фича MODEL. Аналитика может предполагать гораздо более сложные алгоритмы, которые на SQL реализовать мягко говоря затруднительно. Друзья. В топике идет какая-то подмена понятий и переворачивание причин и следствий. Я предлагаю следующие тезисы. 1) SQL - это декларативный язык который позволяет описать нам то ЧТО мы хотим получить из БД. 2) SQL никак не описывает КАК мы хотим получить данные. Тоесть алгорим выборки. Грубо говоря он 100% оставляет этот вопрос на откуп RDBMS. 3) SQL не запрещает в качестве storage-layer использовать хранилища NoSQL (NotOnlySQL). Пример технологий: ApacheDrill, CriteriAPI, Hive e.t.c. Ну реально! Нет нигде на это запрета! Можно даже DBF и CSV файлы брать в качестве источника данных. Стартанём с этой позиции. В данном случае никакой подмены нет. Мой ответ был сделан на конкретный пост, который удалён. Причём там важен был и предыдущий ответ. А сам по себе да он оторван от контекста беседы. Хорошо напомню о чём было в двух словах. H5N1гораздо разумней тащить данные из sql наружу и там нормальным апп сервером молотить, оставляя sql роль тупого сториджа. со всеми вытекающими к перфоменсу. на что был дан ответ вроде такого: вы просто не можете мыслить в реляционной логике, и что в SQL данные обработать и анализировать быстрее. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 07:08 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
boobyНе нужно никаких мега-примеров. Достаточно просто иметь представление о том, что такое иерархия памяти, чтобы понять простейшую штуку. Оптимизированная под OLTP "стандартная" СУБД заведомо не годится для работы с "большими данными", независимо от тех или иных моделей их представления, доступа, характера навигации и степени теоретической обоснованности. +1 в оракле многое сделали на эту тему - и колончатый формат с упаковкой и экзадатовские хитрые чтения, но все это убивается ценой. maytonЯ bigdata считаю изначально безсмысленным по своей сути. Это технологическая "отрыжка" нашего времени. Появились дешевые хосты и хранилища - и сама предметная область обозначилась. Ее нельзя было создать рисуя палочкой на песке или складывая камешки как делал Архимед. вообще-то бигдате старт дал гугл, нарисовавший той самой палочкой алгоритм. этот алгоритм с песка и реализовали в хадупе. суть бигдаты не размере данных, оракловая экзадата зачастую не меньший объем жует. суть в алгоритмах maytonЯ сходу сделаю сразу замечание. Ты нарисовал неправильный юзкейс. С бигдатой так не работают. Ее (бигдату) собсно нельзя вообще сравнивать с DBMS. Как я уже где-то писал - это системы разного класса по CAP. Как грузовик с лимузином. можно и нужно. хадупы с их даталейками занимают не свободную нишу, а массово замещают конкретные рсубд, перетягивая задачи обработки информации на себя. замещая рсубд со всеми их тру транзакциями, консистенси и acid mayton1) SQL - это декларативный язык который позволяет описать нам то ЧТО мы хотим получить из БД. в реальной жизни обработкой данных занимается спайка декларативного SQL и итеративного языка. нет никакого смысла искусственно их разделять ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 08:46 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
azsxавторВобщем где-то у Савельева было на эту тему. И про строительство ИИ тоже. Скажите, пожалуйста, о чём это? Есть какая-то книга или конкретная статья? Савельев - это не из It. Это бологии и института морфологии человека. Насчет книг не скажу. Я в основном подписан на его видео-блоги в youtube. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 09:11 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene Newmayton, так я вообще не про бигдату. Слово большие было употреблено не в этом смысле. Хотелось бы увидеть как работать без sql с теми объемами, с которыми прекрасно справляется sql, причем существенно быстрее. Ну ... бери библиотечку наподобие Berkeley. Выбирай архитектуру хранения. Загружай туда из CSV или из другого формата. Добавляй индексы. И работай на сях. Дергай методы. Вот как-то так. Ну или вместо Berkeley можешь взять гугловый LevelDb или фейсбучный RocksDb. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 09:23 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Andy_OLAPmaytonПостроил по ним OLAP-кубы и грохнул исходные файлы. А потом появляется новый источник и новое, достаточно простое измерение, которое можно "прикрутить" и к старым данным. И начинается геморой на ровном месте - достать место под старые данные, выгруженные из куба, затем вогнать в куб обратно вместе с новыми данными. И обычно запрос под место - это процедура, а куб нужен таки прямо сейчас. В том-то и весь цимес! А про квалификацию тех, кто делает OLAP кубы - вот начали Вы данные всерьез смотреть, понравилось, грохнули исходные файлы, затем постоянный пользователь куба Вам говорит, что сделано неправильно, куб нужно переделать здесь, здесь и вот здесь - а исходных файлов уже нет. Проще хранить, чем удалить и потом в бэкапах искать. Собственно, сами bigdata - это и данные, и в каком-то смысле бэкап, и расположение информации на N серверах в M копиях (отказоустойчиво) - и все в одной упаковке. Замечание справедливое. Но давайте предположим что owner информации - это вы. И никто вас не будет упрекать в том что вы грохнули свою информацию. Если она не ваша - то грохать ничего не надо. А надо действовать согласно стратегии бэкапов которая прината у вас в конторе. Старше оперативного срока - в архивный tablespace. Старше - трех лет в external tables. Старше 10 лет - на стриммер. Разумеется это я все придумал в качестве примера. И еще в теме не хватает деталей о природе самой информации. Если это какая-то юридическая и финансовая активность то наверное ничего удалять не надо. Если это данные научных измерений (погода) то здесь я-бы предложил просто какую-то сжатую схему хранения при которой у нас не будет избыточности и любой запрос может быть удовлетворен с нужной точностью. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 09:32 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
гугл, нарисовавший той самой палочкой алгоритм Гугл никогда ничего сам не придумывает, только берет чужое и выдает за свое. Ну ... бери библиотечку наподобие Berkeley. Выбирай архитектуру хранения. Оставлю это развлечение оппонентам, который утверждают, что это более эффективно. можно и нужно. хадупы с их даталейками занимают не свободную нишу, а массово замещают конкретные рсубд, перетягивая задачи обработки информации на себя. замещая рсубд со всеми их тру транзакциями, консистенси и acid в реальной жизни обработкой данных Так давайте конкретный примерчик, хоть один. Пока что у вас одни безапелляционные общие утверждения. Это не в сбербанке заместили транзакции на халупу так, что там теперь с людей массово требуют деньги за обслуживание давно закрытых карт? H5N1, вот вы конкретно утверждали, что реляционную базу надо использовать как хранилище, тянуть все на app-server и там обрабатывать и что так будет быстрее. Давайте примерчик, чтобы не быть голословным. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 11:14 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene NewH5N1, вот вы конкретно утверждали, что реляционную базу надо использовать как хранилище, тянуть все на app-server и там обрабатывать и что так будет быстрее. Давайте примерчик, чтобы не быть голословным. не всё, но в некоторых случаях без этого не обойтись. Попробуйте например обучить нейросеть в рамках СУБД, не вытаскивая полностью обучающую выборку. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 11:27 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Симонов Денис, так H5N1 утверждает, что даже задачи, которые МОЖНО решить с помощью sql и рсубд он решает быстрее описанным способом. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 11:29 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene New, он нигде такого не утверждал. Каждой технологии свой место. Да и по поводу вытеснения SQL я с ним не согласен. Оно вытесняется ровно там где это плохо работает, где работает хорошо там сидит прочно. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 11:33 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene NewH5N1, вот вы конкретно утверждали, что реляционную базу надо использовать как хранилище, тянуть все на app-server и там обрабатывать и что так будет быстрее. Давайте примерчик, чтобы не быть голословным. любая задача с ML аналитикой. от скоринга, кластеризации, до какой товар заинтересует пользователя. все это делается с помощью каких-то ML фреймворков. все ынтерпрайз решения тащат данные из субд, потому что в субд ничего натренировать не выйдет. алгоритмы эти плодяться так быстро и так быстро там все меняется, что нет никакого смысла портировать с какого-нибудь тензорфлоу алгоритмы в оракл. все проще взять либу и доставить к ней данные. пусть и терабайт. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 12:02 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene NewH5N1, вот вы конкретно утверждали, что реляционную базу надо использовать как хранилище, тянуть все на app-server и там обрабатывать и что так будет быстрее. Давайте примерчик, чтобы не быть голословным. Я заранее скажу чем это закончится. 100500 раз в интернетах поднимались темы сравнения СУБД и движков которые кто-то закодил на коленке. У этих тем есть один главный недостаток. Не очерчен наиболее общий юзкейс. Грубо говоря автор был прав когда говорит что доступ к хеш-аррею быстрее чем к DBMS. Но перед этим... перед тем как спорить надо нарисовать некое техническое задание в виде кейсов перформанса и огласить правила судейства. И вот на этой точке все ораторы сливались. Погуглите архивы по ключевому слову Стебелек. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 12:57 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
H5N1Eugene NewH5N1, вот вы конкретно утверждали, что реляционную базу надо использовать как хранилище, тянуть все на app-server и там обрабатывать и что так будет быстрее. Давайте примерчик, чтобы не быть голословным. любая задача с ML аналитикой. от скоринга, кластеризации, до какой товар заинтересует пользователя. все это делается с помощью каких-то ML фреймворков. все ынтерпрайз решения тащат данные из субд, потому что в субд ничего натренировать не выйдет. алгоритмы эти плодяться так быстро и так быстро там все меняется, что нет никакого смысла портировать с какого-нибудь тензорфлоу алгоритмы в оракл. все проще взять либу и доставить к ней данные. пусть и терабайт. это от бедности. Ну нельзя же всерьез считать что экспорт из БД террабайта в текстовый файл а потом его обработка питоном - это эффективнее чем обработка внутри бд. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 12:58 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Симонов ДенисEugene New, он нигде такого не утверждал. Каждой технологии свой место. Да и по поводу вытеснения SQL я с ним не согласен. Оно вытесняется ровно там где это плохо работает, где работает хорошо там сидит прочно. плохо работает там где нету связанных данных. Как только данные появляются связанные, разные сущности с FK и т.п. сразу же SQL оказывается эффективен ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 13:03 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Ivan DurakСимонов ДенисEugene New, он нигде такого не утверждал. Каждой технологии свой место. Да и по поводу вытеснения SQL я с ним не согласен. Оно вытесняется ровно там где это плохо работает, где работает хорошо там сидит прочно. плохо работает там где нету связанных данных. Как только данные появляются связанные, разные сущности с FK и т.п. сразу же SQL оказывается эффективен +OLTP, транзакции и блокировки... и бич всего энтерпрайза - изменения и новые user-stories. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 13:04 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
террабайта в текстовый файл а потом его обработка питоном Это тем питоном, который интерпретируемый медленный язык? И сколько лет времени занимает обработка им терабайта? ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 13:04 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene Newтеррабайта в текстовый файл а потом его обработка питоном Это тем питоном, который интерпретируемый медленный язык? И сколько лет времени занимает обработка им терабайта? Там ... скорее всего Питон просто обёртка над native библикотекой которая и делает весь machine-learning. Такая практика есть. Тоесть питон там ничего не делает а просто стоит в интерфейсной части вызовов. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 13:06 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
H5N1... гораздо разумней тащить данные из sql наружу и там нормальным апп сервером молотить, оставляя sql роль тупого сториджа. со всеми вытекающими к перфоменсу. Благодаря таким "разумным" у ДБА всегда будет много работы, чтобы потом исправлять все это за вами на проектах с большим кол-вом данных. :) ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 14:55 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
MegabyteH5N1... гораздо разумней тащить данные из sql наружу и там нормальным апп сервером молотить, оставляя sql роль тупого сториджа. со всеми вытекающими к перфоменсу. Благодаря таким "разумным" у ДБА всегда будет много работы, чтобы потом исправлять все это за вами на проектах с большим кол-вом данных. :) благодаря мне АДБ уволены, а данные никуда не гоняются, т.к. процесятся на хадупе в параллель. а вот у бедняг с ораклом тупо нет вариантов. абсолютно все Ынтерпрайз решения тянут данные из рсубд, потому как какой-нибудь tensorflow модель натренировать в рсубд никак. и бедняги тянут, а потом еще и просчитывают результ от натренированной модели долбя rest вызовами какой-нить сервис. опять, от безысходности. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 15:45 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
абсолютно все Ынтерпрайз решения тянут данные из рсубд, потому как какой-нибудь tensorflow модель натренировать в рсубд никак Так абсолютно все или какой-нибудь? Проведите границу применимости своего метода. Ну там для обучения нейронных сетей или еще чего то, неспособного использовать sql-запросы. Потому что вы говорите так, что создается ложное ощущение универсальности вашего подхода. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 16:06 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene New3. Возможно считается, что среднестатистический программист настолько туп и не обладает способностями к абстрактному мышлению, что не в состоянии понять реляционную теорию, основанную на понятии множеств. Модератор: Удалено ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 16:16 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
H5N1Megabyteпропущено... Благодаря таким "разумным" у ДБА всегда будет много работы, чтобы потом исправлять все это за вами на проектах с большим кол-вом данных. :) благодаря мне АДБ уволены, а данные никуда не гоняются, т.к. процесятся на хадупе в параллель. а вот у бедняг с ораклом тупо нет вариантов. абсолютно все Ынтерпрайз решения тянут данные из рсубд, потому как какой-нибудь tensorflow модель натренировать в рсубд никак. и бедняги тянут, а потом еще и просчитывают результ от натренированной модели долбя rest вызовами какой-нить сервис. опять, от безысходности. Хадуп и Оракл это разные классы систем. Их use-cases пересекаются очень в малом множестве. И если вы нашли применение Хадуп-у - то это круть. И вы - хороший архитектор по данным. Но Хадуп не может заменить Оракл на обработке оперативных данных. Поэтому ваш тезис нужно дополнять. В противном случае новички которые придут в этот топик и прочитав ваш пост могут сделать неверные выводы. Хуже того они пойдут в другие топики и будут реплицировать своё заблудение порождая слухи и мистификации вокруг хадупа который вообще инструмент нишевый и не везде пригодный. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 16:41 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
КотовасияХочется императивности, вместо "селект ... фром ... вэрэ..." чтобы "for (int i = 1...,", как у пацанов из одинэс... ;) У пацанов из 1С ужо 15 лет как селект ....фром.....вэрэ, только там ВЫБРАТЬ.....ИЗ.....ГДЕ. Пацаны из 1С в части SQL ужо давно тебя уделают, пока ты думаешь что ты крут в SQL со своими PIVOT\UNPIVOT, CTE и прочей магией, пацаны из 1С на чистом и незамутненном SQL решают задачи практически любого уровня сложности. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 18:25 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
КотовасияХочется императивности, вместо "селект ... фром ... вэрэ..." чтобы "for (int i = 1...,", как у пацанов из одинэс... ;) Tak? Код: sql 1. 2. 3. 4. 5. 6. 7. 8.
... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 21:55 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Пацаны из 1С в части SQL ужо давно тебя уделают Ну вот, пришел пацан из 1С :) ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 22:41 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Я практически ничего не понял из фразы где там 1С-ники что-то решают и решают эффективно. Хотел-бы посмотреть. Реально хотел. Где тут 1С-ники. Ану покажите мне так вот чтоб я прямо восхитился! ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 22:49 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Насчет 1с ясно одно - там sql не ненавидят. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 23:15 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
H5N1, короче, вы только роботов по одному шаблону обучаете или еще что то делаете? ... |
|||
:
Нравится:
Не нравится:
|
|||
02.10.2018, 23:17 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Ivan Durakэто от бедности. Ну нельзя же всерьез считать что экспорт из БД террабайта в текстовый файл а потом его обработка питоном - это эффективнее чем обработка внутри бд. предложи свой вариант. разговор не о том что где-то эффективней, а вот что вариантов натренировать модель в рсубд попросту нет. любое реальное решение с ML исходит из того, что рсубд тупой сторидж. что касается эффективности, то питон лишь врапер вокруг какой-нить ML либы и сейчас вполне модное направление, отдавать ETL на хадуп. т.е. да, у многих выходит быстрей выгрузить в текстовый файл, обработать в хаупе и вернуть в рсубд. потому что в хадупе под это добавить 100 ядер стоит копейки, а 4 ядра к ораклу лицензировать, с партишенингом, датагвардом, компресией это уже сотни тысяч зеленых. Ivan Durakплохо работает там где нету связанных данных. Как только данные появляются связанные, разные сущности с FK и т.п. сразу же SQL оказывается эффективен все эти спарки выигрывают не за счет эффективности, а за счет доступных ресуросв. при том же бюджете у тебя в хадуп кластере будет кластер в десятки раз больше ресурсов. при этом если задачи аналитики, то у рсубд это фулл скан + хэш-джоин. и тут еще большой вопрос, у кого эффективней. Eugene NewТак абсолютно все или какой-нибудь? Проведите границу применимости своего метода. Ну там для обучения нейронных сетей или еще чего то, неспособного использовать sql-запросы. Потому что вы говорите так, что создается ложное ощущение универсальности вашего подхода. потому что знаю как работают Ынтерпрайзы с данными. самый популярный тул - sas data miner, там аналитик занимается кластеризацией, тренировкой моделей и прочим. все данные тянет из субд. в последнее время более модное направление анализировать R иди питоном. берут какую-нить модную ML либу, типа tensorflow, у которой есть обертки для R/питона и тянут данные прочь из субд. самое близкое к субд видел примерчики у майкрософт, они предлагают питон скрипты в субд запускать. но это тоже лишь иллюзия, реально там точно так же данные из движка субд копируются в питон. Eugene NewH5N1, короче, вы только роботов по одному шаблону обучаете или еще что то делаете? что то еще делаем. например теперь вместо оракла считаем всякие KPI метрики, которые вроде как отлично ложились на SQL. но оракл был на старом железе, требовал апгрейда, апгрейд это лицензии и сумасшедшие суммы. теперь и эти задачи с оракла ушли и никакие индексы, транзакции и консистентные наборы не спасли. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 08:19 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
maytonХадуп и Оракл это разные классы систем. Их use-cases пересекаются очень в малом множестве. И если вы нашли применение Хадуп-у - то это круть. И вы - хороший архитектор по данным. Но Хадуп не может заменить Оракл на обработке оперативных данных. пересекаются уже на достаточном множестве. ETL, DWH, аналитика это уже огромный пласт. по оперативным данным тоже уже начинает отгрызать. сейчас на хадупе модная тема real time + streaming приложения. те самые оперативные данные. да, там поток не в смысле финансовых транзакций пока, но ужас то в том что там это пипец как развивается, а рсубд по сути в коме. ну и мое мнение, что в плане олтп с ораклом будут бодаться in memory grids типа apache ignite. там заявлены acid транзакции и redo log, консистентность. при этом ignite уже скрестили со спарком и внедрить пытаются не волосатые хипстеры, а уже сбер. и снова цель заместить реляционный оракл. кстати и в хадупе клоудера пилит kudu энжин с mvcc, с undo и redo логом, с консистентным чтением. "Хадуп не может заменить Оракл" - если кома рсубд затянется будет то же что в аналитике и DWH. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 08:52 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
H5N1, как с надежностью данных на вашем халупе? Вроде там отказ от транзакций и целостности, не так ли? И вообще кто-нибудь проверяет, что выходит в результате или довольны тем, что просто заработало-закрутилось? Если проверка результатов есть, то какими методами? ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 09:10 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene Newкак с надежностью данных на вашем халупе? Вроде там отказ от транзакций и целостности, не так ли? для задач DWH все там хорошо. в плане транзакций их снепшоты на уровне hdfs мне нравятся даже больше. в оракле при загрузки в DWH транзакции тоже не особо используются, крупные загрузки грузят в стейджинг таблицы и потом делают exchange partition. если же без exchange patrition то грузят с коммитами каждые мульон записей. в результате клиенты видят данные не столь уж консистенно. в хадупе же есть такая штука как hdfs snapshot, новый батч грузится в новый снепшот, пока идет загрузка и перестройка витрин клиенты пускают sql видят данные старые данные. когда загрузка завершается, переключается снепшот. старые квери видят старый снепшот и заканчивают работу на старом, новые квери уже с новым снепшотом будут работать. по мне так это круче, учитывая что тут наверно можно чуть поработать руками и вообще переключение снапшотов всех таблиц почти в один момент времени устраивать. Eugene NewИ вообще кто-нибудь проверяет, что выходит в результате или довольны тем, что просто заработало-закрутилось? Если проверка результатов есть, то какими методами? ссылочной целостности нет, но и тут как бы кардинальных отличий с рсубд нет. в рсубд на больших данных точно так же ETL процессы валидируют данные по сути вручную, отбрасывают откровенно кривые данные и отключают foreign keys перед загрузкой. причем на сколько знаю там тоже религиозные воины идут, нужно ли включать fk после загрузки. что касается проверок, то да, валидация входящих данных проходит. после поступления данных считается тучи счетчков, те же ML алгоритмы строят прогнозы. даже если технически все данные были валидны, но кривые в логике эти прогнозы начнут чушь выдавать, что не быстро, но тоже отлавливает баги. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 10:12 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
maytonЯ практически ничего не понял из фразы где там 1С-ники что-то решают и решают эффективно. Хотел-бы посмотреть. Реально хотел. Где тут 1С-ники. Ану покажите мне так вот чтоб я прямо восхитился! А что хотел та, ну акромя общих фраз? ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 10:30 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene NewНасчет 1с ясно одно - там sql не ненавидят. Это точно, любят. А то смотрю тут сквозь губу к одинэсникам. Решают задачи люди на SQL, разные задачи. Возможно как пример https://infostart.ru/public/336783/ расчет хэшфункции в запросе, без всяких HASHBYTES. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 10:41 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
H5N1, может вопрос наивный, но как вообще можно судить о верности работы самообучающегося робота, алгоритма работы которого вы в принципе не знаете и не понимаете? и которому скармливаете огромные сырые массивы данных, собранных "абы как". То есть неизвестный алгоритм, на входе которого неизвестно что. Откуда уверенность, что на выходе будет что то правильное? Понятно, что если деньги платят и что то такое крутое крутится и даже какой то результат показывает, то можно и не думать об этом. И никто особо не придерется, так как никто вообще не понимает, что там происходит. Некий черный ящик. "Дельфиский оракул". Но ведь сейчас эти процессы распространяют на довольно таки важные для людей области. Или и тут вовсю агиле принцип - все ок, пока никто не жалуется или жалобы не доходят? ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 10:56 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
LepsikКотовасияХочется императивности, вместо "селект ... фром ... вэрэ..." чтобы "for (int i = 1...,", как у пацанов из одинэс... ;) Tak? Код: sql 1. 2. 3. 4. 5. 6. 7. 8.
Чего в 1С нет и очень сильно не хватает так это CTE. Для задач разулования самое то. Я CTE для 1С использую, но через ADO + VIEW на 1С таблицы, чтобы не писать Код: sql 1.
а писать Код: sql 1.
Еще CTE использую для выборки по иерархии из 1С справочников. Ну типа так: Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20.
... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 11:00 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene Newможет вопрос наивный, но как вообще можно судить о верности работы самообучающегося робота, алгоритма работы которого вы в принципе не знаете и не понимаете? и которому скармливаете огромные сырые массивы данных, собранных "абы как". То есть неизвестный алгоритм, на входе которого неизвестно что. Откуда уверенность, что на выходе будет что то правильное? во первых Ынтерпрайзы не любят то что нельзя потом расшифровать и в суде рассказать почему было принято такое решение. я не видел нейроных сетей в проде. есть мульон других алгоритмов, точно по тем же принципам обучающихся. от примитивной линейной регрессии и decision trees. там точно также модель обучается, но в к примеру в decision tree ты можешь взять и посмотреть всю ветку решений и понять почему такой ответ. далее аналитики ждут когда наберется статистика и рисуют некую area under curve (AUC), которая говорит на сколько хорошо перформит их модель. Eugene NewПонятно, что если деньги платят и что то такое крутое крутится и даже какой то результат показывает, то можно и не думать об этом. И никто особо не придерется, так как никто вообще не понимает, что там происходит. Некий черный ящик. "Дельфиский оракул". у нас эта дребедень принимает решения думаю на 50-100 млн зеленых, пока только саксес стори, хотя процент откровенной лажи огромен. но люди лажают настолько эпично, что на их фоне даже такое для бизнеса выглядит прорывом. ну и надо сказать если ты нормальные данные подсовываешь, ответ очень точен. в наших условиях добиться нормальных данных с олтп систем не так просто. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 11:48 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
H5N1при этом ignite уже скрестили со спарком и внедрить пытаются не волосатые хипстеры, а уже сбер. и снова цель заместить реляционный оракл.как работник сбера (точнее сбертеха) и имеющий к этому некоторое отношение могу сказать что сбер в данном случае неудачный пример мягко говоря я бы даже сказал пример в обратную сторону ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 12:00 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
H5N1, это игра на бирже? SergSuper, пользуясь случаем хочу спросить, из-за чего у вас в Сбербанке массовые случаи расхождений по картам, когда люди их закрывают, а они остаются открытыми. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 12:15 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
SergSuperH5N1при этом ignite уже скрестили со спарком и внедрить пытаются не волосатые хипстеры, а уже сбер. и снова цель заместить реляционный оракл.как работник сбера (точнее сбертеха) и имеющие к этому некоторое отношение могу сказать что сбер в данном случае неудачный пример мягко говоря я бы даже сказал пример в обратную сторону нормальный. даже если конкретно игнайт не взлетит то взлетит что-то рядом, типа cloudera kudu. они чуть с другой стороны идут, но там уже работает обычный mvcc с redo, undo и хадуповской массивно-параллельностью. не столь важно кто там именно, важно что уже есть прототипы, которые концептуально уже работают. т.е. уже понятно откуда там скорость и acid одновременно возьмутся. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 12:15 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene Newэто игра на бирже? нет. фин услуги. те же банки скоринги покупают. Eugene NewSergSuper, пользуясь случаем хочу спросить, из-за чего у вас в Сбербанке массовые случаи расхождений по картам, когда люди их закрывают, а они остаются открытыми. да известно чего. рсубд до масштабов сбера не отмасштабировать. запихнуть весь сбер в одну субд не выходит. практически каждый филиал там до сих пор отдельные субд. отсюда и все проблемы с "где открывали карту, туда и идите" (тм) ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 12:38 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene Newпользуясь случаем хочу спросить, из-за чего у вас в Сбербанке массовые случаи расхождений по картам, когда люди их закрывают, а они остаются открытыми. мне кажется ты не совсем понимаешь для чего используется bigdata. Учёт денег на конкретной карточке или счёте спокойно выполняет любая реляционная СУБД. Bigdata прежде всего необходима для анализа. Например изучения поведения, маркетинга, прогнозирования... Например выявления тех же серых схем ухода от налогов. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 12:42 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
H5N1SergSuperпропущено... как работник сбера (точнее сбертеха) и имеющие к этому некоторое отношение могу сказать что сбер в данном случае неудачный пример мягко говоря я бы даже сказал пример в обратную сторону нормальный. даже если конкретно игнайт не взлетит то взлетит что-то рядом, типа cloudera kudu. они чуть с другой стороны идут, но там уже работает обычный mvcc с redo, undo и хадуповской массивно-параллельностью.Остановись... Это уже не смешно ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 13:20 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
отсюда и все проблемы с "где открывали карту, туда и идите" Читал описание интересной вещи - человек давно закрыл карточку, проверял ее закрытие, работники видели что закрытие прошло, а ему потом снова приходило уведомление о долге. И так несколько раз, пока он не накатал заяву в Центробанк. Симонов Денис, так тут говорят разные вещи. От вообще не использовать до "полностью заменить" РСУБД. Я не знаю, чего ждать от Сбербанка после того, как слышал как его региональный руководитель на конференции утверждал на полном серьезе, что к 2030 году человечество ждет бессмертие и его после этого не увезли в дурку. Тема блокировки карточек и счетов непонятно за что по случайному принципу тоже эпична. Причем никто не может ни описать критерии, ни быстро ликвидировать ошибку. Поэтому многие граждане уже давно сделали вывод, что в Сбербанке вообще нельзя делать переводов на чужие счета, а лучше там и денег не хранить. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 13:22 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
H5N1да известно чего. рсубд до масштабов сбера не отмасштабировать. запихнуть весь сбер в одну субд не выходит. практически каждый филиал там до сих пор отдельные субдНу ты ведь не знаешь про Сбер НИЧЕГО. Какого хрена ты несешь эту чушь тут? ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 13:22 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
H5N1важно что уже есть прототипы, которые концептуально уже работают. т.е. уже понятно откуда там скорость и acid одновременно возьмутся. ну вот не взялись H5N1да известно чего. рсубд до масштабов сбера не отмасштабировать. запихнуть весь сбер в одну субд не выходит. практически каждый филиал там до сих пор отдельные субд. отсюда и все проблемы с "где открывали карту, туда и идите" (тм) перефразируя известный анекдот: как жаль что все, кто может решить проблемы сбера, не работают в сбере (года три уже как на одной железяке) Eugene New пользуясь случаем хочу спросить, из-за чего у вас в Сбербанке массовые случаи расхождений по картам, когда люди их закрывают, а они остаются открытыми. во первых не знаю, во вторых это не относится ни к теме топика, ни к теме форума и хотел бы на этом тему сбера тут закрыть ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 13:25 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
во первых не знаю, во вторых это не относится ни к теме топика, ни к теме форума и хотел бы на этом тему сбера тут закрыть Я понимаю ваше желание, однако не могу не заметить, что к теме форума это относится напрямую, да и к теме топика тоже может относится. Так как интересно знать, происходит ли это по причине отказа от реляционных бд или по какой-то другой. Ну и плюс в кои то веки представляется возможность пообщаться не с роботом Сбербанка, и с не дебилом на ресепшене, а со знающим человеком. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 13:33 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Alexander Ryndin, SergSuper, в любом случае спасибо за полезную информацию. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 13:36 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene New, по поводу критериев блокировки это тебе к Набиулиной надо. ЦБ постоянно выпускает свои "ценные" указания и банки обязаны их соблюдать. В прочем это действительно к теме не относится. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 13:38 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Симонов Денис, нет, в Сбербанке не так. Там с 2016 года какой-то самообучающийся робот этим занимается. Критериев, которыми он руководствуется, нет в открытом доступе. Зато куча сообщений об ошибочных блокировках. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 13:43 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Так что к теме относится напрямую. Причем все это весело очень для частного лица, когда внезапно все его счета блокируются и он должен ходить и что то доказывать и оправдываться. Прикол еще и в том, что могут заблокировать за перевод на ВАШ счет. Т. е. вы сидите, никого не трогаете, вам кто то присылает денег - и бах, вы без штанов, идите доказывайте, добивайтесь и умоляйте. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 13:45 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene New, ты новости то вообще смотришь? Заканчивай тему сбера, а то сейчас топик за флуд прикроют. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 13:55 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Симонов Денис, нет, не смотрю, а что там? И то, что я говорю - не флуд. Модератор: таки флуд посты не по теме будем тереть ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 14:11 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene New, про понятие самозанятый гражданин знаешь? Поставлена задача вывести их из тени, читай заставить платить налоги. Сегодня это делает сбер, а завтра всех обяжут выявлять кто использует счета физ лиц для ведения "бизнеса". ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 14:18 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
H5N1Ivan Durakэто от бедности. Ну нельзя же всерьез считать что экспорт из БД террабайта в текстовый файл а потом его обработка питоном - это эффективнее чем обработка внутри бд. предложи свой вариант. разговор не о том что где-то эффективней, а вот что вариантов натренировать модель в рсубд попросту нет. Все идет к тому, что спарк станет РСУБД, да и ты тот же игнайт уже рсубд назвал. И хайв. И будут они нормальными рсубд, с ansi sql, mvcc, транзакциями и redolog. И вопрос с РСУБД решится сам собой, вхождение текущих недосубд бигдата рещений в большую семью рсубд. Конечно конкретный оракл может и помрет. Но туда ему и дорога. А рсубд будут живы ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 14:46 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
H5N1Ivan Durakэто от бедности. Ну нельзя же всерьез считать что экспорт из БД террабайта в текстовый файл а потом его обработка питоном - это эффективнее чем обработка внутри бд. предложи свой вариант. разговор не о том что где-то эффективней, а вот что вариантов натренировать модель в рсубд попросту нет. ах да.... чуть не забыл. https://docs.microsoft.com/en-us/sql/advanced-analytics/r/sql-server-r-services?view=sql-server-2017 R внутри MS sql server. ДАННЫЕ никуда перемещать не надо.. никаких экспортов в csv. Бери и анализируй по месту их нахождения. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 14:48 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Симонов Денис, и что? Это повод оправдывает ошибки в информационной системе, из за которых массово блокируют счета граждан, которые не занимаются никакими теневыми делами? Связь с темой прямая. H5N1 заявил, что РУСБД не подходят для обработки информации самообучающимися программами и что их надо менять на бигдату или использовать как хранилища. Сразу возникает вопрос о надежности таких программ. И вот - есть известный масштабный пример работы с кучей ошибок. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 14:50 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
или например https://gpdb.docs.pivotal.io/590/install_guide/install_python_dsmod.html Внутри гринпламовского кластера питон с пандами и блекджеком. Анализируй не хочу..... ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 14:50 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Ivan Durak, а не выйдет ли так, что эта новая рсубд будет хуже предыдущик потому, что в ней сразу отказались от соблюдения целостности и не считают это важным? ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 14:52 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Ivan Durakах да.... чуть не забыл. https://docs.microsoft.com/en-us/sql/advanced-analytics/r/sql-server-r-services?view=sql-server-2017 R внутри MS sql server. ДАННЫЕ никуда перемещать не надо.. никаких экспортов в csv. Бери и анализируй по месту их нахождения. я об этом упоминал H5N1самое близкое к субд видел примерчики у майкрософт, они предлагают питон скрипты в субд запускать. но это тоже лишь иллюзия, реально там точно так же данные из движка субд копируются в питон. в этих примерах они по odbc перекачивает данные в R https://docs.microsoft.com/en-us/sql/advanced-analytics/tutorials/deepdive-create-sql-server-data-objects-using-rxsqlserverdata?view=sql-server-2017 Ivan DurakВсе идет к тому, что спарк станет РСУБД, да и ты тот же игнайт уже рсубд назвал. И хайв. И будут они нормальными рсубд, с ansi sql, mvcc, транзакциями и redolog. И вопрос с РСУБД решится сам собой, вхождение текущих недосубд бигдата рещений в большую семью рсубд. Конечно конкретный оракл может и помрет. Но туда ему и дорога. А рсубд будут живы сомневаюсь я что FK, жестко синхронизированные индексы, autoincrement поля можно будет подружить с массивно параллельностью. без FK и индексов на роль рсубд их не натянуть, имхо. а с ними я слабо представляю перформенс в параллель. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 15:17 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene NewIvan Durak, а не выйдет ли так, что эта новая рсубд будет хуже предыдущик потому, что в ней сразу отказались от соблюдения целостности и не считают это важным?это сперва отказались, а потом спохватились. Уже в ORC формате для HIVE появилась поддержка ACID транзакций ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 15:20 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
H5N1Ivan DurakВсе идет к тому, что спарк станет РСУБД, да и ты тот же игнайт уже рсубд назвал. И хайв. И будут они нормальными рсубд, с ansi sql, mvcc, транзакциями и redolog. И вопрос с РСУБД решится сам собой, вхождение текущих недосубд бигдата рещений в большую семью рсубд. Конечно конкретный оракл может и помрет. Но туда ему и дорога. А рсубд будут живы сомневаюсь я что FK, жестко синхронизированные индексы, autoincrement поля можно будет подружить с массивно параллельностью. без FK и индексов на роль рсубд их не натянуть, имхо. а с ними я слабо представляю перформенс в параллель. MPP системы уже 100 лет как имеют и индексы и FK и автоинкремент. От терадаты до гринплама. https://www.ktexperts.com/teradata-secondary-indexes-in-teradata/ И перформанс в паралель отличный ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 15:26 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Ivan DurakMPP системы уже 100 лет как имеют и индексы и FK и автоинкремент. От терадаты до гринплама. https://www.ktexperts.com/teradata-secondary-indexes-in-teradata/ И перформанс в паралель отличный терадате 100 лет в обед и ничего она на фоне оракла так и не показала за эти годы. как я понимаю с терадаты такой же тренд мигрировать на хадупы. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 15:46 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Вы не любите кошек? Вы просто не умеете их готовить! (с) Люди зачастую с трудом понимают смежные области и ищут серебряные пули. Помню статью на Хабре про крутой проект на микросервисах. И понимаю, что на SQL это 10 строчек кода. Просто нужно понимать реляционные базы чуть лучше, чем знать простые join'ы. И не уповать, что ORM - это панацея для всех проблем. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 15:54 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Alexander RyndinH5N1да известно чего. рсубд до масштабов сбера не отмасштабировать. запихнуть весь сбер в одну субд не выходит. практически каждый филиал там до сих пор отдельные субдНу ты ведь не знаешь про Сбер НИЧЕГО. Какого хрена ты несешь эту чушь тут? да он походу вообще ничего не знает как попугай повторяет тут про параллель и не понимает что параллель сделать, как два пальца... хоть в жаве, хоть в оракле, хоть в пхп вопрос только в доступном кол-ве ядер и памяти и в наличии/отсутствии разделяемых ресурсов ... |
|||
:
Нравится:
Не нравится:
|
|||
03.10.2018, 17:18 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
AddxПомню статью на Хабре про крутой проект на микросервисах. И понимаю, что на SQL это 10 строчек кода. Просто нужно понимать реляционные базы чуть лучше, чем знать простые join'ы. И не уповать, что ORM - это панацея для всех проблем. молодой человек, вы там пример прочитали. Микросервисы это следующая стадия развития софта. Одной из предыдущих стадий был именно что переход на ОРМ, он уже давно завершен. А что-б вам стало еще страшнее, в микросервисах нет ни внешних ключей, ни транзакций (между микросервисами), и даже джойны между ними не сделать. И представляете, все работает ... |
|||
:
Нравится:
Не нравится:
|
|||
04.10.2018, 03:50 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
vitkhvmaytonЯ практически ничего не понял из фразы где там 1С-ники что-то решают и решают эффективно. Хотел-бы посмотреть. Реально хотел. Где тут 1С-ники. Ану покажите мне так вот чтоб я прямо восхитился! А что хотел та, ну акромя общих фраз? Давайте я объясню. Я - человек любопытный. Есть у меня такая черта. Инженерный интерес. В 1С я не специалист. Я его не знаю. И вдруг (!) внезапно в форуме один господин говоритПацаны из 1С в части SQL ужо давно тебя уделают, пока ты думаешь что ты крут в SQL со своими PIVOT\UNPIVOT, CTE и прочей магией, пацаны из 1С на чистом и незамутненном SQL решают задачи практически любого уровня сложности. Разумеется я весь превратился в заинтересованность и жду каких-то пруфов. И в моем месседже нет никакой враждебности по отношению к 1С. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.10.2018, 08:51 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene Newотсюда и все проблемы с "где открывали карту, туда и идите" Читал описание интересной вещи - человек давно закрыл карточку, проверял ее закрытие, работники видели что закрытие прошло, а ему потом снова приходило уведомление о долге. И так несколько раз, пока он не накатал заяву в Центробанк. Симонов Денис, так тут говорят разные вещи. От вообще не использовать до "полностью заменить" РСУБД. Я не знаю, чего ждать от Сбербанка после того, как слышал как его региональный руководитель на конференции утверждал на полном серьезе, что к 2030 году человечество ждет бессмертие и его после этого не увезли в дурку. Тема блокировки карточек и счетов непонятно за что по случайному принципу тоже эпична. Причем никто не может ни описать критерии, ни быстро ликвидировать ошибку. Поэтому многие граждане уже давно сделали вывод, что в Сбербанке вообще нельзя делать переводов на чужие счета, а лучше там и денег не хранить. В топике никто не признался что работает в Сбербанке. Соотв у нас нет никакой объективной информации о том что происходит внутри. Есть жалобы на ошибочные банковские операции. И мне кажется что пока картины происходящего нет - нам не стоит сейчас ругать или хвалить Oracle или Middleware или терминалы или прочие звенья этой запутанной системы. У нас - нет ничего полезного по теме чтобы можно было обсудить. Более того. Если инцедент был - то существует расследование. И я не верю что дураки там работают. Убежден что есть архитектурная проблема которая не фиксится в 1 коммит. Надо много чего менять. И в высшей степени глупо и безответственно заявлять что "виноват Оракл а вот если бы поставили туда мою любимую СУБД Х то сразу бы не было проблем и все летало-бы и свистело". ... |
|||
:
Нравится:
Не нравится:
|
|||
04.10.2018, 09:12 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
maytonEugene Newпропущено... Читал описание интересной вещи - человек давно закрыл карточку, проверял ее закрытие, работники видели что закрытие прошло, а ему потом снова приходило уведомление о долге. И так несколько раз, пока он не накатал заяву в Центробанк. Симонов Денис, так тут говорят разные вещи. От вообще не использовать до "полностью заменить" РСУБД. Я не знаю, чего ждать от Сбербанка после того, как слышал как его региональный руководитель на конференции утверждал на полном серьезе, что к 2030 году человечество ждет бессмертие и его после этого не увезли в дурку. Тема блокировки карточек и счетов непонятно за что по случайному принципу тоже эпична. Причем никто не может ни описать критерии, ни быстро ликвидировать ошибку. Поэтому многие граждане уже давно сделали вывод, что в Сбербанке вообще нельзя делать переводов на чужие счета, а лучше там и денег не хранить. В топике никто не признался что работает в Сбербанке. Соотв у нас нет никакой объективной информации о том что происходит внутри. Есть жалобы на ошибочные банковские операции. И мне кажется что пока картины происходящего нет - нам не стоит сейчас ругать или хвалить Oracle или Middleware или терминалы или прочие звенья этой запутанной системы. У нас - нет ничего полезного по теме чтобы можно было обсудить. Более того. Если инцедент был - то существует расследование. И я не верю что дураки там работают. Убежден что есть архитектурная проблема которая не фиксится в 1 коммит. Надо много чего менять. И в высшей степени глупо и безответственно заявлять что "виноват Оракл а вот если бы поставили туда мою любимую СУБД Х то сразу бы не было проблем и все летало-бы и свистело". работающие в сбербанке подписывают nda, вообщето. так что и комментировать такие моменты не могут. но дело точно было не в бобине. авторin memory grids типа apache ignite. там заявлены acid транзакции и redo log, консистентность. при этом ignite уже скрестили со спарком и внедрить пытаются не волосатые хипстеры, а уже сбер. и снова цель заместить реляционный оракл. сбер отказался от grid gain, как от основной среды для мега абс. "не шмогла" обеспечить производительность и надежность на сравнимых с ораклом железе. 100 с лишком серваков гридгейна не потянули объемы сбера. АСИД не взлетел. Дешевле не оказалось. Это не фоточки из инстаграмма хранить. каждая операция - должна быть обработана. Короче все эти игры с инмемори только для аналитики и то относительно небольших объемов когда в память одной машины можно все уложить. по нынешнему железу это 2-3 терабайта максимум. а у ведущих игроков петабайты информации. гридгейн тут вообще ничего не сможет. Хранить в даталейк? ну пытаются... выхлоп ноль вроде. Ну вот даже слил ты в даталейк миллионы несортированного датамусора, а качество данных и т.п.? Кассандра, Монго, спарк? Данные то они хранить могут, а вот обработать-и что то осмысленное вытащить это боль. Вытащить из кассандры сделки определенного типа всех клиентов определенного сегмента - Бггг. Оно может железо там дешевле достанется. Но разработка выходит платиновая. Дешевле купить за пару лямов баксов оракловый сервер, чем оплачивать 10 явистам год програмирования в касандре то что на оракле 2 человека пишут за месяц. Поэтому пока хоть рсубд и кактус но приходится его жрать. и пока работающих альтернатив для данных порядка более 10 тб не видел. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.10.2018, 15:58 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
обедсбер отказался от grid gain, как от основной среды для мега абс. "не шмогла" обеспечить производительность и надежность на сравнимых с ораклом железе. 100 с лишком серваков гридгейна не потянули объемы сбера. АСИД не взлетел. Дешевле не оказалось. ну не взлетел у сбера, взлетит у западного банка. дело то не в конкретной попытки или реализации. дело в архитектуре, которая уже показала все что надо. а код отладят. может это и не игнайт будет, а что суть не в конкретной попытки, а в том что с технологией играют серьезные игроки. то же самое было с хадупами. ктати у сбера не 100, а 2000 нод в кластере. обедНу вот даже слил ты в даталейк миллионы несортированного датамусора, а качество данных и т.п.? Кассандра, Монго, спарк? Данные то они хранить могут, а вот обработать-и что то осмысленное вытащить это боль. Вытащить из кассандры сделки определенного типа всех клиентов определенного сегмента - Бггг. Оно может железо там дешевле достанется. Но разработка выходит платиновая. Дешевле купить за пару лямов баксов оракловый сервер, чем оплачивать 10 явистам год програмирования в касандре то что на оракле 2 человека пишут за месяц. по факту банки хранят и анализируют данные в хадупах, абсолютно те же реляционные данные что еще вчера были в оракловых dwh. при этом что у них, что у нас качество данных лишь выросло и обогатилась еще и нереляционными источниками. обедПоэтому пока хоть рсубд и кактус но приходится его жрать. и пока работающих альтернатив для данных порядка более 10 тб не видел. если бы рсубд работали, не было бы и вопросов. а так что выходит - как только чуть больше данных в аналитики, все денормализуем, пихаем в непонятные звезды, лишь бы реляционости и джоинов было бы поменьше. нужна аналитика чуть серьезней, все решения тащат данные прочь из рсубд. куда-нить в SAS data miner, R server или ML обертки на phyton. с олтп то же самое. рсубд не тянут. чуть побольше транзакций - на онлайн транзакции табу, пишем в очередь, а там уже что-то в бэкграунде батчами запроцессит. разница с аналитикой лишь в том, что пока и у альтернатив сильно лучшего решения нет. но эти альтернативы то развиваются. ну так и хадупы не в один год потеснили рсубд в фин секторе. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.10.2018, 19:50 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
обедработающие в сбербанке подписывают nda, вообщето. так что и комментировать такие моменты не могут. но дело точно было не в бобине. Я сам подписывал NDA. Но история получила резонанс. И уменя сложилось впечатление что речь идет чуть ли не о крауд-сорсинге или звучит "крик о помощи" со стороны специалистов СБ которые понимают сложность и комплексность проблемы и не отказываются от консультаций. Я за новостями не следил детально и не знаю что там есть и я могу путать два разных события в ленте новостей СБ поэтому заранее Sorry! ... |
|||
:
Нравится:
Не нравится:
|
|||
12.10.2018, 22:31 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene NewСам я люблю язык структурированных запросов. Но если посмотреть на то, сколько всяких технологий придумали для его замену, на то, что пропагандируют в разных книжках, создается ощущение какой то темной иррациональной ненависти к SQL. Ненависть не к языку, а к труду, с которой может справится даже обезьяна. Давайте посмотрим, есть система с большим количеством типов данных и сложной логикой, тысячи таблиц. Писать запросы для каждой из тысячи таблиц? Это как надо упороться или как надо любить SQL? Потом. Контроль типов. При разработке ПО статическая типизация рулит, и тем сильнее рулит, чем крупнее информационная система, чем больше разработчиков участвует в разработке. Ну и зачем писать в статической среде руками на динамическом языке запросов? При большом количестве типов, нужно выразить явно свои намерения к тому, что хочется получить в виде объектов, а не каких-то наборов данных. И при этом язык запросов таки нужен, для анализа, для BI, для тюнинга, да много для чего. Одно вовсе не исключает другое. Важное во всех этих странных спорах все забывают: не нужно делать руками то, что может сделать машина. Нравится упарываться обезьяним трудом? Та ради бога. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.10.2018, 00:41 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
stenfordAddxПомню статью на Хабре про крутой проект на микросервисах. И понимаю, что на SQL это 10 строчек кода. Просто нужно понимать реляционные базы чуть лучше, чем знать простые join'ы. И не уповать, что ORM - это панацея для всех проблем. молодой человек, вы там пример прочитали. Микросервисы это следующая стадия развития софта. Одной из предыдущих стадий был именно что переход на ОРМ, он уже давно завершен. А что-б вам стало еще страшнее, в микросервисах нет ни внешних ключей, ни транзакций (между микросервисами), и даже джойны между ними не сделать. И представляете, все работает Если он молодой, то вы безграмотный :) Все ваши утверждения сплошной треп. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.10.2018, 08:31 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Eugene NewСам я люблю язык структурированных запросов. Но если посмотреть на то, сколько всяких технологий придумали для его замену, на то, что пропагандируют в разных книжках, создается ощущение какой то темной иррациональной ненависти к SQL. Есть ли какие то рациональные причины? Я вижу три возможных: 1. Реляционные БД может быть плохо сочетаются с рапараллеливанием на много компьютеров Сочетаются, примеров масса. Да если бы даже и не сочеталось, есть уйма ситуаций, когда одного сервера достаточно. Eugene New2. ООП плохо связывается с SQL У дураков и перфекционистов. Mapper вроде Spring JDBC или MyBatis справляются с проблемой многие годы. Дело не в ООП как таковом, а в стремлении идиотов использовать единственный инструмент для всех задач сразу. Профессиональный программист выбирает инструмент под задачу, а не пытается топором копать яму. Eugene New3. Возможно считается, что среднестатистический программист настолько туп и не обладает способностями к абстрактному мышлению, что не в состоянии понять реляционную теорию, основанную на понятии множеств. Ирония состоит в том, что ORM отлично справляется только с небольшим подмножеством задач работы с СУБД. Любой шаг за это подмножество и его мнимое упрощение оборачивается потерей времени на все эти lazy/eager, потерей производительности на выдергивание посторонних данных, неадекватное построение запросов. ОРМ развивается только в сторону все большего неадеквата. Вместо того, чтобы сразу достать из БД то, что требуется, поднимается сущность с кучей посторонней лабуды, затем эта сущность каким-нибудь MapStruct перешивается в DTO, а уж из неё мы наконец вычленяем то, что будет полезно по делу. Обычно процентов 10%-40% от того, что СУБД нам отдала. Скучно, бессмысленно и затратно. Причины нелюбви к SQL чисто психологические. Кто-то у нас "прогрессор", который думает только о "новизне" очередной фигни, кто-то у нас перфекционист ("чистота" кода превыше всего), кто-то у нас озабочен никогда не встающими проблемами типа "поменять СУБД", а большинство просто дураки повышающие свое ЧСВ за счет применения "продвинутых" технологий. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.10.2018, 09:00 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
А мне как раз проще писать запросы нативные запросы к базе, чем учить очередную поделку на очередном языке. ... |
|||
:
Нравится:
Не нравится:
|
|||
31.10.2018, 08:53 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
ОзверинА мне как раз проще писать запросы нативные запросы к базе, чем учить очередную поделку на очередном языке. Логика в хранимках? Или Вы просто не используете Mapping, Unit Of Work и т.п.? ... |
|||
:
Нравится:
Не нравится:
|
|||
31.10.2018, 09:03 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Дмитрий МухОзверинА мне как раз проще писать запросы нативные запросы к базе, чем учить очередную поделку на очередном языке. Логика в хранимках? Или Вы просто не используете Mapping, Unit Of Work и т.п.? Причем тут хранимки? Я ж не про CRUD логику. Я, допустим, про агреггированную выборку. Или про параметризированную выборку со сложными джоинами. ... |
|||
:
Нравится:
Не нравится:
|
|||
31.10.2018, 11:42 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
ОзверинПричем тут хранимки? Я ж не про CRUD логику. Я, допустим, про агреггированную выборку. Или про параметризированную выборку со сложными джоинами. Проблема в том, что эту выборку надо захардкодить. Как её тестировать? Что делать, когда сложные джойны даже с оптимизациями не потянут по скорости на больших объёмах? А как сцепить данные с разных систем в реальном времени? Одна выборка ок. А когда их овер-дофига? Каждую писать руками, сопровождать? Модель данных не зарефакторить от слова совсем и от слова никогда, так как все запросики лягут, столько труда на выброс... В общем, это очередной холивор,.. типа :) На самом деле для меня нет, просто суровая реальность говорит о том, что хранимщики просто не хотят лишаться работы, чтобы не учиться чему-то новому. Так как за них эту же работу в >80% времени может сделать машина. Рабский ручной труд нужен только для обеспечения рабочих место стране. ... |
|||
:
Нравится:
Не нравится:
|
|||
31.10.2018, 21:33 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
ОзверинПричем тут хранимки? Я ж не про CRUD логику. Я, допустим, про агреггированную выборку. Или про параметризированную выборку со сложными джоинами. Чем сложнее запрос, тем больше ORM требует внимания к себе и тем хуже он его составляет. Если учесть, что CRUD давно уже автоматизирован на уровне JDBC (Spring Data JDBC, например), то ORM остается кэширование и некоторые другие неоднозначно полезные вещи. https://habr.com/post/423697/ Механизм ленивой загрузки может внезапно выполнить ресурсоемкие запросы, или и вовсе упасть с исключением. Кэширование может встать на вашем пути когда вы решите сравнить две версии entity, а вкупе с отслеживанием изменений помешает понять — в какой же момент реально выполнятся все операции с базой данных? Можно точно также писать запросы в аннотации не делая реализацию. Spring Data сама сделает класс реализации. Если вам надо что-то специфичное, вроде connect by Oracle, то проблемы нет. Пишете запрос, а всю подстилку за вас сделают. ORM, извините, дойдет до элементарных вещей в SQL когда-нибудь в следующем тысячелетии. И сделает это так объектно, что придется неделями курить мануалы вместо часа максимум в SQL. И сущность можно сделать, для неё сгенерят все методы типа findAll и т.д. ... |
|||
:
Нравится:
Не нравится:
|
|||
31.10.2018, 22:23 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
hVosttПроблема в том, что эту выборку надо захардкодить. Как её тестировать?Действительно, тестировать что-то при наличии ORM очень трудно. hVosttЧто делать, когда сложные джойны даже с оптимизациями не потянут по скорости на больших объёмах?Понять ограниченность опыта своей команды и обратиться к специалисту по традиционным базам данным. Хотя, да. Сейчас 10Gb сети дешевеют, затащим всё на клиента и там ORM всё сделает. hVosttА как сцепить данные с разных систем в реальном времени?Единственное, что хоть как-то оправдывает существование ORM. Однако, необходимость таких архитектурных подходов сильно пропиарена и преувеличена. Можно сделать то же самое средствами СУБД, и часто это изменение архитектуры будет более выигрышным. hVosttОдна выборка ок. А когда их овер-дофига? Каждую писать руками, сопровождать?Что на клиенте, что на сервере придётся и программировать и сопровождать. На клиенте сопровождать затратнее. hVosttМодель данных не зарефакторить от слова совсем и от слова никогда, так как все запросики лягут, столько труда на выброс...Зарефакторить что-либо при наличии ORM действительно невозможно. Хотя, это не нужно, т.к. 100Gb сети не за горами. Если не умеете архитектурно разделять данные и код, то и "запросики лягут". hVosttНа самом деле для меня нет, просто суровая реальность говорит о том, что хранимщики просто не хотят лишаться работы, чтобы не учиться чему-то новому.Просто императивщики не хотят учиться и изучить СУБД. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.11.2018, 09:30 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
H5N1ну не взлетел у сбера, взлетит у западного банка. дело то не в конкретной попытки или реализации. дело в архитектуре, которая уже показала все что надо. а код отладят. может это и не игнайт будет, а что суть не в конкретной попытки, а в том что с технологией играют серьезные игроки. то же самое было с хадупами. ктати у сбера не 100, а 2000 нод в кластере. гридгейн это поделие сбера. Посмотрите у него страничку инвесторы и на Витюху Орловского в совете директоров. Сомневаюсь, что серьёзный западный банк больше Сбера будет внедрять на полную это каптивное поделие, которое не взлетело даже у его создателя. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.11.2018, 11:40 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
БумбарашH5N1ну не взлетел у сбера, взлетит у западного банка. дело то не в конкретной попытки или реализации. дело в архитектуре, которая уже показала все что надо. а код отладят. может это и не игнайт будет, а что суть не в конкретной попытки, а в том что с технологией играют серьезные игроки. то же самое было с хадупами. ктати у сбера не 100, а 2000 нод в кластере. гридгейн это поделие сбера. Посмотрите у него страничку инвесторы и на Витюху Орловского в совете директоров.не совсем фирма уже существовала много лет на момент покупки сбером http://www.jetinfo.ru/stati/intervyu-s-osnovatelem-i-tekhnicheskim-direktorom-gridgain ... |
|||
:
Нравится:
Не нравится:
|
|||
01.11.2018, 12:07 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
ну ок, переформулируем - гридгейн сейчас живет на деньги Сбера. Кто слышал про неё до покупки сбером? Даже в статье сбер упоминается 11 раз и история крупных контрактов в России идет от Сбера. Типа мы делаем в Сбере, на это люди смотрят и тоже думают. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.11.2018, 13:20 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Бумбарашну ок, переформулируем - гридгейн сейчас живет на деньги Сбера. Кто слышал про неё до покупки сбером? Даже в статье сбер упоминается 11 раз и история крупных контрактов в России идет от Сбера. Типа мы делаем в Сбере, на это люди смотрят и тоже думают. гридгейн это имортозамещенный Apache Ignite который уже давно работает, без всяких сбербанков. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.11.2018, 13:26 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
tunknownhVosttПроблема в том, что эту выборку надо захардкодить. Как её тестировать?Действительно, тестировать что-то при наличии ORM очень трудно. Да? Несколько крупных успешных проектов, где ORM полностью покрыто тестами, без существенных трудозатрат? Что делали не так? Может просто руки не из ж? )) tunknownhVosttЧто делать, когда сложные джойны даже с оптимизациями не потянут по скорости на больших объёмах?Понять ограниченность опыта своей команды и обратиться к специалисту по традиционным базам данным. Хотя, да. Сейчас 10Gb сети дешевеют, затащим всё на клиента и там ORM всё сделает. Никакой опыт не может считаться вышкой. Только во влажных мечтах джунов. Что значит "всё на клиента"? Двухзвенка, м? Вы думаете ORM-ы не генерят запросы к БД? Или чего вы хотите сказать? Пока что я вижу, что просто выпячиваете грудь, но без аргументов, это дико смешно )) tunknownhVosttА как сцепить данные с разных систем в реальном времени?Единственное, что хоть как-то оправдывает существование ORM. Однако, необходимость таких архитектурных подходов сильно пропиарена и преувеличена. Можно сделать то же самое средствами СУБД, и часто это изменение архитектуры будет более выигрышным. Существование ORM оправдывает сотни тысяч успешно выполненных проектов, выполненных быстро, без ушедших в историю дба, хорошо выполняющих свои задачи. Суть в том, что религиозные взгляды некоторым не позволяют видеть дальше собственного носа. Хотя и обратный случай клиники тоже есть. Средствами СУБД можно многое сделать, вплоть до написания приложения внутри БД. Но это бесперспективный путь, просто ущербный, дорогой и тупой по своей сути. Есть ряд узкоспециализированных задач, прям очень узко, где логика в БД имеет смысл. Но при любой возможности, от этого нужно уходить, что многие и делают. И с каждым годом тенденция ухода от кодинга в БД уходит, чему я очень рад. tunknownЧто на клиенте, что на сервере придётся и программировать и сопровождать. На клиенте сопровождать затратнее. Вы опять про двух-звенку? Ну-ну. Опыт, смотрю, так и прёт у вас изо всех щелей tunknownЗарефакторить что-либо при наличии ORM действительно невозможно. Хотя, это не нужно, т.к. 100Gb сети не за горами. Если не умеете архитектурно разделять данные и код, то и "запросики лягут". Серьёзно? Мы успешно рефакторили, и не раз. Коллеги рефакторили, без проблем. Меняли вендора БД. Писали сразу под несколько вендоров (MS SQL, Postgres, Oracle). Никакие запросики не легли. Архитектурно, данные и код надо разделять так: в БД лежат данные, в приложении код, запросы это тоже код (надеюсь, хоть это для вас не будет открытием). tunknownПросто императивщики не хотят учиться и изучить СУБД. Суть в том, что сами разработчики ORM-ов должны знать СУБД отлично, очень многие разработчики пришли в ORM из разработки СУБД-first, потому что устали заниматься обезьяним трудом. Но что важно, это может быть оскорбительным.. Но не обессудьте. Некоторым нравится обезьяний труд, так как ничего другого они не умеют, понимать, изучать, осваивать не хотят. А хотят сидеть на насиженном месте, так как обезьяний труд он и есть обезьяний. Для обезьян. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.11.2018, 04:19 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
ОзверинДмитрий Мухпропущено... Логика в хранимках? Или Вы просто не используете Mapping, Unit Of Work и т.п.? Причем тут хранимки? Я ж не про CRUD логику. Я, допустим, про агреггированную выборку. Или про параметризированную выборку со сложными джоинами. Спрашиваю про хранимки, потому что пытаюсь понять, о чём речь. Аггрегированную выборку, или параметризированную выборку со сложными джоинами можно и в запрос оформить. А можно и приложение построить так, что аггрегаты будут считаться при записи и данные денормализоваться. Тогда выборки будут простые и крайне быстрые. Но это уже вопрос проектирования, а не ORM vs SQL. И то, что Вы назвали CRUD логикой у вас где, в хранимках? ... |
|||
:
Нравится:
Не нравится:
|
|||
06.11.2018, 08:07 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
ЩичеЧем сложнее запрос, тем больше ORM требует внимания к себе Чем сложнее запрос, тем он сам должен требовать внимания к себе. Не стоит ждать дня, когда он перевалит на третью страницу, чтобы задуматься над тем, а как переделать систему, чтобы не было сложных запросов. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.11.2018, 08:12 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Дмитрий МухЩичеЧем сложнее запрос, тем больше ORM требует внимания к себе Чем сложнее запрос, тем он сам должен требовать внимания к себе. Не стоит ждать дня, когда он перевалит на третью страницу, чтобы задуматься над тем, а как переделать систему, чтобы не было сложных запросов. Хорошо. У вас такой запрос в силу сложной бизнес логики. Допустим, ценой глубоких раздумий вы его сократили до 2 страниц. Но больше уже не получается ибо задача. И никакие манипуляции со структурой не годятся, ибо тогда вы будете продумывать ещё стопитцот других задач сидящих на ней. Декомпозиция - отличный вариант. Но, серия запросов куда как менее производительна нежели один большой. Использовать хранимки, где это можно сделать, используя один запрос извне, по нынешним взглядам низзя! Вот и думайте, вы используете один запрос сложной структуры, расходуя минимум ресурсов, или вынимаете душу из СУБД. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.11.2018, 08:23 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
ЩичеДмитрий Мухпропущено... Чем сложнее запрос, тем он сам должен требовать внимания к себе. Не стоит ждать дня, когда он перевалит на третью страницу, чтобы задуматься над тем, а как переделать систему, чтобы не было сложных запросов. Хорошо. У вас такой запрос в силу сложной бизнес логики. Допустим, ценой глубоких раздумий вы его сократили до 2 страниц. Но больше уже не получается ибо задача. И никакие манипуляции со структурой не годятся, ибо тогда вы будете продумывать ещё стопитцот других задач сидящих на ней. Декомпозиция - отличный вариант. Но, серия запросов куда как менее производительна нежели один большой. Использовать хранимки, где это можно сделать, используя один запрос извне, по нынешним взглядам низзя! Вот и думайте, вы используете один запрос сложной структуры, расходуя минимум ресурсов, или вынимаете душу из СУБД. Что конкретно за запрос? Кому он нужен? Как с этими данными дальше работают? Расчитать их при записи есть возможность? Навернякак есть ... |
|||
:
Нравится:
Не нравится:
|
|||
06.11.2018, 08:26 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Зачастую ведь оно как бывает: есть бизнес транзакция в результате выполнения которой данные разлетаются по N таблицам. А потом, внезапно, собираются из этих же N таблиц + справочники в сложный запрос "в силу сложной бизнес логики". Так вот если на последнее взглянуть пристальнее, то легко прийти к очевидному выводу ... |
|||
:
Нравится:
Не нравится:
|
|||
06.11.2018, 08:31 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Дмитрий МухЧто конкретно за запрос? Кому он нужен? Как с этими данными дальше работают? Расчитать их при записи есть возможность? Навернякак есть Наверняка нет :) Запрос собирающий данные из записей товарных остатков. Вмешиваться в запись низзя. Рассчитать при записи низзя, потому что они сыпятся мощным потоком. Реагировать на каждую запись - обратить производительность в ноль. Триггеры, напомню, использовать западло, да и не всегда помогает. По планировщику в обед или ночью выполняется тот самый сложный запрос, что и рассчитывает. Но даже ночью надо знать меру, потому что магазин работает, а в обед покупатели все равно есть! В каждой большой системе что-то подобное наличествует. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.11.2018, 08:55 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
ЩичеДмитрий МухЧто конкретно за запрос? Кому он нужен? Как с этими данными дальше работают? Расчитать их при записи есть возможность? Навернякак есть Запрос собирающий данные из записей товарных остатков. Значит можно. Через регистр движения товаров. 15 лет назад для НК "ЮКОС" такое делали. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.11.2018, 08:58 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Дмитрий МухЗачастую ведь оно как бывает: есть бизнес транзакция в результате выполнения которой данные разлетаются по N таблицам. А потом, внезапно, собираются из этих же N таблиц + справочники в сложный запрос "в силу сложной бизнес логики". Так вот если на последнее взглянуть пристальнее, то легко прийти к очевидному выводу Да, что написание/поддержка сложного запроса обойдется куда дешевле, чем тот самый очевидный вывод. Трудоемкость просто много меньше :) Как для программиста, так и для СУБД. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.11.2018, 08:59 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
ЩичеДмитрий МухЗачастую ведь оно как бывает: есть бизнес транзакция в результате выполнения которой данные разлетаются по N таблицам. А потом, внезапно, собираются из этих же N таблиц + справочники в сложный запрос "в силу сложной бизнес логики". Так вот если на последнее взглянуть пристальнее, то легко прийти к очевидному выводу Да, что написание/поддержка сложного запроса обойдется куда дешевле, чем тот самый очевидный вывод. До поры до времени ... |
|||
:
Нравится:
Не нравится:
|
|||
06.11.2018, 09:05 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
hVostt Суть в том, что сами разработчики ORM-ов должны знать СУБД отлично, очень многие разработчики пришли в ORM из разработки СУБД-first, потому что устали заниматься обезьяним трудом. Но что важно, это может быть оскорбительным.. Но не обессудьте. Некоторым нравится обезьяний труд, так как ничего другого они не умеют, понимать, изучать, осваивать не хотят. А хотят сидеть на насиженном месте, так как обезьяний труд он и есть обезьяний. Для обезьян. ORM полезен в меру. А то, с чем встречался я как админ, было откровенное тормознутое говно. Я могу объяснить это только тем, что те програмёры не знали СУБД и не желали знать. И ORM это провоцирует, создаёт иллюзию, что можно обойтись без. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.11.2018, 14:05 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
stenfordAddxПомню статью на Хабре про крутой проект на микросервисах. И понимаю, что на SQL это 10 строчек кода. Просто нужно понимать реляционные базы чуть лучше, чем знать простые join'ы. И не уповать, что ORM - это панацея для всех проблем. молодой человек, вы там пример прочитали. Микросервисы это следующая стадия развития софта. Одной из предыдущих стадий был именно что переход на ОРМ, он уже давно завершен. А что-б вам стало еще страшнее, в микросервисах нет ни внешних ключей, ни транзакций (между микросервисами), и даже джойны между ними не сделать. И представляете, все работает О, еще один адепт. Прямо у него эволюция идет. Решил поразить всех откровениями, никто же тут не знает что такое ORM и микросервисы. Вы хотя бы книжку почитайте какую-нибудь, что такое микросервисы и с чем их едят. Не будете нести бред (давно такого не читал) насчет транзакций, ключей и джоинов (которые не связаны с микросервисной архитектурой от слова никак). ... |
|||
:
Нравится:
Не нравится:
|
|||
06.11.2018, 14:17 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Дмитрий МухЗачастую ведь оно как бывает: есть бизнес транзакция в результате выполнения которой данные разлетаются по N таблицам. А потом, внезапно, собираются из этих же N таблиц + справочники в сложный запрос "в силу сложной бизнес логики". Так вот если на последнее взглянуть пристальнее, то легко прийти к очевидному выводу А потом (внезапно) оказывается, что нет. И данные можно рассчитывать в момент записи, и реестров понастроить. Вот только при каждом изменении их перестраивать надо, а это (внезапно) процесс небыстрый. И данные нужны чуть сложнее, чем в разрезе одного реестра - операция/остаток. Впрочем, тут очень сильно зависит от приложения и архитектуры. Кроме того, всепеределать! не всегда возможно, а хп неплохой уровень абстракции. Впрочем, я вовсе не принципиальный сторонник бизнес-логики в хп, во многих случаях легко обойтись без них. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.11.2018, 14:40 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Дмитрий МухОзверинпропущено... Причем тут хранимки? Я ж не про CRUD логику. Я, допустим, про агреггированную выборку. Или про параметризированную выборку со сложными джоинами. Спрашиваю про хранимки, потому что пытаюсь понять, о чём речь. Аггрегированную выборку, или параметризированную выборку со сложными джоинами можно и в запрос оформить. А можно и приложение построить так, что аггрегаты будут считаться при записи и данные денормализоваться. Тогда выборки будут простые и крайне быстрые. Но это уже вопрос проектирования, а не ORM vs SQL. И то, что Вы назвали CRUD логикой у вас где, в хранимках? Совершенно не сравнимая сложность между: "построить один запрос быстро и на коленке проверить результат" и "построить приложение так, чтобы агрегировало что нужно, денормализовало и так далее". Впрочем, кроме сложности, несравнимые затраты денежные и временные. CRUD логика - это базис, заложенные в соврвеменные ORM системы. Причем тут хранимки? Я говорил о том, что если от софта требуется примитивный CRUD, то я прикручу springjpa и за 15 минут слабаю на коленке готовый прототип без всяких SQL запросов, но если же логика потребуется сложнее, то я сначала накидаю SQL запросы к системе нативные, если они дадут результат - буду думать, куда дальше развивать систему. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.11.2018, 16:32 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
ORM - это просто посредник между UI и DB ОРМ просто генерирует SQL из операторов жабы, сисярпа и т.д. ну а посредники - это паразиты... Просто, некоторые хвосты и мухи настолько ограничены, что не в состоянии освоить sql... а понимание, как работает оптимизатор - ваще не для них ... |
|||
:
Нравится:
Не нравится:
|
|||
06.11.2018, 17:42 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
AddxДмитрий МухЗачастую ведь оно как бывает: есть бизнес транзакция в результате выполнения которой данные разлетаются по N таблицам. А потом, внезапно, собираются из этих же N таблиц + справочники в сложный запрос "в силу сложной бизнес логики". Так вот если на последнее взглянуть пристальнее, то легко прийти к очевидному выводу А потом (внезапно) оказывается, что нет. И данные можно рассчитывать в момент записи, и реестров понастроить. Вот только при каждом изменении их перестраивать надо, а это (внезапно) процесс небыстрый. И данные нужны чуть сложнее, чем в разрезе одного реестра - операция/остаток. Впрочем, тут очень сильно зависит от приложения и архитектуры. Кроме того, всепеределать! не всегда возможно, а хп неплохой уровень абстракции. Впрочем, я вовсе не принципиальный сторонник бизнес-логики в хп, во многих случаях легко обойтись без них. Откуда внезапно-то? Думаете у нас это в далёком 2003-м году внезапно случилось? Нет, запросы разрослись, их стало трудно поддерживать, выполнялись они достаточно долго, оптимизировать стало дальше некуда. Мы на это дело посмотрели и не внезапно, а через серию обсуждений, приняли решение переделать. Переделали, оттестировали (в том числе и изменения с перестраиванием), внедрили в эксплуатацию на паре серверов. Когда убедились, что всё работает, то раскатали на остальные 90+. Начали собирать положительную обратную связь о том, как теперь всё быстро работает. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.11.2018, 18:36 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
ОзверинДмитрий Мухпропущено... Спрашиваю про хранимки, потому что пытаюсь понять, о чём речь. Аггрегированную выборку, или параметризированную выборку со сложными джоинами можно и в запрос оформить. А можно и приложение построить так, что аггрегаты будут считаться при записи и данные денормализоваться. Тогда выборки будут простые и крайне быстрые. Но это уже вопрос проектирования, а не ORM vs SQL. И то, что Вы назвали CRUD логикой у вас где, в хранимках? Совершенно не сравнимая сложность между: "построить один запрос быстро и на коленке проверить результат" и "построить приложение так, чтобы агрегировало что нужно, денормализовало и так далее". Впрочем, кроме сложности, несравнимые затраты денежные и временные. По моему опыту с ростом приложения и объемов данных затраты начинают быть сравнимыми. Вернее писать и сопровождать сложные запросы становиться дороже и по времени и по деньгам. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.11.2018, 18:38 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Озверинесли же логика потребуется сложнее, то я сначала накидаю SQL запросы к системе нативные, если они дадут результат - буду думать, куда дальше развивать систему К примеру логика потребуется сложнее, но запросы при этом простые, то в какую сторону пойдёте? ... |
|||
:
Нравится:
Не нравится:
|
|||
06.11.2018, 18:40 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
skyANA Откуда внезапно-то? Думаете у нас это в далёком 2003-м году внезапно случилось? Нет, запросы разрослись, их стало трудно поддерживать, выполнялись они достаточно долго, оптимизировать стало дальше некуда. Мы на это дело посмотрели и не внезапно, а через серию обсуждений, приняли решение переделать. Переделали, оттестировали (в том числе и изменения с перестраиванием), внедрили в эксплуатацию на паре серверов. Когда убедились, что всё работает, то раскатали на остальные 90+. Начали собирать положительную обратную связь о том, как теперь всё быстро работает. Внезапно = неожиданно для разработчика. Который думал, что новая технология - это серебряная пуля. Я рад, что у Вас все получилось. Но это ничего не меняет. Есть очень разный софт и очень разные задачи. Можно сделать так - О появилась новая (ха-ха, некоторые тут про микросервисы в 2018 году узнали) технология, все переводим на нее. Ой, не выходит каменный цветок, плохая технология, плохая. А можно как одни ребята, которые внедряли какой-то проект (было видео на ютубе, но конечно ссылку не найду) - Рассморели разные архитектуры - микросервисы, монолит, разные типы хранилищ и поняли, что в этом проекте микросервисы не годятся. Я бы человека, который сказал бы мне, что микросервисы хороши для любой задачи, на работу бы не взял. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.11.2018, 18:52 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
skyANAAddxпропущено... А потом (внезапно) оказывается, что нет. И данные можно рассчитывать в момент записи, и реестров понастроить. Вот только при каждом изменении их перестраивать надо, а это (внезапно) процесс небыстрый. И данные нужны чуть сложнее, чем в разрезе одного реестра - операция/остаток. Впрочем, тут очень сильно зависит от приложения и архитектуры. Кроме того, всепеределать! не всегда возможно, а хп неплохой уровень абстракции. Впрочем, я вовсе не принципиальный сторонник бизнес-логики в хп, во многих случаях легко обойтись без них. Откуда внезапно-то? Думаете у нас это в далёком 2003-м году внезапно случилось? Нет, запросы разрослись, их стало трудно поддерживать, выполнялись они достаточно долго, оптимизировать стало дальше некуда. Мы на это дело посмотрели и не внезапно, а через серию обсуждений, приняли решение переделать. Переделали, оттестировали (в том числе и изменения с перестраиванием), внедрили в эксплуатацию на паре серверов. Когда убедились, что всё работает, то раскатали на остальные 90+. Начали собирать положительную обратную связь о том, как теперь всё быстро работает.а можете в двух словах рассказать что была за задача, какие объемы данных, требования по производительности и т.д.? ... |
|||
:
Нравится:
Не нравится:
|
|||
06.11.2018, 19:22 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
AddxЯ бы человека, который сказал бы мне, что микросервисы хороши для любой задачи, на работу бы не взял. а откуда вы извлекли, что микросервисы в каждом проекте необходимы? Они для больших и сложных современных систем расчитаны, заточенных под маштабирование. Учетную систему траспортного цеха можно и на хранимках слабать ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2018, 05:30 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
AddxskyANAОткуда внезапно-то? Думаете у нас это в далёком 2003-м году внезапно случилось? Нет, запросы разрослись, их стало трудно поддерживать, выполнялись они достаточно долго, оптимизировать стало дальше некуда. Мы на это дело посмотрели и не внезапно, а через серию обсуждений, приняли решение переделать. Переделали, оттестировали (в том числе и изменения с перестраиванием), внедрили в эксплуатацию на паре серверов. Когда убедились, что всё работает, то раскатали на остальные 90+. Начали собирать положительную обратную связь о том, как теперь всё быстро работает. Внезапно = неожиданно для разработчика. Который думал, что новая технология - это серебряная пуля. Я рад, что у Вас все получилось. Но это ничего не меняет. Есть очень разный софт и очень разные задачи. Можно сделать так - О появилась новая (ха-ха, некоторые тут про микросервисы в 2018 году узнали) технология, все переводим на нее. Ой, не выходит каменный цветок, плохая технология, плохая. А можно как одни ребята, которые внедряли какой-то проект (было видео на ютубе, но конечно ссылку не найду) - Рассморели разные архитектуры - микросервисы, монолит, разные типы хранилищ и поняли, что в этом проекте микросервисы не годятся. Я бы человека, который сказал бы мне, что микросервисы хороши для любой задачи, на работу бы не взял. "И тут Остапа понесло" Регистры - это банальная денормализация. Что в ней, простите, нового? ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2018, 09:55 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
SergSuperskyANAпропущено... Откуда внезапно-то? Думаете у нас это в далёком 2003-м году внезапно случилось? Нет, запросы разрослись, их стало трудно поддерживать, выполнялись они достаточно долго, оптимизировать стало дальше некуда. Мы на это дело посмотрели и не внезапно, а через серию обсуждений, приняли решение переделать. Переделали, оттестировали (в том числе и изменения с перестраиванием), внедрили в эксплуатацию на паре серверов. Когда убедились, что всё работает, то раскатали на остальные 90+. Начали собирать положительную обратную связь о том, как теперь всё быстро работает.а можете в двух словах рассказать что была за задача, какие объемы данных, требования по производительности и т.д.? АИС ТПС НК "ЮКОС" ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2018, 09:57 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
skyANAОзверинесли же логика потребуется сложнее, то я сначала накидаю SQL запросы к системе нативные, если они дадут результат - буду думать, куда дальше развивать систему К примеру логика потребуется сложнее, но запросы при этом простые, то в какую сторону пойдёте? это что такое?:) Это не описание проблемы\задачи. Ну вот пример: есть у меня отчетная система. Ничего сложного, пришла она ко мне изначально с нативными запросами. Что мне ее - переписывать на сущности+репозитории? Нет, я просто дописал небольшой агрегатор данных для отчетов и продолжил в том же духе. Легаси ж никто не отменял. Или еще пример:имеется некий проект. Допустим, у него 3 сущности: * пользователи * кастомные поля * значения кастомных полей для пользователей Я так понимаю, вы любите EAV? Ну вот по сути кастомные поля и их значения - это ЕАВ. Думаю, не стоит долго расписывать, что если мне надо по сути 1-2 поля, я не буду под этого городить кучу кода, тем более, что jpa и eav без бутылки не свяжешь. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2018, 11:14 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
ОзверинНу вот пример: есть у меня отчетная система. Ничего сложного, пришла она ко мне изначально с нативными запросами. Что мне ее - переписывать на сущности+репозитории? Нет, я просто дописал небольшой агрегатор данных для отчетов и продолжил в том же духе. Легаси ж никто не отменял. И что? :) ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2018, 11:57 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
ОзверинЯ так понимаю, вы любите EAV? Нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2018, 11:58 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
ОзверинНу вот по сути кастомные поля и их значения - это ЕАВ. Почему ЕАВ? Положите их в MongoDB, или PostgreSQL JSONB и не будет никакого ЕАВ :) ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2018, 11:59 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Озверинесли мне надо по сути 1-2 поля Где надо? Это не описание проблемы\задачи :) ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2018, 12:00 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Дмитрий МухОзверинесли мне надо по сути 1-2 поля Где надо? Это не описание проблемы\задачи :) если вам не хочется понимать, можете просто не спрашивать. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2018, 12:04 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
ОзверинДмитрий Мухпропущено... Где надо? Это не описание проблемы\задачи :) если вам не хочется понимать, можете просто не спрашивать.если вам не хочется пояснить, можете просто не отвечать ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2018, 13:00 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
skyANA, договорились. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2018, 13:08 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
LessypAddxЯ бы человека, который сказал бы мне, что микросервисы хороши для любой задачи, на работу бы не взял. а откуда вы извлекли, что микросервисы в каждом проекте необходимы? Они для больших и сложных современных систем расчитаны, заточенных под маштабирование. Учетную систему траспортного цеха можно и на хранимках слабать Я - не утверждал. Некоторые из здесь присутствующих - да. Кроме того размер системы не связан напрямую с применимостью микросервисов. В некоторых больших системах применение микросервисов не даст положительного эффекта. В простых системах можно написать на чистом ORM и не испрользовать хранимки вообще. Code first - и никаких проблем. skyANA... Регистры - это банальная денормализация. Что в ней, простите, нового? Регистры ничего общего с денормализацией не имеют. От слова совсем. Да, цель примерно одна, но методы разные. Впрочем ни в регистрах, ни в денормализации, ни в микросервисах действительно ничего нового нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2018, 16:17 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Озверин... Я так понимаю, вы любите EAV? ... Это прямо звучит как оскорбление )) Любить-не любить можно жену/мужа. А EAV - это инструмент, и как для всякого инструмента нужно понимать его применимость. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2018, 16:26 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
AddxskyANA... Регистры - это банальная денормализация. Что в ней, простите, нового? Регистры ничего общего с денормализацией не имеют. От слова совсем. Видимо мы под регистрами разное понимаем. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2018, 17:07 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
AddxДа, цель примерно одна, но методы разные. Расскажите, если не сложно. Интересно понять, о чём Вы конкретно. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2018, 17:08 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
skyANAAddxДа, цель примерно одна, но методы разные. Расскажите, если не сложно. Интересно понять, о чём Вы конкретно. Да просто все. Есть понятие нормализации - классическая реляционная алгебра и нормальные формы. Нормализация сокращает объем и улучшает контроль целостности на уровне СУБД. Денормализация же позволяет за счет избыточности и внешнего контроля связности оптимизировать выборки. Цель регистров по сути такая же - та же избыточность и то же ускорение выборок. Под регистрами традиционно понимаются динамические агрегаторы. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2018, 19:43 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
AddxskyANAпропущено... Расскажите, если не сложно. Интересно понять, о чём Вы конкретно. Да просто все. Есть понятие нормализации - классическая реляционная алгебра и нормальные формы. Нормализация сокращает объем и улучшает контроль целостности на уровне СУБД. Денормализация же позволяет за счет избыточности и внешнего контроля связности оптимизировать выборки. Цель регистров по сути такая же - та же избыточность и то же ускорение выборок. Под регистрами традиционно понимаются динамические агрегаторы. Динамические агрегаторы - это широкое понятие. Хотелось бы какое-то более конкретное описание методов как вы их использовали. Для меня примитивная реализация регистра движения товара - это тупо таблица в БД, куда кладутся денормализованные данные. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.11.2018, 07:36 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Дмитрий Мух... Для меня примитивная реализация регистра движения товара - это тупо таблица в БД, куда кладутся денормализованные данные. Это в любом случае не денормализация. Денормализация не порождает данных, а аггрегация порождает. Раз уж пошла речь о товаре, то простой пример: Добавление свойств товара в таблицу с товаром - денормализация. Учет остатков товара в отдельной таблице - аггрегация. В целом аггрегаты совершенно не обязательно являются денормализованными данными, обычно даже наоборот. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.11.2018, 17:26 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
AddxЭто в любом случае не денормализация. бредятина, это ты? как скаяна решил под несколькими никами отписываться? AddxДенормализация не порождает данных, а аггрегация порождает. Раз уж пошла речь о товаре, то простой пример: Добавление свойств товара в таблицу с товаром - денормализация. с точки зрения дба и разраба бд, фигню пишешь в такой таблице будет повторяющееся название товара, а не айди, как при нормализованных данных значит данные порождаются, тк будет много повторяющихся байтов и, если чо, create materialized view as select from t join t1 - это тоже денормализация AddxУчет остатков товара в отдельной таблице - аггрегация. В целом аггрегаты совершенно не обязательно являются денормализованными данными, обычно даже наоборот. а агрегация, для тех, кто не понимает само значение слова - это суммирование, с группировками или без, сохраняемое, либо получаемое на лету ... |
|||
:
Нравится:
Не нравится:
|
|||
08.11.2018, 17:59 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Денормализация (англ. denormalization) - намеренное приведение структуры базы данных в состояние, не соответствующее критериям нормализации, обычно проводимое с целью ускорения операций чтения из базы за счет добавления избыточных данных. При запросах большого количества данных операция соединения нормализованных отношений выполняется неприемлемо долго. Вследствие этого в ситуациях, когда производительность таких запросов невозможно повысить иными средствами, может проводиться денормализация - композиция нескольких отношений (таблиц) в одну, которая, как правило, находится во второй, но не в третьей нормальной форме . Новое отношение фактически является хранимым результатом операции соединения исходных отношений. В чём разница между пораждёнными данными и избыточными? И чем же является агрегация/композиция, как не денормализованными данными? ... |
|||
:
Нравится:
Не нравится:
|
|||
08.11.2018, 18:01 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
казинак, вы бы с терминами договорились. Во-первых, то, что подразумеваете вы под агрегацией - это не только суммирование.Вспомним агрегационные ф-ии: sum, count, max, etc. Во-вторых, в теории бд агрегации - это определенный тип связей между сущностями. внимание, вопрос: о чем вы таки спорите? пысы: по загадочные регистры я уж и говорить боюсь. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.11.2018, 20:27 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Озверин, не спорим - разбираемся ... |
|||
:
Нравится:
Не нравится:
|
|||
08.11.2018, 21:26 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
давайте на примере. было table TRANSACTION ( id, datetime, account_deb_id, account_cred_id. amount ) -------------------- Стало: + table BALANCE ( account_id, date, balance_amount ) которая заполняется на каждый день как сумма по всем транзакциям. Ну а теперь раскажате мне на сколько нормальных форм уменьшилась структура базы после такой агрегации????? ... |
|||
:
Нравится:
Не нравится:
|
|||
09.11.2018, 09:57 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Ivan Durak, и кто вам это должен рассказать? Лично я не про BALANCE, которая заполняется на каждый день как сумма по всем транзакциям. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.11.2018, 10:01 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Дмитрий МухЗачастую ведь оно как бывает: есть бизнес транзакция в результате выполнения которой данные разлетаются по N таблицам. А потом, внезапно, собираются из этих же N таблиц + справочники в сложный запрос "в силу сложной бизнес логики". Не интересно смотреть просто на TRANSACTION ( id, datetime, account_deb_id, account_cred_id. amount ) хочется сразу видеть все подробности: кто, кому, на каком основании а подробности лежат в других таблицах ... |
|||
:
Нравится:
Не нравится:
|
|||
09.11.2018, 10:29 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Дмитрий МухIvan Durak, и кто вам это должен рассказать? Лично я не про BALANCE, которая заполняется на каждый день как сумма по всем транзакциям. тот кто расказывает что авторИ чем же является агрегация/композиция, как не денормализованными данными? ... |
|||
:
Нравится:
Не нравится:
|
|||
09.11.2018, 10:34 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Дмитрий МухIvan Durak, и кто вам это должен рассказать? Лично я не про BALANCE, которая заполняется на каждый день как сумма по всем транзакциям. Дык вед этот BALANCE 100пудово избыточные данные, при этом все нормализовано ... |
|||
:
Нравится:
Не нравится:
|
|||
09.11.2018, 10:38 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Ivan Durak, лично я выделил то, что речь про агрегацию/композицию нескольких отношений (таблиц) в одну, а не подсчёт суммы вот есть у вас сущность Заказ, она является агрегатом/композицией данных из больше чем одной таблицы ... |
|||
:
Нравится:
Не нравится:
|
|||
09.11.2018, 10:42 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
ViPRosДмитрий МухIvan Durak, и кто вам это должен рассказать? Лично я не про BALANCE, которая заполняется на каждый день как сумма по всем транзакциям. Дык вед этот BALANCE 100пудово избыточные данные, при этом все нормализовано И что не так? ... |
|||
:
Нравится:
Не нравится:
|
|||
09.11.2018, 10:42 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
ViPRosДмитрий МухIvan Durak, и кто вам это должен рассказать? Лично я не про BALANCE, которая заполняется на каждый день как сумма по всем транзакциям. Дык вед этот BALANCE 100пудово избыточные данные, при этом все нормализовано ну то есть это не денормализация. Хотя данные избыточные ... |
|||
:
Нравится:
Не нравится:
|
|||
09.11.2018, 10:47 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Ivan DurakViPRosпропущено... Дык вед этот BALANCE 100пудово избыточные данные, при этом все нормализовано ну то есть это не денормализация. Хотя данные избыточные Удивительно Дмитрий Мух Денормализация (англ. denormalization) - намеренное приведение структуры базы данных в состояние, не соответствующее критериям нормализации, ... |
|||
:
Нравится:
Не нравится:
|
|||
09.11.2018, 10:49 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Ivan Durakдавайте на примере. было table TRANSACTION ( id, datetime, account_deb_id, account_cred_id. amount ) -------------------- Стало: + table BALANCE ( account_id, date, balance_amount ) которая заполняется на каждый день как сумма по всем транзакциям. Ну а теперь раскажате мне на сколько нормальных форм уменьшилась структура базы после такой агрегации????? нормализация показывает, как убирать тразитивные зависимости между атрибутами в отношении, но как с ними бороться(и надо ли?) между отношениями? ... |
|||
:
Нравится:
Не нравится:
|
|||
09.11.2018, 10:50 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
ОзверинIvan Durakдавайте на примере. было table TRANSACTION ( id, datetime, account_deb_id, account_cred_id. amount ) -------------------- Стало: + table BALANCE ( account_id, date, balance_amount ) которая заполняется на каждый день как сумма по всем транзакциям. Ну а теперь раскажате мне на сколько нормальных форм уменьшилась структура базы после такой агрегации????? нормализация показывает, как убирать тразитивные зависимости между атрибутами в отношении, но как с ними бороться(и надо ли?) между отношениями? не надо бороться, надо просто знать, что и зачем. Где денормализация, а где агрегация ... |
|||
:
Нравится:
Не нравится:
|
|||
09.11.2018, 10:55 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Ivan Durak, в зависимости от бизнеса, баланс - не такая уж и "абстракция" ;) ... |
|||
:
Нравится:
Не нравится:
|
|||
09.11.2018, 11:00 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Ivan Durak, Агрегация , или агрегирование (лат. aggregatio «присоединение») - объединениt элементов в одну систему, в одно целое. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.11.2018, 11:00 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Композиция - более строгий вариант агрегирования, когда включаемый объект может существовать только как часть контейнера. Если контейнер будет уничтожен, то и включённый объект тоже будет уничтожен. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.11.2018, 11:02 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Дмитрий Мух, ну и че ты все это пишешь? тут почти все русские :) ... |
|||
:
Нравится:
Не нравится:
|
|||
09.11.2018, 11:21 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
ViPRosДмитрий Мух, ну и че ты все это пишешь? тут почти все русские :)чтобы понимали то, что я имею в виду. и не представляли себе, что я про SUM пишу ... |
|||
:
Нравится:
Не нравится:
|
|||
09.11.2018, 11:44 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Дмитрий Мух, Мы все же говорим о разработке, а не о лингвистике. И не будем утверждать, что корректное действие для метода Execute - уничтожить объект, поскольку execute - это казнить, а не выполнить. ) Ладно, отвлечемся от реляционок, где "агрегаты" имеют вполне определенный смысл. Например в C# ;) понимается так: Код: c# 1. 2. 3. 4.
с классическим функционалом перевода последовательности в объект. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.11.2018, 12:01 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
ViPRosДык вед этот BALANCE 100пудово избыточные данные, при этом все нормализовано Вовсе не факт, кстати, что они избыточные. Например старые транзакции могут быть сархивированы/потеряться/быть стертыми шоб налоговая не догадалась. В этом случае баланс совсем не избыточен. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.11.2018, 12:09 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
AddxViPRosДык вед этот BALANCE 100пудово избыточные данные, при этом все нормализовано Вовсе не факт, кстати, что они избыточные. Например старые транзакции могут быть сархивированы/потеряться/быть стертыми шоб налоговая не догадалась. В этом случае баланс совсем не избыточен. в прямом понимании смысла этого слова в рамках нормализации - это данные никак избыточными быть не могут. Но аномалии, связанные с такой структурой - могут возникать. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.11.2018, 12:11 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Короче мы уже обсуждаем терминологию, а не проблематику. Не интересно. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.11.2018, 15:02 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Дмитрий Мух, skyANAРасскажите, если не сложно. Интересно понять, о чём Вы конкретно. Я собственно и пояснил) ... |
|||
:
Нравится:
Не нравится:
|
|||
09.11.2018, 15:45 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
зачем нормализация? чтоп значение хранилось один раз например, вместо названия счета в каждой транзакции - айди счета, потому что, если название поменяется, то во всех проводках надо поменять. зачем денормализация? чтоп селекты быстрей работали, вместо джойнов и групировок на лету, просто выбираем из одной таблицы. т.е потребность в этих штуках чисто практическая а то, что вы тут из себя умников строите, споря о названиях, это нужно только вам, для самоутверждения наверно.... ... |
|||
:
Нравится:
Не нравится:
|
|||
09.11.2018, 17:33 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
казинак, именно вместо сложных селектов с кучей джоинов и группировок на лету предлагается очевидное решение - во время записи писать все необходимые данные в денормализованные таблицы, называемые регистрами это прекрасно работает на практике: АИС ТПС НК "ЮКОС", потом "Роснефть"... ... |
|||
:
Нравится:
Не нравится:
|
|||
09.11.2018, 20:39 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
молодцы, пацаны - все вокруг эникейщики, одни вы хапнули жизни ) ... |
|||
:
Нравится:
Не нравится:
|
|||
09.11.2018, 23:37 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Дмитрий Мухказинак, именно вместо сложных селектов с кучей джоинов и группировок на лету предлагается очевидное решение - во время записи писать все необходимые данные в денормализованные таблицы, называемые регистрами это прекрасно работает на практике: АИС ТПС НК "ЮКОС", потом "Роснефть"... работает, значит норм но не самое масштабируемое решение например, обновление суммы оборотов или остатка, при каждой операции.. все сессии одновременно будут пытаться проапдейтить одно поле, в одной записи. и будут висеть на блокировке ... |
|||
:
Нравится:
Не нравится:
|
|||
10.11.2018, 04:10 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
казинакДмитрий Мухказинак, именно вместо сложных селектов с кучей джоинов и группировок на лету предлагается очевидное решение - во время записи писать все необходимые данные в денормализованные таблицы, называемые регистрами это прекрасно работает на практике: АИС ТПС НК "ЮКОС", потом "Роснефть"... работает, значит нормНе просто работает, а отлично работает Стали бы про эту денормализацию статьи писать, если бы она не работала. казинакно не самое масштабируемое решение например, обновление суммы оборотов или остатка, при каждой операции.. все сессии одновременно будут пытаться проапдейтить одно поле, в одной записи. и будут висеть на блокировке На блокировке чего? Зачем и Вы выдумываете какие-то суммы? В нормализованном виде полные данные по кажой операции хранятся в N таблицах. Запрашиваются в нескольких местах. То есть факт свершился один раз, а используется потом много раз. С ростом системы растёт как количество данных, так и сложность запросов к ним, и мест, откуда эти запросы выполняются. Время отклика падает. И возникает простая идея: раз у нас много чтения и относительно мало записи, и чтение страдает, то давайте использовать денормализованные таблицы (регистры). Избавляемся как от сложных запросов на чтение, так и от множества блокировок. И всё начинает летать. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.11.2018, 11:00 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
И это решение отлично работало как 15 лет назад, так и сейчас в рамках одной базы. А можно пойти ещё дальше: разнести чтение и запись по разным нодам калстера, или вообще по разным СУБД. Что повсеместно и делают. Но если это уже слишком для вас, то используйте проверенную денормализацию. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.11.2018, 11:06 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Дмитрий Мух, чудес не бывает, все зависит от частоты чтения-записи, и обычно лучшая денормализация - sql view ... |
|||
:
Нравится:
Не нравится:
|
|||
10.11.2018, 14:44 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
ViPRosДмитрий Мух, чудес не бывает, все зависит от частоты чтения-записи я про это и пишу: Дмитрий МухИ возникает простая идея: раз у нас много чтения и относительно мало записи, и чтение страдает , то давайте использовать денормализованные таблицы (регистры). ... |
|||
:
Нравится:
Не нравится:
|
|||
10.11.2018, 15:19 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
ViPRosобычно лучшая денормализация - sql view И с каких это пор sql view стало намеренным приведением структуры базы данных в состояние, не соответствующее критериям нормализации? Я конечно понимаю, о чём ты, но давай не будем мешать мух с котлетами. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.11.2018, 15:26 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Дмитрий Мухэто прекрасно работает на практике: АИС ТПС НК "ЮКОС", потом "Роснефть" можно всё-таки узнать какие-то характеристики этой системы? не знаю, возможно многие на 1С делали и посложнее системы ... |
|||
:
Нравится:
Не нравится:
|
|||
10.11.2018, 17:44 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
SergSuperДмитрий Мухэто прекрасно работает на практике: АИС ТПС НК "ЮКОС", потом "Роснефть" можно всё-таки узнать какие-то характеристики этой системы? не знаю, возможно многие на 1С делали и посложнее системы На 1C? Отгрузка нефти? ЮКОС являлась одной из крупнейших компаний России по объёмам реализации. В период с 1995 по 2005 год неизменно входила в число 10 крупнейших компаний России по версии журнала «Эксперт» (лучший результат - 4 место в 2001—2003 годах). Роснефть в 2013 году стала крупнейшей в мире компанией-производителем нефти. Как Вам такие характеристики? ... |
|||
:
Нравится:
Не нравится:
|
|||
10.11.2018, 18:14 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Хотя что-то сделали и на 1C: "1C:Предприятие 8": автоматизация отгрузки нефтепродуктов на нефтеперерабатывающем заводе . Вот только у ЮКОСА, а в дальнейшем у Роснефти не один, а сотня НПЗ по всей России. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.11.2018, 18:20 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Дмитрий МухИ возникает простая идея: раз у нас много чтения и относительно мало записи, и чтение страдает, то давайте использовать денормализованные таблицы (регистры).матвью и репликации оч давно известны очередной велосипед (гениальная идея) может и не хуже, но точно не лучше Дмитрий МухИзбавляемся как от сложных запросов на чтение, так и от множества блокировок. И всё начинает летать. сложные запросы и блокировки - это параллельные понятия блокировки порождаются изменениями а не чтениями а у вас Дмитрий Мух... относительно мало записи. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.11.2018, 20:02 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
ViPRosДмитрий Мух, чудес не бывает, все зависит от частоты чтения-записи, и обычно лучшая денормализация - sql view да ну на... запрос с кучей джойнов, который одновременно несколько сотен юзеров запускает - это лучшая денормализация? ... |
|||
:
Нравится:
Не нравится:
|
|||
10.11.2018, 20:08 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
казинакДмитрий МухИ возникает простая идея: раз у нас много чтения и относительно мало записи, и чтение страдает, то давайте использовать денормализованные таблицы (регистры).матвью и репликации оч давно известны очередной велосипед (гениальная идея) может и не хуже, но точно не лучше Куда репликация? И что в денормализации гениального и почему это велосипед? ... |
|||
:
Нравится:
Не нравится:
|
|||
10.11.2018, 20:37 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
казинака у вас Дмитрий Мух... относительно мало записи. А у вас? Относительно мало записи - это не мало записи, а мало относительно чтения. А у вас какой профиль нагрузки? ... |
|||
:
Нравится:
Не нравится:
|
|||
10.11.2018, 20:38 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
казинакДмитрий МухИзбавляемся как от сложных запросов на чтение, так и от множества блокировок. И всё начинает летать. сложные запросы и блокировки - это параллельные понятия И что? Избавляемя и от тех и от других. Это плохо что-ли? Складывается такое чувство, что лишь бы что против сказать. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.11.2018, 20:39 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Дмитрий МухСкладывается такое чувство, что лишь бы что против сказать. складывается уверенность, что ты ни фига не знаешь sql и механизмы работы бд от твоих постов, у меня самооценка поднимается)) и, кстати, где твой hvost? тоже, то еще трепло... ... |
|||
:
Нравится:
Не нравится:
|
|||
11.11.2018, 09:42 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
казинакДмитрий МухСкладывается такое чувство, что лишь бы что против сказать. складывается уверенность, что ты ни фига не знаешь sql и механизмы работы бд от твоих постов, у меня самооценка поднимается)) и, кстати, где твой hvost? тоже, то еще трепло... Я то знаю, а вот ты нет, судя потому, что избегаешь ответов на вопросы и переходишь на хамство. А то, что от последнего у тебя самооценка поднимается... это классно чувак, так держать ... |
|||
:
Нравится:
Не нравится:
|
|||
11.11.2018, 13:25 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Дмитрий МухХотя что-то сделали и на 1C: "1C:Предприятие 8": автоматизация отгрузки нефтепродуктов на нефтеперерабатывающем заводе . Вот только у ЮКОСА, а в дальнейшем у Роснефти не один, а сотня НПЗ по всей России. ну, поменьше ляля - http://pronpz.ru/neftepererabatyvayushchie-zavody/rossiya.html ... |
|||
:
Нравится:
Не нравится:
|
|||
11.11.2018, 14:00 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
ViPRosДмитрий МухХотя что-то сделали и на 1C: "1C:Предприятие 8": автоматизация отгрузки нефтепродуктов на нефтеперерабатывающем заводе . Вот только у ЮКОСА, а в дальнейшем у Роснефти не один, а сотня НПЗ по всей России. ну, поменьше ляля - http://pronpz.ru/neftepererabatyvayushchie-zavody/rossiya.html тут я да, маху дал... хотел написать о количестве установленных крупных серверов они ставяться как на больших заводах, так и на различных станциях поменьше ... |
|||
:
Нравится:
Не нравится:
|
|||
11.11.2018, 14:22 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
SergSuperвозможно многие на 1С делали и посложнее системы Внезапно в 1C тоже знают про денормализацию: Денормализация с точки зрения 1СС моей точки зрения большим технологическим прорывом стало появление в 1С регистра накопления. Сама по себе строгая нормальная форма несет в себе порядок в процессе проектирования, но доведенная до абсурда способна тормознуть любой проект своими ограничениями. Во-первых, строгая третья нормальная форма хороша только для статических систем. Для динамических систем, которые меняются во времени, такие ограничения лишают программные комплексы необходимой гибкости. К примеру, в SAP нельзя внести контрагента, пока не заполнишь все обязательные поля, вплоть до телефона директора. Во-вторых, регистр накопления реализует OLAP технологии на уровне платформы, так как регистр накопления имеет измерения, ресурсы и временную ось. Структура регистра накопления позволяет значительно увеличить производительность за счет заранее посчитанных итогов, а штатные средства отчетов позволяют реализовывать принципы drill-down, drill-up в рамках единой среды. В принципе, регистры накопления и регистры сведений – единственное отличие от третьей нормальной формы. https://infostart.ru/public/269803/ ... |
|||
:
Нравится:
Не нравится:
|
|||
11.11.2018, 14:52 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Оттуда же: Чек лист последовательности проектирования базы данныхДля тех, кто ещё только делает первые шаги в проектировании баз данных будет полезна типовая последовательность выполнения работ: 1. Определить таблицы объектов 2. Определить атомарные поля 3. Определить типы полей 4. Определить первичные ключи 5. Определить внешние ключи 6. Определить индексы полей 7. Определить уникальность полей 8. Определить признаки полей null/not null 9. Определить дополнительные ограничений полей 10. Выполнить нормализацию до 3-й нормальной формы 11. Выполнить денормализацию с учетом ограничений по производительности ... |
|||
:
Нравится:
Не нравится:
|
|||
11.11.2018, 14:55 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Дмитрий МухSergSuperпропущено... можно всё-таки узнать какие-то характеристики этой системы? не знаю, возможно многие на 1С делали и посложнее системы На 1C? Отгрузка нефти? ЮКОС являлась одной из крупнейших компаний России по объёмам реализации. В период с 1995 по 2005 год неизменно входила в число 10 крупнейших компаний России по версии журнала «Эксперт» (лучший результат - 4 место в 2001—2003 годах). Роснефть в 2013 году стала крупнейшей в мире компанией-производителем нефти. Как Вам такие характеристики?ну вообще такой ответ странно даже от менеджера было бы услышать информации о системе в нем ноль мне интересно сколько транзакций или документов было, сколько пользователей одновременно работало, какой был размер базы, сколько допускался простой системы и т.д. а то что 20 лет назад юкос был крупнейшей компанией - ну это ни разу ни характеристика ... |
|||
:
Нравится:
Не нравится:
|
|||
11.11.2018, 15:42 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
SergSuperДмитрий Мухпропущено... На 1C? Отгрузка нефти? ЮКОС являлась одной из крупнейших компаний России по объёмам реализации. В период с 1995 по 2005 год неизменно входила в число 10 крупнейших компаний России по версии журнала «Эксперт» (лучший результат - 4 место в 2001—2003 годах). Роснефть в 2013 году стала крупнейшей в мире компанией-производителем нефти. Как Вам такие характеристики?ну вообще такой ответ странно даже от менеджера было бы услышать информации о системе в нем ноль мне интересно сколько транзакций или документов было, сколько пользователей одновременно работало, какой был размер базы, сколько допускался простой системы и т.д. а то что 20 лет назад юкос был крупнейшей компанией - ну это ни разу ни характеристика Точных чисел я не помню, да и уровень мониторинга и грамотных админов, способных его настроить (особенно в регионах) 15 с лишним лет назад был не высок. Мне было 23 года и меня интересовали не это, а то как взрослые дяди задачи решают и как этому побыстрее научиться. Сотня серверов по всей России, до фига людей, контрагентов, транзакций и документов. А у вас есть точные числа и по какой системе? ... |
|||
:
Нравится:
Не нравится:
|
|||
11.11.2018, 16:06 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Дмитрий МухОттуда же: Че ты читаешь :) ... |
|||
:
Нравится:
Не нравится:
|
|||
11.11.2018, 17:19 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Дмитрий Мух, Ты понимаешь, основная деятельность таких компаний (холдингов) - контроль над финансовыми потоками. Вся сложность в низовом уровне (предприятий). (Вот ЮКОС строила НПЗ - вот это было сложно - управлять таким проектом). Если ты на низовом уровне не работал, то и не увидел сложности. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.11.2018, 17:23 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Просто подумай - за 50 лет так и не смогли сделать софт по управлению предприятием. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.11.2018, 17:25 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Да даже не смогли формализовать требования к такому софту. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.11.2018, 17:26 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
казинаки, кстати, где твой hvost? тоже, то еще трепло... судя по твоему неаргументированному фонтану желчи, у тебя с жизнью явно что-то не так ... |
|||
:
Нравится:
Не нравится:
|
|||
11.11.2018, 20:30 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
ViPRosПросто подумай - за 50 лет так и не смогли сделать софт по управлению предприятием. Ну погоди. Вы же сделали. Где продажи, где ажиотаж? ... |
|||
:
Нравится:
Не нравится:
|
|||
11.11.2018, 20:31 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
ViPRos, какие у тебя железобетонные аргументы против денормализации, а главное как в кассу ... |
|||
:
Нравится:
Не нравится:
|
|||
11.11.2018, 21:10 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
hVosttViPRosПросто подумай - за 50 лет так и не смогли сделать софт по управлению предприятием. Ну погоди. Вы же сделали. Где продажи, где ажиотаж? У нас усе секретно :), да и ракеты хорошее бабла приносят, не до программного бизнеса ... |
|||
:
Нравится:
Не нравится:
|
|||
11.11.2018, 22:02 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Дмитрий МухViPRos, какие у тебя железобетонные аргументы против денормализации, а главное как в кассу "Денормализация" - позорная технология (по которому невозможно определить причинно-следственные связи) Есть "миграция" (сверху вниз) и "агрегация" (снизу вверх), появление которых можно контролировать на уровне метаданных и метаправил. Но про это мало где написано у гурю, потому тебе неведомо :) ... |
|||
:
Нравится:
Не нравится:
|
|||
11.11.2018, 22:09 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
обычно денормализация появляется когда студентам дают проектировать базу, в серьезных системах все конечно делается штатными средствами, которые уже были упомянуты выше ... |
|||
:
Нравится:
Не нравится:
|
|||
12.11.2018, 08:01 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
hVosttViPRosПросто подумай - за 50 лет так и не смогли сделать софт по управлению предприятием. Ну погоди. Вы же сделали. Где продажи, где ажиотаж? да какие продажи - я обратился к ним за демонстрацией системы. Меня просто игнорят ;) ... |
|||
:
Нравится:
Не нравится:
|
|||
12.11.2018, 08:59 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
ViPRosДмитрий МухViPRos, какие у тебя железобетонные аргументы против денормализации, а главное как в кассу "Денормализация" - позорная технология (по которому невозможно определить причинно-следственные связи) Есть "миграция" (сверху вниз) и "агрегация" (снизу вверх), появление которых можно контролировать на уровне метаданных и метаправил. Но про это мало где написано у гурю, потому тебе неведомо :) Мда, не ожидал от тебя такой глупости. Изначальная схема никуда не девается, отношения, по которым строиться композиция никуда не удаляются. То есть и возможность "определить причинно-следственные связи" отсаётся. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.11.2018, 10:27 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Lessypобычно денормализация появляется когда студентам дают проектировать базу, в серьезных системах все конечно делается штатными средствами, которые уже были упомянуты выше спроектированный студентами OLAP загрустил. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.11.2018, 10:39 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Lessypобычно денормализация появляется когда студентам дают проектировать базу, в серьезных системах все конечно делается штатными средствами, которые уже были упомянуты выше А у вас серъёзная система, или денормализация появляется? Откуда такая уверенность в утверждении? Вам доверили базу проектировать? ... |
|||
:
Нравится:
Не нравится:
|
|||
12.11.2018, 10:45 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Дмитрий МухА у вас серъёзная система, или денормализация появляется? Откуда такая уверенность в утверждении? Вам доверили базу проектировать? вам следует попроситься поучавствовать хотя-бы в одном реальном проекте, и не со студентами, а с профессиональными разработчиками, и перестать писать на форуме ерунду, которая за версту выдает в вас дилетанта ... |
|||
:
Нравится:
Не нравится:
|
|||
12.11.2018, 11:49 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
LessypДмитрий МухА у вас серъёзная система, или денормализация появляется? Откуда такая уверенность в утверждении? Вам доверили базу проектировать? вам следует попроситься поучавствовать хотя-бы в одном реальном проекте, и не со студентами, а с профессиональными разработчиками, и перестать писать на форуме ерунду, которая за версту выдает в вас дилетанта Фу как банально. Аргументировать не можете свою точку зрения и тупо переходите на личности. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.11.2018, 15:56 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Lessyp, напомню, на всякий случай: "Денормализация (англ. denormalization) — намеренное приведение структуры базы данных в состояние, не соответствующее критериям нормализации, обычно проводимое с целью ускорения операций чтения из базы за счет добавления избыточных данных." Не вижу ничего криминального, могу привести конкретный пример. Впрочем, сходу нашел статью на эту тему https://habr.com/post/64524/ ... |
|||
:
Нравится:
Не нравится:
|
|||
12.11.2018, 16:21 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Дмитрий Мух[ ...infostart.ru/public/269803/ Я бы не стал делать ссылки на сомнительные статьи в качестве доказательств. ViPRos"Денормализация" - позорная технология (по которому невозможно определить причинно-следственные связи) Lessypобычно денормализация появляется когда студентам дают проектировать базу, в серьезных системах все конечно делается штатными средствами, которые уже были упомянуты выше Пожалуйста, приведите пример системы в которой отсутствует денормализация. Только реальной системы, а не "вот пример с сайта, учебника, open-source проекта (я сделал крутой никому не нужный проект)". Не нужно постить тоннами абсолютно бездоказательные утверждения. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.11.2018, 16:24 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
kdv Не вижу ничего криминального, могу привести конкретный пример. Впрочем, сходу нашел статью на эту тему https://habr.com/post/64524/ Статья на хабре - это, конечно, сильный аргумент. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.11.2018, 16:27 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
AddxПожалуйста, приведите пример системы в которой отсутствует денормализация. Только реальной системы, а не "вот пример с сайта, учебника, open-source проекта (я сделал крутой никому не нужный проект)".ЦФТ-Банк ... |
|||
:
Нравится:
Не нравится:
|
|||
12.11.2018, 17:54 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
SergSuperAddxПожалуйста, приведите пример системы в которой отсутствует денормализация. Только реальной системы, а не "вот пример с сайта, учебника, open-source проекта (я сделал крутой никому не нужный проект)".ЦФТ-Банк Я не увидел на сайте никакой документации (кроме десятка-другого картинок) и запароленого форума. Что можно почерпнуть из этого названия? ... |
|||
:
Нравится:
Не нравится:
|
|||
12.11.2018, 18:54 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
AddxДмитрий Мух[ ...infostart.ru/public/269803/ Я бы не стал делать ссылки на сомнительные статьи в качестве доказательств. Информационно-аналитический центр "Инфостарт" Для автоматизации бизнеса необходима актуальная и достоверная информация. Участники нашего сообщества создают эту информацию, мы храним и систематизируем, а эксперты дают объективную оценку и рекомендации. Наша библиотека содержит самую полную информацию по автоматизации учета и управления на платформе 1С:Предприятие. Почему "Инфостар" - это сомнительный ресурс? Выглядит вроде норм. Но я в тусовке 1С не варюсь, могу и ошибаться. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.11.2018, 18:58 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
skyANA, забей. Для некоторых все ресурсы кроме microsoft.com и oracle.com сомнительны ... |
|||
:
Нравится:
Не нравится:
|
|||
12.11.2018, 19:15 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
AddxSergSuperпропущено... ЦФТ-Банк Я не увидел на сайте никакой документации (кроме десятка-другого картинок) и запароленого форума. Что можно почерпнуть из этого названия? Как бы был вопрос привести пример реальной системы. Это самая распространенная в России банковская система, стоит почти во всех наших крупных банках, так что вполне реальная. Из этого названия, как впрочем и любого другого, врядли можно что-то почерпнуть. Документации о системе в открытом доступе нет. Но они устраивают обучения, иногда даже бесплатные. Я так понимаю вы на эти курсы не пойдете, так что если что интересно - я могу ответить. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.11.2018, 19:52 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Дмитрий МухSergSuperпропущено... ну вообще такой ответ странно даже от менеджера было бы услышать информации о системе в нем ноль мне интересно сколько транзакций или документов было, сколько пользователей одновременно работало, какой был размер базы, сколько допускался простой системы и т.д. а то что 20 лет назад юкос был крупнейшей компанией - ну это ни разу ни характеристика Точных чисел я не помню, да и уровень мониторинга и грамотных админов, способных его настроить (особенно в регионах) 15 с лишним лет назад был не высок. Мне было 23 года и меня интересовали не это, а то как взрослые дяди задачи решают и как этому побыстрее научиться. Сотня серверов по всей России, до фига людей, контрагентов, транзакций и документов. А у вас есть точные числа и по какой системе? Не точные, но порядки знать надо прежде чем что-то делать. Все таки денормализация довольно геморойный процесс, по сути надо заниматься некоторыми функциями СУБД. Ваша цитата: Дмитрий МухС ростом системы растёт как количество данных, так и сложность запросов к ним, и мест, откуда эти запросы выполняются. Время отклика падает. И возникает простая идея: раз у нас много чтения и относительно мало записи, и чтение страдает, то давайте использовать денормализованные таблицы (регистры). Избавляемся как от сложных запросов на чтение, так и от множества блокировок. И всё начинает летать. Так насколько система должна вырасти чтобы имело смысл заниматься денормализацией? Сколько это много? В базе юрлиц сбербанка к примеру порядка 20-30 млн документов в день, около 3 тыс пользователей, сама база окола 100 Тб. И это работает без денормализации, во всяком случае пока. (Хотя с другой стороны там стоит железяка, сделанная по спец заказу, мало кто может себе такое позволить) ... |
|||
:
Нравится:
Не нравится:
|
|||
12.11.2018, 20:11 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
SergSuperВ базе юрлиц сбербанка к примеру порядка 20-30 млн документов в день, около 3 тыс пользователей, сама база окола 100 Тб. И это работает без денормализации, во всяком случае пока. (Хотя с другой стороны там стоит железяка, сделанная по спец заказу, мало кто может себе такое позволить) А кто спорит с тем, что работает и без денормализации? Но как быстро работает? Наверняка были проблемы с производительностью, раз железку по спец. заказу поставили. Во сколько при этом затраты на железо возрасли? В 20-30 раз? ... |
|||
:
Нравится:
Не нравится:
|
|||
12.11.2018, 21:27 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Дмитрий Мух, сходи к грефу, скажи у вас одни дебилы, давай я вам тут все быстро денормализую и верну ваши расходы :) ... |
|||
:
Нравится:
Не нравится:
|
|||
12.11.2018, 21:28 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
ViPRosДмитрий Мух, сходи к грефу, скажи у вас одни дебилы, давай я вам тут все быстро денормализую и верну ваши расходы :) А я думаю там уже есть денормализация ... |
|||
:
Нравится:
Не нравится:
|
|||
12.11.2018, 21:30 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Или read-реплики, отдельное OLAP-хранилище, микросервисы... Что с точки зрения "Все таки денормализация довольно геморойный процесс" ещё геморройнее ... |
|||
:
Нравится:
Не нравится:
|
|||
12.11.2018, 21:37 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
skyANAAddxпропущено... Я бы не стал делать ссылки на сомнительные статьи в качестве доказательств. Информационно-аналитический центр "Инфостарт" Для автоматизации бизнеса необходима актуальная и достоверная информация. Участники нашего сообщества создают эту информацию, мы храним и систематизируем, а эксперты дают объективную оценку и рекомендации. Наша библиотека содержит самую полную информацию по автоматизации учета и управления на платформе 1С:Предприятие. Почему "Инфостар" - это сомнительный ресурс? Выглядит вроде норм. Но я в тусовке 1С не варюсь, могу и ошибаться. Я не написал "сомнительный ресурс". Я не знаю, что это за центр. Я написал про статью. Я ее прочитал и сделал выводы. После слов "... тема нормализации отношений БД в публичных источниках до сих пор не раскрыта ..." возникает некоторое недоумение. Затем следуют сентенции вида "Если обратиться к википедии, то становится ясно, что ничего не ясно.", "Не проясняет ситуацию ни яндекс, ни гугл.". Ээ ... Нет, я понимаю, что это полезные ресурсы, но мы же вроде не бухгалтеры. Вроде бы даже разработчики. Нормальные формы - это основа РСУБД, это есть в любой книге по теории реляционных баз. Автор вообще их читал? Или считает, что читатели кроме 1С и википедии ничего не видели? ... |
|||
:
Нравится:
Не нравится:
|
|||
13.11.2018, 01:08 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
SergSuper... В базе юрлиц сбербанка к примеру порядка 20-30 млн документов в день, около 3 тыс пользователей, сама база окола 100 Тб. И это работает без денормализации, во всяком случае пока. (Хотя с другой стороны там стоит железяка, сделанная по спец заказу, мало кто может себе такое позволить) А вот как устроен зоопарк Сбера, я представление имею, и про их "нормализацию" знаю. Впрочем, идея о том, что денормализация решает все проблемы с производительностью в корне неверна. Есть множество случаев, когда она очень серьезно замедляет работу. Но если брать всю систему в целом, а не отдельные блоки (там могут быть и терабайты), то денормализация необходима. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.11.2018, 01:22 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
kdv"Денормализация (англ. denormalization) — намеренное приведение структуры базы данных в состояние, не соответствующее критериям нормализации, обычно проводимое с целью ускорения операций чтения из базы за счет добавления избыточных данных." Не вижу ничего криминального, могу привести конкретный пример. ускорение операций чтения делается за счет средств самой субд, как-то матвьюхи или создания olap, все, чего достигают студенты со своей денормализацией структуры таблиц - это баги из-за избыточных данных ... |
|||
:
Нравится:
Не нравится:
|
|||
13.11.2018, 07:16 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
Дмитрий МухSergSuperВ базе юрлиц сбербанка к примеру порядка 20-30 млн документов в день, около 3 тыс пользователей, сама база окола 100 Тб. И это работает без денормализации, во всяком случае пока. (Хотя с другой стороны там стоит железяка, сделанная по спец заказу, мало кто может себе такое позволить) А кто спорит с тем, что работает и без денормализации? Но как быстро работает? Наверняка были проблемы с производительностью, раз железку по спец. заказу поставили. Во сколько при этом затраты на железо возрасли? В 20-30 раз?конечно были, но именно были, необходимая производительность обеспечивается, а победителей не судят что было бы с денормализацией и было ли что-нибудь вообще - неизвестно сравнить по объемам и функционалу эту систему с Роснефтью к сожалению не получается, поскольку вы о ней похоже не имеете представления ... |
|||
:
Нравится:
Не нравится:
|
|||
13.11.2018, 07:49 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
AddxSergSuper... В базе юрлиц сбербанка к примеру порядка 20-30 млн документов в день, около 3 тыс пользователей, сама база окола 100 Тб. И это работает без денормализации, во всяком случае пока. (Хотя с другой стороны там стоит железяка, сделанная по спец заказу, мало кто может себе такое позволить) А вот как устроен зоопарк Сбера, я представление имею, и про их "нормализацию" знаю. Впрочем, идея о том, что денормализация решает все проблемы с производительностью в корне неверна. Есть множество случаев, когда она очень серьезно замедляет работу. Но если брать всю систему в целом, а не отдельные блоки (там могут быть и терабайты), то денормализация необходима.ну что сказать, обоснованное заявление, с фактами, примерами, цифрами непонятно только к чему было спрашивать про "реальные системы без денормализации" ... |
|||
:
Нравится:
Не нравится:
|
|||
13.11.2018, 07:53 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
AddxskyANAпропущено... Информационно-аналитический центр "Инфостарт" Для автоматизации бизнеса необходима актуальная и достоверная информация. Участники нашего сообщества создают эту информацию, мы храним и систематизируем, а эксперты дают объективную оценку и рекомендации. Наша библиотека содержит самую полную информацию по автоматизации учета и управления на платформе 1С:Предприятие. Почему "Инфостар" - это сомнительный ресурс? Выглядит вроде норм. Но я в тусовке 1С не варюсь, могу и ошибаться. Я не написал "сомнительный ресурс". Я не знаю, что это за центр. Я написал про статью. Я ее прочитал и сделал выводы. После слов "... тема нормализации отношений БД в публичных источниках до сих пор не раскрыта ..." возникает некоторое недоумение. Затем следуют сентенции вида "Если обратиться к википедии, то становится ясно, что ничего не ясно.", "Не проясняет ситуацию ни яндекс, ни гугл.". Ээ ... Нет, я понимаю, что это полезные ресурсы, но мы же вроде не бухгалтеры. Вроде бы даже разработчики. Нормальные формы - это основа РСУБД, это есть в любой книге по теории реляционных баз. Автор вообще их читал? Или считает, что читатели кроме 1С и википедии ничего не видели? Вы статью-то читали дальше этих двух предложений? Автор там вообще-то раскрывает свою точку зрения. Даёт определение нормализации, нормальным формам, первичному, внешнему ключу и т.д. Приводит примеры. Вы, как знающий основы РСУБД, с каким-то из этих определений, или примеров не согласны? ... |
|||
:
Нравится:
Не нравится:
|
|||
13.11.2018, 08:37 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
SergSuperДмитрий Мухпропущено... А кто спорит с тем, что работает и без денормализации? Но как быстро работает? Наверняка были проблемы с производительностью, раз железку по спец. заказу поставили. Во сколько при этом затраты на железо возрасли? В 20-30 раз?конечно были, но именно были, необходимая производительность обеспечивается, а победителей не судят Есть у Сбера возможность вертикально масштабироваться - пусть наращивают мощности железа. Никто их за это не осудит. Понятно же, что так быстрее и проще решить проблемы производительности. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.11.2018, 08:53 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
SergSuperну что сказать, обоснованное заявление, с фактами, примерами, цифрами непонятно только к чему было спрашивать про "реальные системы без денормализации" Понимаете, системы автоматизации Сбербанка закрытые, и защищены коммерческой тайной. Мне не очень понятно, почему Вы их привели в качестве примера. Впрочем, если Вы приведете какие-то детали из этих систем, я их прокомментирую. Позиция "Там нет денормализации, а Вы раскройте документацию и докажите, что я не прав" несерьезна. Дмитрий Мух Автор там вообще-то раскрывает свою точку зрения. Даёт определение нормализации, нормальным формам, первичному, внешнему ключу и т.д. Приводит примеры. Вы, как знающий основы РСУБД, с каким-то из этих определений, или примеров не согласны? Вы хотите рецензию на статью? Так и напишите. Мне не очень понятно, почему нужно в качестве серьезных аргументов ссылаться на странные статьи, википедию, хабр, и особенно на товарища "Загугли". Если у Вас есть вопрос или Вам интересно мое мнение по какому-либо вопросу отвечу без проблем. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.11.2018, 12:06 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
AddxВы хотите рецензию на статью? Так и напишите. Мне не очень понятно, почему нужно в качестве серьезных аргументов ссылаться на странные статьи, википедию, хабр, и особенно на товарища "Загугли". Если у Вас есть вопрос или Вам интересно мое мнение по какому-либо вопросу отвечу без проблем. Вообще я хотел показать то, что в 1C используется денормализация в регистрах. И нашёл на мой взгляд хороший источник, это подтверждающий. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.11.2018, 13:18 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
skyANAВообще я хотел показать то, что в 1C используется денормализация в регистрах. И нашёл на мой взгляд хороший источник, это подтверждающий. 1. В 1С очень активно применяется и регистры, и денормализация. Давно. Сомнения не вызывает. 2. У автора нет примеров структур из 1С на уровне схем. 3. Уровень статьи очень низкий. Расчитан на абсолютных дилетантов. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.11.2018, 13:36 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
AddxПонимаете, системы автоматизации Сбербанка закрытые, и защищены коммерческой тайной. Мне не очень понятно, почему Вы их привели в качестве примера. Впрочем, если Вы приведете какие-то детали из этих систем, я их прокомментирую. Позиция "Там нет денормализации, а Вы раскройте документацию и докажите, что я не прав" несерьезна. ну какую смог такую и привел вы сможете привести пример системы с денормализацией и с документацией? доказывать я ничего не прошу, я и сам не представляю как можно доказать что в ЦФТ-Банк нет денормализации, просто поверьте как человеку 10 лет с ней работавшему единственно что я хотел сказать что системы без денормализации есть и они реальные ... |
|||
:
Нравится:
Не нравится:
|
|||
13.11.2018, 13:53 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
AddxskyANAВообще я хотел показать то, что в 1C используется денормализация в регистрах. И нашёл на мой взгляд хороший источник, это подтверждающий. 1. В 1С очень активно применяется и регистры, и денормализация. Давно. Сомнения не вызывает. Это я и хотел донести. Addx2. У автора нет примеров структур из 1С на уровне схем. 3. Уровень статьи очень низкий. Расчитан на абсолютных дилетантов. Предложите статью более высокого уровня, где есть примеры структур из 1С на уровне схем. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.11.2018, 14:27 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
SergSuperвы сможете привести пример системы с денормализацией и с документацией? Вон же он выше написал:AddxВ 1С очень активно применяется и регистры, и денормализация. Давно. Сомнения не вызывает. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.11.2018, 14:28 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
1C (есть легенда, что это означает 1 секунда) в своё время показывал неплохую скорость в отчётах за счёт использования регистров, т.е. денормализации. Много лет наблюдая за битвой программистов в бухгалтериях различных организаций, у меня сложилось впечатление, что основной проблемой, с которой обращаются матроны бухучёта к программистам можно сформулировать так: "Я занесла документ, а он не отражается в отчёте". Т.е. в какой-то момент почему-то "разбегаются" в разные стороны хвалёные регистры и первичные документы и мастерство программиста 1С под частую определяется умением привести эти регистры "в чувство". Ещё меня занимает следующий факт. Предприятие десятилетиями не расширяется, условно что двадцать лет назад, что сейчас в нём работало 350 человек, документооборот остался на прежнем уровне, ежегодное количество фактур в приблизительно 3000 штук за двадцать лет не изменилось, зарплата считается практически по тем-же алгоритмам, отчёты те-же, а компьютеры приходится обновлять чуть-ли не ежегодно, ставить раз в пять лет новый сервер, размер базы данных вырастает до десятков гигабайт, а 1С как тормозило двадцать лет назад, так и тормозит. Зачем эти регистры? Производительность современных компьютеров такова, что отчёт из 3000 фактур они "соберут" не то-что за 1 секунду, а за одну сотую секунды. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.11.2018, 16:04 |
|
Причины ненависти к языку SQL?
|
|||
---|---|---|---|
#18+
более жуткой работы с базой чем в 1С я нигде не видел, и дело не ограничивается одной денормализацией. У нас как-то IT отдел наотрез отказывался использовать SQL Server в одном из внутренних проектов по той причине, что 1С регулярно клал свой сиквел на лопатки. Они были уверены что причина была в тормознутости SQL Server... ... |
|||
:
Нравится:
Не нравится:
|
|||
14.11.2018, 08:11 |
|
|
start [/forum/topic.php?all=1&fid=35&tid=1552206]: |
0ms |
get settings: |
10ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
40ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
225ms |
get tp. blocked users: |
1ms |
others: | 266ms |
total: | 578ms |
0 / 0 |