powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Причины ненависти к языку SQL?
306 сообщений из 306, показаны все 13 страниц
Причины ненависти к языку SQL?
    #39710345
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Сам я люблю язык структурированных запросов. Но если посмотреть на то, сколько всяких технологий придумали для его замену, на то, что пропагандируют в разных книжках, создается ощущение какой то темной иррациональной ненависти к SQL.

Есть ли какие то рациональные причины?

Я вижу три возможных:
1. Реляционные БД может быть плохо сочетаются с рапараллеливанием на много компьютеров
2. ООП плохо связывается с SQL
3. Возможно считается, что среднестатистический программист настолько туп и не обладает способностями к абстрактному мышлению, что не в состоянии понять реляционную теорию, основанную на понятии множеств.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710379
Фотография SergSuper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene New,

можно пример разных книжек?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710386
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SergSuper,
Роберт Мартин, "Читая Архитектура", 2018 год. стр 170-172

Вроде человек с перфокарт начинал программировать, хотя и без особого успеха. Теперь книжки пишет, есть то хочется, я его понимаю. У него даже хватает честности признать, что ООП делается на процедурных языках со всеми его фишками.

Но на SQL его пробило. Я даже не понял, то ли он себя обманывает, то ли читателей. Суть в том, что он говорит, что решение о том, будет использоваться реляционная БД или нет надо откладывать до самого последнего момента. Приводит в пример свой проектик, который реализовал на плоских файлах.

Обман в том, что такой подход работает только если вы будете использовать реляционную базу как набор плоских файлов - то есть не будете использовать ее возможностей. Видал я в начале 2000-х такую программу - использовала Oracle, расчет зарплаты за месяц проводила за 10 часов. Но был выход - если запускать на сервере БД, то считало уже 5 часов. Потому что ребята делали это на dbf-файлах изначально и перенос на Oracel свели к запихиванию данных в таблицы в реляционной БД и полному скачиванию всей информации из них для последующей обработки. Очевидно, что все это можно было с полпинка оптимизировать до скорости в 100-1000 раз больше, если задействовать sql.

Насчет Мартина я так и не понял - то ли он действительно сам не может понять реляционные БД, то ли работает на пропаганду "линии партии".

Честно было бы сказать на его месте, что решение о использовании или неиспользовании реляционных БД принимается в самом начале. Мне, конечно, сложно представить, как можно не понимать простейших аспектов реляционной теории, но я не берусь отрицать существование таких людей.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710389
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene NewСам я люблю язык структурированных запросов. Но если посмотреть на то, сколько всяких технологий придумали для его замену, на то, что пропагандируют в разных книжках, создается ощущение какой то темной иррациональной ненависти к SQL.

Причин много. Упрощение. Некоторые узлы сложных систем после миграции
в микросервис оказались настолько простыми что им реляционная алгебра не нужна. Но хранилище
им нужно.

Еще - незаполненный сегмент в части API. Между РСУБД и файловыми библиотеками
наподобие BerkeleyDB был ваккуум. Сейчас он заполняется всякими Redis, RockDb, LevelDb,
и прочими которые уже не файло-подобные но и еще не реляционные. Ну и конечно - либеральная
лицензия.

+Нереляционные которые полезны (реально полезны) для графового поиска информации
в соц-сетях и генеалогических проектов наподобие MyHeritage. Из таких я помню есть Neo4j.

Насчет ненависти - это вы Евгений конечно перебираете. Я не знаю откуда вы черпаете информацию.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710391
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakov,
я люблю Firebird и уважаю его разработчиков! Вы совершенно напрасно думаете, что я враждебен.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710396
_nautilus_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene NewНасчет Мартина я так и не понял - то ли он действительно сам не может понять реляционные БД, то ли работает на пропаганду "линии партии".

У Теплякова можно почитать критику какой-то из книжек Мартина. Лично я не очень люблю авторов, которые книжки пишут словно рыба икру мечет. Как правило в таких случаях выше риск, что в книге будет преобладать конъюнктурная попса и автор среди прочего будет именно навязывать определенную точку зрения.

Eugene NewЕсть ли какие то рациональные причины?

С одной стороны как ни странно не все умеют работать. Встречал случаи, когда люди на полном серьезе тащили все на клиента и уже там в разбирали во вложенных циклах. С другой стороны как выше написали тенденция к упрощению и сокращению - объективный фактор. Не случайно в этой связи появление того же node, чисто ради того, чтобы и на клиенте и на сервере был один js.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710399
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene NewВидал я в начале 2000-х такую программу - использовала Oracle, расчет зарплаты за месяц проводила за 10 часов. Но был выход - если запускать на сервере БД, то считало уже 5 часов. Потому что ребята делали это на dbf-файлах изначально и перенос на Oracel свели к запихиванию данных в таблицы в реляционной БД и полному скачиванию всей информации из них для последующей обработки. Очевидно, что все это можно было с полпинка оптимизировать до скорости в 100-1000 раз больше, если задействовать sql.
Тут все от задачи зависит.

Если она - из области distributed computing то может и лучше ее считать распределённо а потом сливать "ручейки
информации" в единый хост-хранилище отчотов. Вобще как говорят it depends.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710401
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
_nautilus_У Теплякова можно почитать критику какой-то из книжек Мартина. Лично я не очень люблю авторов, которые книжки пишут словно рыба икру мечет. Как правило в таких случаях выше риск, что в книге будет преобладать конъюнктурная попса и автор среди прочего будет именно навязывать определенную точку зрения.

На миг сложилось впечатление что мы "Пастернака" осуждаем по линии партии даже нечитая ...

А Мартин написал всего-то 5-6 книг (по разным источникам).
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710403
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sql это просто реляционная алгебра.

математику ненавидят двоечники, которые ее не понимают
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710408
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene NewОбман в том, что такой подход работает только если вы будете использовать реляционную базу как набор плоских файлов - то есть не будете использовать ее возможностей.
обман в том, что оперирование множествами, и язык SQL это круто, но без индексов и прочих ухищрений по оптимизации всё это не будет работать быстро.
Может поэтому авторов типа Мартина плющит - хотели пулю из серебра, а получили из г.
Тем не менее, эта, даже говённая пуля, всё равно работает.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710420
booby
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene New... Суть в том, что он говорит, что решение о том, будет использоваться реляционная БД или нет надо откладывать до самого последнего момента.
...

Тони Хоар, соизобретатель "структурного программирования" как подхода к проектированию
программ, и соавтор с Далом и Дейкстрой сборника статей "Структурное программирование",
где-то давал комментарий к первой статье в сборнике, в которой Дейкстра рассказывает,
среди прочего, как он учит своих студентов программированию "сверху-вниз".
Хоар высказался в таком духе: это очень здорово, но этому нельзя учить начинающих.
Начинающие не знают, где у программы верх.

Книжек по архитектуре программного обеспечения раньше какого-то момента тоже читать нежелательно.
Начинающий просто не поймет смысла написанного и превратит его в ненависть.

О существе архитектуры вообще и программной архитектуры в частности, имхо,
красочнее всех высказался Фредерик Брукс, примерно так (точную цитату искать не буду):
- архитектура, это то, обо что вы спотыкаетесь, когда ночью бредете в туалет.
Если оно не может быть отодвинуто, так, чтобы следующей ночью не спотыкаться,
то это и является архитектурой.

"Суть" же дела в определении того, что такое система, как проходит её границы,
представляет она собой монолит - единственное знание, или набор взаимодействующих систем-построек.
Умение строить свое здание так, чтобы при определенном взгляде,
оно виделось как цельное и уметь при этом отложить целую часть вопросов на потом,
это и есть умение проектировать независимое здание с учетом возможности его вписывания в изменяемую инфраструктуру..
Это искусство изолирования, модуляризации, стремящейся к достижению цельности конкретного строения.

Eugene NewЧестно было бы сказать на его месте, что решение о использовании или неиспользовании реляционных БД принимается в самом начале....
Это решение возможно.
И в целом наборе обстоятельств - умно.
Оно предопределяет существенные элементы архитектуры.

Но, если окажется в недостаточной степени изолированным и понятым буквально,
то, может оказаться, что приводит к решению, в котором ночью ходить никуда и не надо,
поскольку любая точка в здании может быть использована в качестве туалета.
Не нужно даже включать свет.
Просто делай то, что тебе требуется, там, где стоишь, или лежишь.

Пристроить туалет к этому впоследствии возможно,
а заставить жителей этого дома им пользоваться в обязательном порядке - никто не обещал, что может получиться.

Существо архитектуры - в стенах, дверях и коридорах.
Автор всего лишь говорит, что твоя обязанность - запланировать наличие коридора.
А какой лампочкой ты будешь его освещать - это можно решать потом.
Как-то так.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710426
_nautilus_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonНа миг сложилось впечатление

И правильно, что миг, ведь я писал про принцип отбора, а не про то, что конкретно Мартин какой-то не такой.

boobyУмение строить свое здание так, чтобы при определенном взгляде, оно виделось как цельное и уметь при этом отложить целую часть вопросов на потом, это и есть умение проектировать независимое здание с учетом возможности его вписывания в изменяемую инфраструктуру..

Хорошо сказано.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710431
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Аналогии с архитектурой хромают, как и с любым объектом из реального мира, т. к. программирование совмещает в себе проектирование и реализацию. Никто не строит здание так, чтобы переносить после постройки капитальные стены и менять этажность, никто не начинает строительство, понятия не имея, что это будет за здание и для чего оно будет использоваться и никто не меняет проект, когда построена уже половина здания.

Не хотелось бы уходить слишком далеко от темы.

Вот, например, LinkQ - зачем его сделали вообще? Они что то упростили этим, заставив изучать новый язык запросов?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710432
booby
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene NewАналогии с архитектурой хромают, как и ...

вот и не надо судить о любви и ненависти к sql, читая книжки по архитектуре.
Просто не читайте пока таких книжек.

Eugene NewВот, например, LinkQ - зачем его сделали вообще? Они что то упростили этим, заставив изучать новый язык запросов?

можно было бы предложить почитать вот это, 2006 год.

http://blogs.tedneward.com/post/the-vietnam-of-computer-science/

на хабре есть русский перевод.

Сыылка здесь не потому, что вы обязательно прямо сейчас поймете, о чем этот текст в точности.

Но может быть, потом, когда-нибудь, вспомните, что ссылку вам давали в связи с вопросом - что могло мотивировать создателей linq
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710437
booby
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene New...
Никто не строит здание так, чтобы переносить после постройки капитальные стены и менять этажность...

Это не значит, что архитектурные аналогии не работают или не на ту ногу хромают.
Это всего лишь значит, что хорошие программы не пишутся с первого раза ,
даже если их архитектура тщательно продумывалась.

Брукс считает, что о "хорошести" программы можно судить не раньше, чем после третьего переписывания.
Правда, состоит в том, что количество переписываний предсказать нельзя.

Выделенный тезис - самое сакральное знание о программировании.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710439
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
booby,
сколько таинственности :-) знаю я про ORM и упомянул об этом в п. 2.
по мне так если ООП плохо сочетается с реляционными БД, которые прекрасно подходят для хранения данных, то горе ООП, а не реляционным БД.

пусть меня поправят, если я ошибаюсь, но
linq же не ORM, а именно язык запросов на замену sql. Entity Framework - ORM.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710442
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А если linkq лучше для использования с ORM - то чем?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710479
schi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710550
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene NewА если linkqКогда я был маленький, то некоторое время упорно читал неандреталец, но, всё-таки, исправился.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710573
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
во первых не стоит смешивать теплое и мягкое: язык sql с реляционными базами. sql и поверх плоских файликов вполне работает.
во вторых реально существует огромный пласт задач где вполне оправдан отказ от полноценной реляционной базы. начиная с сайтиков-форумов, заканчивая бигдата задачами, которые зачастую на файликах поверх hdfs делают. как я понимаю микросервисы с идеологией отдельной базы будут под документо-ориентированные субд перетягивать одеяло. так что прототип на файлике вполне оправдан.
что касается sql, то пакость застыла в развитии и 10-15 лет никакого развития. если так пойдет и дальше, новомодные фреймворки и его начнут массово вытеснять. spark хорошо продвинулся в плане скрещивания декларативной и процедурной части языка, тогда как у sql по прежнему между декларативной и процедурным "расширением" пропасть и похоже что-то в там развивать уже никто не будет.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710588
Котовасия
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Мартин считает разработчиков в массе своей тупыми обезьянами, неспособными освоить sql:

http://www.ooart.ru/uploads/book/arhitektura_korporativnyh_programmnyh_prilozhenij_fauler_m.pdf

Товарищ Многие разработчики просто не владеют SQL и потому, пытаясь сформулировать эффективные запросы и команды, сталкиваются с проблемами. Помимо того, все без исключения технологии внедрения предложений SQL в код на языке программирования общего назначения страдают теми или иными изъянами. (Безусловно, было бы лучше осуществлять доступ к содержимому базы данных с помощью неких механизмов уровня языка разработки приложения.) А администраторы баз данных хотели бы уяснить нюансы обработки SQL-выражений, чтобы иметь возможность их оптимизировать.
По этим причинам разумнее обособить код SQL от бизнес - логики, разместив его в специальных классах.

Возможно, с точки зрения принципов построения ККЭ (красного кровавого энтерпрайза) Мартин прав: работаем с теми людьми, какие есть.
Вот и вся интрига.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710592
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1,
sql и поверх плоских файликов вполне работает.
Это всего лишь значит, что вы используете набор плоских файлоков как реляционную БД.

астыла в развитии и 10-15 лет никакого развития
А сейчас все в программировании застыло. Разве что велосипеды по новому открывают. Берут то, что придумано в 1970-х и выдают за новейший технологический прорыв.

пакость
А лично вы почему ненавидите SQL? У вас трудности с пониманием математических абстракций?

spark хорошо продвинулся в плане скрещивани
spark всего лишь очередная библиотека, которая, кстати, использует SQL
--
Котовасия,
озможно, с точки зрения принципов построения ККЭ (красного кровавого энтерпрайза) Мартин прав: работаем с теми людьми, какие есть.
Есть же еще люди с нормальными способностями. Выходит, что они дебилов отбирают специально. А дебилы ведь все равно ничего хорошего не сделают..
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710594
Котовасия
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene New>Есть же еще люди с нормальными способностями
Мало, судя по всему.
Еще раз: речь об ККЭ, тут не до примадонн, тут массовое производство, где незаменимым не место. Для того и RUP, Agile, и зубрежка шаблонов проектирования и ORM.

Подход вполне оправдан при определенных масштабах производства.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710597
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1что касается sql, то пакость застыла в развитии и 10-15 лет никакого развития. если так пойдет и дальше, новомодные фреймворки и его начнут массово вытеснять. spark хорошо продвинулся в плане скрещивания декларативной и процедурной части языка, тогда как у sql по прежнему между декларативной и процедурным "расширением" пропасть и похоже что-то в там развивать уже никто не будет.
Куда вы хотите его развивать?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710599
Котовасия
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonH5N1что касается sql, то пакость застыла в развитии и 10-15 лет никакого развития. если так пойдет и дальше, новомодные фреймворки и его начнут массово вытеснять. spark хорошо продвинулся в плане скрещивания декларативной и процедурной части языка, тогда как у sql по прежнему между декларативной и процедурным "расширением" пропасть и похоже что-то в там развивать уже никто не будет.
Куда вы хотите его развивать?
Хочется императивности, вместо "селект ... фром ... вэрэ..." чтобы "for (int i = 1...,", как у пацанов из одинэс... ;)
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710602
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Котовасия,
речь об ККЭ, тут не до примадонн, тут массовое производство, где незаменимым не место.

Можно подумать понимание элементарных понятий теории множеств это нечто экстраординарное. Можно подумать не выпускаются толпы инженеров, которые вообще то в любом случае должны знать начала высшей математики - то есть преодолеть этот "страшный барьер", какая бы инженерная специальность у них ни была. Таких людей очень много.

массовое производство
Скорее уж массовое проектирование, т. к. программа это проект, а производство это запуск компилятора и копирование готовых файлов.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710605
Котовасия
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene New,

не понимаю, в чем смысл спора.
Ты задал вопрос: "почему Фаулер <блаблабла>".
Я ответил: "возможно, потому, что он считает <блаблабла>" и привел цитату из его книжки.
А ты начинаешь возражать.
Ты меня с Фаулером отождествляешь, что ли?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710607
Котовасия
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene New,

ой, извини.
Ты про одного, я - про другого...
Но я с тобой в общем согласен, все равно.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710610
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Котовасия,
не понимаю, в чем смысл спора.
Всего лишь на "это оправдано" возражаю. Но вы правы, дальнейший спор бессмыслен.

Фаулер
У них куча этих Мартинов и Фаулеров, причем Мартин то имя, то фамилия..
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710616
Очень лысый
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Мне кажется, что вопрос ненависти к SQL как языку вещь надуманная. Мало того, некоторые "NoSQL" решения к нему возвращаются. Опять таки, "NoSQL" это не очень удачный термин. Здесь речь идёт скорее о том, что для хранения и обработки данных используются нереляционные движки. Причины, почему их придумывают и пользуют - самые разные. Либо это специализированное хранилище чего либо, типа key-value, либо отказываются от каких-то принципов RDBMS, например, целостности и т.п. там, где они не особо важны, для более высокой производительности и масштабируемости.
Вообще должен заметить, что RDBMS и SQL живее всех живых и как использовались для определённого класса задач, так и продолжают использоваться. Другое дело, что появилась куча областей, где "NoSQL" решения стали альтернативой для RDBMS.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710617
Котовасия
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene New...
Фаулер
У них куча этих Мартинов и Фаулеров, причем Мартин то имя, то фамилия..
Есть люди, осилившие Д.Кнута. А есть - читавшие Фаулеров. Как-то получается, что эти читатели - чаде всего разные люди.
Это в дополнение к
авторМожно подумать понимание элементарных понятий теории множеств это нечто экстраординарное.
Не трать время на фаулеров и прочий околоайтишный менеджмент.
Разве в случае интереса к теме "как быстро заставить работать толпу обезьян".
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710630
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
отказываются от каких-то принципов RDBMS, например, целостности

Уж не связаны ли массовые жалобы на списания с давно закрытых карт Сбербанка с отказом от целостности данных?
Ну вроде того, что человек три года назад закрыл карту, 10 раз сходит в Сбербанк и ему подтвердили, что карта закрыта, а потом у него образовался долг за обслуживание "закрытой карты".
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710695
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
КотовасияEugene New...
пропущено...

У них куча этих Мартинов и Фаулеров, причем Мартин то имя, то фамилия..
Есть люди, осилившие Д.Кнута. А есть - читавшие Фаулеров. Как-то получается, что эти читатели - чаде всего разные люди.
Это в дополнение к
авторМожно подумать понимание элементарных понятий теории множеств это нечто экстраординарное.
Не трать время на фаулеров и прочий околоайтишный менеджмент.
Разве в случае интереса к теме "как быстро заставить работать толпу обезьян".
Думаешь на одном Дональде Кнуте выехать? Инженерия софтверных знаний - более широка...
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710696
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Очень лысыйМне кажется, что вопрос ненависти к SQL как языку вещь надуманная. Мало того, некоторые "NoSQL" решения к нему возвращаются. Опять таки, "NoSQL" это не очень удачный термин. Здесь речь идёт скорее о том, что для хранения и обработки данных используются нереляционные движки. Причины, почему их придумывают и пользуют - самые разные. Либо это специализированное хранилище чего либо, типа key-value, либо отказываются от каких-то принципов RDBMS, например, целостности и т.п. там, где они не особо важны, для более высокой производительности и масштабируемости.
Вообще должен заметить, что RDBMS и SQL живее всех живых и как использовались для определённого класса задач, так и продолжают использоваться. Другое дело, что появилась куча областей, где "NoSQL" решения стали альтернативой для RDBMS.
Я думаю что идёт от современного прототипирования. Если вы - Java разработчик и на стартапе - то вам
в качестве DBMS конечно можете поднимать и конфигурить Постргре или Мискль. Но когда
вы решаете о том что вам взять в качестве storage layer (я-то знаю я там был) для простого микросервиса то оказывается
что вам ничего не стоит добавить в maven depencencies LevelDb, или RockDb. Эти штуки - бесплатны.
Хранят данные на диске как key-value. Работают очень быстро. Некоторые из них уже соптимизированы
под SSD.

А дальше - пошло-поехало. Прототип работает. Хранилище работает. Зачем его мигрировать в БД. Какие justifications?
SQL-запросы? О чем вы? Нет их там. Такой он Микросервис.

Вот так. Прототипы часто выползают из недр вашего ноутбука. С ноутбучными storage-layers.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710704
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,
Думаешь на одном Дональде Кнуте выехать
"Кнут" сидит внутри LevelDb :-) LSM-деревья.

Очень уж громкие названия у этих библиотек для решаемой задачи.
И что потом с этими данными от микросервисов происходит? Они как-нибудь обрабатываются? Или это просто временные таблицы?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710711
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene New"Кнут" сидит внутри LevelDb :-) LSM-деревья... а Ом, Вольта и Ампер - внутри каждого электрика.
А ещё у каждого айтишника есть Бор, Гейзенберг, Ферми и Бозе - куда же нам без квантовой механики.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710714
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Basil A. Sidorov,
айтишника

Неприличными словами не выражаться! (с)
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710732
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene Newmayton,
Думаешь на одном Дональде Кнуте выехать
"Кнут" сидит внутри LevelDb :-) LSM-деревья.

Очень уж громкие названия у этих библиотек для решаемой задачи.
И что потом с этими данными от микросервисов происходит? Они как-нибудь обрабатываются? Или это просто временные таблицы?
А как обрабатываются данные в RDBMS ?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710744
Котовасия
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonКотовасияпропущено...

Есть люди, осилившие Д.Кнута. А есть - читавшие Фаулеров. Как-то получается, что эти читатели - чаде всего разные люди.
Это в дополнение к
пропущено...

Не трать время на фаулеров и прочий околоайтишный менеджмент.
Разве в случае интереса к теме "как быстро заставить работать толпу обезьян".
Думаешь на одном Дональде Кнуте выехать? Инженерия софтверных знаний - более широка...
Я как раз об обратном: начитаются одних лишь Фаулеров, и воображают себя архитекторами.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710751
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene Newsql и поверх плоских файликов вполне работает.
Это всего лишь значит, что вы используете набор плоских файлоков как реляционную БД.

пакость
А лично вы почему ненавидите SQL? У вас трудности с пониманием математических абстракций?

я не ненавижу ламеров, без опыта но с гонором. а SQL я люблю использовать там где он хорошо подходит и не одну сотню ламеров размазал тут на тему SQL за последние 15 лет.

spark хорошо продвинулся в плане скрещивани
spark всего лишь очередная библиотека, которая, кстати, использует SQL

это ты очередная блондинка без базовых знаний, в спарке же sql лишь один из диалектов прислонненый сбоку. основной синтаксис там в совершенно ином стиле

Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
        Dataset<Row> outputTable = table1Ds
                .filter(table1Ds.col(Table1.Table1_ID).equalTo(Table1Id))
                .join(table2Ds,
                        Table2sDs.col(Table2.Table1_ID).equalTo(table1Ds.col(Table1.Table1_ID))
                        , "left_outer"
                )
                .select(
                        table1Ds.col(Table1.ID),
                        Table2sDs.col(Table2.START_DATE),
                        functions.lit("").as("end_date"),
                        functions.when(Table2sDs.col(Table2.FIELD1).equalTo("MISSING"), null).otherwise(Table2sDs.col(Table2.FIELD1)),
                        ).as(Encoders.bean(MyMegaClass.class)));



если SQL не вернеться из комы эта хрень вытеснит SQL повсеместно
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710752
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene Newпакость
А лично вы почему ненавидите SQL? У вас трудности с пониманием математических абстракций?


я не ненавижу ламеров, без опыта но с гонором. а SQL я люблю использовать там где он хорошо подходит и не одну сотню ламеров размазал тут на тему SQL за последние 15 лет.

Eugene Newspark хорошо продвинулся в плане скрещивани
spark всего лишь очередная библиотека, которая, кстати, использует SQL

это ты очередная блондинка без базовых знаний, в спарке же sql лишь один из диалектов прислонненый сбоку. основной синтаксис там в совершенно ином стиле

Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
        Dataset<Row> outputTable = table1Ds
                .filter(table1Ds.col(Table1.Table1_ID).equalTo(Table1Id))
                .join(table2Ds,
                        Table2sDs.col(Table2.Table1_ID).equalTo(table1Ds.col(Table1.Table1_ID))
                        , "left_outer"
                )
                .select(
                        table1Ds.col(Table1.ID),
                        Table2sDs.col(Table2.START_DATE),
                        functions.lit("").as("end_date"),
                        functions.when(Table2sDs.col(Table2.FIELD1).equalTo("MISSING"), null).otherwise(Table2sDs.col(Table2.FIELD1)),
                        ).as(Encoders.bean(MyMegaClass.class)));



если SQL не вернеться из комы эта хрень вытеснит SQL повсеместно
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710764
tunknown
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene Newиррациональной ненависти к SQL.

Есть ли какие то рациональные причины?Возможно, причины психологические.
Императивное проще понять, чем декларативное . Если человека со школы учить императивному, то для принятия декларативного ему нужно подняться над собой. Это всегда тяжело.
Возможна связь с иллюзией контроля .

В любом случае- всё вырождается в жонглирование костылями, которое удобнее реализовать императивно, а при декларативном подходе оно слишком бросается в глаза.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710770
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1если SQL не вернеться из комы эта хрень вытеснит SQL повсеместно

Субъективно.. пока его знания спрашивают на собеседованиях - он будет нужен.
Если вдруг (внезапно) тех лид говорит что ... "тэээкс... тут дальше идут вопросики
по SQL но мы их поскипаем ибо нету на проекте" то такова селяви и надо либо
менять проект либо согласится с тем что SQL действительно не будет.

От себя

Добавлю некоторые поинты в плюс SQL

1) SQL достаточно лаконичен в описании отчотов. CriteriaAPI, SparkAPI это все таки решения
библиотечные построенные поверх языков носителей Java/Scala и обладающие определенным
техническим балластом. Вы не можете написать запрос пока не выучите язык-носитель.

2) Опирается на математический аппарат алгебры множеств. Это дает неоспоримое диалектическое
преимущество в спорах с NoSQL концепциями у которых этого аппарата нет либо он - какой-то
рудимент сбоку и прочие нюансы (не поддерживает NULL) или вообще не может сделать
срез по атрибуту который не индексирован (Cassandra).

3) Изменяется редко. ЕМНИП (Ansi-SQL92 хотя и протух но еще в деле). И хотя некий неведомый
консорциум клепает новые SQL-2003,2006,2008 объективно

4) Его можно использовать как некую средневековую "латынь" при описании схем (DDL). Даже
если гипотетически представить что SQL уже умер все равно нужен аппарат чтобы
сказать create enitity(int id); e.t.c.

5) Генерализирует многие типы-синонимы.

6) Сами по себе реляционные DBMS как правило содержат некий мета-уровень который описывает
служебные объекты схемы (индексы процедуры триггеры) и удобен для передачи знаний
по новому бизнес-домену. Грубо говоря мне достаточно 10-15 минут чтобы понять что данная
ЦРМ-ка состоит из 15 табличек с такими-то такими-то связями и индексирована так-то
и так-то.

Ничего подобного в NoSQL я не встречал. Там с этим очень плохо. Мрак и печаль. И если
у вас нет исходного кода от бизнес приложения которое работает с этой NoSQL dbms
то нифига вы там не найдете (прим: MongoDb). Не сможете оперативно ответить на вопрос - а какие
собсно бизнес объекты там лежат. Мдя...
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710805
Фотография Megabyte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1
если SQL не вернеться из комы эта хрень вытеснит SQL повсеместно
Периодически звучат такие прогнозы о каком-либо продукте.
автор"А воз и ныне там..." (с)
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710806
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonСубъективно.. пока его знания спрашивают на собеседованиях - он будет нужен.
Если вдруг (внезапно) тех лид говорит что ... "тэээкс... тут дальше идут вопросики
по SQL но мы их поскипаем ибо нету на проекте" то такова селяви и надо либо
менять проект либо согласится с тем что SQL действительно не будет.

чихать на менеджеров. некоторые конструкции у этой фигни короче, меньше технического мусора. спайка декларативной конструкции и итеративной местами элегантней. вот если бы оно еще работало ... там проблема в том что синтаксис удобен, но работает через раз. но эта хрень развивается, а sql уже в коме

mayton1) SQL достаточно лаконичен в описании отчотов. CriteriaAPI, SparkAPI это все таки решения
библиотечные построенные поверх языков носителей Java/Scala и обладающие определенным
техническим балластом. Вы не можете написать запрос пока не выучите язык-носитель.

ориентироваться на самых тупых это стиль майкрософт. ничего хорошего майкрософт ориентируясь на самых тупых не выжали.
сложные манипуляции с данными проводят всякие дата сайнтисты, собственно от них и их питона этот синтаксис с датафреймами в спарк и пришел. студенты вполне питоновский схватывают и студенческим нулям зачастую проще один питоновский синтаксис освоить, чем еще и sql.

mayton6) Сами по себе реляционные DBMS как правило содержат некий мета-уровень который описывает
служебные объекты схемы (индексы процедуры триггеры) и удобен для передачи знаний
по новому бизнес-домену. Грубо говоря мне достаточно 10-15 минут чтобы понять что данная
ЦРМ-ка состоит из 15 табличек с такими-то такими-то связями и индексирована так-то
и так-то.

Ничего подобного в NoSQL я не встречал. Там с этим очень плохо. Мрак и печаль. И если
у вас нет исходного кода от бизнес приложения которое работает с этой NoSQL dbms
то нифига вы там не найдете (прим: MongoDb). Не сможете оперативно ответить на вопрос - а какие
собсно бизнес объекты там лежат. Мдя...
просто они смотрят не таблицы, а DAO объекты. у них то все от кода пляшет, а не данных
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710810
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1если SQL не вернеться из комы эта хрень вытеснит SQL повсеместно

не увидел ничего нового в этой твоей хрени. При обращении к реляционным СУБД вся эта Linq подобная фигня один фиг генерирует SQL запрос и отправляет его на сервер. При обращении к не реляционным делает это иначе. Просто обобщённый интерфейс для написания запросов непосредственно на том языке в котором программируешь вместо составления строковой переменной напрямую. Удобно? Да. Но ничего нового в этом нет.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710847
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов Денисне увидел ничего нового в этой твоей хрени. При обращении к реляционным СУБД вся эта Linq подобная фигня один фиг генерирует SQL запрос и отправляет его на сервер. При обращении к не реляционным делает это иначе. Просто обобщённый интерфейс для написания запросов непосредственно на том языке в котором программируешь вместо составления строковой переменной напрямую. Удобно? Да. Но ничего нового в этом нет.
ничего не знаю про linq, но толку от него если он это в sql превращает, отправляет на сервер, копирует по медленному интерфейсу данные, кастит ? мой пример выполниться в том же jvm процессе, прямо над структурами датафрейма. никто никуда перекачивать данные не будет.
кроме этого трансляция в sql говорит о том что записать развесистый объект, полученный к примеру от ML либы в поле уже не выйдет, в колонках только примитивные типы. верно?
вобщем трансляция может внешне выглядит похоже, но под капотом выглядит совершенно иначе.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710918
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene NewСам я люблю язык структурированных запросов. Но если посмотреть на то, сколько всяких технологий придумали для его замену, на то, что пропагандируют в разных книжках, создается ощущение какой то темной иррациональной ненависти к SQL.

Есть ли какие то рациональные причины?

Я вижу три возможных:
1. Реляционные БД может быть плохо сочетаются с рапараллеливанием на много компьютеров
2. ООП плохо связывается с SQL
3. Возможно считается, что среднестатистический программист настолько туп и не обладает способностями к абстрактному мышлению, что не в состоянии понять реляционную теорию, основанную на понятии множеств.


Все просто.
Не осилили.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710919
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene New,

Ну да, вот, 3;е

Возможно считается, что среднестатистический программист настолько туп и не обладает способностями к абстрактному мышлению, что не в состоянии понять реляционную теорию, основанную на понятии множеств.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710924
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene NewSergSuper,
Роберт Мартин, "Читая Архитектура", 2018 год. стр 170-172

Вроде человек с перфокарт начинал программировать, хотя и без особого успеха. Теперь книжки пишет, есть то хочется, я его понимаю. У него даже хватает честности признать, что ООП делается на процедурных языках со всеми его фишками.

Но на SQL его пробило. Я даже не понял, то ли он себя обманывает, то ли читателей. Суть в том, что он говорит, что решение о том, будет использоваться реляционная БД или нет надо откладывать до самого последнего момента. Приводит в пример свой проектик, который реализовал на плоских файлах.

Обман в том, что такой подход работает только если вы будете использовать реляционную базу как набор плоских файлов - то есть не будете использовать ее возможностей. Видал я в начале 2000-х такую программу - использовала Oracle, расчет зарплаты за месяц проводила за 10 часов. Но был выход - если запускать на сервере БД, то считало уже 5 часов. Потому что ребята делали это на dbf-файлах изначально и перенос на Oracel свели к запихиванию данных в таблицы в реляционной БД и полному скачиванию всей информации из них для последующей обработки. Очевидно, что все это можно было с полпинка оптимизировать до скорости в 100-1000 раз больше, если задействовать sql.

Насчет Мартина я так и не понял - то ли он действительно сам не может понять реляционные БД, то ли работает на пропаганду "линии партии".

Честно было бы сказать на его месте, что решение о использовании или неиспользовании реляционных БД принимается в самом начале. Мне, конечно, сложно представить, как можно не понимать простейших аспектов реляционной теории, но я не берусь отрицать существование таких людей.


Очевидно же.
Человек-дурак написал книгу не чтобы стали, а чтобы написать.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710928
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
MasterZivEugene NewСам я люблю язык структурированных запросов. Но если посмотреть на то, сколько всяких технологий придумали для его замену, на то, что пропагандируют в разных книжках, создается ощущение какой то темной иррациональной ненависти к SQL.

Есть ли какие то рациональные причины?

Я вижу три возможных:
1. Реляционные БД может быть плохо сочетаются с рапараллеливанием на много компьютеров
2. ООП плохо связывается с SQL
3. Возможно считается, что среднестатистический программист настолько туп и не обладает способностями к абстрактному мышлению, что не в состоянии понять реляционную теорию, основанную на понятии множеств.


Все просто.
Не осилили.
А есть причина номер 4.

Вот Вы хороший программист. Очень хороший программист. Гениальный программист. И хотите войти в историю. Но SQL уже написали.
Тогда Вы изобретаете noSQL, делаете новую БД, какую-нибудь Кассандру или Монго, говорите всем, что это та самая серебряная пуля, "о которой столько говорили большевики", Вас носят на руках, приглашают на конференции, везде почет и уважение.

Потом Вас начнут опровергать сторонники SQL, находить в Вашей базе изьяны, но к этому времени у Вас будет целая армия поклонников, которым надоело учить одно и то же, а тут новая технология, непонятная, можно выучить новый глоссарий и сверкать своим образованием, показывая, как такой новый адепт разбирается в мельчайших нюансах IT.

И вот Вы почиваете на лаврах, Вы можете пить пиво за одним столом с основателем противоположной методы или языка, а в интернете за Вашей спиной адепты скрещивают мечи в жарких спорах - "что лучше, C# или Java", "что лучше, SQL или noSQL". А Вы отдыхаете от трудов и остаетесь в памяти благодарных потомков как человек, который продвинул IT еще дальше в пропасть в светлое будущее.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710930
Котовасия
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
MasterZivEugene New,

Ну да, вот, 3;е

Возможно считается, что среднестатистический программист настолько туп и не обладает способностями к абстрактному мышлению, что не в состоянии понять реляционную теорию, основанную на понятии множеств.
Об этом и пишут, я выше цитату приводил.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710954
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andy_OLAPВот Вы хороший программист. Очень хороший программист. Гениальный программист. И хотите войти в историю. Но SQL уже написали.
Тогда Вы изобретаете noSQL, делаете новую БД, какую-нибудь Кассандру или Монго, говорите всем, что это та самая серебряная пуля, "о которой столько говорили большевики", Вас носят на руках, приглашают на конференции, везде почет и уважение.

Потом Вас начнут опровергать сторонники SQL, находить в Вашей базе изьяны, но к этому времени у Вас будет целая армия поклонников, которым надоело учить одно и то же, а тут новая технология, непонятная, можно выучить новый глоссарий и сверкать своим образованием, показывая, как такой новый адепт разбирается в мельчайших нюансах IT.

И вот Вы почиваете на лаврах, Вы можете пить пиво за одним столом с основателем противоположной методы или языка, а в интернете за Вашей спиной адепты скрещивают мечи в жарких спорах - "что лучше, C# или Java", "что лучше, SQL или noSQL". А Вы отдыхаете от трудов и остаетесь в памяти благодарных потомков как человек, который продвинул IT еще дальше в пропасть в светлое будущее.
NoSQL никто не изобретал. Тоесть нам сложно в истории развития It обозначить персону-создателя.
Это как с дифференциальным исчислением. Толи Ньютон. Толи Лейбниц. А может они вместе.
А может оно (счисление) уже давно витало в воздухе и некоторые физики средневековья
втихаря им пользовались. Просто не называли его громкими словами.

Изобретение "витает" в воздухе за несколько лет.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39710957
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
КотовасияMasterZivEugene New,

Ну да, вот, 3;е

Возможно считается, что среднестатистический программист настолько туп и не обладает способностями к абстрактному мышлению, что не в состоянии понять реляционную теорию, основанную на понятии множеств.
Об этом и пишут, я выше цитату приводил.
Ему это все не надо. Ему надо закрывать баги, юзер-стори, и спринты. Итеративный подход. Гибкие методологии
всё разрулят. Об этом в смежном топике схлестнулись в смертельной схватке несколько ораторов.

Этот итеративный подход может деморализовать любого. К чему скажите вообще весь пласт знаний?
Фигачь спринты! И ублажай кастомера.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711090
казинак
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
есть две причины избегать sql:
1)Все должно быть в ООП!!!!
2)Независимость от конкретной бд!

отсюда ОРМ linq jpql и др
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711128
tunknown
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
казинакесть две причины избегать sql:
1)Все должно быть в ООП!!!!Последнее время всё больше людей сомневаются в тотальной полезности ООП.

казинак2)Независимость от конкретной бд!

отсюда ОРМ linq jpql и дрМне всегда было интересно, часто ли потенциальная кросс-платформенность реализовывалась или чаще оставалось для галочки.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711129
egorych
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonЕму это все не надо. Ему надо закрывать баги, юзер-стори, и спринты. Итеративный подход. Гибкие методологии
всё разрулят. Об этом в смежном топике схлестнулись в смертельной схватке несколько ораторов.

Этот итеративный подход может деморализовать любого. К чему скажите вообще весь пласт знаний?
Фигачь спринты! И ублажай кастомера.осталось понять, чем SQL мешает фигачить спринты))
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711142
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
egorychосталось понять, чем SQL мешает фигачить спринты))Преферанс - отстой ... А в очко - думать надо, шанс считать
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711187
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1Eugene Newпропущено...

А лично вы почему ненавидите SQL? У вас трудности с пониманием математических абстракций?


я не ненавижу ламеров, без опыта но с гонором. а SQL я люблю использовать там где он хорошо подходит и не одну сотню ламеров размазал тут на тему SQL за последние 15 лет.

Eugene Newпропущено...

spark всего лишь очередная библиотека, которая, кстати, использует SQL

это ты очередная блондинка без базовых знаний, в спарке же sql лишь один из диалектов прислонненый сбоку. основной синтаксис там в совершенно ином стиле

Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
        Dataset<Row> outputTable = table1Ds
                .filter(table1Ds.col(Table1.Table1_ID).equalTo(Table1Id))
                .join(table2Ds,
                        Table2sDs.col(Table2.Table1_ID).equalTo(table1Ds.col(Table1.Table1_ID))
                        , "left_outer"
                )
                .select(
                        table1Ds.col(Table1.ID),
                        Table2sDs.col(Table2.START_DATE),
                        functions.lit("").as("end_date"),
                        functions.when(Table2sDs.col(Table2.FIELD1).equalTo("MISSING"), null).otherwise(Table2sDs.col(Table2.FIELD1)),
                        ).as(Encoders.bean(MyMegaClass.class)));



если SQL не вернеться из комы эта хрень вытеснит SQL повсеместноЙо, именно этот пример плохой, он абсолютно ничем не лучше SQL


mayton, внезапно внутри любого SQL-движка живет кей-валуэ хранилище и циклы для джойнов :ohno:
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711235
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
эта хрень вытеснит SQL повсеместно

Это типа темным людям без образования вроде H5N1 так понятнее, чем просто написать

select .. where ..
?

некоторые конструкции у этой фигни короче, меньше технического мусора

То, что ты написал, на 90% состоит из мусора.

ориентироваться на самых тупых это стиль майкрософт.
На таких как ты:)

никто никуда перекачивать данные не будет.

То есть ты ошибочно думаешь, что эта хренотень не для хранения данных, которые потом придется массово обрабатывать. А для какой то локальной временной фигни. Ну так назначение SQL - обрабатывать гигантские объемы данных, а не микро-не-пойми-что, для которого и механизмов то специальных не надо. Для микро-не-пойми-чего ничего вообще не надо, делай хоть левой ногой через правое ухо.

Ты вообще не понимаешь смысла своего spark-а, как библиотеки. Смысл этой фигни в том, чтобы писать sql-подобные запросы на данные не из реляционной БД. И чтобы это безболезненно переносилось на хранение в реляционных БД.
То есть тебя наоборот ногами пинают в сторону SQL от любимого тобой ООП и императива. Раз уж тебе мозги не дают ни получить образования, ни усвоить элементарные математические понятия.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711238
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
внезапно внутри любого SQL-движка живет кей-валуэ хранилище и циклы для джойнов

Модератор: Отредактировано

Тогда Вы изобретаете noSQL, делаете новую БД, какую-нибудь Кассандру или Монго

"Изобретение" в использовании всяких структур вроде деревьев, давно известных, описанных 50 лет назад и давно используемых. Выходит что этот "изобретатель" обманщик и мошенник.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711241
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Изобретение "витает" в воздухе за несколько лет

Все эти структуры данных и алгоритмы работы с ними изобрели лет 50 назад и настоящих авторов наверняка можно найти.
Правда тогда обошлось без бренда noSQL хотя бы потому, что сам SQL в это время еще не придумали :)

mayton
как обрабатывают данные SQL

Я имел в виду, что данные постепенно загружаются в реляционную базу, в которой потом массово обрабатываются SQL-запросами.
А данные микросервисов куда нибудь попадают, впоследствии чем то обрабатываются?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711242
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
казинак1)Все должно быть в ООП!!!!

Ты отстал от жизни старичок. Это слоган 2000-х годов.

2)Независимость от конкретной бд!

По моему скромному наблюдению никто так и не сумел обосновать выгоду от этой "независимости".
Лично кастомеру эта независимость не нужна. И она тем более не нужна когда вы уже сидите
плотно на лицензии Oracle или MS-SQL. Я еще не встречал ни одной технологии которая-бы дала
независимость от stored procedures.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711246
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene Newвнезапно внутри любого SQL-движка живет кей-валуэ хранилище и циклы для джойнов

Еще один темный неграмотный, который с апломбом утверждает то, чего не знает.
Внутри SQL-движка плоские таблицы, страницы памяти и индексы на деревьях.

Тогда Вы изобретаете noSQL, делаете новую БД, какую-нибудь Кассандру или Монго

"Изобретение" в использовании всяких структур вроде деревьев, давно известных, описанных 50 лет назад и давно используемых. Выходит что этот "изобретатель" обманщик и мошенник.
так и запишем, страницы памяти и индексы растут на деревьях =)

а струтуры хранения кей-валуэ рождены святым духом....
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711300
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1,

погоди, но ты привёл sql подобный запрос, который по синтаксису даже более громоздкий. Спрашивается почему бы не привести пример запроса на более родном языке, где действительно чему-то можно поучиться? Опустим пока как оно внутри обрабатывается.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711303
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Модератор: Отредактировано

Еще раз - если ты реляционную базу используешь как хранилище и все тянешь на клиента, у тебя никакой производительности не будет. А при правильной структуре реляционная база дает производительность обработки больших массивов данных на много порядков большую, чем ты способен написать на коленке. И адресные пространства тут не причем.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711315
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene New,

известный адепт Оракула
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711320
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene NewЕще раз - если ты реляционную базу используешь как хранилище и все тянешь на клиента, у тебя никакой производительности не будет. А при правильной структуре реляционная база дает производительность обработки больших массивов данных на много порядков большую, чем ты способен написать на коленке. И адресные пространства тут не причем.
Модератор: Отредактировано

Eugene NewSQL позволяет получить производительность на порядок или несколько порядков большую. Причем с полпинка, элементарно.
если бы производительность позволяла то не пришел бы хадуп и не выдавил бы оракл из аналитики.

Симонов Дениспогоди, но ты привёл sql подобный запрос, который по синтаксису даже более громоздкий. Спрашивается почему бы не привести пример запроса на более родном языке, где действительно чему-то можно поучиться? Опустим пока как оно внутри обрабатывается.

основная фишка там именно та, что под капотом. если говорить лишь о синтаксисе, то там много чего можно сильно короче sql написать, типа df.filter("age".gt(30)), плюс спайка декларативной части и итеративной заметно красивей
Код: java
1.
2.
3.
4.
5.
6.
7.
8.
        Dataset<Row> shit = vars.mapGroups(
                (MapGroupsFunction<Integer, String, String>) (key, values) -> {
                    MyMegaClass mc = new MyMegaClass(key);
                    while (values.hasNext()) {
                        mc.process(values.next());
                    }
                    return mc.toString();
                }, Encoders.STRING()) ;


где там закончилась декларативная часть и пошел итеративный код почти не заметно. при этом все эффективно работает, фреймворк раскидает по нодам и выполнит код MyMegaClass прямо там где данные. при том что этот MyMegaClass это любая жаба либа. в оракле и мсскл вроде и есть jvm/.net в ядре, но толку с них ноль. гораздо разумней тащить данные из sql наружу и там нормальным апп сервером молотить, оставляя sql роль тупого сториджа. со всеми вытекающими к перфоменсу.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711328
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Модератор: Удалено. Всем! Завязывайте.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711330
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene New,

ты не сечёшь фишку. SQL хорош для извлечения данных по некоторым критериям, но не для их аналитической обработки. Подумай что у нас есть в SQL для аналитики. Агрегатные и оконные функции, GROUP BY WITH ROLLUP, ну может быть CUBE. И всё собственно. Ну в Оракуле своя фича MODEL. Аналитика может предполагать гораздо более сложные алгоритмы, которые на SQL реализовать мягко говоря затруднительно.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711334
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов Денис,
Аналитика может предполагать гораздо более сложные алгоритмы, которые на SQL реализовать мягко говоря затруднительно

Примерно понимаю о чем вы, но хотелось бы подробностей. Конкретный пример или что то вроде того.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711336
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Микропример не подойдет, нужна именно обработка больших массивов данных.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711337
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Siemarglmayton, внезапно внутри любого SQL-движка живет кей-валуэ хранилище и циклы для джойнов :ohno:
Хм... Непонятно... А где я давал информационный повод к этому сообщению?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711341
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов ДенисEugene New,

ты не сечёшь фишку. SQL хорош для извлечения данных по некоторым критериям, но не для их аналитической обработки. Подумай что у нас есть в SQL для аналитики. Агрегатные и оконные функции, GROUP BY WITH ROLLUP, ну может быть CUBE. И всё собственно. Ну в Оракуле своя фича MODEL. Аналитика может предполагать гораздо более сложные алгоритмы, которые на SQL реализовать мягко говоря затруднительно.
Друзья. В топике идет какая-то подмена понятий и переворачивание причин и следствий.

Я предлагаю следующие тезисы.

1) SQL - это декларативный язык который позволяет описать нам то ЧТО мы хотим получить из БД.
2) SQL никак не описывает КАК мы хотим получить данные. Тоесть алгорим выборки. Грубо
говоря он 100% оставляет этот вопрос на откуп RDBMS.
3) SQL не запрещает в качестве storage-layer использовать хранилища NoSQL (NotOnlySQL).
Пример технологий: ApacheDrill, CriteriAPI, Hive e.t.c. Ну реально! Нет нигде на это запрета!
Можно даже DBF и CSV файлы брать в качестве источника данных.

Стартанём с этой позиции.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711350
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,
все же я считаю вопрос о хранении важным, т. к. структура реляционной базы тесно связана и с текстами sql-запросов, и с их эффективностью. Поэтому имеет смысл все это рассматривать как единое целое.

Но для случаев, когда данных очень мало, сойдет любая их обработка. По мне так это вообще не тот случай, на который стоит обращать внимание, т. к. малые данные обрабатываются как угодно, хоть левой ногой через правое ухо.

Изобретают очередной аналог BDE или ODBC, красивым словом называют. Все равно при переходе на большие данные придется и структуру настоящей реляционной базы делать, и запросами озаботится.

Может все эти открытия считаются открытиями потому, что становится бесплатным то, что 20 лет назад было коммерческим и недешевым?

Если я в чем то ошибаюсь - поправьте.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711353
booby
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene NewМикропример не подойдет, нужна именно обработка больших массивов данных.

Не нужно никаких мега-примеров.
Достаточно просто иметь представление о том, что такое иерархия памяти,
чтобы понять простейшую штуку.

Оптимизированная под OLTP "стандартная" СУБД заведомо не годится для работы с "большими данными",
независимо от тех или иных моделей их представления, доступа, характера навигации и
степени теоретической обоснованности.

Когда ты ограничен максимальным размером чтения с диска в один мегабайт,
это, на текущий момент, как минимум на полтора-два порядка нерелевантно самым
элементарным представлениям с физической стороны о том, как надо работать с "большими
данными", независимо от натравливаемых на "большие данные" алгоритмов.

Да, "большие данные" бессмысленны, если нет алгоритмов, способных их обрабатывать за приемлемое время.

Но если такие алгоритмы есть и готовы работать - бессмысленно чтение с диска, ограниченное мегабайтом.

Это сначала закрывает вопрос об использовании "стандартных" субд,
а затем те соображают, как и чем на это отвечать, включая специализированные реализации
на специально под "большие данные" спроектированном железе.

PS
Ох уж эти "молоточки"...
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711356
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
BerkeleyDb был всегда бесплатен. А на нем кажется весь DNS стоял.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711357
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
boobyДа, "большие данные" бессмысленны, если нет алгоритмов, способных их обрабатывать за приемлемое время.

Я bigdata считаю изначально безсмысленным по своей сути. Это технологическая "отрыжка" нашего времени.
Появились дешевые хосты и хранилища - и сама предметная область обозначилась.

Ее нельзя было создать рисуя палочкой на песке или складывая камешки как делал Архимед.
Современное It - это на 99% просто приспосабливание имеющегося железа и сетей и CPU-можностей
под задачи. А когда задач нет - но есть железо - задачи придумываются.

Зачем скажите хранить данные internet of things? Построил по ним OLAP-кубы и грохнул исходные файлы.
Зачем хранить логи log4j вашего драгоценного приложения за 25 лет? Соберите статистические цифры.
Нарисуте графики. Грепните критические ерроры и все. И снова не нужна никакая биг-дата.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711358
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Когда ты ограничен максимальным размером чтения с диска в один мегабайт,

Что то я не пойму, кто и где ограничен одним мегабайтом.
Вообще то большие данные нужно хранить на диске, т. к. они в памяти не помещаются, потому что большие. Но о мегабайте ведь давно речи не идет.

Ок, давайте я сменю условия с больших (которое стали воспринимать как очень большие), на какие то конкретные числа. Ну скажем небольшой такой объем в 1 Гб. Да хоть пару сотен мегабайт. Короче, хоть какой-нибудь реальный пример, который работает не с десятком или сотней записей :)
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711359
booby
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton...
Ее нельзя было создать рисуя палочкой на песке или складывая камешки как делал Архимед.
...
Имхо, это вообще почти единственный способ, что-то создать.
"бигдата" в этом смысле не создает, а использует - алгоритмы и инфраструктуру.
Как римляне 1000 лет использовали нарисованные на песке и сложенные из камешком математические результаты инженера Архимеда, не создавая новых.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711360
booby
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene New...

Что то я не пойму, кто и где ограничен одним мегабайтом.
...
Вы, при случае, когда наскучит воевать с "темными людьми",
все-таки почитайте концепты хоть какой-нибудь "стандартной субд".
Что там у них про блоки и физическое чтение расписано.
Я видел, вам давали ссылочки.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711361
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonПостроил по ним OLAP-кубы и грохнул исходные файлы.

А потом появляется новый источник и новое, достаточно простое измерение, которое можно "прикрутить" и к старым данным. И начинается геморой на ровном месте - достать место под старые данные, выгруженные из куба, затем вогнать в куб обратно вместе с новыми данными. И обычно запрос под место - это процедура, а куб нужен таки прямо сейчас. В том-то и весь цимес!

А про квалификацию тех, кто делает OLAP кубы - вот начали Вы данные всерьез смотреть, понравилось, грохнули исходные файлы, затем постоянный пользователь куба Вам говорит, что сделано неправильно, куб нужно переделать здесь, здесь и вот здесь - а исходных файлов уже нет.

Проще хранить, чем удалить и потом в бэкапах искать. Собственно, сами bigdata - это и данные, и в каком-то смысле бэкап, и расположение информации на N серверах в M копиях (отказоустойчиво) - и все в одной упаковке.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711365
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andy_OLAPПроще хранить, чем удалить и потом в бэкапах искать. Собственно, сами bigdata - это и данные, и в каком-то смысле бэкап, и расположение информации на N серверах в M копиях (отказоустойчиво) - и все в одной упаковке.
У меня есть своя теория. О том что количество информации нужной человеку - величина постоянная.
А современные инфо-технологии - это просто некий белый шум. Они не сделали человека умнее.
Информированнее - да. Но что толку с этого. Он разучился сам делать свои выводы. Мозг разжижается.

Вобщем где-то у Савельева было на эту тему. И про строительство ИИ тоже.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711367
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Отсюда вывод - эти данные не для человека.

Мне все таки хотелось бы какой-нибудь примерчик увидеть, когда выкачивание всего на app-server и его там обработка выгоднее чем sql-запрос с последующей обработкой. Ну или о чем там мне говорят, т. к. я их до конца не понял, потому и прошу примерчик.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711368
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene NewОтсюда вывод - эти данные не для человека.

Мне все таки хотелось бы какой-нибудь примерчик увидеть, когда выкачивание всего на app-server и его там обработка выгоднее чем sql-запрос с последующей обработкой. Ну или о чем там мне говорят, т. к. я их до конца не понял, потому и прошу примерчик.

Я сходу сделаю сразу замечание. Ты нарисовал неправильный юзкейс. С бигдатой так не работают.
Ее (бигдату) собсно нельзя вообще сравнивать с DBMS. Как я уже где-то писал - это системы разного
класса по CAP.

Как грузовик с лимузином.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711371
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,
так я вообще не про бигдату. Слово большие было употреблено не в этом смысле.
Хотелось бы увидеть как работать без sql с теми объемами, с которыми прекрасно справляется sql, причем существенно быстрее.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711372
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene New,
поправляю - объем данных, с которым справляется реляционная субд и sql.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711380
booby
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene New...
Хотелось бы увидеть как работать без sql с теми объемами, с которыми прекрасно ...

Там где "про sql", существо дела вообще не в объемах.

Ни с начала, ни с конца, ни с какого боку.
То что "sql" справляется с какими-то объемами - это почти целиком вторичный момент,
с которым "уж как-нибудь, да обойдемся",
по отношению к тому, ради чего RDBMS вообще задумывались.

Вопрос - буду ли я использовать SQLite, MySQL или Oracle Database - может предопределяться
рассуждениями об объемах.
Но вопрос - буду ли я вообще закладываться на "sql" или нет, почти всегда отношения к объемам не имеет.
Кроме специальных случаев, сорта "бигдаты", где ответ на этот вопрос вчера может отличаться от ответа на него сегодня, а завтра его нужно будет обсуждать снова и отдельно.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711382
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
booby,
давайте уже что то конкретное, пожалуйста..
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711388
azsx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
авторВобщем где-то у Савельева было на эту тему. И про строительство ИИ тоже.
Скажите, пожалуйста, о чём это? Есть какая-то книга или конкретная статья?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711397
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonСимонов ДенисEugene New,

ты не сечёшь фишку. SQL хорош для извлечения данных по некоторым критериям, но не для их аналитической обработки. Подумай что у нас есть в SQL для аналитики. Агрегатные и оконные функции, GROUP BY WITH ROLLUP, ну может быть CUBE. И всё собственно. Ну в Оракуле своя фича MODEL. Аналитика может предполагать гораздо более сложные алгоритмы, которые на SQL реализовать мягко говоря затруднительно.
Друзья. В топике идет какая-то подмена понятий и переворачивание причин и следствий.

Я предлагаю следующие тезисы.

1) SQL - это декларативный язык который позволяет описать нам то ЧТО мы хотим получить из БД.
2) SQL никак не описывает КАК мы хотим получить данные. Тоесть алгорим выборки. Грубо
говоря он 100% оставляет этот вопрос на откуп RDBMS.
3) SQL не запрещает в качестве storage-layer использовать хранилища NoSQL (NotOnlySQL).
Пример технологий: ApacheDrill, CriteriAPI, Hive e.t.c. Ну реально! Нет нигде на это запрета!
Можно даже DBF и CSV файлы брать в качестве источника данных.

Стартанём с этой позиции.

В данном случае никакой подмены нет. Мой ответ был сделан на конкретный пост, который удалён. Причём там важен был и предыдущий ответ. А сам по себе да он оторван от контекста беседы.

Хорошо напомню о чём было в двух словах.

H5N1гораздо разумней тащить данные из sql наружу и там нормальным апп сервером молотить, оставляя sql роль тупого сториджа. со всеми вытекающими к перфоменсу.

на что был дан ответ вроде такого: вы просто не можете мыслить в реляционной логике, и что в SQL данные обработать и анализировать быстрее.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711429
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
boobyНе нужно никаких мега-примеров.
Достаточно просто иметь представление о том, что такое иерархия памяти,
чтобы понять простейшую штуку.

Оптимизированная под OLTP "стандартная" СУБД заведомо не годится для работы с "большими данными",
независимо от тех или иных моделей их представления, доступа, характера навигации и
степени теоретической обоснованности.

+1 в оракле многое сделали на эту тему - и колончатый формат с упаковкой и экзадатовские хитрые чтения, но все это убивается ценой.

maytonЯ bigdata считаю изначально безсмысленным по своей сути. Это технологическая "отрыжка" нашего времени.
Появились дешевые хосты и хранилища - и сама предметная область обозначилась.

Ее нельзя было создать рисуя палочкой на песке или складывая камешки как делал Архимед.

вообще-то бигдате старт дал гугл, нарисовавший той самой палочкой алгоритм. этот алгоритм с песка и реализовали в хадупе.
суть бигдаты не размере данных, оракловая экзадата зачастую не меньший объем жует. суть в алгоритмах

maytonЯ сходу сделаю сразу замечание. Ты нарисовал неправильный юзкейс. С бигдатой так не работают.
Ее (бигдату) собсно нельзя вообще сравнивать с DBMS. Как я уже где-то писал - это системы разного
класса по CAP.

Как грузовик с лимузином.

можно и нужно. хадупы с их даталейками занимают не свободную нишу, а массово замещают конкретные рсубд, перетягивая задачи обработки информации на себя. замещая рсубд со всеми их тру транзакциями, консистенси и acid

mayton1) SQL - это декларативный язык который позволяет описать нам то ЧТО мы хотим получить из БД.

в реальной жизни обработкой данных занимается спайка декларативного SQL и итеративного языка. нет никакого смысла искусственно их разделять
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711455
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
azsxавторВобщем где-то у Савельева было на эту тему. И про строительство ИИ тоже.
Скажите, пожалуйста, о чём это? Есть какая-то книга или конкретная статья?
Савельев - это не из It. Это бологии и института морфологии человека.

Насчет книг не скажу. Я в основном подписан на его видео-блоги в youtube.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711461
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene Newmayton,
так я вообще не про бигдату. Слово большие было употреблено не в этом смысле.
Хотелось бы увидеть как работать без sql с теми объемами, с которыми прекрасно справляется sql, причем существенно быстрее.
Ну ... бери библиотечку наподобие Berkeley. Выбирай архитектуру хранения.
Загружай туда из CSV или из другого формата. Добавляй индексы.
И работай на сях. Дергай методы.

Вот как-то так.

Ну или вместо Berkeley можешь взять гугловый LevelDb или фейсбучный RocksDb.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711467
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andy_OLAPmaytonПостроил по ним OLAP-кубы и грохнул исходные файлы.

А потом появляется новый источник и новое, достаточно простое измерение, которое можно "прикрутить" и к старым данным. И начинается геморой на ровном месте - достать место под старые данные, выгруженные из куба, затем вогнать в куб обратно вместе с новыми данными. И обычно запрос под место - это процедура, а куб нужен таки прямо сейчас. В том-то и весь цимес!

А про квалификацию тех, кто делает OLAP кубы - вот начали Вы данные всерьез смотреть, понравилось, грохнули исходные файлы, затем постоянный пользователь куба Вам говорит, что сделано неправильно, куб нужно переделать здесь, здесь и вот здесь - а исходных файлов уже нет.

Проще хранить, чем удалить и потом в бэкапах искать. Собственно, сами bigdata - это и данные, и в каком-то смысле бэкап, и расположение информации на N серверах в M копиях (отказоустойчиво) - и все в одной упаковке.
Замечание справедливое.

Но давайте предположим что owner информации - это вы. И никто вас не будет упрекать в том что вы грохнули свою
информацию. Если она не ваша - то грохать ничего не надо. А надо действовать согласно стратегии бэкапов
которая прината у вас в конторе. Старше оперативного срока - в архивный tablespace.
Старше - трех лет в external tables. Старше 10 лет - на стриммер. Разумеется это я все
придумал в качестве примера.

И еще в теме не хватает деталей о природе самой информации. Если это какая-то юридическая
и финансовая активность то наверное ничего удалять не надо.

Если это данные научных измерений (погода) то здесь я-бы предложил просто какую-то сжатую
схему хранения при которой у нас не будет избыточности и любой запрос может быть удовлетворен
с нужной точностью.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711518
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
гугл, нарисовавший той самой палочкой алгоритм
Гугл никогда ничего сам не придумывает, только берет чужое и выдает за свое.

Ну ... бери библиотечку наподобие Berkeley. Выбирай архитектуру хранения.
Оставлю это развлечение оппонентам, который утверждают, что это более эффективно.

можно и нужно. хадупы с их даталейками занимают не свободную нишу, а массово замещают конкретные рсубд, перетягивая задачи обработки информации на себя. замещая рсубд со всеми их тру транзакциями, консистенси и acid

в реальной жизни обработкой данных

Так давайте конкретный примерчик, хоть один.
Пока что у вас одни безапелляционные общие утверждения.

Это не в сбербанке заместили транзакции на халупу так, что там теперь с людей массово требуют деньги за обслуживание давно закрытых карт?

H5N1, вот вы конкретно утверждали, что реляционную базу надо использовать как хранилище, тянуть все на app-server и там обрабатывать и что так будет быстрее. Давайте примерчик, чтобы не быть голословным.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711534
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene NewH5N1, вот вы конкретно утверждали, что реляционную базу надо использовать как хранилище, тянуть все на app-server и там обрабатывать и что так будет быстрее. Давайте примерчик, чтобы не быть голословным.

не всё, но в некоторых случаях без этого не обойтись. Попробуйте например обучить нейросеть в рамках СУБД, не вытаскивая полностью обучающую выборку.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711535
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов Денис,
так H5N1 утверждает, что даже задачи, которые МОЖНО решить с помощью sql и рсубд он решает быстрее описанным способом.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711538
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene New,

он нигде такого не утверждал. Каждой технологии свой место. Да и по поводу вытеснения SQL я с ним не согласен. Оно вытесняется ровно там где это плохо работает, где работает хорошо там сидит прочно.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711557
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene NewH5N1, вот вы конкретно утверждали, что реляционную базу надо использовать как хранилище, тянуть все на app-server и там обрабатывать и что так будет быстрее. Давайте примерчик, чтобы не быть голословным.

любая задача с ML аналитикой. от скоринга, кластеризации, до какой товар заинтересует пользователя. все это делается с помощью каких-то ML фреймворков. все ынтерпрайз решения тащат данные из субд, потому что в субд ничего натренировать не выйдет. алгоритмы эти плодяться так быстро и так быстро там все меняется, что нет никакого смысла портировать с какого-нибудь тензорфлоу алгоритмы в оракл. все проще взять либу и доставить к ней данные. пусть и терабайт.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711605
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene NewH5N1, вот вы конкретно утверждали, что реляционную базу надо использовать как хранилище, тянуть все на app-server и там обрабатывать и что так будет быстрее. Давайте примерчик, чтобы не быть голословным.
Я заранее скажу чем это закончится. 100500 раз в интернетах поднимались темы сравнения СУБД
и движков которые кто-то закодил на коленке.

У этих тем есть один главный недостаток. Не очерчен наиболее общий юзкейс. Грубо говоря автор
был прав когда говорит что доступ к хеш-аррею быстрее чем к DBMS. Но перед этим... перед тем
как спорить надо нарисовать некое техническое задание в виде кейсов перформанса и огласить
правила судейства. И вот на этой точке все ораторы сливались.

Погуглите архивы по ключевому слову Стебелек.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711606
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1Eugene NewH5N1, вот вы конкретно утверждали, что реляционную базу надо использовать как хранилище, тянуть все на app-server и там обрабатывать и что так будет быстрее. Давайте примерчик, чтобы не быть голословным.

любая задача с ML аналитикой. от скоринга, кластеризации, до какой товар заинтересует пользователя. все это делается с помощью каких-то ML фреймворков. все ынтерпрайз решения тащат данные из субд, потому что в субд ничего натренировать не выйдет. алгоритмы эти плодяться так быстро и так быстро там все меняется, что нет никакого смысла портировать с какого-нибудь тензорфлоу алгоритмы в оракл. все проще взять либу и доставить к ней данные. пусть и терабайт.
это от бедности. Ну нельзя же всерьез считать что экспорт из БД террабайта в текстовый файл а потом его обработка питоном - это эффективнее чем обработка внутри бд.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711610
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов ДенисEugene New,

он нигде такого не утверждал. Каждой технологии свой место. Да и по поводу вытеснения SQL я с ним не согласен. Оно вытесняется ровно там где это плохо работает, где работает хорошо там сидит прочно.
плохо работает там где нету связанных данных. Как только данные появляются связанные, разные сущности с FK и т.п. сразу же SQL оказывается эффективен
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711613
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan DurakСимонов ДенисEugene New,

он нигде такого не утверждал. Каждой технологии свой место. Да и по поводу вытеснения SQL я с ним не согласен. Оно вытесняется ровно там где это плохо работает, где работает хорошо там сидит прочно.
плохо работает там где нету связанных данных. Как только данные появляются связанные, разные сущности с FK и т.п. сразу же SQL оказывается эффективен
+OLTP, транзакции и блокировки... и бич всего энтерпрайза - изменения и новые user-stories.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711614
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
террабайта в текстовый файл а потом его обработка питоном

Это тем питоном, который интерпретируемый медленный язык? И сколько лет времени занимает обработка им терабайта?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711615
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene Newтеррабайта в текстовый файл а потом его обработка питоном

Это тем питоном, который интерпретируемый медленный язык? И сколько лет времени занимает обработка им терабайта?
Там ... скорее всего Питон просто обёртка над native библикотекой которая и делает весь machine-learning.
Такая практика есть.

Тоесть питон там ничего не делает а просто стоит в интерфейсной части вызовов.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711729
Фотография Megabyte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1... гораздо разумней тащить данные из sql наружу и там нормальным апп сервером молотить, оставляя sql роль тупого сториджа. со всеми вытекающими к перфоменсу.
Благодаря таким "разумным" у ДБА всегда будет много работы, чтобы потом исправлять все это за вами на проектах с большим кол-вом данных. :)
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711779
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
MegabyteH5N1... гораздо разумней тащить данные из sql наружу и там нормальным апп сервером молотить, оставляя sql роль тупого сториджа. со всеми вытекающими к перфоменсу.
Благодаря таким "разумным" у ДБА всегда будет много работы, чтобы потом исправлять все это за вами на проектах с большим кол-вом данных. :)

благодаря мне АДБ уволены, а данные никуда не гоняются, т.к. процесятся на хадупе в параллель. а вот у бедняг с ораклом тупо нет вариантов. абсолютно все Ынтерпрайз решения тянут данные из рсубд, потому как какой-нибудь tensorflow модель натренировать в рсубд никак. и бедняги тянут, а потом еще и просчитывают результ от натренированной модели долбя rest вызовами какой-нить сервис. опять, от безысходности.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711799
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
абсолютно все Ынтерпрайз решения тянут данные из рсубд, потому как какой-нибудь tensorflow модель натренировать в рсубд никак

Так абсолютно все или какой-нибудь? Проведите границу применимости своего метода. Ну там для обучения нейронных сетей или еще чего то, неспособного использовать sql-запросы. Потому что вы говорите так, что создается ложное ощущение универсальности вашего подхода.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711808
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene New3. Возможно считается, что среднестатистический программист настолько туп и не обладает способностями к абстрактному мышлению, что не в состоянии понять реляционную теорию, основанную на понятии множеств.
Модератор: Удалено
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711830
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1Megabyteпропущено...

Благодаря таким "разумным" у ДБА всегда будет много работы, чтобы потом исправлять все это за вами на проектах с большим кол-вом данных. :)

благодаря мне АДБ уволены, а данные никуда не гоняются, т.к. процесятся на хадупе в параллель. а вот у бедняг с ораклом тупо нет вариантов. абсолютно все Ынтерпрайз решения тянут данные из рсубд, потому как какой-нибудь tensorflow модель натренировать в рсубд никак. и бедняги тянут, а потом еще и просчитывают результ от натренированной модели долбя rest вызовами какой-нить сервис. опять, от безысходности.
Хадуп и Оракл это разные классы систем. Их use-cases пересекаются очень в малом множестве.
И если вы нашли применение Хадуп-у - то это круть. И вы - хороший архитектор по данным.
Но Хадуп не может заменить Оракл на обработке оперативных данных.

Поэтому ваш тезис нужно дополнять. В противном случае новички которые придут
в этот топик и прочитав ваш пост могут сделать неверные выводы. Хуже того
они пойдут в другие топики и будут реплицировать своё заблудение порождая
слухи и мистификации вокруг хадупа который вообще инструмент нишевый
и не везде пригодный.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39711927
vitkhv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
КотовасияХочется императивности, вместо "селект ... фром ... вэрэ..." чтобы "for (int i = 1...,", как у пацанов из одинэс... ;)
У пацанов из 1С ужо 15 лет как селект ....фром.....вэрэ, только там ВЫБРАТЬ.....ИЗ.....ГДЕ.
Пацаны из 1С в части SQL ужо давно тебя уделают, пока ты думаешь что ты крут в SQL со своими PIVOT\UNPIVOT, CTE и прочей магией, пацаны из 1С на чистом и незамутненном SQL решают задачи практически любого уровня сложности.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712106
Lepsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
КотовасияХочется императивности, вместо "селект ... фром ... вэрэ..." чтобы "for (int i = 1...,", как у пацанов из одинэс... ;)

Tak?

Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
declare @tbl TABLE (id int not null identity primary key, value float)
insert into @tbl (value)  values (2); 
insert into @tbl (value)  values (5); 
insert into @tbl (value)  values (1); 


WITH cte AS ( SELECT 1 AS i, value FROM @tbl where id = 1 UNION ALL SELECT i = i + 1, t.value FROM cte JOIN @tbl t ON t.id=cte.i+1 )
    SELECT * FROM cte
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712126
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Пацаны из 1С в части SQL ужо давно тебя уделают

Ну вот, пришел пацан из 1С :)
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712129
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я практически ничего не понял из фразы где там 1С-ники что-то решают и решают эффективно.
Хотел-бы посмотреть. Реально хотел. Где тут 1С-ники. Ану покажите мне так вот чтоб я прямо восхитился!
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712134
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Насчет 1с ясно одно - там sql не ненавидят.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712135
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1, короче, вы только роботов по одному шаблону обучаете или еще что то делаете?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712207
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan Durakэто от бедности. Ну нельзя же всерьез считать что экспорт из БД террабайта в текстовый файл а потом его обработка питоном - это эффективнее чем обработка внутри бд.
предложи свой вариант. разговор не о том что где-то эффективней, а вот что вариантов натренировать модель в рсубд попросту нет. любое реальное решение с ML исходит из того, что рсубд тупой сторидж.
что касается эффективности, то питон лишь врапер вокруг какой-нить ML либы и сейчас вполне модное направление, отдавать ETL на хадуп. т.е. да, у многих выходит быстрей выгрузить в текстовый файл, обработать в хаупе и вернуть в рсубд. потому что в хадупе под это добавить 100 ядер стоит копейки, а 4 ядра к ораклу лицензировать, с партишенингом, датагвардом, компресией это уже сотни тысяч зеленых.

Ivan Durakплохо работает там где нету связанных данных. Как только данные появляются связанные, разные сущности с FK и т.п. сразу же SQL оказывается эффективен
все эти спарки выигрывают не за счет эффективности, а за счет доступных ресуросв. при том же бюджете у тебя в хадуп кластере будет кластер в десятки раз больше ресурсов. при этом если задачи аналитики, то у рсубд это фулл скан + хэш-джоин. и тут еще большой вопрос, у кого эффективней.

Eugene NewТак абсолютно все или какой-нибудь? Проведите границу применимости своего метода. Ну там для обучения нейронных сетей или еще чего то, неспособного использовать sql-запросы. Потому что вы говорите так, что создается ложное ощущение универсальности вашего подхода.

потому что знаю как работают Ынтерпрайзы с данными. самый популярный тул - sas data miner, там аналитик занимается кластеризацией, тренировкой моделей и прочим. все данные тянет из субд.
в последнее время более модное направление анализировать R иди питоном. берут какую-нить модную ML либу, типа tensorflow, у которой есть обертки для R/питона и тянут данные прочь из субд.
самое близкое к субд видел примерчики у майкрософт, они предлагают питон скрипты в субд запускать. но это тоже лишь иллюзия, реально там точно так же данные из движка субд копируются в питон.

Eugene NewH5N1, короче, вы только роботов по одному шаблону обучаете или еще что то делаете?
что то еще делаем. например теперь вместо оракла считаем всякие KPI метрики, которые вроде как отлично ложились на SQL. но оракл был на старом железе, требовал апгрейда, апгрейд это лицензии и сумасшедшие суммы. теперь и эти задачи с оракла ушли и никакие индексы, транзакции и консистентные наборы не спасли.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712218
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonХадуп и Оракл это разные классы систем. Их use-cases пересекаются очень в малом множестве.
И если вы нашли применение Хадуп-у - то это круть. И вы - хороший архитектор по данным.
Но Хадуп не может заменить Оракл на обработке оперативных данных.

пересекаются уже на достаточном множестве. ETL, DWH, аналитика это уже огромный пласт. по оперативным данным тоже уже начинает отгрызать. сейчас на хадупе модная тема real time + streaming приложения. те самые оперативные данные. да, там поток не в смысле финансовых транзакций пока, но ужас то в том что там это пипец как развивается, а рсубд по сути в коме.
ну и мое мнение, что в плане олтп с ораклом будут бодаться in memory grids типа apache ignite. там заявлены acid транзакции и redo log, консистентность. при этом ignite уже скрестили со спарком и внедрить пытаются не волосатые хипстеры, а уже сбер. и снова цель заместить реляционный оракл.
кстати и в хадупе клоудера пилит kudu энжин с mvcc, с undo и redo логом, с консистентным чтением. "Хадуп не может заменить Оракл" - если кома рсубд затянется будет то же что в аналитике и DWH.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712227
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1,
как с надежностью данных на вашем халупе? Вроде там отказ от транзакций и целостности, не так ли?
И вообще кто-нибудь проверяет, что выходит в результате или довольны тем, что просто заработало-закрутилось?
Если проверка результатов есть, то какими методами?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712268
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene Newкак с надежностью данных на вашем халупе? Вроде там отказ от транзакций и целостности, не так ли?

для задач DWH все там хорошо. в плане транзакций их снепшоты на уровне hdfs мне нравятся даже больше. в оракле при загрузки в DWH транзакции тоже не особо используются, крупные загрузки грузят в стейджинг таблицы и потом делают exchange partition. если же без exchange patrition то грузят с коммитами каждые мульон записей. в результате клиенты видят данные не столь уж консистенно.
в хадупе же есть такая штука как hdfs snapshot, новый батч грузится в новый снепшот, пока идет загрузка и перестройка витрин клиенты пускают sql видят данные старые данные. когда загрузка завершается, переключается снепшот. старые квери видят старый снепшот и заканчивают работу на старом, новые квери уже с новым снепшотом будут работать. по мне так это круче, учитывая что тут наверно можно чуть поработать руками и вообще переключение снапшотов всех таблиц почти в один момент времени устраивать.

Eugene NewИ вообще кто-нибудь проверяет, что выходит в результате или довольны тем, что просто заработало-закрутилось?
Если проверка результатов есть, то какими методами?
ссылочной целостности нет, но и тут как бы кардинальных отличий с рсубд нет. в рсубд на больших данных точно так же ETL процессы валидируют данные по сути вручную, отбрасывают откровенно кривые данные и отключают foreign keys перед загрузкой. причем на сколько знаю там тоже религиозные воины идут, нужно ли включать fk после загрузки.
что касается проверок, то да, валидация входящих данных проходит. после поступления данных считается тучи счетчков, те же ML алгоритмы строят прогнозы. даже если технически все данные были валидны, но кривые в логике эти прогнозы начнут чушь выдавать, что не быстро, но тоже отлавливает баги.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712275
vitkhv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonЯ практически ничего не понял из фразы где там 1С-ники что-то решают и решают эффективно.
Хотел-бы посмотреть. Реально хотел. Где тут 1С-ники. Ану покажите мне так вот чтоб я прямо восхитился!
А что хотел та, ну акромя общих фраз?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712279
vitkhv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene NewНасчет 1с ясно одно - там sql не ненавидят.
Это точно, любят.
А то смотрю тут сквозь губу к одинэсникам.
Решают задачи люди на SQL, разные задачи.
Возможно как пример https://infostart.ru/public/336783/
расчет хэшфункции в запросе, без всяких HASHBYTES.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712293
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1,
может вопрос наивный, но как вообще можно судить о верности работы самообучающегося робота, алгоритма работы которого вы в принципе не знаете и не понимаете? и которому скармливаете огромные сырые массивы данных, собранных "абы как". То есть неизвестный алгоритм, на входе которого неизвестно что. Откуда уверенность, что на выходе будет что то правильное?

Понятно, что если деньги платят и что то такое крутое крутится и даже какой то результат показывает, то можно и не думать об этом. И никто особо не придерется, так как никто вообще не понимает, что там происходит. Некий черный ящик. "Дельфиский оракул".

Но ведь сейчас эти процессы распространяют на довольно таки важные для людей области.

Или и тут вовсю агиле принцип - все ок, пока никто не жалуется или жалобы не доходят?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712297
vitkhv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
LepsikКотовасияХочется императивности, вместо "селект ... фром ... вэрэ..." чтобы "for (int i = 1...,", как у пацанов из одинэс... ;)

Tak?

Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
declare @tbl TABLE (id int not null identity primary key, value float)
insert into @tbl (value)  values (2); 
insert into @tbl (value)  values (5); 
insert into @tbl (value)  values (1); 


WITH cte AS ( SELECT 1 AS i, value FROM @tbl where id = 1 UNION ALL SELECT i = i + 1, t.value FROM cte JOIN @tbl t ON t.id=cte.i+1 )
    SELECT * FROM cte



Чего в 1С нет и очень сильно не хватает так это CTE.

Для задач разулования самое то.
Я CTE для 1С использую, но через ADO + VIEW на 1С таблицы,
чтобы не писать
Код: sql
1.
SELECT _IDRref FROM _Reference167


а писать
Код: sql
1.
SELECT Ссылка FROM [Справочник.Номенклатура]



Еще CTE использую для выборки по иерархии из 1С справочников.
Ну типа так:

Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
;WITH hierarchy(Ссылка, Родитель) AS 

(
SELECT cls.Ссылка
         ,cls.Родитель
         FROM [Справочник.Номенклатура] cls WITH (NOLOCK)
WHERE Ссылка= @Родитель
UNION ALL
SELECT    t.Ссылка
         ,t.Родитель
         
FROM [Справочник.Номенклатура] t WITH (NOLOCK)
JOIN  hierarchy hry 
ON t.Родитель= hry.Ссылка
)
SELECT hry .Ссылка 
      ,hry .Родитель
   	 ,t.*
FROM hierarchy hry 
JOIN [Справочник.Номенклатура]  t  WITH (NOLOCK) on hry .Ссылка= t .Ссылка
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712326
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene Newможет вопрос наивный, но как вообще можно судить о верности работы самообучающегося робота, алгоритма работы которого вы в принципе не знаете и не понимаете? и которому скармливаете огромные сырые массивы данных, собранных "абы как". То есть неизвестный алгоритм, на входе которого неизвестно что. Откуда уверенность, что на выходе будет что то правильное?

во первых Ынтерпрайзы не любят то что нельзя потом расшифровать и в суде рассказать почему было принято такое решение. я не видел нейроных сетей в проде. есть мульон других алгоритмов, точно по тем же принципам обучающихся. от примитивной линейной регрессии и decision trees. там точно также модель обучается, но в к примеру в decision tree ты можешь взять и посмотреть всю ветку решений и понять почему такой ответ. далее аналитики ждут когда наберется статистика и рисуют некую area under curve (AUC), которая говорит на сколько хорошо перформит их модель.

Eugene NewПонятно, что если деньги платят и что то такое крутое крутится и даже какой то результат показывает, то можно и не думать об этом. И никто особо не придерется, так как никто вообще не понимает, что там происходит. Некий черный ящик. "Дельфиский оракул".

у нас эта дребедень принимает решения думаю на 50-100 млн зеленых, пока только саксес стори, хотя процент откровенной лажи огромен. но люди лажают настолько эпично, что на их фоне даже такое для бизнеса выглядит прорывом. ну и надо сказать если ты нормальные данные подсовываешь, ответ очень точен. в наших условиях добиться нормальных данных с олтп систем не так просто.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712337
Фотография SergSuper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1при этом ignite уже скрестили со спарком и внедрить пытаются не волосатые хипстеры, а уже сбер. и снова цель заместить реляционный оракл.как работник сбера (точнее сбертеха) и имеющий к этому некоторое отношение могу сказать что сбер в данном случае неудачный пример
мягко говоря
я бы даже сказал пример в обратную сторону
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712355
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1,
это игра на бирже?

SergSuper,
пользуясь случаем хочу спросить, из-за чего у вас в Сбербанке массовые случаи расхождений по картам, когда люди их закрывают, а они остаются открытыми.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712356
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SergSuperH5N1при этом ignite уже скрестили со спарком и внедрить пытаются не волосатые хипстеры, а уже сбер. и снова цель заместить реляционный оракл.как работник сбера (точнее сбертеха) и имеющие к этому некоторое отношение могу сказать что сбер в данном случае неудачный пример
мягко говоря
я бы даже сказал пример в обратную сторону
нормальный. даже если конкретно игнайт не взлетит то взлетит что-то рядом, типа cloudera kudu. они чуть с другой стороны идут, но там уже работает обычный mvcc с redo, undo и хадуповской массивно-параллельностью. не столь важно кто там именно, важно что уже есть прототипы, которые концептуально уже работают. т.е. уже понятно откуда там скорость и acid одновременно возьмутся.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712375
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene Newэто игра на бирже?

нет. фин услуги. те же банки скоринги покупают.

Eugene NewSergSuper,
пользуясь случаем хочу спросить, из-за чего у вас в Сбербанке массовые случаи расхождений по картам, когда люди их закрывают, а они остаются открытыми.
да известно чего. рсубд до масштабов сбера не отмасштабировать. запихнуть весь сбер в одну субд не выходит. практически каждый филиал там до сих пор отдельные субд. отсюда и все проблемы с "где открывали карту, туда и идите" (тм)
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712378
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene Newпользуясь случаем хочу спросить, из-за чего у вас в Сбербанке массовые случаи расхождений по картам, когда люди их закрывают, а они остаются открытыми.

мне кажется ты не совсем понимаешь для чего используется bigdata. Учёт денег на конкретной карточке или счёте спокойно выполняет любая реляционная СУБД. Bigdata прежде всего необходима для анализа. Например изучения поведения, маркетинга, прогнозирования...
Например выявления тех же серых схем ухода от налогов.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712397
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1SergSuperпропущено...
как работник сбера (точнее сбертеха) и имеющие к этому некоторое отношение могу сказать что сбер в данном случае неудачный пример
мягко говоря
я бы даже сказал пример в обратную сторону
нормальный. даже если конкретно игнайт не взлетит то взлетит что-то рядом, типа cloudera kudu. они чуть с другой стороны идут, но там уже работает обычный mvcc с redo, undo и хадуповской массивно-параллельностью.Остановись... Это уже не смешно
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712398
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
отсюда и все проблемы с "где открывали карту, туда и идите"
Читал описание интересной вещи - человек давно закрыл карточку, проверял ее закрытие, работники видели что закрытие прошло, а ему потом снова приходило уведомление о долге. И так несколько раз, пока он не накатал заяву в Центробанк.

Симонов Денис,
так тут говорят разные вещи. От вообще не использовать до "полностью заменить" РСУБД. Я не знаю, чего ждать от Сбербанка после того, как слышал как его региональный руководитель на конференции утверждал на полном серьезе, что к 2030 году человечество ждет бессмертие и его после этого не увезли в дурку.

Тема блокировки карточек и счетов непонятно за что по случайному принципу тоже эпична. Причем никто не может ни описать критерии, ни быстро ликвидировать ошибку. Поэтому многие граждане уже давно сделали вывод, что в Сбербанке вообще нельзя делать переводов на чужие счета, а лучше там и денег не хранить.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712399
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1да известно чего. рсубд до масштабов сбера не отмасштабировать. запихнуть весь сбер в одну субд не выходит. практически каждый филиал там до сих пор отдельные субдНу ты ведь не знаешь про Сбер НИЧЕГО. Какого хрена ты несешь эту чушь тут?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712405
Фотография SergSuper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1важно что уже есть прототипы, которые концептуально уже работают. т.е. уже понятно откуда там скорость и acid одновременно возьмутся.
ну вот не взялись

H5N1да известно чего. рсубд до масштабов сбера не отмасштабировать. запихнуть весь сбер в одну субд не выходит. практически каждый филиал там до сих пор отдельные субд. отсюда и все проблемы с "где открывали карту, туда и идите" (тм)
перефразируя известный анекдот: как жаль что все, кто может решить проблемы сбера, не работают в сбере
(года три уже как на одной железяке)

Eugene New пользуясь случаем хочу спросить, из-за чего у вас в Сбербанке массовые случаи расхождений по картам, когда люди их закрывают, а они остаются открытыми.
во первых не знаю, во вторых это не относится ни к теме топика, ни к теме форума и хотел бы на этом тему сбера тут закрыть
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712414
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
во первых не знаю, во вторых это не относится ни к теме топика, ни к теме форума и хотел бы на этом тему сбера тут закрыть

Я понимаю ваше желание, однако не могу не заметить, что к теме форума это относится напрямую, да и к теме топика тоже может относится. Так как интересно знать, происходит ли это по причине отказа от реляционных бд или по какой-то другой.

Ну и плюс в кои то веки представляется возможность пообщаться не с роботом Сбербанка, и с не дебилом на ресепшене, а со знающим человеком.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712415
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexander Ryndin, SergSuper,
в любом случае спасибо за полезную информацию.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712421
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene New,

по поводу критериев блокировки это тебе к Набиулиной надо. ЦБ постоянно выпускает свои "ценные" указания и банки обязаны их соблюдать.
В прочем это действительно к теме не относится.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712425
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов Денис,
нет, в Сбербанке не так. Там с 2016 года какой-то самообучающийся робот этим занимается. Критериев, которыми он руководствуется, нет в открытом доступе. Зато куча сообщений об ошибочных блокировках.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712427
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Так что к теме относится напрямую.
Причем все это весело очень для частного лица, когда внезапно все его счета блокируются и он должен ходить и что то доказывать и оправдываться. Прикол еще и в том, что могут заблокировать за перевод на ВАШ счет. Т. е. вы сидите, никого не трогаете, вам кто то присылает денег - и бах, вы без штанов, идите доказывайте, добивайтесь и умоляйте.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712436
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene New,

ты новости то вообще смотришь? Заканчивай тему сбера, а то сейчас топик за флуд прикроют.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712445
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов Денис,
нет, не смотрю, а что там?
И то, что я говорю - не флуд.
Модератор: таки флуд
посты не по теме будем тереть
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712451
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene New,

про понятие самозанятый гражданин знаешь? Поставлена задача вывести их из тени, читай заставить платить налоги.
Сегодня это делает сбер, а завтра всех обяжут выявлять кто использует счета физ лиц для ведения "бизнеса".
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712472
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1Ivan Durakэто от бедности. Ну нельзя же всерьез считать что экспорт из БД террабайта в текстовый файл а потом его обработка питоном - это эффективнее чем обработка внутри бд.
предложи свой вариант. разговор не о том что где-то эффективней, а вот что вариантов натренировать модель в рсубд попросту нет.
Все идет к тому, что спарк станет РСУБД, да и ты тот же игнайт уже рсубд назвал. И хайв.
И будут они нормальными рсубд, с ansi sql, mvcc, транзакциями и redolog.
И вопрос с РСУБД решится сам собой, вхождение текущих недосубд бигдата рещений в большую семью рсубд.
Конечно конкретный оракл может и помрет. Но туда ему и дорога. А рсубд будут живы
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712476
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1Ivan Durakэто от бедности. Ну нельзя же всерьез считать что экспорт из БД террабайта в текстовый файл а потом его обработка питоном - это эффективнее чем обработка внутри бд.
предложи свой вариант. разговор не о том что где-то эффективней, а вот что вариантов натренировать модель в рсубд попросту нет.
ах да.... чуть не забыл.
https://docs.microsoft.com/en-us/sql/advanced-analytics/r/sql-server-r-services?view=sql-server-2017
R внутри MS sql server.
ДАННЫЕ никуда перемещать не надо.. никаких экспортов в csv. Бери и анализируй по месту их нахождения.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712479
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов Денис,
и что? Это повод оправдывает ошибки в информационной системе, из за которых массово блокируют счета граждан, которые не занимаются никакими теневыми делами?

Связь с темой прямая. H5N1 заявил, что РУСБД не подходят для обработки информации самообучающимися программами и что их надо менять на бигдату или использовать как хранилища. Сразу возникает вопрос о надежности таких программ. И вот - есть известный масштабный пример работы с кучей ошибок.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712480
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
или например
https://gpdb.docs.pivotal.io/590/install_guide/install_python_dsmod.html
Внутри гринпламовского кластера питон с пандами и блекджеком.
Анализируй не хочу.....
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712482
Eugene New
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan Durak,
а не выйдет ли так, что эта новая рсубд будет хуже предыдущик потому, что в ней сразу отказались от соблюдения целостности и не считают это важным?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712496
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan Durakах да.... чуть не забыл.
https://docs.microsoft.com/en-us/sql/advanced-analytics/r/sql-server-r-services?view=sql-server-2017
R внутри MS sql server.
ДАННЫЕ никуда перемещать не надо.. никаких экспортов в csv. Бери и анализируй по месту их нахождения.
я об этом упоминал
H5N1самое близкое к субд видел примерчики у майкрософт, они предлагают питон скрипты в субд запускать. но это тоже лишь иллюзия, реально там точно так же данные из движка субд копируются в питон.

в этих примерах они по odbc перекачивает данные в R
https://docs.microsoft.com/en-us/sql/advanced-analytics/tutorials/deepdive-create-sql-server-data-objects-using-rxsqlserverdata?view=sql-server-2017


Ivan DurakВсе идет к тому, что спарк станет РСУБД, да и ты тот же игнайт уже рсубд назвал. И хайв.
И будут они нормальными рсубд, с ansi sql, mvcc, транзакциями и redolog.
И вопрос с РСУБД решится сам собой, вхождение текущих недосубд бигдата рещений в большую семью рсубд.
Конечно конкретный оракл может и помрет. Но туда ему и дорога. А рсубд будут живы
сомневаюсь я что FK, жестко синхронизированные индексы, autoincrement поля можно будет подружить с массивно параллельностью. без FK и индексов на роль рсубд их не натянуть, имхо. а с ними я слабо представляю перформенс в параллель.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712497
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene NewIvan Durak,
а не выйдет ли так, что эта новая рсубд будет хуже предыдущик потому, что в ней сразу отказались от соблюдения целостности и не считают это важным?это сперва отказались, а потом спохватились.
Уже в ORC формате для HIVE появилась поддержка ACID транзакций
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712502
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1Ivan DurakВсе идет к тому, что спарк станет РСУБД, да и ты тот же игнайт уже рсубд назвал. И хайв.
И будут они нормальными рсубд, с ansi sql, mvcc, транзакциями и redolog.
И вопрос с РСУБД решится сам собой, вхождение текущих недосубд бигдата рещений в большую семью рсубд.
Конечно конкретный оракл может и помрет. Но туда ему и дорога. А рсубд будут живы
сомневаюсь я что FK, жестко синхронизированные индексы, autoincrement поля можно будет подружить с массивно параллельностью. без FK и индексов на роль рсубд их не натянуть, имхо. а с ними я слабо представляю перформенс в параллель.
MPP системы уже 100 лет как имеют и индексы и FK и автоинкремент.
От терадаты до гринплама.
https://www.ktexperts.com/teradata-secondary-indexes-in-teradata/
И перформанс в паралель отличный
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712517
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan DurakMPP системы уже 100 лет как имеют и индексы и FK и автоинкремент.
От терадаты до гринплама.
https://www.ktexperts.com/teradata-secondary-indexes-in-teradata/
И перформанс в паралель отличный
терадате 100 лет в обед и ничего она на фоне оракла так и не показала за эти годы. как я понимаю с терадаты такой же тренд мигрировать на хадупы.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712524
Addx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вы не любите кошек? Вы просто не умеете их готовить! (с)

Люди зачастую с трудом понимают смежные области и ищут серебряные пули.
Помню статью на Хабре про крутой проект на микросервисах.
И понимаю, что на SQL это 10 строчек кода.
Просто нужно понимать реляционные базы чуть лучше, чем знать простые join'ы.
И не уповать, что ORM - это панацея для всех проблем.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712570
казинак
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexander RyndinH5N1да известно чего. рсубд до масштабов сбера не отмасштабировать. запихнуть весь сбер в одну субд не выходит. практически каждый филиал там до сих пор отдельные субдНу ты ведь не знаешь про Сбер НИЧЕГО. Какого хрена ты несешь эту чушь тут?
да он походу вообще ничего не знает
как попугай повторяет тут про параллель
и не понимает что параллель сделать, как два пальца...
хоть в жаве, хоть в оракле, хоть в пхп
вопрос только в доступном кол-ве ядер и памяти
и в наличии/отсутствии разделяемых ресурсов
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712749
stenford
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AddxПомню статью на Хабре про крутой проект на микросервисах.
И понимаю, что на SQL это 10 строчек кода.
Просто нужно понимать реляционные базы чуть лучше, чем знать простые join'ы.
И не уповать, что ORM - это панацея для всех проблем.
молодой человек, вы там пример прочитали. Микросервисы это следующая стадия развития софта. Одной из предыдущих стадий был именно что переход на ОРМ, он уже давно завершен. А что-б вам стало еще страшнее, в микросервисах нет ни внешних ключей, ни транзакций (между микросервисами), и даже джойны между ними не сделать. И представляете, все работает
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712787
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vitkhvmaytonЯ практически ничего не понял из фразы где там 1С-ники что-то решают и решают эффективно.
Хотел-бы посмотреть. Реально хотел. Где тут 1С-ники. Ану покажите мне так вот чтоб я прямо восхитился!
А что хотел та, ну акромя общих фраз?
Давайте я объясню. Я - человек любопытный. Есть у меня такая черта. Инженерный интерес.
В 1С я не специалист. Я его не знаю. И вдруг (!) внезапно в форуме один господин говоритПацаны из 1С в части SQL ужо давно тебя уделают, пока ты думаешь что ты крут в SQL со своими PIVOT\UNPIVOT, CTE и прочей магией, пацаны из 1С на чистом и незамутненном SQL решают задачи практически любого уровня сложности.
Разумеется я весь превратился в заинтересованность и жду каких-то пруфов.
И в моем месседже нет никакой враждебности по отношению к 1С.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39712793
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene Newотсюда и все проблемы с "где открывали карту, туда и идите"
Читал описание интересной вещи - человек давно закрыл карточку, проверял ее закрытие, работники видели что закрытие прошло, а ему потом снова приходило уведомление о долге. И так несколько раз, пока он не накатал заяву в Центробанк.

Симонов Денис,
так тут говорят разные вещи. От вообще не использовать до "полностью заменить" РСУБД. Я не знаю, чего ждать от Сбербанка после того, как слышал как его региональный руководитель на конференции утверждал на полном серьезе, что к 2030 году человечество ждет бессмертие и его после этого не увезли в дурку.

Тема блокировки карточек и счетов непонятно за что по случайному принципу тоже эпична. Причем никто не может ни описать критерии, ни быстро ликвидировать ошибку. Поэтому многие граждане уже давно сделали вывод, что в Сбербанке вообще нельзя делать переводов на чужие счета, а лучше там и денег не хранить.
В топике никто не признался что работает в Сбербанке. Соотв у нас нет никакой объективной
информации о том что происходит внутри. Есть жалобы на ошибочные банковские операции.
И мне кажется что пока картины происходящего нет - нам не стоит сейчас ругать или хвалить
Oracle или Middleware или терминалы или прочие звенья этой запутанной системы. У нас - нет
ничего полезного по теме чтобы можно было обсудить. Более того. Если инцедент был
- то существует расследование. И я не верю что дураки там работают. Убежден что есть
архитектурная проблема которая не фиксится в 1 коммит. Надо много чего менять.

И в высшей степени глупо и безответственно заявлять что "виноват Оракл а вот если бы поставили
туда мою любимую СУБД Х то сразу бы не было проблем и все летало-бы и свистело".
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39716789
обед
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
maytonEugene Newпропущено...

Читал описание интересной вещи - человек давно закрыл карточку, проверял ее закрытие, работники видели что закрытие прошло, а ему потом снова приходило уведомление о долге. И так несколько раз, пока он не накатал заяву в Центробанк.

Симонов Денис,
так тут говорят разные вещи. От вообще не использовать до "полностью заменить" РСУБД. Я не знаю, чего ждать от Сбербанка после того, как слышал как его региональный руководитель на конференции утверждал на полном серьезе, что к 2030 году человечество ждет бессмертие и его после этого не увезли в дурку.

Тема блокировки карточек и счетов непонятно за что по случайному принципу тоже эпична. Причем никто не может ни описать критерии, ни быстро ликвидировать ошибку. Поэтому многие граждане уже давно сделали вывод, что в Сбербанке вообще нельзя делать переводов на чужие счета, а лучше там и денег не хранить.
В топике никто не признался что работает в Сбербанке. Соотв у нас нет никакой объективной
информации о том что происходит внутри. Есть жалобы на ошибочные банковские операции.
И мне кажется что пока картины происходящего нет - нам не стоит сейчас ругать или хвалить
Oracle или Middleware или терминалы или прочие звенья этой запутанной системы. У нас - нет
ничего полезного по теме чтобы можно было обсудить. Более того. Если инцедент был
- то существует расследование. И я не верю что дураки там работают. Убежден что есть
архитектурная проблема которая не фиксится в 1 коммит. Надо много чего менять.

И в высшей степени глупо и безответственно заявлять что "виноват Оракл а вот если бы поставили
туда мою любимую СУБД Х то сразу бы не было проблем и все летало-бы и свистело".

работающие в сбербанке подписывают nda, вообщето.
так что и комментировать такие моменты не могут.
но дело точно было не в бобине.

авторin memory grids типа apache ignite. там заявлены acid транзакции и redo log, консистентность. при этом ignite уже скрестили со спарком и внедрить пытаются не волосатые хипстеры, а уже сбер. и снова цель заместить реляционный оракл.

сбер отказался от grid gain, как от основной среды для мега абс. "не шмогла" обеспечить производительность и надежность на сравнимых с ораклом железе. 100 с лишком серваков гридгейна не потянули объемы сбера. АСИД не взлетел. Дешевле не оказалось.

Это не фоточки из инстаграмма хранить. каждая операция - должна быть обработана.
Короче все эти игры с инмемори только для аналитики и то относительно небольших объемов когда в память одной машины можно все уложить. по нынешнему железу это 2-3 терабайта максимум.

а у ведущих игроков петабайты информации. гридгейн тут вообще ничего не сможет. Хранить в даталейк? ну пытаются... выхлоп ноль вроде.
Ну вот даже слил ты в даталейк миллионы несортированного датамусора, а качество данных и т.п.? Кассандра, Монго, спарк? Данные то они хранить могут, а вот обработать-и что то осмысленное вытащить это боль. Вытащить из кассандры сделки определенного типа всех клиентов определенного сегмента - Бггг. Оно может железо там дешевле достанется. Но разработка выходит платиновая. Дешевле купить за пару лямов баксов оракловый сервер, чем оплачивать 10 явистам год програмирования в касандре то что на оракле 2 человека пишут за месяц.
Поэтому пока хоть рсубд и кактус но приходится его жрать. и пока работающих альтернатив для данных порядка более 10 тб не видел.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39716890
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
обедсбер отказался от grid gain, как от основной среды для мега абс. "не шмогла" обеспечить производительность и надежность на сравнимых с ораклом железе. 100 с лишком серваков гридгейна не потянули объемы сбера. АСИД не взлетел. Дешевле не оказалось.

ну не взлетел у сбера, взлетит у западного банка. дело то не в конкретной попытки или реализации. дело в архитектуре, которая уже показала все что надо. а код отладят. может это и не игнайт будет, а что
суть не в конкретной попытки, а в том что с технологией играют серьезные игроки. то же самое было с хадупами.
ктати у сбера не 100, а 2000 нод в кластере.

обедНу вот даже слил ты в даталейк миллионы несортированного датамусора, а качество данных и т.п.? Кассандра, Монго, спарк? Данные то они хранить могут, а вот обработать-и что то осмысленное вытащить это боль. Вытащить из кассандры сделки определенного типа всех клиентов определенного сегмента - Бггг. Оно может железо там дешевле достанется. Но разработка выходит платиновая. Дешевле купить за пару лямов баксов оракловый сервер, чем оплачивать 10 явистам год програмирования в касандре то что на оракле 2 человека пишут за месяц.

по факту банки хранят и анализируют данные в хадупах, абсолютно те же реляционные данные что еще вчера были в оракловых dwh. при этом что у них, что у нас качество данных лишь выросло и обогатилась еще и нереляционными источниками.

обедПоэтому пока хоть рсубд и кактус но приходится его жрать. и пока работающих альтернатив для данных порядка более 10 тб не видел.
если бы рсубд работали, не было бы и вопросов. а так что выходит - как только чуть больше данных в аналитики, все денормализуем, пихаем в непонятные звезды, лишь бы реляционости и джоинов было бы поменьше. нужна аналитика чуть серьезней, все решения тащат данные прочь из рсубд. куда-нить в SAS data miner, R server или ML обертки на phyton.
с олтп то же самое. рсубд не тянут. чуть побольше транзакций - на онлайн транзакции табу, пишем в очередь, а там уже что-то в бэкграунде батчами запроцессит. разница с аналитикой лишь в том, что пока и у альтернатив сильно лучшего решения нет. но эти альтернативы то развиваются. ну так и хадупы не в один год потеснили рсубд в фин секторе.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39716953
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
обедработающие в сбербанке подписывают nda, вообщето.
так что и комментировать такие моменты не могут.
но дело точно было не в бобине.

Я сам подписывал NDA. Но история получила резонанс. И уменя сложилось впечатление что речь идет
чуть ли не о крауд-сорсинге или звучит "крик о помощи" со стороны специалистов СБ которые
понимают сложность и комплексность проблемы и не отказываются от консультаций.

Я за новостями не следил детально и не знаю что там есть и я могу путать два разных события
в ленте новостей СБ поэтому заранее Sorry!
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39723824
Фотография hVostt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene NewСам я люблю язык структурированных запросов. Но если посмотреть на то, сколько всяких технологий придумали для его замену, на то, что пропагандируют в разных книжках, создается ощущение какой то темной иррациональной ненависти к SQL.

Ненависть не к языку, а к труду, с которой может справится даже обезьяна.
Давайте посмотрим, есть система с большим количеством типов данных и сложной логикой, тысячи таблиц.

Писать запросы для каждой из тысячи таблиц?
Это как надо упороться или как надо любить SQL?

Потом. Контроль типов. При разработке ПО статическая типизация рулит, и тем сильнее рулит, чем крупнее информационная система, чем больше разработчиков участвует в разработке.

Ну и зачем писать в статической среде руками на динамическом языке запросов? При большом количестве типов, нужно выразить явно свои намерения к тому, что хочется получить в виде объектов, а не каких-то наборов данных.

И при этом язык запросов таки нужен, для анализа, для BI, для тюнинга, да много для чего.

Одно вовсе не исключает другое.

Важное во всех этих странных спорах все забывают:

не нужно делать руками то, что может сделать машина.

Нравится упарываться обезьяним трудом? Та ради бога.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39723992
Фотография Щиче
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
stenfordAddxПомню статью на Хабре про крутой проект на микросервисах.
И понимаю, что на SQL это 10 строчек кода.
Просто нужно понимать реляционные базы чуть лучше, чем знать простые join'ы.
И не уповать, что ORM - это панацея для всех проблем.
молодой человек, вы там пример прочитали. Микросервисы это следующая стадия развития софта. Одной из предыдущих стадий был именно что переход на ОРМ, он уже давно завершен. А что-б вам стало еще страшнее, в микросервисах нет ни внешних ключей, ни транзакций (между микросервисами), и даже джойны между ними не сделать. И представляете, все работает

Если он молодой, то вы безграмотный :) Все ваши утверждения сплошной треп.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39723994
Фотография Щиче
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Eugene NewСам я люблю язык структурированных запросов. Но если посмотреть на то, сколько всяких технологий придумали для его замену, на то, что пропагандируют в разных книжках, создается ощущение какой то темной иррациональной ненависти к SQL.

Есть ли какие то рациональные причины?

Я вижу три возможных:
1. Реляционные БД может быть плохо сочетаются с рапараллеливанием на много компьютеров

Сочетаются, примеров масса. Да если бы даже и не сочеталось, есть уйма ситуаций, когда одного сервера достаточно.

Eugene New2. ООП плохо связывается с SQL

У дураков и перфекционистов. Mapper вроде Spring JDBC или MyBatis справляются с проблемой многие годы. Дело не в ООП как таковом, а в стремлении идиотов использовать единственный инструмент для всех задач сразу. Профессиональный программист выбирает инструмент под задачу, а не пытается топором копать яму.
Eugene New3. Возможно считается, что среднестатистический программист настолько туп и не обладает способностями к абстрактному мышлению, что не в состоянии понять реляционную теорию, основанную на понятии множеств.

Ирония состоит в том, что ORM отлично справляется только с небольшим подмножеством задач работы с СУБД. Любой шаг за это подмножество и его мнимое упрощение оборачивается потерей времени на все эти lazy/eager, потерей производительности на выдергивание посторонних данных, неадекватное построение запросов.
ОРМ развивается только в сторону все большего неадеквата. Вместо того, чтобы сразу достать из БД то, что требуется, поднимается сущность с кучей посторонней лабуды, затем эта сущность каким-нибудь MapStruct перешивается в DTO, а уж из неё мы наконец вычленяем то, что будет полезно по делу. Обычно процентов 10%-40% от того, что СУБД нам отдала. Скучно, бессмысленно и затратно.

Причины нелюбви к SQL чисто психологические. Кто-то у нас "прогрессор", который думает только о "новизне" очередной фигни, кто-то у нас перфекционист ("чистота" кода превыше всего), кто-то у нас озабочен никогда не встающими проблемами типа "поменять СУБД", а большинство просто дураки повышающие свое ЧСВ за счет применения "продвинутых" технологий.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39725475
Озверин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А мне как раз проще писать запросы нативные запросы к базе, чем учить очередную поделку на очередном языке.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39725481
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ОзверинА мне как раз проще писать запросы нативные запросы к базе, чем учить очередную поделку на очередном языке.
Логика в хранимках? Или Вы просто не используете Mapping, Unit Of Work и т.п.?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39725656
Озверин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дмитрий МухОзверинА мне как раз проще писать запросы нативные запросы к базе, чем учить очередную поделку на очередном языке.
Логика в хранимках? Или Вы просто не используете Mapping, Unit Of Work и т.п.?

Причем тут хранимки? Я ж не про CRUD логику. Я, допустим, про агреггированную выборку. Или про параметризированную выборку со сложными джоинами.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39726161
Фотография hVostt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ОзверинПричем тут хранимки? Я ж не про CRUD логику. Я, допустим, про агреггированную выборку. Или про параметризированную выборку со сложными джоинами.

Проблема в том, что эту выборку надо захардкодить.
Как её тестировать?
Что делать, когда сложные джойны даже с оптимизациями не потянут по скорости на больших объёмах?
А как сцепить данные с разных систем в реальном времени?

Одна выборка ок.
А когда их овер-дофига?
Каждую писать руками, сопровождать?

Модель данных не зарефакторить от слова совсем и от слова никогда, так как все запросики лягут, столько труда на выброс...

В общем, это очередной холивор,.. типа :)
На самом деле для меня нет, просто суровая реальность говорит о том, что хранимщики просто не хотят лишаться работы, чтобы не учиться чему-то новому.

Так как за них эту же работу в >80% времени может сделать машина.
Рабский ручной труд нужен только для обеспечения рабочих место стране.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39726182
Фотография Щиче
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ОзверинПричем тут хранимки? Я ж не про CRUD логику. Я, допустим, про агреггированную выборку. Или про параметризированную выборку со сложными джоинами.

Чем сложнее запрос, тем больше ORM требует внимания к себе и тем хуже он его составляет. Если учесть, что CRUD давно уже автоматизирован на уровне JDBC (Spring Data JDBC, например), то ORM остается кэширование и некоторые другие неоднозначно полезные вещи.

https://habr.com/post/423697/ Механизм ленивой загрузки может внезапно выполнить ресурсоемкие запросы, или и вовсе упасть с исключением. Кэширование может встать на вашем пути когда вы решите сравнить две версии entity, а вкупе с отслеживанием изменений помешает понять — в какой же момент реально выполнятся все операции с базой данных?


Можно точно также писать запросы в аннотации не делая реализацию. Spring Data сама сделает класс реализации. Если вам надо что-то специфичное, вроде connect by Oracle, то проблемы нет. Пишете запрос, а всю подстилку за вас сделают. ORM, извините, дойдет до элементарных вещей в SQL когда-нибудь в следующем тысячелетии. И сделает это так объектно, что придется неделями курить мануалы вместо часа максимум в SQL.

И сущность можно сделать, для неё сгенерят все методы типа findAll и т.д.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39726309
tunknown
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hVosttПроблема в том, что эту выборку надо захардкодить.
Как её тестировать?Действительно, тестировать что-то при наличии ORM очень трудно.

hVosttЧто делать, когда сложные джойны даже с оптимизациями не потянут по скорости на больших объёмах?Понять ограниченность опыта своей команды и обратиться к специалисту по традиционным базам данным. Хотя, да. Сейчас 10Gb сети дешевеют, затащим всё на клиента и там ORM всё сделает.

hVosttА как сцепить данные с разных систем в реальном времени?Единственное, что хоть как-то оправдывает существование ORM. Однако, необходимость таких архитектурных подходов сильно пропиарена и преувеличена. Можно сделать то же самое средствами СУБД, и часто это изменение архитектуры будет более выигрышным.

hVosttОдна выборка ок.
А когда их овер-дофига?
Каждую писать руками, сопровождать?Что на клиенте, что на сервере придётся и программировать и сопровождать. На клиенте сопровождать затратнее.

hVosttМодель данных не зарефакторить от слова совсем и от слова никогда, так как все запросики лягут, столько труда на выброс...Зарефакторить что-либо при наличии ORM действительно невозможно. Хотя, это не нужно, т.к. 100Gb сети не за горами. Если не умеете архитектурно разделять данные и код, то и "запросики лягут".

hVosttНа самом деле для меня нет, просто суровая реальность говорит о том, что хранимщики просто не хотят лишаться работы, чтобы не учиться чему-то новому.Просто императивщики не хотят учиться и изучить СУБД.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39726416
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1ну не взлетел у сбера, взлетит у западного банка. дело то не в конкретной попытки или реализации. дело в архитектуре, которая уже показала все что надо. а код отладят. может это и не игнайт будет, а что
суть не в конкретной попытки, а в том что с технологией играют серьезные игроки. то же самое было с хадупами.
ктати у сбера не 100, а 2000 нод в кластере.

гридгейн это поделие сбера. Посмотрите у него страничку инвесторы и на Витюху Орловского в совете директоров. Сомневаюсь, что серьёзный западный банк больше Сбера будет внедрять на полную это каптивное поделие, которое не взлетело даже у его создателя.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39726445
Фотография SergSuper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
БумбарашH5N1ну не взлетел у сбера, взлетит у западного банка. дело то не в конкретной попытки или реализации. дело в архитектуре, которая уже показала все что надо. а код отладят. может это и не игнайт будет, а что
суть не в конкретной попытки, а в том что с технологией играют серьезные игроки. то же самое было с хадупами.
ктати у сбера не 100, а 2000 нод в кластере.

гридгейн это поделие сбера. Посмотрите у него страничку инвесторы и на Витюху Орловского в совете директоров.не совсем
фирма уже существовала много лет на момент покупки сбером
http://www.jetinfo.ru/stati/intervyu-s-osnovatelem-i-tekhnicheskim-direktorom-gridgain
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39726522
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ну ок, переформулируем - гридгейн сейчас живет на деньги Сбера. Кто слышал про неё до покупки сбером? Даже в статье сбер упоминается 11 раз и история крупных контрактов в России идет от Сбера. Типа мы делаем в Сбере, на это люди смотрят и тоже думают.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39726529
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Бумбарашну ок, переформулируем - гридгейн сейчас живет на деньги Сбера. Кто слышал про неё до покупки сбером? Даже в статье сбер упоминается 11 раз и история крупных контрактов в России идет от Сбера. Типа мы делаем в Сбере, на это люди смотрят и тоже думают.
гридгейн это имортозамещенный Apache Ignite который уже давно работает, без всяких сбербанков.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39728309
Фотография hVostt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
tunknownhVosttПроблема в том, что эту выборку надо захардкодить.
Как её тестировать?Действительно, тестировать что-то при наличии ORM очень трудно.

Да? Несколько крупных успешных проектов, где ORM полностью покрыто тестами, без существенных трудозатрат? Что делали не так? Может просто руки не из ж? ))


tunknownhVosttЧто делать, когда сложные джойны даже с оптимизациями не потянут по скорости на больших объёмах?Понять ограниченность опыта своей команды и обратиться к специалисту по традиционным базам данным. Хотя, да. Сейчас 10Gb сети дешевеют, затащим всё на клиента и там ORM всё сделает.

Никакой опыт не может считаться вышкой. Только во влажных мечтах джунов. Что значит "всё на клиента"? Двухзвенка, м? Вы думаете ORM-ы не генерят запросы к БД? Или чего вы хотите сказать? Пока что я вижу, что просто выпячиваете грудь, но без аргументов, это дико смешно ))

tunknownhVosttА как сцепить данные с разных систем в реальном времени?Единственное, что хоть как-то оправдывает существование ORM. Однако, необходимость таких архитектурных подходов сильно пропиарена и преувеличена. Можно сделать то же самое средствами СУБД, и часто это изменение архитектуры будет более выигрышным.

Существование ORM оправдывает сотни тысяч успешно выполненных проектов, выполненных быстро, без ушедших в историю дба, хорошо выполняющих свои задачи. Суть в том, что религиозные взгляды некоторым не позволяют видеть дальше собственного носа. Хотя и обратный случай клиники тоже есть.

Средствами СУБД можно многое сделать, вплоть до написания приложения внутри БД. Но это бесперспективный путь, просто ущербный, дорогой и тупой по своей сути. Есть ряд узкоспециализированных задач, прям очень узко, где логика в БД имеет смысл. Но при любой возможности, от этого нужно уходить, что многие и делают. И с каждым годом тенденция ухода от кодинга в БД уходит, чему я очень рад.

tunknownЧто на клиенте, что на сервере придётся и программировать и сопровождать. На клиенте сопровождать затратнее.

Вы опять про двух-звенку? Ну-ну. Опыт, смотрю, так и прёт у вас изо всех щелей

tunknownЗарефакторить что-либо при наличии ORM действительно невозможно. Хотя, это не нужно, т.к. 100Gb сети не за горами. Если не умеете архитектурно разделять данные и код, то и "запросики лягут".

Серьёзно? Мы успешно рефакторили, и не раз. Коллеги рефакторили, без проблем. Меняли вендора БД. Писали сразу под несколько вендоров (MS SQL, Postgres, Oracle). Никакие запросики не легли. Архитектурно, данные и код надо разделять так: в БД лежат данные, в приложении код, запросы это тоже код (надеюсь, хоть это для вас не будет открытием).

tunknownПросто императивщики не хотят учиться и изучить СУБД.

Суть в том, что сами разработчики ORM-ов должны знать СУБД отлично, очень многие разработчики пришли в ORM из разработки СУБД-first, потому что устали заниматься обезьяним трудом.

Но что важно, это может быть оскорбительным.. Но не обессудьте. Некоторым нравится обезьяний труд, так как ничего другого они не умеют, понимать, изучать, осваивать не хотят. А хотят сидеть на насиженном месте, так как обезьяний труд он и есть обезьяний. Для обезьян.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39728325
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ОзверинДмитрий Мухпропущено...

Логика в хранимках? Или Вы просто не используете Mapping, Unit Of Work и т.п.?

Причем тут хранимки? Я ж не про CRUD логику. Я, допустим, про агреггированную выборку. Или про параметризированную выборку со сложными джоинами.
Спрашиваю про хранимки, потому что пытаюсь понять, о чём речь.

Аггрегированную выборку, или параметризированную выборку со сложными джоинами можно и в запрос оформить.
А можно и приложение построить так, что аггрегаты будут считаться при записи и данные денормализоваться.
Тогда выборки будут простые и крайне быстрые.

Но это уже вопрос проектирования, а не ORM vs SQL.

И то, что Вы назвали CRUD логикой у вас где, в хранимках?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39728328
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ЩичеЧем сложнее запрос, тем больше ORM требует внимания к себе
Чем сложнее запрос, тем он сам должен требовать внимания к себе.
Не стоит ждать дня, когда он перевалит на третью страницу, чтобы задуматься над тем, а как переделать систему, чтобы не было сложных запросов.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39728334
Фотография Щиче
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дмитрий МухЩичеЧем сложнее запрос, тем больше ORM требует внимания к себе
Чем сложнее запрос, тем он сам должен требовать внимания к себе.
Не стоит ждать дня, когда он перевалит на третью страницу, чтобы задуматься над тем, а как переделать систему, чтобы не было сложных запросов.

Хорошо. У вас такой запрос в силу сложной бизнес логики. Допустим, ценой глубоких раздумий вы его сократили до 2 страниц. Но больше уже не получается ибо задача. И никакие манипуляции со структурой не годятся, ибо тогда вы будете продумывать ещё стопитцот других задач сидящих на ней.
Декомпозиция - отличный вариант. Но, серия запросов куда как менее производительна нежели один большой. Использовать хранимки, где это можно сделать, используя один запрос извне, по нынешним взглядам низзя!
Вот и думайте, вы используете один запрос сложной структуры, расходуя минимум ресурсов, или вынимаете душу из СУБД.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39728335
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ЩичеДмитрий Мухпропущено...

Чем сложнее запрос, тем он сам должен требовать внимания к себе.
Не стоит ждать дня, когда он перевалит на третью страницу, чтобы задуматься над тем, а как переделать систему, чтобы не было сложных запросов.

Хорошо. У вас такой запрос в силу сложной бизнес логики. Допустим, ценой глубоких раздумий вы его сократили до 2 страниц. Но больше уже не получается ибо задача. И никакие манипуляции со структурой не годятся, ибо тогда вы будете продумывать ещё стопитцот других задач сидящих на ней.
Декомпозиция - отличный вариант. Но, серия запросов куда как менее производительна нежели один большой. Использовать хранимки, где это можно сделать, используя один запрос извне, по нынешним взглядам низзя!
Вот и думайте, вы используете один запрос сложной структуры, расходуя минимум ресурсов, или вынимаете душу из СУБД.
Что конкретно за запрос? Кому он нужен?
Как с этими данными дальше работают? Расчитать их при записи есть возможность? Навернякак есть
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39728338
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Зачастую ведь оно как бывает: есть бизнес транзакция в результате выполнения которой данные разлетаются по N таблицам.
А потом, внезапно, собираются из этих же N таблиц + справочники в сложный запрос "в силу сложной бизнес логики".

Так вот если на последнее взглянуть пристальнее, то легко прийти к очевидному выводу
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39728349
Фотография Щиче
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дмитрий МухЧто конкретно за запрос? Кому он нужен?
Как с этими данными дальше работают? Расчитать их при записи есть возможность? Навернякак есть

Наверняка нет :) Запрос собирающий данные из записей товарных остатков.
Вмешиваться в запись низзя. Рассчитать при записи низзя, потому что они сыпятся мощным потоком. Реагировать на каждую запись - обратить производительность в ноль. Триггеры, напомню, использовать западло, да и не всегда помогает.
По планировщику в обед или ночью выполняется тот самый сложный запрос, что и рассчитывает. Но даже ночью надо знать меру, потому что магазин работает, а в обед покупатели все равно есть!

В каждой большой системе что-то подобное наличествует.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39728350
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ЩичеДмитрий МухЧто конкретно за запрос? Кому он нужен?
Как с этими данными дальше работают? Расчитать их при записи есть возможность? Навернякак есть

Запрос собирающий данные из записей товарных остатков.
Значит можно. Через регистр движения товаров. 15 лет назад для НК "ЮКОС" такое делали.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39728351
Фотография Щиче
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дмитрий МухЗачастую ведь оно как бывает: есть бизнес транзакция в результате выполнения которой данные разлетаются по N таблицам.
А потом, внезапно, собираются из этих же N таблиц + справочники в сложный запрос "в силу сложной бизнес логики".

Так вот если на последнее взглянуть пристальнее, то легко прийти к очевидному выводу

Да, что написание/поддержка сложного запроса обойдется куда дешевле, чем тот самый очевидный вывод. Трудоемкость просто много меньше :) Как для программиста, так и для СУБД.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39728354
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ЩичеДмитрий МухЗачастую ведь оно как бывает: есть бизнес транзакция в результате выполнения которой данные разлетаются по N таблицам.
А потом, внезапно, собираются из этих же N таблиц + справочники в сложный запрос "в силу сложной бизнес логики".

Так вот если на последнее взглянуть пристальнее, то легко прийти к очевидному выводу

Да, что написание/поддержка сложного запроса обойдется куда дешевле, чем тот самый очевидный вывод.
До поры до времени
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39728532
Victor Metelitsa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hVostt
Суть в том, что сами разработчики ORM-ов должны знать СУБД отлично, очень многие разработчики пришли в ORM из разработки СУБД-first, потому что устали заниматься обезьяним трудом.

Но что важно, это может быть оскорбительным.. Но не обессудьте. Некоторым нравится обезьяний труд, так как ничего другого они не умеют, понимать, изучать, осваивать не хотят. А хотят сидеть на насиженном месте, так как обезьяний труд он и есть обезьяний. Для обезьян.
ORM полезен в меру. А то, с чем встречался я как админ, было откровенное тормознутое говно. Я могу объяснить это только тем, что те програмёры не знали СУБД и не желали знать. И ORM это провоцирует, создаёт иллюзию, что можно обойтись без.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39728542
Addx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
stenfordAddxПомню статью на Хабре про крутой проект на микросервисах.
И понимаю, что на SQL это 10 строчек кода.
Просто нужно понимать реляционные базы чуть лучше, чем знать простые join'ы.
И не уповать, что ORM - это панацея для всех проблем.
молодой человек, вы там пример прочитали. Микросервисы это следующая стадия развития софта. Одной из предыдущих стадий был именно что переход на ОРМ, он уже давно завершен. А что-б вам стало еще страшнее, в микросервисах нет ни внешних ключей, ни транзакций (между микросервисами), и даже джойны между ними не сделать. И представляете, все работает

О, еще один адепт. Прямо у него эволюция идет.
Решил поразить всех откровениями, никто же тут не знает что такое ORM и микросервисы.
Вы хотя бы книжку почитайте какую-нибудь, что такое микросервисы и с чем их едят.
Не будете нести бред (давно такого не читал) насчет транзакций, ключей и джоинов (которые не связаны с микросервисной архитектурой от слова никак).
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39728559
Addx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дмитрий МухЗачастую ведь оно как бывает: есть бизнес транзакция в результате выполнения которой данные разлетаются по N таблицам.
А потом, внезапно, собираются из этих же N таблиц + справочники в сложный запрос "в силу сложной бизнес логики".

Так вот если на последнее взглянуть пристальнее, то легко прийти к очевидному выводу

А потом (внезапно) оказывается, что нет. И данные можно рассчитывать в момент записи, и реестров понастроить.
Вот только при каждом изменении их перестраивать надо, а это (внезапно) процесс небыстрый.
И данные нужны чуть сложнее, чем в разрезе одного реестра - операция/остаток.
Впрочем, тут очень сильно зависит от приложения и архитектуры.
Кроме того, всепеределать! не всегда возможно, а хп неплохой уровень абстракции.
Впрочем, я вовсе не принципиальный сторонник бизнес-логики в хп, во многих случаях легко обойтись без них.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39728667
Озверин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дмитрий МухОзверинпропущено...


Причем тут хранимки? Я ж не про CRUD логику. Я, допустим, про агреггированную выборку. Или про параметризированную выборку со сложными джоинами.
Спрашиваю про хранимки, потому что пытаюсь понять, о чём речь.

Аггрегированную выборку, или параметризированную выборку со сложными джоинами можно и в запрос оформить.
А можно и приложение построить так, что аггрегаты будут считаться при записи и данные денормализоваться.
Тогда выборки будут простые и крайне быстрые.

Но это уже вопрос проектирования, а не ORM vs SQL.

И то, что Вы назвали CRUD логикой у вас где, в хранимках?

Совершенно не сравнимая сложность между: "построить один запрос быстро и на коленке проверить результат" и "построить приложение так, чтобы агрегировало что нужно, денормализовало и так далее". Впрочем, кроме сложности, несравнимые затраты денежные и временные.

CRUD логика - это базис, заложенные в соврвеменные ORM системы. Причем тут хранимки? Я говорил о том, что если от софта требуется примитивный CRUD, то я прикручу springjpa и за 15 минут слабаю на коленке готовый прототип без всяких SQL запросов, но если же логика потребуется сложнее, то я сначала накидаю SQL запросы к системе нативные, если они дадут результат - буду думать, куда дальше развивать систему.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39728744
казинак
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ORM - это просто посредник между UI и DB
ОРМ просто генерирует SQL из операторов жабы, сисярпа и т.д.
ну а посредники - это паразиты...

Просто, некоторые хвосты и мухи настолько ограничены, что не в состоянии освоить sql...
а понимание, как работает оптимизатор - ваще не для них
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39728775
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AddxДмитрий МухЗачастую ведь оно как бывает: есть бизнес транзакция в результате выполнения которой данные разлетаются по N таблицам.
А потом, внезапно, собираются из этих же N таблиц + справочники в сложный запрос "в силу сложной бизнес логики".

Так вот если на последнее взглянуть пристальнее, то легко прийти к очевидному выводу

А потом (внезапно) оказывается, что нет. И данные можно рассчитывать в момент записи, и реестров понастроить.
Вот только при каждом изменении их перестраивать надо, а это (внезапно) процесс небыстрый.
И данные нужны чуть сложнее, чем в разрезе одного реестра - операция/остаток.
Впрочем, тут очень сильно зависит от приложения и архитектуры.
Кроме того, всепеределать! не всегда возможно, а хп неплохой уровень абстракции.
Впрочем, я вовсе не принципиальный сторонник бизнес-логики в хп, во многих случаях легко обойтись без них.
Откуда внезапно-то? Думаете у нас это в далёком 2003-м году внезапно случилось?

Нет, запросы разрослись, их стало трудно поддерживать, выполнялись они достаточно долго, оптимизировать стало дальше некуда.
Мы на это дело посмотрели и не внезапно, а через серию обсуждений, приняли решение переделать.
Переделали, оттестировали (в том числе и изменения с перестраиванием), внедрили в эксплуатацию на паре серверов.

Когда убедились, что всё работает, то раскатали на остальные 90+.
Начали собирать положительную обратную связь о том, как теперь всё быстро работает.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39728777
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ОзверинДмитрий Мухпропущено...

Спрашиваю про хранимки, потому что пытаюсь понять, о чём речь.

Аггрегированную выборку, или параметризированную выборку со сложными джоинами можно и в запрос оформить.
А можно и приложение построить так, что аггрегаты будут считаться при записи и данные денормализоваться.
Тогда выборки будут простые и крайне быстрые.

Но это уже вопрос проектирования, а не ORM vs SQL.

И то, что Вы назвали CRUD логикой у вас где, в хранимках?

Совершенно не сравнимая сложность между: "построить один запрос быстро и на коленке проверить результат" и "построить приложение так, чтобы агрегировало что нужно, денормализовало и так далее". Впрочем, кроме сложности, несравнимые затраты денежные и временные.
По моему опыту с ростом приложения и объемов данных затраты начинают быть сравнимыми.
Вернее писать и сопровождать сложные запросы становиться дороже и по времени и по деньгам.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39728781
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Озверинесли же логика потребуется сложнее, то я сначала накидаю SQL запросы к системе нативные, если они дадут результат - буду думать, куда дальше развивать систему
К примеру логика потребуется сложнее, но запросы при этом простые, то в какую сторону пойдёте?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39728798
Addx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
skyANA
Откуда внезапно-то? Думаете у нас это в далёком 2003-м году внезапно случилось?

Нет, запросы разрослись, их стало трудно поддерживать, выполнялись они достаточно долго, оптимизировать стало дальше некуда.
Мы на это дело посмотрели и не внезапно, а через серию обсуждений, приняли решение переделать.
Переделали, оттестировали (в том числе и изменения с перестраиванием), внедрили в эксплуатацию на паре серверов.

Когда убедились, что всё работает, то раскатали на остальные 90+.
Начали собирать положительную обратную связь о том, как теперь всё быстро работает.

Внезапно = неожиданно для разработчика.
Который думал, что новая технология - это серебряная пуля.
Я рад, что у Вас все получилось. Но это ничего не меняет.
Есть очень разный софт и очень разные задачи.
Можно сделать так
- О появилась новая (ха-ха, некоторые тут про микросервисы в 2018 году узнали) технология, все переводим на нее. Ой, не выходит каменный цветок, плохая технология, плохая.
А можно как одни ребята, которые внедряли какой-то проект (было видео на ютубе, но конечно ссылку не найду)
- Рассморели разные архитектуры - микросервисы, монолит, разные типы хранилищ и поняли, что в этом проекте микросервисы не годятся.
Я бы человека, который сказал бы мне, что микросервисы хороши для любой задачи, на работу бы не взял.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39728826
Фотография SergSuper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
skyANAAddxпропущено...


А потом (внезапно) оказывается, что нет. И данные можно рассчитывать в момент записи, и реестров понастроить.
Вот только при каждом изменении их перестраивать надо, а это (внезапно) процесс небыстрый.
И данные нужны чуть сложнее, чем в разрезе одного реестра - операция/остаток.
Впрочем, тут очень сильно зависит от приложения и архитектуры.
Кроме того, всепеределать! не всегда возможно, а хп неплохой уровень абстракции.
Впрочем, я вовсе не принципиальный сторонник бизнес-логики в хп, во многих случаях легко обойтись без них.
Откуда внезапно-то? Думаете у нас это в далёком 2003-м году внезапно случилось?

Нет, запросы разрослись, их стало трудно поддерживать, выполнялись они достаточно долго, оптимизировать стало дальше некуда.
Мы на это дело посмотрели и не внезапно, а через серию обсуждений, приняли решение переделать.
Переделали, оттестировали (в том числе и изменения с перестраиванием), внедрили в эксплуатацию на паре серверов.

Когда убедились, что всё работает, то раскатали на остальные 90+.
Начали собирать положительную обратную связь о том, как теперь всё быстро работает.а можете в двух словах рассказать что была за задача, какие объемы данных, требования по производительности и т.д.?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39728976
Lessyp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AddxЯ бы человека, который сказал бы мне, что микросервисы хороши для любой задачи, на работу бы не взял.
а откуда вы извлекли, что микросервисы в каждом проекте необходимы? Они для больших и сложных современных систем расчитаны, заточенных под маштабирование. Учетную систему траспортного цеха можно и на хранимках слабать
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39729040
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AddxskyANAОткуда внезапно-то? Думаете у нас это в далёком 2003-м году внезапно случилось?

Нет, запросы разрослись, их стало трудно поддерживать, выполнялись они достаточно долго, оптимизировать стало дальше некуда.
Мы на это дело посмотрели и не внезапно, а через серию обсуждений, приняли решение переделать.
Переделали, оттестировали (в том числе и изменения с перестраиванием), внедрили в эксплуатацию на паре серверов.

Когда убедились, что всё работает, то раскатали на остальные 90+.
Начали собирать положительную обратную связь о том, как теперь всё быстро работает.

Внезапно = неожиданно для разработчика.
Который думал, что новая технология - это серебряная пуля.
Я рад, что у Вас все получилось. Но это ничего не меняет.
Есть очень разный софт и очень разные задачи.
Можно сделать так
- О появилась новая (ха-ха, некоторые тут про микросервисы в 2018 году узнали) технология, все переводим на нее. Ой, не выходит каменный цветок, плохая технология, плохая.
А можно как одни ребята, которые внедряли какой-то проект (было видео на ютубе, но конечно ссылку не найду)
- Рассморели разные архитектуры - микросервисы, монолит, разные типы хранилищ и поняли, что в этом проекте микросервисы не годятся.
Я бы человека, который сказал бы мне, что микросервисы хороши для любой задачи, на работу бы не взял.
"И тут Остапа понесло"

Регистры - это банальная денормализация. Что в ней, простите, нового?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39729044
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SergSuperskyANAпропущено...

Откуда внезапно-то? Думаете у нас это в далёком 2003-м году внезапно случилось?

Нет, запросы разрослись, их стало трудно поддерживать, выполнялись они достаточно долго, оптимизировать стало дальше некуда.
Мы на это дело посмотрели и не внезапно, а через серию обсуждений, приняли решение переделать.
Переделали, оттестировали (в том числе и изменения с перестраиванием), внедрили в эксплуатацию на паре серверов.

Когда убедились, что всё работает, то раскатали на остальные 90+.
Начали собирать положительную обратную связь о том, как теперь всё быстро работает.а можете в двух словах рассказать что была за задача, какие объемы данных, требования по производительности и т.д.?
АИС ТПС НК "ЮКОС"
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39729130
Озверин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
skyANAОзверинесли же логика потребуется сложнее, то я сначала накидаю SQL запросы к системе нативные, если они дадут результат - буду думать, куда дальше развивать систему
К примеру логика потребуется сложнее, но запросы при этом простые, то в какую сторону пойдёте?

это что такое?:)
Это не описание проблемы\задачи.

Ну вот пример: есть у меня отчетная система. Ничего сложного, пришла она ко мне изначально с нативными запросами. Что мне ее - переписывать на сущности+репозитории? Нет, я просто дописал небольшой агрегатор данных для отчетов и продолжил в том же духе. Легаси ж никто не отменял.

Или еще пример:имеется некий проект. Допустим, у него 3 сущности:
* пользователи
* кастомные поля
* значения кастомных полей для пользователей

Я так понимаю, вы любите EAV? Ну вот по сути кастомные поля и их значения - это ЕАВ. Думаю, не стоит долго расписывать, что если мне надо по сути 1-2 поля, я не буду под этого городить кучу кода, тем более, что jpa и eav без бутылки не свяжешь.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39729171
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ОзверинНу вот пример: есть у меня отчетная система. Ничего сложного, пришла она ко мне изначально с нативными запросами. Что мне ее - переписывать на сущности+репозитории? Нет, я просто дописал небольшой агрегатор данных для отчетов и продолжил в том же духе. Легаси ж никто не отменял.
И что? :)
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39729172
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ОзверинЯ так понимаю, вы любите EAV?
Нет.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39729175
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ОзверинНу вот по сути кастомные поля и их значения - это ЕАВ.
Почему ЕАВ? Положите их в MongoDB, или PostgreSQL JSONB и не будет никакого ЕАВ :)
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39729177
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Озверинесли мне надо по сути 1-2 поля
Где надо? Это не описание проблемы\задачи :)
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39729179
Озверин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дмитрий МухОзверинесли мне надо по сути 1-2 поля
Где надо? Это не описание проблемы\задачи :)

если вам не хочется понимать, можете просто не спрашивать.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39729228
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ОзверинДмитрий Мухпропущено...

Где надо? Это не описание проблемы\задачи :)

если вам не хочется понимать, можете просто не спрашивать.если вам не хочется пояснить, можете просто не отвечать
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39729238
Озверин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
skyANA, договорились.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39729398
Addx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
LessypAddxЯ бы человека, который сказал бы мне, что микросервисы хороши для любой задачи, на работу бы не взял.
а откуда вы извлекли, что микросервисы в каждом проекте необходимы? Они для больших и сложных современных систем расчитаны, заточенных под маштабирование. Учетную систему траспортного цеха можно и на хранимках слабать

Я - не утверждал. Некоторые из здесь присутствующих - да.
Кроме того размер системы не связан напрямую с применимостью микросервисов.
В некоторых больших системах применение микросервисов не даст положительного эффекта.
В простых системах можно написать на чистом ORM и не испрользовать хранимки вообще.
Code first - и никаких проблем.

skyANA...

Регистры - это банальная денормализация. Что в ней, простите, нового?

Регистры ничего общего с денормализацией не имеют. От слова совсем.
Да, цель примерно одна, но методы разные.
Впрочем ни в регистрах, ни в денормализации, ни в микросервисах действительно ничего нового нет.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39729406
Addx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Озверин...
Я так понимаю, вы любите EAV?
...


Это прямо звучит как оскорбление ))
Любить-не любить можно жену/мужа.
А EAV - это инструмент, и как для всякого инструмента нужно понимать его применимость.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39729449
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AddxskyANA...

Регистры - это банальная денормализация. Что в ней, простите, нового?

Регистры ничего общего с денормализацией не имеют. От слова совсем.
Видимо мы под регистрами разное понимаем.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39729452
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AddxДа, цель примерно одна, но методы разные.
Расскажите, если не сложно. Интересно понять, о чём Вы конкретно.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39729554
Addx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
skyANAAddxДа, цель примерно одна, но методы разные.
Расскажите, если не сложно. Интересно понять, о чём Вы конкретно.

Да просто все.
Есть понятие нормализации - классическая реляционная алгебра и нормальные формы.
Нормализация сокращает объем и улучшает контроль целостности на уровне СУБД.
Денормализация же позволяет за счет избыточности и внешнего контроля связности оптимизировать выборки.
Цель регистров по сути такая же - та же избыточность и то же ускорение выборок.
Под регистрами традиционно понимаются динамические агрегаторы.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39729714
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AddxskyANAпропущено...

Расскажите, если не сложно. Интересно понять, о чём Вы конкретно.

Да просто все.
Есть понятие нормализации - классическая реляционная алгебра и нормальные формы.
Нормализация сокращает объем и улучшает контроль целостности на уровне СУБД.
Денормализация же позволяет за счет избыточности и внешнего контроля связности оптимизировать выборки.
Цель регистров по сути такая же - та же избыточность и то же ускорение выборок.
Под регистрами традиционно понимаются динамические агрегаторы.
Динамические агрегаторы - это широкое понятие.
Хотелось бы какое-то более конкретное описание методов как вы их использовали.

Для меня примитивная реализация регистра движения товара - это тупо таблица в БД, куда кладутся денормализованные данные.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39730065
Addx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дмитрий Мух...
Для меня примитивная реализация регистра движения товара - это тупо таблица в БД, куда кладутся денормализованные данные.

Это в любом случае не денормализация.
Денормализация не порождает данных, а аггрегация порождает.
Раз уж пошла речь о товаре, то простой пример:
Добавление свойств товара в таблицу с товаром - денормализация.
Учет остатков товара в отдельной таблице - аггрегация.

В целом аггрегаты совершенно не обязательно являются денормализованными данными, обычно даже наоборот.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39730089
казинак
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AddxЭто в любом случае не денормализация.
бредятина, это ты?
как скаяна решил под несколькими никами отписываться?

AddxДенормализация не порождает данных, а аггрегация порождает.
Раз уж пошла речь о товаре, то простой пример:
Добавление свойств товара в таблицу с товаром - денормализация.
с точки зрения дба и разраба бд, фигню пишешь
в такой таблице будет повторяющееся название товара, а не айди, как при нормализованных данных
значит данные порождаются, тк будет много повторяющихся байтов
и, если чо,
create materialized view as select from t join t1 - это тоже денормализация

AddxУчет остатков товара в отдельной таблице - аггрегация.

В целом аггрегаты совершенно не обязательно являются денормализованными данными, обычно даже наоборот.
а агрегация, для тех, кто не понимает само значение слова - это суммирование,
с группировками или без,
сохраняемое, либо получаемое на лету
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39730091
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Денормализация (англ. denormalization) - намеренное приведение структуры базы данных в состояние, не соответствующее критериям нормализации, обычно проводимое с целью ускорения операций чтения из базы за счет добавления избыточных данных.

При запросах большого количества данных операция соединения нормализованных отношений выполняется неприемлемо долго.
Вследствие этого в ситуациях, когда производительность таких запросов невозможно повысить иными средствами, может проводиться денормализация - композиция нескольких отношений (таблиц) в одну, которая, как правило, находится во второй, но не в третьей нормальной форме .
Новое отношение фактически является хранимым результатом операции соединения исходных отношений.

В чём разница между пораждёнными данными и избыточными?
И чем же является агрегация/композиция, как не денормализованными данными?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39730117
Озверин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
казинак, вы бы с терминами договорились. Во-первых, то, что подразумеваете вы под агрегацией - это не только суммирование.Вспомним агрегационные ф-ии: sum, count, max, etc. Во-вторых, в теории бд агрегации - это определенный тип связей между сущностями.

внимание, вопрос: о чем вы таки спорите?

пысы: по загадочные регистры я уж и говорить боюсь.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39730134
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Озверин,

не спорим - разбираемся
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39730317
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
давайте на примере.

было
table
TRANSACTION
( id,
datetime,
account_deb_id,
account_cred_id.
amount
)
--------------------
Стало:
+ table
BALANCE
(
account_id,
date,
balance_amount
)

которая заполняется на каждый день как сумма по всем транзакциям.

Ну а теперь раскажате мне на сколько нормальных форм уменьшилась структура базы после
такой агрегации?????
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39730319
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan Durak,

и кто вам это должен рассказать? Лично я не про BALANCE, которая заполняется на каждый день как сумма по всем транзакциям.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39730335
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дмитрий МухЗачастую ведь оно как бывает: есть бизнес транзакция в результате выполнения которой данные разлетаются по N таблицам.
А потом, внезапно, собираются из этих же N таблиц + справочники в сложный запрос "в силу сложной бизнес логики".
Не интересно смотреть просто на

TRANSACTION
( id,
datetime,
account_deb_id,
account_cred_id.
amount
)

хочется сразу видеть все подробности: кто, кому, на каком основании
а подробности лежат в других таблицах
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39730338
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дмитрий МухIvan Durak,

и кто вам это должен рассказать? Лично я не про BALANCE, которая заполняется на каждый день как сумма по всем транзакциям.
тот кто расказывает что авторИ чем же является агрегация/композиция, как не денормализованными данными?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39730345
ViPRos
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дмитрий МухIvan Durak,

и кто вам это должен рассказать? Лично я не про BALANCE, которая заполняется на каждый день как сумма по всем транзакциям.
Дык вед этот BALANCE 100пудово избыточные данные, при этом все нормализовано
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39730350
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan Durak,

лично я выделил то, что речь про агрегацию/композицию нескольких отношений (таблиц) в одну, а не подсчёт суммы

вот есть у вас сущность Заказ, она является агрегатом/композицией данных из больше чем одной таблицы
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39730351
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ViPRosДмитрий МухIvan Durak,

и кто вам это должен рассказать? Лично я не про BALANCE, которая заполняется на каждый день как сумма по всем транзакциям.
Дык вед этот BALANCE 100пудово избыточные данные, при этом все нормализовано
И что не так?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39730354
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ViPRosДмитрий МухIvan Durak,

и кто вам это должен рассказать? Лично я не про BALANCE, которая заполняется на каждый день как сумма по всем транзакциям.
Дык вед этот BALANCE 100пудово избыточные данные, при этом все нормализовано
ну то есть это не денормализация. Хотя данные избыточные
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39730355
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan DurakViPRosпропущено...

Дык вед этот BALANCE 100пудово избыточные данные, при этом все нормализовано
ну то есть это не денормализация. Хотя данные избыточные
Удивительно

Дмитрий Мух Денормализация (англ. denormalization) - намеренное приведение структуры базы данных в состояние, не соответствующее критериям нормализации,
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39730357
Озверин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan Durakдавайте на примере.

было
table
TRANSACTION
( id,
datetime,
account_deb_id,
account_cred_id.
amount
)
--------------------
Стало:
+ table
BALANCE
(
account_id,
date,
balance_amount
)

которая заполняется на каждый день как сумма по всем транзакциям.

Ну а теперь раскажате мне на сколько нормальных форм уменьшилась структура базы после
такой агрегации?????

нормализация показывает, как убирать тразитивные зависимости между атрибутами в отношении, но как с ними бороться(и надо ли?) между отношениями?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39730365
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ОзверинIvan Durakдавайте на примере.

было
table
TRANSACTION
( id,
datetime,
account_deb_id,
account_cred_id.
amount
)
--------------------
Стало:
+ table
BALANCE
(
account_id,
date,
balance_amount
)

которая заполняется на каждый день как сумма по всем транзакциям.

Ну а теперь раскажате мне на сколько нормальных форм уменьшилась структура базы после
такой агрегации?????

нормализация показывает, как убирать тразитивные зависимости между атрибутами в отношении, но как с ними бороться(и надо ли?) между отношениями?
не надо бороться, надо просто знать, что и зачем. Где денормализация, а где агрегация
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39730370
Озверин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan Durak, в зависимости от бизнеса, баланс - не такая уж и "абстракция" ;)
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39730371
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan Durak,

Агрегация , или агрегирование (лат. aggregatio «присоединение») - объединениt элементов в одну систему, в одно целое.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39730374
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Композиция - более строгий вариант агрегирования, когда включаемый объект может существовать только как часть контейнера. Если контейнер будет уничтожен, то и включённый объект тоже будет уничтожен.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39730398
ViPRos
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дмитрий Мух,

ну и че ты все это пишешь? тут почти все русские :)
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39730423
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ViPRosДмитрий Мух,

ну и че ты все это пишешь? тут почти все русские :)чтобы понимали то, что я имею в виду.
и не представляли себе, что я про SUM пишу
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39730438
Addx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дмитрий Мух,

Мы все же говорим о разработке, а не о лингвистике.
И не будем утверждать, что корректное действие для метода Execute - уничтожить объект, поскольку execute - это казнить, а не выполнить. )
Ладно, отвлечемся от реляционок, где "агрегаты" имеют вполне определенный смысл.
Например в C# ;) понимается так:

Код: c#
1.
2.
3.
4.
public static U Aggregate<T, U> ( 
     this IEnumerable<T> source, 
     U seed,
     Func<U, T, U> func);



с классическим функционалом перевода последовательности в объект.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39730452
Addx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ViPRosДык вед этот BALANCE 100пудово избыточные данные, при этом все нормализовано

Вовсе не факт, кстати, что они избыточные.
Например старые транзакции могут быть сархивированы/потеряться/быть стертыми шоб налоговая не догадалась.
В этом случае баланс совсем не избыточен.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39730458
Озверин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AddxViPRosДык вед этот BALANCE 100пудово избыточные данные, при этом все нормализовано

Вовсе не факт, кстати, что они избыточные.
Например старые транзакции могут быть сархивированы/потеряться/быть стертыми шоб налоговая не догадалась.
В этом случае баланс совсем не избыточен.

в прямом понимании смысла этого слова в рамках нормализации - это данные никак избыточными быть не могут. Но аномалии, связанные с такой структурой - могут возникать.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39730630
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Короче мы уже обсуждаем терминологию, а не проблематику. Не интересно.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39730698
Addx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дмитрий Мух,

skyANAРасскажите, если не сложно. Интересно понять, о чём Вы конкретно.

Я собственно и пояснил)
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39730791
казинак
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
зачем нормализация?
чтоп значение хранилось один раз
например, вместо названия счета в каждой транзакции - айди счета,
потому что, если название поменяется, то во всех проводках надо поменять.

зачем денормализация?
чтоп селекты быстрей работали, вместо джойнов и групировок на лету, просто выбираем из одной таблицы.

т.е потребность в этих штуках чисто практическая
а то, что вы тут из себя умников строите, споря о названиях, это нужно только вам,
для самоутверждения наверно....
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39730865
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
казинак,

именно вместо сложных селектов с кучей джоинов и группировок на лету предлагается очевидное решение - во время записи писать все необходимые данные в денормализованные таблицы, называемые регистрами
это прекрасно работает на практике: АИС ТПС НК "ЮКОС", потом "Роснефть"...
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39730935
Озверин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
молодцы, пацаны - все вокруг эникейщики, одни вы хапнули жизни )
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39730960
казинак
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дмитрий Мухказинак,

именно вместо сложных селектов с кучей джоинов и группировок на лету предлагается очевидное решение - во время записи писать все необходимые данные в денормализованные таблицы, называемые регистрами
это прекрасно работает на практике: АИС ТПС НК "ЮКОС", потом "Роснефть"...
работает, значит норм

но не самое масштабируемое решение
например,
обновление суммы оборотов или остатка, при каждой операции..
все сессии одновременно будут пытаться проапдейтить одно поле, в одной записи.
и будут висеть на блокировке
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39730986
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
казинакДмитрий Мухказинак,

именно вместо сложных селектов с кучей джоинов и группировок на лету предлагается очевидное решение - во время записи писать все необходимые данные в денормализованные таблицы, называемые регистрами
это прекрасно работает на практике: АИС ТПС НК "ЮКОС", потом "Роснефть"...
работает, значит нормНе просто работает, а отлично работает

Стали бы про эту денормализацию статьи писать, если бы она не работала.

казинакно не самое масштабируемое решение
например,
обновление суммы оборотов или остатка, при каждой операции..
все сессии одновременно будут пытаться проапдейтить одно поле, в одной записи.
и будут висеть на блокировке
На блокировке чего? Зачем и Вы выдумываете какие-то суммы?

В нормализованном виде полные данные по кажой операции хранятся в N таблицах.
Запрашиваются в нескольких местах.

То есть факт свершился один раз, а используется потом много раз.

С ростом системы растёт как количество данных, так и сложность запросов к ним, и мест, откуда эти запросы выполняются. Время отклика падает.
И возникает простая идея: раз у нас много чтения и относительно мало записи, и чтение страдает, то давайте использовать денормализованные таблицы (регистры).
Избавляемся как от сложных запросов на чтение, так и от множества блокировок. И всё начинает летать.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39730987
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
И это решение отлично работало как 15 лет назад, так и сейчас в рамках одной базы.

А можно пойти ещё дальше: разнести чтение и запись по разным нодам калстера, или вообще по разным СУБД.
Что повсеместно и делают.

Но если это уже слишком для вас, то используйте проверенную денормализацию.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731058
ViPRos
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дмитрий Мух,

чудес не бывает, все зависит от частоты чтения-записи, и обычно лучшая денормализация - sql view
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731066
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ViPRosДмитрий Мух,

чудес не бывает, все зависит от частоты чтения-записи
я про это и пишу:
Дмитрий МухИ возникает простая идея: раз у нас много чтения и относительно мало записи, и чтение страдает , то давайте использовать денормализованные таблицы (регистры).
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731069
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ViPRosобычно лучшая денормализация - sql view
И с каких это пор sql view стало намеренным приведением структуры базы данных в состояние, не соответствующее критериям нормализации?

Я конечно понимаю, о чём ты, но давай не будем мешать мух с котлетами.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731096
Фотография SergSuper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дмитрий Мухэто прекрасно работает на практике: АИС ТПС НК "ЮКОС", потом "Роснефть"
можно всё-таки узнать какие-то характеристики этой системы?
не знаю, возможно многие на 1С делали и посложнее системы
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731107
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SergSuperДмитрий Мухэто прекрасно работает на практике: АИС ТПС НК "ЮКОС", потом "Роснефть"
можно всё-таки узнать какие-то характеристики этой системы?
не знаю, возможно многие на 1С делали и посложнее системы
На 1C? Отгрузка нефти?

ЮКОС являлась одной из крупнейших компаний России по объёмам реализации.
В период с 1995 по 2005 год неизменно входила в число 10 крупнейших компаний России по версии журнала «Эксперт» (лучший результат - 4 место в 2001—2003 годах).

Роснефть в 2013 году стала крупнейшей в мире компанией-производителем нефти.

Как Вам такие характеристики?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731109
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Хотя что-то сделали и на 1C: "1C:Предприятие 8": автоматизация отгрузки нефтепродуктов на нефтеперерабатывающем заводе .

Вот только у ЮКОСА, а в дальнейшем у Роснефти не один, а сотня НПЗ по всей России.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731133
казинак
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дмитрий МухИ возникает простая идея: раз у нас много чтения и относительно мало записи, и чтение страдает, то давайте использовать денормализованные таблицы (регистры).матвью и репликации оч давно известны
очередной велосипед (гениальная идея) может и не хуже, но точно не лучше

Дмитрий МухИзбавляемся как от сложных запросов на чтение, так и от множества блокировок. И всё начинает летать.
сложные запросы и блокировки - это параллельные понятия
блокировки порождаются изменениями
а не чтениями

а у вас
Дмитрий Мух... относительно мало записи.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731137
казинак
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ViPRosДмитрий Мух,

чудес не бывает, все зависит от частоты чтения-записи, и обычно лучшая денормализация - sql view
да ну на...
запрос с кучей джойнов,
который одновременно несколько сотен юзеров запускает - это лучшая денормализация?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731144
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
казинакДмитрий МухИ возникает простая идея: раз у нас много чтения и относительно мало записи, и чтение страдает, то давайте использовать денормализованные таблицы (регистры).матвью и репликации оч давно известны
очередной велосипед (гениальная идея) может и не хуже, но точно не лучше
Куда репликация? И что в денормализации гениального и почему это велосипед?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731146
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
казинака у вас
Дмитрий Мух... относительно мало записи.
А у вас?

Относительно мало записи - это не мало записи, а мало относительно чтения.

А у вас какой профиль нагрузки?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731147
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
казинакДмитрий МухИзбавляемся как от сложных запросов на чтение, так и от множества блокировок. И всё начинает летать.
сложные запросы и блокировки - это параллельные понятия
И что? Избавляемя и от тех и от других. Это плохо что-ли?

Складывается такое чувство, что лишь бы что против сказать.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731271
казинак
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дмитрий МухСкладывается такое чувство, что лишь бы что против сказать.
складывается уверенность, что ты ни фига не знаешь sql и механизмы работы бд
от твоих постов, у меня самооценка поднимается))
и, кстати, где твой hvost?
тоже,
то еще трепло...
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731314
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
казинакДмитрий МухСкладывается такое чувство, что лишь бы что против сказать.
складывается уверенность, что ты ни фига не знаешь sql и механизмы работы бд
от твоих постов, у меня самооценка поднимается))
и, кстати, где твой hvost?
тоже,
то еще трепло...
Я то знаю, а вот ты нет, судя потому, что избегаешь ответов на вопросы и переходишь на хамство.

А то, что от последнего у тебя самооценка поднимается... это классно чувак, так держать
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731321
ViPRos
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дмитрий МухХотя что-то сделали и на 1C: "1C:Предприятие 8": автоматизация отгрузки нефтепродуктов на нефтеперерабатывающем заводе .

Вот только у ЮКОСА, а в дальнейшем у Роснефти не один, а сотня НПЗ по всей России.
ну, поменьше ляля - http://pronpz.ru/neftepererabatyvayushchie-zavody/rossiya.html
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731328
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ViPRosДмитрий МухХотя что-то сделали и на 1C: "1C:Предприятие 8": автоматизация отгрузки нефтепродуктов на нефтеперерабатывающем заводе .

Вот только у ЮКОСА, а в дальнейшем у Роснефти не один, а сотня НПЗ по всей России.
ну, поменьше ляля - http://pronpz.ru/neftepererabatyvayushchie-zavody/rossiya.html
тут я да, маху дал...

хотел написать о количестве установленных крупных серверов
они ставяться как на больших заводах, так и на различных станциях поменьше
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731338
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SergSuperвозможно многие на 1С делали и посложнее системы
Внезапно в 1C тоже знают про денормализацию:

Денормализация с точки зрения 1СС моей точки зрения большим технологическим прорывом стало появление в 1С регистра накопления.
Сама по себе строгая нормальная форма несет в себе порядок в процессе проектирования, но доведенная до абсурда способна тормознуть любой проект своими ограничениями.
Во-первых, строгая третья нормальная форма хороша только для статических систем.
Для динамических систем, которые меняются во времени, такие ограничения лишают программные комплексы необходимой гибкости.
К примеру, в SAP нельзя внести контрагента, пока не заполнишь все обязательные поля, вплоть до телефона директора.
Во-вторых, регистр накопления реализует OLAP технологии на уровне платформы, так как регистр накопления имеет измерения, ресурсы и временную ось.
Структура регистра накопления позволяет значительно увеличить производительность за счет заранее посчитанных итогов, а штатные средства отчетов позволяют реализовывать принципы drill-down, drill-up в рамках единой среды.

В принципе, регистры накопления и регистры сведений – единственное отличие от третьей нормальной формы.
https://infostart.ru/public/269803/
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731339
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Оттуда же:
Чек лист последовательности проектирования базы данныхДля тех, кто ещё только делает первые шаги в проектировании баз данных будет полезна типовая последовательность выполнения работ:

1. Определить таблицы объектов
2. Определить атомарные поля
3. Определить типы полей
4. Определить первичные ключи
5. Определить внешние ключи
6. Определить индексы полей
7. Определить уникальность полей
8. Определить признаки полей null/not null
9. Определить дополнительные ограничений полей
10. Выполнить нормализацию до 3-й нормальной формы
11. Выполнить денормализацию с учетом ограничений по производительности
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731357
Фотография SergSuper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дмитрий МухSergSuperпропущено...

можно всё-таки узнать какие-то характеристики этой системы?
не знаю, возможно многие на 1С делали и посложнее системы
На 1C? Отгрузка нефти?

ЮКОС являлась одной из крупнейших компаний России по объёмам реализации.
В период с 1995 по 2005 год неизменно входила в число 10 крупнейших компаний России по версии журнала «Эксперт» (лучший результат - 4 место в 2001—2003 годах).

Роснефть в 2013 году стала крупнейшей в мире компанией-производителем нефти.

Как Вам такие характеристики?ну вообще такой ответ странно даже от менеджера было бы услышать
информации о системе в нем ноль

мне интересно сколько транзакций или документов было, сколько пользователей одновременно работало, какой был размер базы, сколько допускался простой системы и т.д.
а то что 20 лет назад юкос был крупнейшей компанией - ну это ни разу ни характеристика
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731365
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SergSuperДмитрий Мухпропущено...

На 1C? Отгрузка нефти?

ЮКОС являлась одной из крупнейших компаний России по объёмам реализации.
В период с 1995 по 2005 год неизменно входила в число 10 крупнейших компаний России по версии журнала «Эксперт» (лучший результат - 4 место в 2001—2003 годах).

Роснефть в 2013 году стала крупнейшей в мире компанией-производителем нефти.

Как Вам такие характеристики?ну вообще такой ответ странно даже от менеджера было бы услышать
информации о системе в нем ноль

мне интересно сколько транзакций или документов было, сколько пользователей одновременно работало, какой был размер базы, сколько допускался простой системы и т.д.
а то что 20 лет назад юкос был крупнейшей компанией - ну это ни разу ни характеристика
Точных чисел я не помню, да и уровень мониторинга и грамотных админов, способных его настроить (особенно в регионах) 15 с лишним лет назад был не высок.
Мне было 23 года и меня интересовали не это, а то как взрослые дяди задачи решают и как этому побыстрее научиться.

Сотня серверов по всей России, до фига людей, контрагентов, транзакций и документов.

А у вас есть точные числа и по какой системе?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731376
ViPRos
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дмитрий МухОттуда же:



Че ты читаешь :)
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731377
ViPRos
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дмитрий Мух,

Ты понимаешь, основная деятельность таких компаний (холдингов) - контроль над финансовыми потоками.
Вся сложность в низовом уровне (предприятий). (Вот ЮКОС строила НПЗ - вот это было сложно - управлять таким проектом).
Если ты на низовом уровне не работал, то и не увидел сложности.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731378
ViPRos
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Просто подумай - за 50 лет так и не смогли сделать софт по управлению предприятием.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731379
ViPRos
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Да даже не смогли формализовать требования к такому софту.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731451
Фотография hVostt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
казинаки, кстати, где твой hvost?
тоже,
то еще трепло...

судя по твоему неаргументированному фонтану желчи,
у тебя с жизнью явно что-то не так
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731452
Фотография hVostt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ViPRosПросто подумай - за 50 лет так и не смогли сделать софт по управлению предприятием.

Ну погоди. Вы же сделали.
Где продажи, где ажиотаж?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731457
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ViPRos,

какие у тебя железобетонные аргументы против денормализации, а главное как в кассу
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731471
ViPRos
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hVosttViPRosПросто подумай - за 50 лет так и не смогли сделать софт по управлению предприятием.

Ну погоди. Вы же сделали.
Где продажи, где ажиотаж?
У нас усе секретно :), да и ракеты хорошее бабла приносят, не до программного бизнеса
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731475
ViPRos
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дмитрий МухViPRos,

какие у тебя железобетонные аргументы против денормализации, а главное как в кассу
"Денормализация" - позорная технология (по которому невозможно определить причинно-следственные связи)
Есть "миграция" (сверху вниз) и "агрегация" (снизу вверх), появление которых можно контролировать на уровне метаданных и метаправил.
Но про это мало где написано у гурю, потому тебе неведомо :)
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731530
Lessyp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
обычно денормализация появляется когда студентам дают проектировать базу, в серьезных системах все конечно делается штатными средствами, которые уже были упомянуты выше
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731537
Озверин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hVosttViPRosПросто подумай - за 50 лет так и не смогли сделать софт по управлению предприятием.

Ну погоди. Вы же сделали.
Где продажи, где ажиотаж?

да какие продажи - я обратился к ним за демонстрацией системы. Меня просто игнорят ;)
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731571
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ViPRosДмитрий МухViPRos,

какие у тебя железобетонные аргументы против денормализации, а главное как в кассу
"Денормализация" - позорная технология (по которому невозможно определить причинно-следственные связи)
Есть "миграция" (сверху вниз) и "агрегация" (снизу вверх), появление которых можно контролировать на уровне метаданных и метаправил.
Но про это мало где написано у гурю, потому тебе неведомо :)
Мда, не ожидал от тебя такой глупости.

Изначальная схема никуда не девается, отношения, по которым строиться композиция никуда не удаляются.
То есть и возможность "определить причинно-следственные связи" отсаётся.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731578
Озверин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Lessypобычно денормализация появляется когда студентам дают проектировать базу, в серьезных системах все конечно делается штатными средствами, которые уже были упомянуты выше

спроектированный студентами OLAP загрустил.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731581
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Lessypобычно денормализация появляется когда студентам дают проектировать базу, в серьезных системах все конечно делается штатными средствами, которые уже были упомянуты выше
А у вас серъёзная система, или денормализация появляется?
Откуда такая уверенность в утверждении? Вам доверили базу проектировать?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731620
Lessyp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дмитрий МухА у вас серъёзная система, или денормализация появляется?
Откуда такая уверенность в утверждении? Вам доверили базу проектировать?
вам следует попроситься поучавствовать хотя-бы в одном реальном проекте, и не со студентами, а с профессиональными разработчиками, и перестать писать на форуме ерунду, которая за версту выдает в вас дилетанта
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731836
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
LessypДмитрий МухА у вас серъёзная система, или денормализация появляется?
Откуда такая уверенность в утверждении? Вам доверили базу проектировать?
вам следует попроситься поучавствовать хотя-бы в одном реальном проекте, и не со студентами, а с профессиональными разработчиками, и перестать писать на форуме ерунду, которая за версту выдает в вас дилетанта
Фу как банально.

Аргументировать не можете свою точку зрения и тупо переходите на личности.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731851
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Lessyp,

напомню, на всякий случай:
"Денормализация (англ. denormalization) — намеренное приведение структуры базы данных в состояние, не соответствующее критериям нормализации, обычно проводимое с целью ускорения операций чтения из базы за счет добавления избыточных данных."

Не вижу ничего криминального, могу привести конкретный пример.
Впрочем, сходу нашел статью на эту тему
https://habr.com/post/64524/
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731854
Addx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дмитрий Мух[
...infostart.ru/public/269803/

Я бы не стал делать ссылки на сомнительные статьи в качестве доказательств.

ViPRos"Денормализация" - позорная технология (по которому невозможно определить причинно-следственные связи)


Lessypобычно денормализация появляется когда студентам дают проектировать базу, в серьезных системах все конечно делается штатными средствами, которые уже были упомянуты выше

Пожалуйста, приведите пример системы в которой отсутствует денормализация.
Только реальной системы, а не "вот пример с сайта, учебника, open-source проекта (я сделал крутой никому не нужный проект)".
Не нужно постить тоннами абсолютно бездоказательные утверждения.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731856
Addx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdv
Не вижу ничего криминального, могу привести конкретный пример.
Впрочем, сходу нашел статью на эту тему
https://habr.com/post/64524/

Статья на хабре - это, конечно, сильный аргумент.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39731963
Фотография SergSuper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AddxПожалуйста, приведите пример системы в которой отсутствует денормализация.
Только реальной системы, а не "вот пример с сайта, учебника, open-source проекта (я сделал крутой никому не нужный проект)".ЦФТ-Банк
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39732010
Addx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SergSuperAddxПожалуйста, приведите пример системы в которой отсутствует денормализация.
Только реальной системы, а не "вот пример с сайта, учебника, open-source проекта (я сделал крутой никому не нужный проект)".ЦФТ-Банк

Я не увидел на сайте никакой документации (кроме десятка-другого картинок) и запароленого форума.
Что можно почерпнуть из этого названия?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39732017
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AddxДмитрий Мух[
...infostart.ru/public/269803/

Я бы не стал делать ссылки на сомнительные статьи в качестве доказательств.
Информационно-аналитический центр "Инфостарт"
Для автоматизации бизнеса необходима актуальная и достоверная информация. Участники нашего сообщества создают эту информацию, мы храним и систематизируем, а эксперты дают объективную оценку и рекомендации.
Наша библиотека содержит самую полную информацию по автоматизации учета и управления на платформе 1С:Предприятие.

Почему "Инфостар" - это сомнительный ресурс? Выглядит вроде норм. Но я в тусовке 1С не варюсь, могу и ошибаться.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39732025
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
skyANA,

забей. Для некоторых все ресурсы кроме microsoft.com и oracle.com сомнительны
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39732034
Фотография SergSuper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AddxSergSuperпропущено...
ЦФТ-Банк

Я не увидел на сайте никакой документации (кроме десятка-другого картинок) и запароленого форума.
Что можно почерпнуть из этого названия?
Как бы был вопрос привести пример реальной системы. Это самая распространенная в России банковская система, стоит почти во всех наших крупных банках, так что вполне реальная.
Из этого названия, как впрочем и любого другого, врядли можно что-то почерпнуть. Документации о системе в открытом доступе нет. Но они устраивают обучения, иногда даже бесплатные. Я так понимаю вы на эти курсы не пойдете, так что если что интересно - я могу ответить.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39732042
Фотография SergSuper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дмитрий МухSergSuperпропущено...
ну вообще такой ответ странно даже от менеджера было бы услышать
информации о системе в нем ноль

мне интересно сколько транзакций или документов было, сколько пользователей одновременно работало, какой был размер базы, сколько допускался простой системы и т.д.
а то что 20 лет назад юкос был крупнейшей компанией - ну это ни разу ни характеристика
Точных чисел я не помню, да и уровень мониторинга и грамотных админов, способных его настроить (особенно в регионах) 15 с лишним лет назад был не высок.
Мне было 23 года и меня интересовали не это, а то как взрослые дяди задачи решают и как этому побыстрее научиться.

Сотня серверов по всей России, до фига людей, контрагентов, транзакций и документов.

А у вас есть точные числа и по какой системе?

Не точные, но порядки знать надо прежде чем что-то делать. Все таки денормализация довольно геморойный процесс, по сути надо заниматься некоторыми функциями СУБД.

Ваша цитата:
Дмитрий МухС ростом системы растёт как количество данных, так и сложность запросов к ним, и мест, откуда эти запросы выполняются. Время отклика падает.
И возникает простая идея: раз у нас много чтения и относительно мало записи, и чтение страдает, то давайте использовать денормализованные таблицы (регистры).
Избавляемся как от сложных запросов на чтение, так и от множества блокировок. И всё начинает летать.
Так насколько система должна вырасти чтобы имело смысл заниматься денормализацией? Сколько это много?

В базе юрлиц сбербанка к примеру порядка 20-30 млн документов в день, около 3 тыс пользователей, сама база окола 100 Тб. И это работает без денормализации, во всяком случае пока. (Хотя с другой стороны там стоит железяка, сделанная по спец заказу, мало кто может себе такое позволить)
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39732055
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SergSuperВ базе юрлиц сбербанка к примеру порядка 20-30 млн документов в день, около 3 тыс пользователей, сама база окола 100 Тб. И это работает без денормализации, во всяком случае пока. (Хотя с другой стороны там стоит железяка, сделанная по спец заказу, мало кто может себе такое позволить)
А кто спорит с тем, что работает и без денормализации?
Но как быстро работает? Наверняка были проблемы с производительностью, раз железку по спец. заказу поставили.
Во сколько при этом затраты на железо возрасли? В 20-30 раз?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39732056
ViPRos
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дмитрий Мух,

сходи к грефу, скажи у вас одни дебилы, давай я вам тут все быстро денормализую и верну ваши расходы :)
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39732057
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ViPRosДмитрий Мух,

сходи к грефу, скажи у вас одни дебилы, давай я вам тут все быстро денормализую и верну ваши расходы :)
А я думаю там уже есть денормализация
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39732060
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Или read-реплики, отдельное OLAP-хранилище, микросервисы...

Что с точки зрения "Все таки денормализация довольно геморойный процесс" ещё геморройнее
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39732096
Addx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
skyANAAddxпропущено...


Я бы не стал делать ссылки на сомнительные статьи в качестве доказательств.
Информационно-аналитический центр "Инфостарт"
Для автоматизации бизнеса необходима актуальная и достоверная информация. Участники нашего сообщества создают эту информацию, мы храним и систематизируем, а эксперты дают объективную оценку и рекомендации.
Наша библиотека содержит самую полную информацию по автоматизации учета и управления на платформе 1С:Предприятие.

Почему "Инфостар" - это сомнительный ресурс? Выглядит вроде норм. Но я в тусовке 1С не варюсь, могу и ошибаться.

Я не написал "сомнительный ресурс". Я не знаю, что это за центр.
Я написал про статью. Я ее прочитал и сделал выводы.
После слов "... тема нормализации отношений БД в публичных источниках до сих пор не раскрыта ..." возникает некоторое недоумение.
Затем следуют сентенции вида "Если обратиться к википедии, то становится ясно, что ничего не ясно.", "Не проясняет ситуацию ни яндекс, ни гугл.".
Ээ ...
Нет, я понимаю, что это полезные ресурсы, но мы же вроде не бухгалтеры.
Вроде бы даже разработчики.
Нормальные формы - это основа РСУБД, это есть в любой книге по теории реляционных баз.
Автор вообще их читал? Или считает, что читатели кроме 1С и википедии ничего не видели?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39732100
Addx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SergSuper...
В базе юрлиц сбербанка к примеру порядка 20-30 млн документов в день, около 3 тыс пользователей, сама база окола 100 Тб. И это работает без денормализации, во всяком случае пока. (Хотя с другой стороны там стоит железяка, сделанная по спец заказу, мало кто может себе такое позволить)

А вот как устроен зоопарк Сбера, я представление имею, и про их "нормализацию" знаю.
Впрочем, идея о том, что денормализация решает все проблемы с производительностью в корне неверна.
Есть множество случаев, когда она очень серьезно замедляет работу.
Но если брать всю систему в целом, а не отдельные блоки (там могут быть и терабайты), то денормализация необходима.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39732126
Lessyp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdv"Денормализация (англ. denormalization) — намеренное приведение структуры базы данных в состояние, не соответствующее критериям нормализации, обычно проводимое с целью ускорения операций чтения из базы за счет добавления избыточных данных."

Не вижу ничего криминального, могу привести конкретный пример.

ускорение операций чтения делается за счет средств самой субд, как-то матвьюхи или создания olap, все, чего достигают студенты со своей денормализацией структуры таблиц - это баги из-за избыточных данных
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39732136
Фотография SergSuper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дмитрий МухSergSuperВ базе юрлиц сбербанка к примеру порядка 20-30 млн документов в день, около 3 тыс пользователей, сама база окола 100 Тб. И это работает без денормализации, во всяком случае пока. (Хотя с другой стороны там стоит железяка, сделанная по спец заказу, мало кто может себе такое позволить)
А кто спорит с тем, что работает и без денормализации?
Но как быстро работает? Наверняка были проблемы с производительностью, раз железку по спец. заказу поставили.
Во сколько при этом затраты на железо возрасли? В 20-30 раз?конечно были, но именно были, необходимая производительность обеспечивается, а победителей не судят
что было бы с денормализацией и было ли что-нибудь вообще - неизвестно
сравнить по объемам и функционалу эту систему с Роснефтью к сожалению не получается, поскольку вы о ней похоже не имеете представления
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39732137
Фотография SergSuper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AddxSergSuper...
В базе юрлиц сбербанка к примеру порядка 20-30 млн документов в день, около 3 тыс пользователей, сама база окола 100 Тб. И это работает без денормализации, во всяком случае пока. (Хотя с другой стороны там стоит железяка, сделанная по спец заказу, мало кто может себе такое позволить)

А вот как устроен зоопарк Сбера, я представление имею, и про их "нормализацию" знаю.
Впрочем, идея о том, что денормализация решает все проблемы с производительностью в корне неверна.
Есть множество случаев, когда она очень серьезно замедляет работу.
Но если брать всю систему в целом, а не отдельные блоки (там могут быть и терабайты), то денормализация необходима.ну что сказать, обоснованное заявление, с фактами, примерами, цифрами

непонятно только к чему было спрашивать про "реальные системы без денормализации"
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39732144
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AddxskyANAпропущено...

Информационно-аналитический центр "Инфостарт"
Для автоматизации бизнеса необходима актуальная и достоверная информация. Участники нашего сообщества создают эту информацию, мы храним и систематизируем, а эксперты дают объективную оценку и рекомендации.
Наша библиотека содержит самую полную информацию по автоматизации учета и управления на платформе 1С:Предприятие.

Почему "Инфостар" - это сомнительный ресурс? Выглядит вроде норм. Но я в тусовке 1С не варюсь, могу и ошибаться.

Я не написал "сомнительный ресурс". Я не знаю, что это за центр.
Я написал про статью. Я ее прочитал и сделал выводы.
После слов "... тема нормализации отношений БД в публичных источниках до сих пор не раскрыта ..." возникает некоторое недоумение.
Затем следуют сентенции вида "Если обратиться к википедии, то становится ясно, что ничего не ясно.", "Не проясняет ситуацию ни яндекс, ни гугл.".
Ээ ...
Нет, я понимаю, что это полезные ресурсы, но мы же вроде не бухгалтеры.
Вроде бы даже разработчики.
Нормальные формы - это основа РСУБД, это есть в любой книге по теории реляционных баз.
Автор вообще их читал? Или считает, что читатели кроме 1С и википедии ничего не видели?
Вы статью-то читали дальше этих двух предложений?

Автор там вообще-то раскрывает свою точку зрения.
Даёт определение нормализации, нормальным формам, первичному, внешнему ключу и т.д.
Приводит примеры.

Вы, как знающий основы РСУБД, с каким-то из этих определений, или примеров не согласны?
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39732148
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SergSuperДмитрий Мухпропущено...

А кто спорит с тем, что работает и без денормализации?
Но как быстро работает? Наверняка были проблемы с производительностью, раз железку по спец. заказу поставили.
Во сколько при этом затраты на железо возрасли? В 20-30 раз?конечно были, но именно были, необходимая производительность обеспечивается, а победителей не судят
Есть у Сбера возможность вертикально масштабироваться - пусть наращивают мощности железа.
Никто их за это не осудит.
Понятно же, что так быстрее и проще решить проблемы производительности.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39732332
Addx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SergSuperну что сказать, обоснованное заявление, с фактами, примерами, цифрами

непонятно только к чему было спрашивать про "реальные системы без денормализации"

Понимаете, системы автоматизации Сбербанка закрытые, и защищены коммерческой тайной. Мне не очень понятно, почему Вы их привели в качестве примера. Впрочем, если Вы приведете какие-то детали из этих систем, я их прокомментирую.
Позиция "Там нет денормализации, а Вы раскройте документацию и докажите, что я не прав" несерьезна.

Дмитрий Мух
Автор там вообще-то раскрывает свою точку зрения.
Даёт определение нормализации, нормальным формам, первичному, внешнему ключу и т.д.
Приводит примеры.

Вы, как знающий основы РСУБД, с каким-то из этих определений, или примеров не согласны?

Вы хотите рецензию на статью? Так и напишите.
Мне не очень понятно, почему нужно в качестве серьезных аргументов ссылаться на странные статьи, википедию, хабр, и особенно на товарища "Загугли".
Если у Вас есть вопрос или Вам интересно мое мнение по какому-либо вопросу отвечу без проблем.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39732389
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AddxВы хотите рецензию на статью? Так и напишите.
Мне не очень понятно, почему нужно в качестве серьезных аргументов ссылаться на странные статьи, википедию, хабр, и особенно на товарища "Загугли".
Если у Вас есть вопрос или Вам интересно мое мнение по какому-либо вопросу отвечу без проблем.
Вообще я хотел показать то, что в 1C используется денормализация в регистрах.
И нашёл на мой взгляд хороший источник, это подтверждающий.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39732410
Addx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
skyANAВообще я хотел показать то, что в 1C используется денормализация в регистрах.
И нашёл на мой взгляд хороший источник, это подтверждающий.

1. В 1С очень активно применяется и регистры, и денормализация. Давно. Сомнения не вызывает.
2. У автора нет примеров структур из 1С на уровне схем.
3. Уровень статьи очень низкий. Расчитан на абсолютных дилетантов.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39732420
Фотография SergSuper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AddxПонимаете, системы автоматизации Сбербанка закрытые, и защищены коммерческой тайной. Мне не очень понятно, почему Вы их привели в качестве примера. Впрочем, если Вы приведете какие-то детали из этих систем, я их прокомментирую.
Позиция "Там нет денормализации, а Вы раскройте документацию и докажите, что я не прав" несерьезна.
ну какую смог такую и привел
вы сможете привести пример системы с денормализацией и с документацией?
доказывать я ничего не прошу, я и сам не представляю как можно доказать что в ЦФТ-Банк нет денормализации, просто поверьте как человеку 10 лет с ней работавшему
единственно что я хотел сказать что системы без денормализации есть и они реальные
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39732445
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AddxskyANAВообще я хотел показать то, что в 1C используется денормализация в регистрах.
И нашёл на мой взгляд хороший источник, это подтверждающий.

1. В 1С очень активно применяется и регистры, и денормализация. Давно. Сомнения не вызывает.
Это я и хотел донести.

Addx2. У автора нет примеров структур из 1С на уровне схем.
3. Уровень статьи очень низкий. Расчитан на абсолютных дилетантов.
Предложите статью более высокого уровня, где есть примеры структур из 1С на уровне схем.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39732446
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SergSuperвы сможете привести пример системы с денормализацией и с документацией?
Вон же он выше написал:AddxВ 1С очень активно применяется и регистры, и денормализация. Давно. Сомнения не вызывает.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39732532
zeon11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
1C (есть легенда, что это означает 1 секунда) в своё время показывал неплохую скорость в отчётах за счёт использования регистров, т.е. денормализации. Много лет наблюдая за битвой программистов в бухгалтериях различных организаций, у меня сложилось впечатление, что основной проблемой, с которой обращаются матроны бухучёта к программистам можно сформулировать так: "Я занесла документ, а он не отражается в отчёте". Т.е. в какой-то момент почему-то "разбегаются" в разные стороны хвалёные регистры и первичные документы и мастерство программиста 1С под частую определяется умением привести эти регистры "в чувство".
Ещё меня занимает следующий факт. Предприятие десятилетиями не расширяется, условно что двадцать лет назад, что сейчас в нём работало 350 человек, документооборот остался на прежнем уровне, ежегодное количество фактур в приблизительно 3000 штук за двадцать лет не изменилось, зарплата считается практически по тем-же алгоритмам, отчёты те-же, а компьютеры приходится обновлять чуть-ли не ежегодно, ставить раз в пять лет новый сервер, размер базы данных вырастает до десятков гигабайт, а 1С как тормозило двадцать лет назад, так и тормозит. Зачем эти регистры? Производительность современных компьютеров такова, что отчёт из 3000 фактур они "соберут" не то-что за 1 секунду, а за одну сотую секунды.
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39732793
Кнюпель
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
более жуткой работы с базой чем в 1С я нигде не видел, и дело не ограничивается одной денормализацией. У нас как-то IT отдел наотрез отказывался использовать SQL Server в одном из внутренних проектов по той причине, что 1С регулярно клал свой сиквел на лопатки. Они были уверены что причина была в тормознутости SQL Server...
...
Рейтинг: 0 / 0
Причины ненависти к языку SQL?
    #39735460
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Если поработать со SPARQL то SQL кажется не таким уж плохим.
...
Рейтинг: 0 / 0
306 сообщений из 306, показаны все 13 страниц
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Причины ненависти к языку SQL?
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]