|
EDM vs LINQ to SQL
|
|||
---|---|---|---|
#18+
pkarklin, нет я ж сказал варианты все сводится либо insrert ... select .. либо insert bulk ... col() ... |
|||
:
Нравится:
Не нравится:
|
|||
17.08.2011, 22:57 |
|
EDM vs LINQ to SQL
|
|||
---|---|---|---|
#18+
остальные варианты уже отброшены :( ... |
|||
:
Нравится:
Не нравится:
|
|||
17.08.2011, 22:58 |
|
EDM vs LINQ to SQL
|
|||
---|---|---|---|
#18+
ну практически работает bulk insert, только вместо файла передаеся TDS пакеты ... |
|||
:
Нравится:
Не нравится:
|
|||
17.08.2011, 22:59 |
|
EDM vs LINQ to SQL
|
|||
---|---|---|---|
#18+
tablock, constraint отключены никаких поверок и т.д. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.08.2011, 23:02 |
|
EDM vs LINQ to SQL
|
|||
---|---|---|---|
#18+
Давайте прикинем... ViPRosпросто запиши 10 000 000 записей в 7 таблиц Получается ~ 23 800 записей в секунду. Задача не так уж тривиальна сама по себе. Даже для bulk операций. А какова длина одной записи? Дабы можно было бы "тупо" прикинуть, какая производительность дисковой системы нужна, чтоб проглотить такое IO не подавившись. Ну, и, как информация к размышлению: http://msmvps.com/blogs/gladchenko/archive/2010/03/09/1761298.aspx ... |
|||
:
Нравится:
Не нравится:
|
|||
18.08.2011, 08:26 |
|
EDM vs LINQ to SQL
|
|||
---|---|---|---|
#18+
Парни, Вы все работаете в центре обработки данных при пентагоне? :D Я работал с десятками организаций, самая большая реальная база, которую я в глаза видел 4.7 Гб, это не считая БелАЗа, у них надцать гигов DBF-фок разбросаны на надцати серверах. Стандартный объем с которым приходится работать 100-800 метров, пара сотен тысяч записей. А Вы здесь такие страхи рассказываете :)) ... |
|||
:
Нравится:
Не нравится:
|
|||
18.08.2011, 10:51 |
|
EDM vs LINQ to SQL
|
|||
---|---|---|---|
#18+
pkarklinМСУ, Так в чем будет заключаться наше с Вами пари? Перечитайте топик. EDUARD SAPOTSKIПарни, Вы все работаете в центре обработки данных при пентагоне? :D То есть базы более 4.7 Гб используются только в центре данных при пентагоне? ... |
|||
:
Нравится:
Не нравится:
|
|||
18.08.2011, 11:22 |
|
EDM vs LINQ to SQL
|
|||
---|---|---|---|
#18+
pkarklin, в среднем таблицы типа этого (между прочим , такие же грабли и с удалением, хотя там можно технически через Trunc и подставные таблицы решать вопрос с быстрдействием, но в ущерб к доступности БД в это время :() Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. 57. 58. 59. 60. 61. 62.
... |
|||
:
Нравится:
Не нравится:
|
|||
18.08.2011, 11:46 |
|
EDM vs LINQ to SQL
|
|||
---|---|---|---|
#18+
EDUARD SAPOTSKI, ну у них просто регистрация факта по движению ресурсов и то обычно полуфабрикатный учет не ведется и т.д. а тут пооперационное планирование и учет да и предприятия разные бывают ... |
|||
:
Нравится:
Не нравится:
|
|||
18.08.2011, 12:06 |
|
EDM vs LINQ to SQL
|
|||
---|---|---|---|
#18+
ViPRos, Вай, мэй... 8) Код: plaintext 1. 2. 3. 4.
кластерный индекс не по монотонно (возрастающем\убывающему полю)!!! Еще бы не быть тормозам... ... |
|||
:
Нравится:
Не нравится:
|
|||
18.08.2011, 12:46 |
|
EDM vs LINQ to SQL
|
|||
---|---|---|---|
#18+
pkarklinПростите, что так долго отстутствовал... SeVaРаспределятор - AppFabric , для конечных автоматов и прочих бизнес-процессов - workflow и тд. Объясните, пожалуйста, специально для SeVaдремучих дельфийцов, которые суда иногда забредают из прошлого века каким образом, перечисленные Вами слова, помогут записать "в базу", скажем, 20 заказов в секунду? Вот так вот, чтоб распределяторов много, и мы на среднем уровне все распределяем и масштабируем, а в базу записать таки надо. Если сохранение узкое место, то при сохранении бизнес-объекта он не пишется сразу в БД, а помещается в очередь, по этому событию выдается сообщение, по нему запускаются нужные обработчики(они могут быть разнесы по разным местам), те в свою очередь делают нужные телодвижения в БД. Кроме банальной записи в БД этот процесс может быть гораздо сложней и тогда эти телодвижения выносятся в workflow. При таком подходе вся бизнес-логика выносится из БД и 20 записей в сек для нее не становятся проблемой. Это и твой недобук потянет. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.08.2011, 13:31 |
|
EDM vs LINQ to SQL
|
|||
---|---|---|---|
#18+
pkarklin, вечером попробую без этого индекса ... |
|||
:
Нравится:
Не нравится:
|
|||
18.08.2011, 13:36 |
|
EDM vs LINQ to SQL
|
|||
---|---|---|---|
#18+
SeVa, нет никакой БЛ в БД просто туда надо быстро писать и все ... |
|||
:
Нравится:
Не нравится:
|
|||
18.08.2011, 13:38 |
|
EDM vs LINQ to SQL
|
|||
---|---|---|---|
#18+
SeVaЕсли сохранение узкое место, то при сохранении бизнес-объекта он не пишется сразу в БД, а помещается в очередь, по этому событию выдается сообщение, по нему запускаются нужные обработчики(они могут быть разнесы по разным местам), те в свою очередь делают нужные телодвижения в БД. Ну так есть у меня "очередь" в движке СУБД (Service Broker). Для реализации ассинхронной и распределенной обработки мне и нафиг не нужны бизнес объекты и аппфабрики на среднем уровне. По поводу масштабирования: Everything about MySpace boggles the mind—from its 130 million monthly active users, to the 300,000 new users who sign up each day; and from its 8 billion friend relationships it manages, to the 34 billion e-mail messages it stores while adding 41 million more each day. The site’s 1 petabyte of data is managed by 440 Microsoft® SQL Server® instances and resides on 3PAR® Utility Storage. When MySpace needed a message queuing and delivery solution to help ensure data changes were correctly and atomically executed on all affected physical database instances, MySpace created an internal solution, called Service Dispatcher, using the Service Broker feature of SQL Server 2005. Service Broker has helped MySpace ensure data integrity across its distributed infrastructure, resulting in a better user experience. Service Broker also helps MySpace developers to roll out new services faster. Мы тоже пошли по этому пути... SeVaКроме банальной записи в БД этот процесс может быть гораздо сложней и тогда эти телодвижения выносятся в workflow. Например? SeVaПри таком подходе вся бизнес-логика выносится из БД и 20 записей в сек для нее не становятся проблемой. Это и твой недобук потянет. Странно... данные, которые меняет бизнес-логика в бд, а обработку мы из нее выносим? И, я говорил о процессе - прием 20ти заказов в каждую секунду, а не о вставке 20 записей. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.08.2011, 13:47 |
|
EDM vs LINQ to SQL
|
|||
---|---|---|---|
#18+
авторМы тоже пошли по этому пути... Пути разные бывают. Service broker - унылог г.. Если для тебя странно, что бизнес-логика может требовать преобразования, то простой пример - в 1С зачастую не нужны все данные, а только итоговые суммы по документу. Обработчики, про которые я писал, позволяют делать декомпозицию нужных телодвижений на мелкие и независимые,простые части(один производит запись в БД, другой общается с 1С, третий и четвертый занимаются своими делами). При двух-звенке и БЛ в БД этого никогда не достичь. БД - тупое хранилище и требования к ней минимальны. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.08.2011, 14:10 |
|
EDM vs LINQ to SQL
|
|||
---|---|---|---|
#18+
SeVa, все эти "независимые просты части" все равно когда то лезут в БД. БД не только хранилище, но громадная инфраструктура по преобразованию данных. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.08.2011, 14:15 |
|
EDM vs LINQ to SQL
|
|||
---|---|---|---|
#18+
была мысль написать все на Ерланг, в конце концов понял, что синхроизация данных все равно жрет то же время. А сервис брокер не говно, я не ней сделала международную биржу Алиса. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.08.2011, 14:16 |
|
EDM vs LINQ to SQL
|
|||
---|---|---|---|
#18+
ViPRosSeVa, все эти "независимые просты части" все равно когда то лезут в БД. БД не только хранилище, но громадная инфраструктура по преобразованию данных. А зачем в БД устраивать преобразование данных, когда это можно сделать в AppServer, который гораздо легче масштабируется? ... |
|||
:
Нравится:
Не нравится:
|
|||
18.08.2011, 14:52 |
|
EDM vs LINQ to SQL
|
|||
---|---|---|---|
#18+
SeVaViPRosБД не только хранилище, но громадная инфраструктура по преобразованию данных. А зачем в БД устраивать преобразование данных, когда это можно сделать в AppServer, который гораздо легче масштабируется? У нас весь слой ETL под кубы и иже сидит на SSIS пакетах, масштабируемость не страдает. Ссисовые workflow отлично дизайнерятся и отлаживаются в VS солюшене. Все счастливы и довольны. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.08.2011, 14:59 |
|
EDM vs LINQ to SQL
|
|||
---|---|---|---|
#18+
SeVaService broker - унылог г.. Мьсе может детализировать свое фиаско от его использования? SeVaЕсли для тебя странно, что бизнес-логика может требовать преобразования, то простой пример - в 1С зачастую не нужны все данные, а только итоговые суммы по документу. Обработчики, про которые я писал, позволяют делать декомпозицию нужных телодвижений на мелкие и независимые,простые части(один производит запись в БД, другой общается с 1С, третий и четвертый занимаются своими делами). При двух-звенке и БЛ в БД этого никогда не достичь . БД - тупое хранилище и требования к ней минимальны. Еще один издевается. Мы кормили несколько лет назад семерку, уже третий год восьмерку кормим "итоговыми суммами по документу" при этом никиких аппсерверов и обрабочтиков на них. Хотя, нет, это не издевка, это в очередной раз под использованием аппсервера кроется отсутствие знаний по СУБД. SeVaБД - тупое хранилище и требования к ней минимальны. Это только если к современному серверу РСУБД так относиться. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.08.2011, 15:05 |
|
EDM vs LINQ to SQL
|
|||
---|---|---|---|
#18+
pkarklinSeVaService broker - унылог г.. Мьсе может детализировать свое фиаско от его использования? SeVaЕсли для тебя странно, что бизнес-логика может требовать преобразования, то простой пример - в 1С зачастую не нужны все данные, а только итоговые суммы по документу. Обработчики, про которые я писал, позволяют делать декомпозицию нужных телодвижений на мелкие и независимые,простые части(один производит запись в БД, другой общается с 1С, третий и четвертый занимаются своими делами). При двух-звенке и БЛ в БД этого никогда не достичь . БД - тупое хранилище и требования к ней минимальны. Еще один издевается. Мы кормили несколько лет назад семерку, уже третий год восьмерку кормим "итоговыми суммами по документу" при этом никиких аппсерверов и обрабочтиков на них. Хотя, нет, это не издевка, это в очередной раз под использованием аппсервера кроется отсутствие знаний по СУБД. SeVaБД - тупое хранилище и требования к ней минимальны. Это только если к современному серверу РСУБД так относиться. Мусье, зачем мне применять частные решения? Что ты будешь делать со своим брокером, если 1с файловая? Ваш Service broker - монолитное решение, которое масштабируется только вверх за счет стоимости и кластеризации. Сможешь ты накормить 1с, если подобный функционал отсутствовал изначально, не меняя ни строчки кода в клиенте и БД? Я могу. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.08.2011, 15:19 |
|
EDM vs LINQ to SQL
|
|||
---|---|---|---|
#18+
... но то, что архитектурно спланированы реакции на события БД в серверной BL (сервис брокер) - за это, конечно, пальцы нужно отламывать плоскогубцами. Большой жирный минус по поддержке, масштабируемости, документированию, рефакторингу. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.08.2011, 15:50 |
|
EDM vs LINQ to SQL
|
|||
---|---|---|---|
#18+
SeVaМусье, зачем мне применять частные решения? Что ты будешь делать со своим брокером, если 1с файловая? Никакого частного решения. Этому решению абсолютно все-равно, какая 1С, двух или трех звенная, файловая или на MS SQL, Oracle или Postgre, ибо этое решение не лазит на прямую в данные 1С, а использует ее интерфейсы, но без ненужной прослойки в виде аппсервера. SeVaСможешь ты накормить 1с, если подобный функционал отсутствовал изначально, не меняя ни строчки кода в клиенте и БД? У меня вообще нет "клиента" для обмена с 1С, ибо он мне не нужен. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.08.2011, 16:08 |
|
EDM vs LINQ to SQL
|
|||
---|---|---|---|
#18+
МСУ... но то, что архитектурно спланированы реакции на события БД в серверной BL (сервис брокер) - за это, конечно, пальцы нужно отламывать плоскогубцами. Большой жирный минус по поддержке, масштабируемости, документированию, рефакторингу. А деталлизировать свой пассаж, или это будет очередное голословное утверждение? ... |
|||
:
Нравится:
Не нравится:
|
|||
18.08.2011, 16:11 |
|
EDM vs LINQ to SQL
|
|||
---|---|---|---|
#18+
pkarklinМСУ... но то, что архитектурно спланированы реакции на события БД в серверной BL (сервис брокер) - за это, конечно, пальцы нужно отламывать плоскогубцами. Большой жирный минус по поддержке, масштабируемости, документированию, рефакторингу , тестированию. А деталлизировать свой пассаж, или это будет очередное голословное утверждение? Я понимаю, что Вам нужно всё по десять раз повторять, но так сильно давить лбом о кирпичную кладь - увольте. Учитесь схватывать с первого раза. :) ... |
|||
:
Нравится:
Не нравится:
|
|||
18.08.2011, 16:24 |
|
|
start [/forum/topic.php?fid=17&msg=37400501&tid=1350650]: |
0ms |
get settings: |
10ms |
get forum list: |
12ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
139ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
62ms |
get tp. blocked users: |
1ms |
others: | 15ms |
total: | 258ms |
0 / 0 |