Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Как будет работать быстрее?
|
|||
|---|---|---|---|
|
#18+
Есть необходимость периодически переливать из таблиц в таблицы данные в общем объёме где-то до 100 млн. записей. В каком случае это будет работать быстрее: 1) таблицы источника и назначения в одной базе 2) таблицы источника и назначения в одной базе, но разнесены в разные файлы 3) таблицы источника и назначения в разных соседних базах Во всех случаях подразумевается, что всё происходит на одном и том же сервере. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.10.2019, 12:59 |
|
||
|
Как будет работать быстрее?
|
|||
|---|---|---|---|
|
#18+
Вопрос звучит примерно так: "В каком случае будет добраться на автобусе быстрее: 1. Если ехать на заднем сидении 2. Если ехать у окна 3. Если ехать стоя Во всех случаях подразумевается, что всё происходит в одном и том же автобусе." ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.10.2019, 13:02 |
|
||
|
Как будет работать быстрее?
|
|||
|---|---|---|---|
|
#18+
Не согласен с предложенной Вами аналогией. Вы хотите сказать, что затраченное время не будет зависеть от выбранного 1 из 3 предложенных вариантов? Не поверю. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.10.2019, 13:18 |
|
||
|
Как будет работать быстрее?
|
|||
|---|---|---|---|
|
#18+
AR®, чтобы было быстрее - используйте физически разные диски и контроллеры источника и получателя. Проследите, чтобы на получателе были диски без "черепицы". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.10.2019, 13:20 |
|
||
|
Как будет работать быстрее?
|
|||
|---|---|---|---|
|
#18+
AR®, Будет зависеть от возможности утилизировать ресурсы, в том числе и дисковые. Если у вас базы все на одном физическом сервере да еще и на одном физическом дисковом массиве, то откуда должен появиться выигрыш? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.10.2019, 13:20 |
|
||
|
Как будет работать быстрее?
|
|||
|---|---|---|---|
|
#18+
На самом деле это все БАД и припарки. На хороших серверных хранилищах это что в бок, что сверху. Но на бюджетных разница может быть. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.10.2019, 13:21 |
|
||
|
Как будет работать быстрее?
|
|||
|---|---|---|---|
|
#18+
Владислав Колосов Но на бюджетных разница может быть. Это именно наш случай. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.10.2019, 13:24 |
|
||
|
Как будет работать быстрее?
|
|||
|---|---|---|---|
|
#18+
AR®, если льется постоянно, то имеет смысл отдать процессорное ядро под IO через Affinity mask. Также, если есть возможность, секционируйте кластерный индекс таблиц и заливайте секции одновременно в несколько потоков. Потоки легко сделать при помощи Integration Services. Разместите секции на разные диски. Понятно, что если источник будет разбит на секции и также размещен на разных дисках, должен быть эффект. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.10.2019, 13:32 |
|
||
|
Как будет работать быстрее?
|
|||
|---|---|---|---|
|
#18+
AR®Есть необходимость периодически переливать из таблиц в таблицы данные в общем объёме где-то до 100 млн. записей. В каком случае это будет работать быстрее: 4. partition switch https://sqlrus.com/2018/03/using-switch-on-a-single-partition/ ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.10.2019, 13:33 |
|
||
|
Как будет работать быстрее?
|
|||
|---|---|---|---|
|
#18+
komradAR®Есть необходимость периодически переливать из таблиц в таблицы данные в общем объёме где-то до 100 млн. записей. В каком случае это будет работать быстрее: 4. partition switch https://sqlrus.com/2018/03/using-switch-on-a-single-partition/ точнее 1 или 2 + partition switch ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.10.2019, 13:35 |
|
||
|
Как будет работать быстрее?
|
|||
|---|---|---|---|
|
#18+
komrad, они же, наверное, копируют, а не переносят? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.10.2019, 13:37 |
|
||
|
Как будет работать быстрее?
|
|||
|---|---|---|---|
|
#18+
komrad2 + partition switch и как же свич перенесет данные из одного файла в другой? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.10.2019, 13:38 |
|
||
|
Как будет работать быстрее?
|
|||
|---|---|---|---|
|
#18+
Владислав Колосовkomrad, они же, наверное, копируют, а не переносят? наверное или нет - автор не указал точно ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.10.2019, 13:52 |
|
||
|
Как будет работать быстрее?
|
|||
|---|---|---|---|
|
#18+
msLexkomrad2 + partition switch и как же свич перенесет данные из одного файла в другой? да, верно, подразумевается другая ФГ (=другой файл) и тогда не получится switch ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.10.2019, 14:03 |
|
||
|
Как будет работать быстрее?
|
|||
|---|---|---|---|
|
#18+
Копируем, а не переносим. Смысл в том, что к одним и тем же данным нужен доступ с разной нагрузкой и разными правами. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.10.2019, 16:29 |
|
||
|
Как будет работать быстрее?
|
|||
|---|---|---|---|
|
#18+
AR®Есть необходимость периодически переливать из таблиц в таблицы данные в общем объёме где-то до 100 млн. записей. В каком случае это будет работать быстрее: 1) таблицы источника и назначения в одной базе Не достаточно информации. Даже одна и та же таблица может быть размещена в нескольких разных файловых группах (например, если она секционирована, или индексы перенесены на быстрые диски в быстрые файловые группы), которые могут размещаться в разных файлах (а файлы - соответственно на разных дисках, разных контроллерах и т.д.) AR®2) таблицы источника и назначения в одной базе, но разнесены в разные файлы Не в файлы, а файловые группы, в которые входят файлы (и не обязательно 1), которые см. выше. AR®3) таблицы источника и назначения в разных соседних базах Во всех случаях подразумевается, что всё происходит на одном и том же сервере. См. предыдущие пункты. При этом еще не стоит забывать и о быстродействии диска, на котором расположен(ы) файл(ы) лога, т.к. быстродействие вставки, особенно если она не минимально протоколируемая - напрямую зависит от количество операций в секунду (iops), который у вас выдает диск, на котором расположены логи. Примеры: 1. Данные у вас располагаются на NL-SAS дисках, 7200, в RAID 6. Поверх единого виртуального тома контроллера нарезаны логические диски (созданные в виндовс), по которым вы разбросали файлы, содержащие данные и логи. В таком случае нет никакой разницы, где, конкретно, на логическом диске, будут лежать логи, данные, на какие файловые группы будет поделена база, будут ли логи лежать на том же диске, что и данные или нет. Быстродействие будет абсолютно одинаково, и определяться скоростью массива и количеством iops виртуального тома, созданного на контроллере. 2. Данные у вас расположены на логическом диске, расположенном на одном виртуальном томе контроллера, логи расположены на другом логическом диске, расположенном на другом виртуальном томе контроллера, либо на другом контроллере. Это - оптимальный вариант. Причем чем менее латентный том, на котором лежат логи - тем быстрее вставка, особенно если это конкурентная вставка в несколько потоков (и особенно - "по записи"). В бд, в которую интенсивно пишут (если нужно выбирать) данные нужно размешать на медленных шпиндельных дисках, а логи - на быстрых ssd, а не наоборот! Потому что быстродействие изменений в базе напрямую зависит от количества операций в секунду, которую могут выдать диски, на которых лежат логи. Т.е., прежде чем городить огород с файлами и т.д. - посмотрите на физику, которая под ними лежит. Например, если у вас подо всё - одна дисковая полка, которая размечена "одним листом", в одно виртуальное пространство, RAID6 или RAID60, а поверх нее вы уже создаете какие то тома, или хуже того, ваши диски - это файлы виртуальной машины на этом большом томе - куда вы не двигайте логи, данные и т.д., вместе или раздельно, боком или раком - разницы не будет ровно никакой. Разница может возникнуть только если вы получите в свое распоряжение физически разные каналы и физически разные тома (для данных, логов, баз источников, баз приемников). ... физика рулит безоговорочно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.10.2019, 17:12 |
|
||
|
Как будет работать быстрее?
|
|||
|---|---|---|---|
|
#18+
AR®Вы хотите сказать, что затраченное время не будет зависеть от выбранного 1 из 3 предложенных вариантов? Не поверю.Как может быть по другому? Вы данные копируете из одних секторов диска в другие. Какая разница при этом, что у вас где то в блокнотике отмечено, что первые сектора относятся к накладным Ивана Ивановича, а вторые - к чёрной кассе Петра Петровича? "Базы" - это всего лишь метаданные, "отметка в блокнотике". А хранятся данные на диске, и неважно, как именно сектора диска описаны в метаданных. Разница в скорости может появиться, если нужно расширять файл базы, или если делается копирование с одного диска на другой (то есть "2) таблицы источника и назначения в одной базе, но разнесены в разные файлы", но при этом разные файлы размещены на разных дисках). В общем, если отличаются существенные условия. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.10.2019, 17:41 |
|
||
|
Как будет работать быстрее?
|
|||
|---|---|---|---|
|
#18+
alexeyvgКак может быть по другому? например, базы могут быть в разных моделях восстановления ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.10.2019, 17:51 |
|
||
|
Как будет работать быстрее?
|
|||
|---|---|---|---|
|
#18+
Владислав КолосовНа хороших серверных хранилищах это что в бок, что сверху. Но на бюджетных разница может быть.Как это, разве разница не одинаковая, не зависящая от стоимости? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.10.2019, 17:52 |
|
||
|
Как будет работать быстрее?
|
|||
|---|---|---|---|
|
#18+
Спасибо всем откликнувшимся, но мне показалось, что никто не учёл, что это будет не копирование файлов средствами ОС, а именно переливка данных между таблицами командами T-SQL insert/select. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.10.2019, 17:54 |
|
||
|
Как будет работать быстрее?
|
|||
|---|---|---|---|
|
#18+
Yasha123alexeyvgКак может быть по другому? например, базы могут быть в разных моделях восстановленияДа, есть такое, упустил. :-) Но вообще нужно предполагать, что все остальные условия одинаковые. А то так можно дойти до того, что в одной базе таблица-куча без индексов, а в другой с ПК на 10 полей, и с 50 индексами. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.10.2019, 17:54 |
|
||
|
Как будет работать быстрее?
|
|||
|---|---|---|---|
|
#18+
AR®Спасибо всем откликнувшимся, но мне показалось, что никто не учёл, что это будет не копирование файлов средствами ОС, а именно переливка данных между таблицами командами T-SQL insert/select.Учли-учли. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.10.2019, 17:55 |
|
||
|
Как будет работать быстрее?
|
|||
|---|---|---|---|
|
#18+
AR®Спасибо всем откликнувшимся, но мне показалось, что никто не учёл, что это будет не копирование файлов средствами ОС, а именно переливка данных между таблицами командами T-SQL insert/select. как раз и учли. если бы копировалось средствами ОС, разница была бы, писать на медленный диск или на быстрый (если базы на разных дисках) но т.к. копирует именно сервер, то он тупо поднимает ваши данные с диска и в памяти же пишет на страницы (той или иной) базы. а в памяти пофиг, чьи это страницы. а сбросит он эти страницы на диск уже потом, и тоже пофиг, когда. о коммите вы получите известие, когда в лог все запишется. и вот тут и есть разница, в какой модели была база-приемник ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.10.2019, 18:01 |
|
||
|
Как будет работать быстрее?
|
|||
|---|---|---|---|
|
#18+
alexeyvgВладислав КолосовНа хороших серверных хранилищах это что в бок, что сверху. Но на бюджетных разница может быть.Как это, разве разница не одинаковая, не зависящая от стоимости? Например, если сравнивать SAS и простое SATA решение. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.10.2019, 18:23 |
|
||
|
Как будет работать быстрее?
|
|||
|---|---|---|---|
|
#18+
Yasha123alexeyvgКак может быть по другому? например, базы могут быть в разных моделях восстановления А какая разница? Симпл или фулл, транзакция всё равно вначале полностью будет отмечена в логе, а лог только потом будет усечен. Можно выиграть только на авторасширении файла, и то только если бэкап лога не делается вовремя. А минимально протоколируемые операции - минимально протоколируются что в полной модели, что в простой. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.10.2019, 19:43 |
|
||
|
|

start [/forum/topic.php?fid=46&fpage=85&tid=1687133]: |
0ms |
get settings: |
10ms |
get forum list: |
21ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
66ms |
get topic data: |
13ms |
get forum data: |
4ms |
get page messages: |
80ms |
get tp. blocked users: |
2ms |
| others: | 252ms |
| total: | 456ms |

| 0 / 0 |
