Простые БД, для хранения небольшого количества текстовой информации, "проектировал" )).
Прошу совета и помощи: выбор СУБД (возможно и ОС) и приблизительной структуры.
Цель: необходимо хранить уникальные пары [BIGINT,INT].
Их количество оченьбольшое более 500 000 000 уже, а дальше будет больше (для анализа сигналов...).
Спасибо.

Dimitry Sibiryakov,

MSSQL. C#.
Данные находятся в файлах (файлов больше 3000).
Размер файлов более 500 Мб каждый.
Из файлов я выбираю строку, конвертирую и делаю инсерт в БД пары значений.
Работает в 32 потока.
Мне кажется, что со временем загрузка медленее.
В таблице стоит юник констраинтс (чтобы не было повторов).
Процесс загрузки получается долгий, предположительно более 2 суток.

Может можно что-то делать по другому, дабы ускорить процесс.
Направьтие, пож. Буду разбираться.
Понимаю что моих поверхностных знаний мало, но куда углубляться не знаюю

может сразу грузить не одну пару а несколько?

Спасибо

П-ЛНа каждую пару - отдельный инсерт ? Или собирается длинная строка на сколько тыщ пар ?
Перегонять ваши загадочные бинарники в цсв файл (допись в конец всякий раз новой строчки), файл инсертить одним чохом штатными средствами.

Ситуация: файлов много, размер каждого за 500 Мб. (извините какими штатными средствами грузить много файлов?)
Сотруктурой таблиц понятно.

Гружу програмно - сишарп, на каждую пару свой инсерт. Потоков для загрузки 32.
В таблице на два поля стоит юник.

НО проблема:
- грузится долго несколько дней будет.
- внешне кажется что чем дальше тем медленнее грузится.

Как можно ускорить процесс? Програмно и организационно (БД)?

Вроде понятно?

П.С: Уважаемый, Dimitry Sibiryakov , я обратился за помощью с конкретным вопросом, и указывать на ветку форума как-то дилетантски,
если вы знаток - посоветуйте (а то бы ещё в гугл послали). Лучше с такими ответами не напрягайтесь.
Как мог искал - не помогло. Надеюсь на живых людей. Работу делать надо уже, потому и пишу сюда.
Спасибо.

Кот Матроскин,


Спасибо, буду читать. Прошу прощения за резкость.
Коль здесь офтопик, то куда? Как перенести.
Я здесь впервой. Да знания мои неглубоки в SQL.
Я системный программист (типа).

c# sqlconnection sqlcommand. Быстро не будет, как я понял?
SqlBulkCopy - спасибо, буду пробовать.