ScottTiger17Добрый день!

Посоветуйте с архитектурой решения.

Есть статистика с сайта, которая несколько раз в день (~ каждые 2-3 часа) выгружается в папку в виде flat файлов с именами вила datafile_YYYYMMDD_HHMM.
Есть задача написать джоб, который будет проверять наличие нового файла в папке и когда появляется новый файл, загружать этот файл в базу.

Как лучше всего реализовать подобное?

Спасибо.

зависит от того, каким инструментом (лучше) владеете

если сильны в скриптах, то можно написать батник/powershell, который будет брать новый файл и, используя BCP, грузить данные в базу

вариант по-сложнее: используя SSIS, создать пэкедж, который будет делать то же самое

еще вариант (чисто для широты выбора): используя T-SQL написать скрипт, который используя xp_dirtree & bulk insert будет делать то, что вам нужно

пока писал, вспомнил про FileTables :
https://docs.microsoft.com/en-us/sql/relational-databases/blob/load-files-into-filetables?view=sql-server-2017


так что, выбирайте на свой вкус, силы и подходящий для ваших условий

ScottTiger17komrad,

Спасибо, а есть а есть плюсы/минусы у каждого из этих 3 подходов? Нет опыта работы с данными тасками, какой из методов чаще применяют на продакшен средах?
безусловно, у каждого есть свои плюсы и минусы
и они будут разными в зависимости от вашей среды и стандартов компании

На вскидку:
батник/скрипт - просто, но меньше диагностики ошибок, если что-то идет не так (надо всё писать самому)
SSIS - мощно, более корпоративное решение, отладка и диагностика встроена и доступна, но требует знания инструмента и времени на создание решения
T-SQL - для любителей процедур и нелюбителей скриптов и BI, всё решение внутри SQL сервера, но сильно отдает экстравагантностью
FileTables - не скажу ничего, т.к. не сталкивался непосредственно. Хотя, судя по описанию и возможностям, может самое оптимальное для вас.


Разумный тренд: не усложнять среду и придерживаться унифицированного подхода, не создавать зоопарк. Это облегчит последующую поддержку и сопровождение.


Я бы сказал, что если у вас широко используются SSIS, то лучше делать на нем. Если преобладают скрипты, то делать скриптами.


Не вникая в детали, я бы пошел по пути Powershell и SQL Agent Job.
Тем более, что изобретать велосипед нет нужды - всё уже придумано до нас, осталось лишь только подогнать по месту напильником.

https://www.mssqltips.com/sqlservertip/3208/automating-flat-file-sql-server-imports-with-powershell/