Добрый день Уважаемый АЛЛ.

Kettle 7 , MS-SQL 2014
Скопировал sqljdbc4.jar , sqljdbc41.jar, sqljdbc41.jar to \Lib folder
коннект к Ms-SQL OK.
есть там в TableOutput :
Use batch update for inserts
по факту рабоатет ОДИНАКОВО - плохие записи не пишутся
(я их в лог перенаправляю хотя вот если price НЕ numeric то не могу перенаправить - пока просто убрал из вывода )
Профайлером глянул что SQL генерирумые :

exec sp_execute 3,N'gjee-desc',N'PRD-OGP',396.69999999999999,N'O',998
exec sp_execute 3,N'slnp-desc',N'PRD-JEC',248.09999999999999,N'A',999
exec sp_execute 3,N'qnfy-desc',N'PRD-ICU',848.79999999999995,N'U',1000
...

IF @@TRANCOUNT > 0 COMMIT TRAN
В Хелпе
Note: There are limiting factors depending on the used database type and further step options. The batch mode is only used when this check box is selected
1.and the Commit Size is greater than 0
2.and the Return auto-generated key option is not enabled
3.and the transformation is not enabled to use unique connections (Transformation settings / Misc / Make the transformation transactional)

4.and the following rule is false: the database type supports safe points and step error handling is enabled
(see the database feature list to check if the database supports safe points)

5.and the database type supports batch updates (see the database feature list to check this)


1.2.3 - проверил - так и есть
4. - не уверен что имеется ввиду.

я ожидал когда выбрана Use batch update for inserts
что весь батч если есть хоть 1 плохая запись (под констрейнты или с др. типом) упадет - т.е не запишется.

Подозреваю (но не уверен) что это внутренняя логига JBDC драйвера
Вопрос в том
1?) Правильно ли я понимаю принцип Use batch update for inserts
2?) Если да - то где и как можно подшаманить (баг это или фича ) чтобы батч инсерты работали.


Скрин прилагаю

hollisterНа целевой таблице есть индексы?
Не было опыта заливки именно в MS SQL батчевых данных, но возможно какое-то ограничения JDBC-драйвера.
Попробуйте в Row-level запуститься, будет сразу видно в каком режиме работает загрузка.

Вообще есть на уровне Jobs - bulkLoad to MS SQL - оно вам поможет.
В качестве источника используется файл.

bulkLoad есть для других БД
для мс-скл НЕТ вроде (может где отдельно качается ?)

!! Поведение трансформации зависти от уровня логирования
у меня был Basic и все работало как я описал
выставли Row-levеl
и падатет на калькуляторе (при других уровнях работает)

( в CSV есть НЕ корректные строчки - в нек. записях на месте price : BAD


017/01/20 16:13:05 - Calculator.0 - ERROR (version 7.0.0.0-25, build 1 from 2016-11-05 15.35.36 by buildguy) : Unexpected error
2017/01/20 16:13:05 - sql1 output.0 - Prepared statement : INSERT INTO db_test (description, code, price, category, id) VALUES ( ?, ?, ?, ?, ?)
2017/01/20 16:13:05 - Calculator.0 - ERROR (version 7.0.0.0-25, build 1 from 2016-11-05 15.35.36 by buildguy) : org.pentaho.di.core.exception.KettleValueException:
2017/01/20 16:13:05 - Calculator.0 - Unexpected conversion error while converting value [price String] to a Number