Всем привет, пытаюсь прочитать csv'шку spark'ом в Dataset, в самой csv'шке лежат даты в некотором виде "dd.MM.yyyy" и double'ы, у которых decimal separator не точка, а запятая. Можно ли как то указать эти особенности формата, при указании схемы csv?
В идеале на Java, но если на Scala то тоже пойдет.

Или так нельзя и нужно читать как String, потом парсим в отдельную колонку через udf и withColumn и не заморачиваемся? (сейчас напилили именно так, но чет смущает такая реализация)

забыл ник,
спасибо за ссылку на соответствующий improvement issue, плюс если кому будет актуально, то по данной проблеме ситуация такая:
1. Мне ответили на stackoverflow https://stackoverflow.com/questions/49869402/load-csv-in-spark-with-types-in-non-standard-format, там предлагают использовать стандартные функции unix_timestamp для парсинга даты и менять разделитель через замену по регекспу regexp_replace
2. Дополнительно раскопал, что у Spark-Csv есть option для указания формата даты .option("dateFormat", "dd.MM.yyyy"); ( https://github.com/databricks/spark-csv)