|
Azure HDInsight (Hadoop 2.7/Win) и PolyBase - удаление файлов и/или директорий
|
|||
---|---|---|---|
#18+
может кто знает как проще 1) очистить данные (delete xtablex) 2) удалить таблицу (drop xtableх) на облачном Hadoop (Azure HDInsight : Hadoop 2.7.1 Win / HDI 3.4 ) чисто через Polybase ? возможно-ли? т.е. без PowerShell ? (да, прекрасно знаю что система не на это оптимизирована а на храниение/чтение) Захожу через портал на Storage container (Blob) - выбираю директорию и нажимаю "Delete Folder" - без результата.. вхожу через SSMS на локальном SQL 2016/Dev instance и после создания (ххххх..blob.core.windows.net) и insert/select: делаю delete xtablex - ошибка запрета на удаление данных из внешних таблиц drop xtableх - работает (т.е. в SQL SSMS на External Tables её больше нет) - но в Hadoop и директория и файлы остаются (видно и через портал portal.azure.com и в HDInsight UI на ххх.azurehdinsight.net) , да и при повторном создании данные возвращаются как будто и не удалялись ... |
|||
:
Нравится:
Не нравится:
|
|||
06.09.2016, 20:13 |
|
Azure HDInsight (Hadoop 2.7/Win) и PolyBase - удаление файлов и/или директорий
|
|||
---|---|---|---|
#18+
типа сам спросил - сам ответил, хотя нет - это не ответ, сдался коротче, зашел через RemoteDeskTop (ххх.azurehdinsight.net) и классическим способом почистил вроде: > hadoop fs -rm /test/* > hadoop fs -rmdir /test ... |
|||
:
Нравится:
Не нравится:
|
|||
07.09.2016, 00:06 |
|
Azure HDInsight (Hadoop 2.7/Win) и PolyBase - удаление файлов и/или директорий
|
|||
---|---|---|---|
#18+
vikkiv, Polybase позволяет создать external table на хранилище в хадупе или в блобах. в самом сиквел сервере ты создаешь только указатель на эти данные, а не сами данные. Соответсвенно, когда ты делаешь drop - то ты только удаляешь этот указатель. И да, данные на внешнем источнике чистить нельзя, т.е delete не работает. Единственное, что можно, это экспортировать данные, через SELECT INTO ... |
|||
:
Нравится:
Не нравится:
|
|||
07.09.2016, 14:27 |
|
Azure HDInsight (Hadoop 2.7/Win) и PolyBase - удаление файлов и/или директорий
|
|||
---|---|---|---|
#18+
Andrey Sribnyak, спасибо за подтверждение (хотя и вторая строчка немного противоречит последней) того что собственно и дано в описании проблемы уже думал что может пропустил что-то да и gооglе ничего адекватного не выдал.. есть так-же некоторые подозрения на понимание того что ты пишешь по поводу drop в третьей строке, заметил вчера что по прошествию часа (пошел на ужин) после выполнения следующих классов: Код: sql 1. 2. 3. 4. 5. 6. 7. 8.
пересоздал предварительно созданные External Код: sql 1. 2. 3. 4. 5. 6. 7.
и на удивление оказалось что Код: sql 1.
выдал пустой результат (ноль строк, и заголовки колонн) несмотря на insert циклом раньше, т.е. в цепи drop/create или сработала задержка или что-то другое, но по новому созданные связи на HDFS проигнорировали старые файлы, попробую вечером повторить эксперимент - а то может вчера под вечер просто глючить начал и напутал чего (раз 20 создавал/сносил Hadoop кластеры для разных целей) ... |
|||
:
Нравится:
Не нравится:
|
|||
07.09.2016, 15:33 |
|
|
start [/forum/topic.php?fid=48&msg=39305239&tid=1856736]: |
0ms |
get settings: |
11ms |
get forum list: |
15ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
60ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
49ms |
get tp. blocked users: |
1ms |
others: | 15ms |
total: | 173ms |
0 / 0 |