powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Azure HDInsight (Hadoop 2.7/Win) и PolyBase - удаление файлов и/или директорий
4 сообщений из 4, страница 1 из 1
Azure HDInsight (Hadoop 2.7/Win) и PolyBase - удаление файлов и/или директорий
    #39304712
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
может кто знает как проще
1) очистить данные (delete xtablex)
2) удалить таблицу (drop xtableх)
на облачном Hadoop (Azure HDInsight : Hadoop 2.7.1 Win / HDI 3.4 ) чисто через Polybase ? возможно-ли?
т.е. без PowerShell ? (да, прекрасно знаю что система не на это оптимизирована а на храниение/чтение)
Захожу через портал на Storage container (Blob) - выбираю директорию и нажимаю "Delete Folder" - без результата..
вхожу через SSMS на локальном SQL 2016/Dev instance и после создания (ххххх..blob.core.windows.net) и insert/select:
делаю delete xtablex - ошибка запрета на удаление данных из внешних таблиц
drop xtableх - работает (т.е. в SQL SSMS на External Tables её больше нет) - но в Hadoop и директория и файлы остаются (видно и через портал portal.azure.com и в HDInsight UI на ххх.azurehdinsight.net) , да и при повторном создании данные возвращаются как будто и не удалялись
...
Рейтинг: 0 / 0
Azure HDInsight (Hadoop 2.7/Win) и PolyBase - удаление файлов и/или директорий
    #39304765
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
типа сам спросил - сам ответил, хотя нет - это не ответ, сдался коротче, зашел через RemoteDeskTop (ххх.azurehdinsight.net) и классическим способом почистил вроде:

> hadoop fs -rm /test/*
> hadoop fs -rmdir /test
...
Рейтинг: 0 / 0
Azure HDInsight (Hadoop 2.7/Win) и PolyBase - удаление файлов и/или директорий
    #39305239
Andrey Sribnyak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vikkiv,

Polybase позволяет создать external table на хранилище в хадупе или в блобах.
в самом сиквел сервере ты создаешь только указатель на эти данные, а не сами данные.

Соответсвенно, когда ты делаешь drop - то ты только удаляешь этот указатель.

И да, данные на внешнем источнике чистить нельзя, т.е delete не работает.

Единственное, что можно, это экспортировать данные, через SELECT INTO
...
Рейтинг: 0 / 0
Azure HDInsight (Hadoop 2.7/Win) и PolyBase - удаление файлов и/или директорий
    #39305283
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andrey Sribnyak,

спасибо за подтверждение (хотя и вторая строчка немного противоречит последней) того что собственно и дано в описании проблемы
уже думал что может пропустил что-то да и gооglе ничего адекватного не выдал..
есть так-же некоторые подозрения на понимание того что ты пишешь по поводу drop в третьей строке, заметил вчера что по прошествию часа (пошел на ужин) после выполнения следующих классов:
Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
.....
insert into tst values(1,1,1);
drop external table tst;
drop external file format xx;
drop external data source hdp;
drop database scoped credential az;
drop master key
.....

пересоздал предварительно созданные External
Код: sql
1.
2.
3.
4.
5.
6.
7.
...
create master key encryption by...;
create database scoped credential az with...;
create external data source hdp with...;
create external file format xx...;
create external table...;
...

и на удивление оказалось что
Код: sql
1.
select a,b,c from tst

выдал пустой результат (ноль строк, и заголовки колонн) несмотря на insert циклом раньше, т.е. в цепи drop/create или сработала задержка или что-то другое, но по новому созданные связи на HDFS проигнорировали старые файлы, попробую вечером повторить эксперимент - а то может вчера под вечер просто глючить начал и напутал чего (раз 20 создавал/сносил Hadoop кластеры для разных целей)
...
Рейтинг: 0 / 0
4 сообщений из 4, страница 1 из 1
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Azure HDInsight (Hadoop 2.7/Win) и PolyBase - удаление файлов и/или директорий
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]