powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Hadoop
25 сообщений из 138, страница 3 из 6
Hadoop
    #39225863
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexey Tomin,

Так я на винде ниче и не ставлю все на виртуалках(ubuntu,centos), попробую еще 1 путь:)
...
Рейтинг: 0 / 0
Hadoop
    #39226904
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Шел 4 день:)
В итоге завел я кластер пока из 2 нодов(еще 3 планирую накинуть), все ок, кроме 1 нюанса,
в статусе мониторинга висит 1 ошибка :
авторBad : 703 under replicated blocks in the cluster. 706 total blocks in the cluster. Percentage under replicated blocks: 99.58%. Critical threshold: 60.00%.

что-то обгуглился ниче не помогает, может кто сталкивался?

1.И еще кто как грузит данные, с помощью hue и sqoop?
2.Как вытаскивать данные из hadoop например в системе Cognos так же с помощью jdbc драйвера?
3.Как делать бекапы данных?
...
Рейтинг: 0 / 0
Hadoop
    #39227027
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mishanya3624Шел 4 день:)
В итоге завел я кластер пока из 2 нодов(еще 3 планирую накинуть), все ок, кроме 1 нюанса,
в статусе мониторинга висит 1 ошибка :
авторBad : 703 under replicated blocks in the cluster. 706 total blocks in the cluster. Percentage under replicated blocks: 99.58%. Critical threshold: 60.00%.

что-то обгуглился ниче не помогает, может кто сталкивался?

Вроде как меньше трёх нод это не кластер. Каждый блок должен быть на трёх разных нодах, иначе hdfs обижается.

mishanya36241.И еще кто как грузит данные, с помощью hue и sqoop?
2.Как вытаскивать данные из hadoop например в системе Cognos так же с помощью jdbc драйвера?
3.Как делать бекапы данных?

В hdfs их можно залить чем угодно- просто открываешь файл в hdfs клиентом и пишешь. Дальше- по вкусу.
...
Рейтинг: 0 / 0
Hadoop
    #39227423
haXbat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
3.Как делать бекапы данных?
Разворачиваешь второй кластер и переносишь файлики с помощью distcp.

Bad : 703 under replicated blocks in the cluster. 706 total blocks in the cluster. Percentage under replicated blocks: 99.58%. Critical threshold: 60.00%.

У тебя по умолчанию выставлен фактор репликации 3. На двух нодах физически невозможно его соблюсти. Подними хотя бы четыре ноды или уменьши фактор репликации.
...
Рейтинг: 0 / 0
Hadoop
    #39227427
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
haXbat,

уменьшал фактор репликации, не помогло..
в общем буду заново делать кластер сразу с 5 нодами, там посмотрим, ибо отправили меня на отдельный гипервизор все это дело переподымать.
...
Рейтинг: 0 / 0
Hadoop
    #39227868
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mishanya3624,
Можете сказать какая нужна минимальная конфигурация сервера чтобы взлетели
1 мастер и 3 годы
Как я понял из сообщений меньше делать смысла нет
...
Рейтинг: 0 / 0
Hadoop
    #39227887
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мигель1,

всего 3 нода вместе с мастером, но рекомендация 4 нода для кластера(соответсвено вместе с мастером)
но по мне так 7-10 нодов, тогда будет существенный прирост производительности в выборке из базы размером около 1 тб по сравнению с mssql и oracle, но это я еще тестировать буду, пока догадки только.
...
Рейтинг: 0 / 0
Hadoop
    #39227889
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
при чем мастеру рекомендуется давать 24 гб оперативки с запасом для будущего.
8 мало, 16 норм для 3 сторонних нодов, это я все сделал выводы из логов и мониторинга кластера.
все только пока имперический опыт.
...
Рейтинг: 0 / 0
Hadoop
    #39230392
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
есть кластер 5 нодов, все ок.
Но не хочет импортировать данные из mysql, что может быть не так?
авторroot@Hadoopmaster:~# sqoop import --connect jdbc:mysql://192.168.3.224:3305/tc-db-main --driver com.mysql.jdbc.Driver --username root --table smtrans --hive-import
Warning: /opt/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0.p0.45/bin/../lib/sqoop/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
16/05/05 15:06:46 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6-cdh5.7.0
16/05/05 15:06:46 INFO tool.BaseSqoopTool: Using Hive-specific delimiters for output. You can override
16/05/05 15:06:46 INFO tool.BaseSqoopTool: delimiters with --fields-terminated-by, etc.
16/05/05 15:06:46 INFO teradata.TeradataManagerFactory: Loaded connector factory for 'Cloudera Connector Powered by Teradata' on version 1.5c5
16/05/05 15:06:46 WARN sqoop.ConnFactory: Parameter --driver is set to an explicit driver however appropriate connection manager is not being set (via --connection-manager). Sqoop is going to fall back to org.apache.sqoop.manager.GenericJdbcManager. Please specify explicitly which connection manager should be used next time.
16/05/05 15:06:46 INFO manager.SqlManager: Using default fetchSize of 1000
16/05/05 15:06:46 INFO tool.CodeGenTool: Beginning code generation
16/05/05 15:06:47 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM smtrans AS t WHERE 1=0
16/05/05 15:06:47 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM smtrans AS t WHERE 1=0
16/05/05 15:06:47 INFO orm.CompilationManager: HADOOP_MAPRED_HOME is /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce
Note: /tmp/sqoop-root/compile/373d7e9a3abd6277a59eadd661839a7b/smtrans.java uses or overrides a deprecated API.
Note: Recompile with -Xlint:deprecation for details.
16/05/05 15:06:49 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-root/compile/373d7e9a3abd6277a59eadd661839a7b/smtrans.jar
16/05/05 15:06:49 INFO mapreduce.ImportJobBase: Beginning import of smtrans
16/05/05 15:06:49 INFO Configuration.deprecation: mapred.jar is deprecated. Instead, use mapreduce.job.jar
16/05/05 15:06:49 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM smtrans AS t WHERE 1=0
16/05/05 15:06:50 INFO Configuration.deprecation: mapred.map.tasks is deprecated. Instead, use mapreduce.job.maps
16/05/05 15:06:50 INFO client.RMProxy: Connecting to ResourceManager at Hadoopmaster.icexpert.local/192.168.1.84:8032
16/05/05 15:06:50 WARN security.UserGroupInformation: PriviledgedActionException as:root (auth:SIMPLE) cause:org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission(DefaultAuthorizationProvider.java:281)
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:262)
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:242)
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkPermission(DefaultAuthorizationProvider.java:169)
at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:152)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:6590)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:6572)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkAncestorAccess(FSNamesystem.java:6524)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInternal(FSNamesystem.java:4322)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInt(FSNamesystem.java:4292)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:4265)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:867)
at org.apache.hadoop.hdfs.server.namenode.AuthorizationProviderProxyClientProtocol.mkdirs(AuthorizationProviderProxyClientProtocol.java:322)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:603)
at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:617)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1073)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2086)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2082)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1693)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2080)

16/05/05 15:06:50 ERROR tool.ImportTool: Encountered IOException running import job: org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission(DefaultAuthorizationProvider.java:281)
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:262)
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:242)
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkPermission(DefaultAuthorizationProvider.java:169)
at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:152)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:6590)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:6572)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkAncestorAccess(FSNamesystem.java:6524)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInternal(FSNamesystem.java:4322)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInt(FSNamesystem.java:4292)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:4265)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:867)
at org.apache.hadoop.hdfs.server.namenode.AuthorizationProviderProxyClientProtocol.mkdirs(AuthorizationProviderProxyClientProtocol.java:322)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:603)
at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:617)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1073)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2086)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2082)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1693)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2080)

at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
at org.apache.hadoop.ipc.RemoteException.instantiateException(RemoteException.java:106)
at org.apache.hadoop.ipc.RemoteException.unwrapRemoteException(RemoteException.java:73)
at org.apache.hadoop.hdfs.DFSClient.primitiveMkdir(DFSClient.java:3084)
at org.apache.hadoop.hdfs.DFSClient.mkdirs(DFSClient.java:3049)
at org.apache.hadoop.hdfs.DistributedFileSystem$18.doCall(DistributedFileSystem.java:957)
at org.apache.hadoop.hdfs.DistributedFileSystem$18.doCall(DistributedFileSystem.java:953)
at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
at org.apache.hadoop.hdfs.DistributedFileSystem.mkdirsInternal(DistributedFileSystem.java:953)
at org.apache.hadoop.hdfs.DistributedFileSystem.mkdirs(DistributedFileSystem.java:946)
at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:133)
at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:148)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1307)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1304)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1693)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:1304)
at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1325)
at org.apache.sqoop.mapreduce.ImportJobBase.doSubmitJob(ImportJobBase.java:196)
at org.apache.sqoop.mapreduce.ImportJobBase.runJob(ImportJobBase.java:169)
at org.apache.sqoop.mapreduce.ImportJobBase.runImport(ImportJobBase.java:266)
at org.apache.sqoop.manager.SqlManager.importTable(SqlManager.java:692)
at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:497)
at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:605)
at org.apache.sqoop.Sqoop.run(Sqoop.java:143)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:179)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:218)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:227)
at org.apache.sqoop.Sqoop.main(Sqoop.java:236)
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission(DefaultAuthorizationProvider.java:281)
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:262)
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:242)
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkPermission(DefaultAuthorizationProvider.java:169)
at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:152)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:6590)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:6572)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkAncestorAccess(FSNamesystem.java:6524)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInternal(FSNamesystem.java:4322)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInt(FSNamesystem.java:4292)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:4265)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:867)
at org.apache.hadoop.hdfs.server.namenode.AuthorizationProviderProxyClientProtocol.mkdirs(AuthorizationProviderProxyClientProtocol.java:322)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:603)
at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:617)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1073)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2086)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2082)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1693)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2080)

at org.apache.hadoop.ipc.Client.call(Client.java:1471)
at org.apache.hadoop.ipc.Client.call(Client.java:1408)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:230)
at com.sun.proxy.$Proxy15.mkdirs(Unknown Source)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.mkdirs(ClientNamenodeProtocolTranslatorPB.java:544)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:256)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:104)
at com.sun.proxy.$Proxy16.mkdirs(Unknown Source)
at org.apache.hadoop.hdfs.DFSClient.primitiveMkdir(DFSClient.java:3082)
... 27 more
С правами уже как только не игрался, Accumulo стоит...
...
Рейтинг: 0 / 0
Hadoop
    #39230419
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mishanya3624,
Так вроде на accumulated и ругается

Please set $ACCUMULO_HOME to the root of your Accumulo installation.
...
Рейтинг: 0 / 0
Hadoop
    #39230859
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мигель1,

с этим тоже возился, где только не пробовал указывать этот путь...
...
Рейтинг: 0 / 0
Hadoop
    #39231639
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mishanya3624,

Ну как получилось?
Я щас развернул virtual box и пытаюсь установить clouded на cents 7.2
...
Рейтинг: 0 / 0
Hadoop
    #39232243
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мигель1,

Нет пока с импортом не получилось, ругается и все, внутри кластера все работает, ошибок нет, базы и таблицы вручную создаются.
...
Рейтинг: 0 / 0
Hadoop
    #39232341
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
таки победил, косяк с правами на чтение блоков hdfs
Такой вопрос, как импортировать целиком базу, а не выборочно по таблицам?
...
Рейтинг: 0 / 0
Hadoop
    #39232385
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
без all-tables, хочу взять базу и залить ее целиком в определенную базу hadoop, не в default
...
Рейтинг: 0 / 0
Hadoop
    #39232690
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ну ведь знаете, хорош молчать:)
получилось все таблицы из базы залить, но каждую создавать на базе файла это капец, ибо их у меня порядка 100 штук.
...
Рейтинг: 0 / 0
Hadoop
    #39233045
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
В общем смысл думаю следующий, закачиваем все таблицы на кластер в нужную директорию и потом множестевенными запросами типа
LOAD DATA INPATH тралалалала , которых будет столько сколько таблиц + ко всему перед этим должны быть созданы таблицы для соответсвующей заливки.
Не ну это жесть конечно...
...
Рейтинг: 0 / 0
Hadoop
    #39233586
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
полумертвая ветка:)
разговоры отщипенцев самих с собой,
итак положил кластер свой из-за невозможности подключения jdbc к mssql требовал 8 java установил, нерезапустил кластер и досвидос....страдания продолжаются
...
Рейтинг: 0 / 0
Hadoop
    #39233865
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Танцы с бубном и многое другое таки поднял обратно кластер, что приятно данные все остались, но пришлось hive создать новую директорию.
поехали дальше импортировать теперь из mssql , есть идея заполнить данные скриптом с помощью списка всех таблиц из базы, пока не пойму, как так же создать столько голых таблиц с нужными столбцами и типами данных...в голову приходить выгрузить всю спецификацию в xml и распарсить питоном в pig, короче пока нихрена не ясно одни догатки, надо пробовать.
...
Рейтинг: 0 / 0
Hadoop
    #39233894
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
к mssql подключился, полет нормальный, разбираюсь дальше...
...
Рейтинг: 0 / 0
Hadoop
    #39235414
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
первые тесты:
таблица 12 гб
67 лямов записей
обычный запрос:
Код: sql
1.
2.
3.
SELECT *
  FROM tbl_databaselog  
  where CreatedOn LIKE '%2013%'


MSSQL(сервер не загруженный, тестовый 16 гиг оперы 2 проца) - 3.40 минуты
Hadoop(5нодов):
Hive: 2.28 мин
Impala: 1-2 секунды

Итог поиска: 3,5 ляма записей

Hive конечно тормоз еще тот со своим мапредьюсом(конечно может если вручную писать все мапы и редьюсы все будет быстро, но из коробки все медлено), impala прям порадовала крутяцки.

Все понятно что это шелуха для хадупа, но все же для последующих искателей себя в бигдата:)

И еще нет ли какой утилиты для более удобного отслеживания выполненных запросов(время ресурсы), а то бегать между hive и impala не оч удобно?
...
Рейтинг: 0 / 0
Hadoop
    #39235421
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ну конечно же это время до вывода первичной информации
...
Рейтинг: 0 / 0
Hadoop
    #39235605
haXbat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mishanya3624
И еще нет ли какой утилиты для более удобного отслеживания выполненных запросов(время ресурсы), а то бегать между hive и impala не оч удобно?
Cloudera manager)
...
Рейтинг: 0 / 0
Hadoop
    #39235610
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
haXbat,

это понятно:)
но там не удобно грю между ними прыгать, нет ли общего лога по запросам?
во, коли хоть кто-то заглянул на огонек, может подскажешь, как целиком базу залить со всеми таблицами в отдельно созданную в хадупе, а не в дефолтную?без всяких извращений.
...
Рейтинг: 0 / 0
Hadoop
    #39235796
haXbat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mishanya3624haXbat,
во, коли хоть кто-то заглянул на огонек, может подскажешь, как целиком базу залить со всеми таблицами в отдельно созданную в хадупе, а не в дефолтную?без всяких извращений.
Без извращений не знаю: гружу через shell+ssh)
...
Рейтинг: 0 / 0
25 сообщений из 138, страница 3 из 6
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Hadoop
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]