ReSQL.ru
     
powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Hadoop
25 сообщений из 138, страница 3 из 6
  3  все
Hadoop
    #39225863
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
Alexey Tomin,

Так я на винде ниче и не ставлю все на виртуалках(ubuntu,centos), попробую еще 1 путь:)
...
Рейтинг: 0 / 0
27.04.2016, 16:18
| Ответить | Цитировать | Написать  
Hadoop
    #39226904
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
Шел 4 день:)
В итоге завел я кластер пока из 2 нодов(еще 3 планирую накинуть), все ок, кроме 1 нюанса,
в статусе мониторинга висит 1 ошибка :
авторBad : 703 under replicated blocks in the cluster. 706 total blocks in the cluster. Percentage under replicated blocks: 99.58%. Critical threshold: 60.00%.

что-то обгуглился ниче не помогает, может кто сталкивался?

1.И еще кто как грузит данные, с помощью hue и sqoop?
2.Как вытаскивать данные из hadoop например в системе Cognos так же с помощью jdbc драйвера?
3.Как делать бекапы данных?
...
Рейтинг: 0 / 0
28.04.2016, 17:57
| Ответить | Цитировать | Написать  
Hadoop
    #39227027
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey Tomin
Участник
mishanya3624Шел 4 день:)
В итоге завел я кластер пока из 2 нодов(еще 3 планирую накинуть), все ок, кроме 1 нюанса,
в статусе мониторинга висит 1 ошибка :
авторBad : 703 under replicated blocks in the cluster. 706 total blocks in the cluster. Percentage under replicated blocks: 99.58%. Critical threshold: 60.00%.

что-то обгуглился ниче не помогает, может кто сталкивался?

Вроде как меньше трёх нод это не кластер. Каждый блок должен быть на трёх разных нодах, иначе hdfs обижается.

mishanya36241.И еще кто как грузит данные, с помощью hue и sqoop?
2.Как вытаскивать данные из hadoop например в системе Cognos так же с помощью jdbc драйвера?
3.Как делать бекапы данных?

В hdfs их можно залить чем угодно- просто открываешь файл в hdfs клиентом и пишешь. Дальше- по вкусу.
...
Рейтинг: 0 / 0
28.04.2016, 20:44
| Ответить | Цитировать | Написать  
Hadoop
    #39227423
haXbat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
haXbat
Участник
3.Как делать бекапы данных?
Разворачиваешь второй кластер и переносишь файлики с помощью distcp.

Bad : 703 under replicated blocks in the cluster. 706 total blocks in the cluster. Percentage under replicated blocks: 99.58%. Critical threshold: 60.00%.

У тебя по умолчанию выставлен фактор репликации 3. На двух нодах физически невозможно его соблюсти. Подними хотя бы четыре ноды или уменьши фактор репликации.
...
Рейтинг: 0 / 0
29.04.2016, 13:07
| Ответить | Цитировать | Написать  
Hadoop
    #39227427
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
haXbat,

уменьшал фактор репликации, не помогло..
в общем буду заново делать кластер сразу с 5 нодами, там посмотрим, ибо отправили меня на отдельный гипервизор все это дело переподымать.
...
Рейтинг: 0 / 0
29.04.2016, 13:12
| Ответить | Цитировать | Написать  
Hadoop
    #39227868
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
мигель1
Участник
mishanya3624,
Можете сказать какая нужна минимальная конфигурация сервера чтобы взлетели
1 мастер и 3 годы
Как я понял из сообщений меньше делать смысла нет
...
Рейтинг: 0 / 0
29.04.2016, 23:27
| Ответить | Цитировать | Написать  
Hadoop
    #39227887
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
мигель1,

всего 3 нода вместе с мастером, но рекомендация 4 нода для кластера(соответсвено вместе с мастером)
но по мне так 7-10 нодов, тогда будет существенный прирост производительности в выборке из базы размером около 1 тб по сравнению с mssql и oracle, но это я еще тестировать буду, пока догадки только.
...
Рейтинг: 0 / 0
30.04.2016, 00:50
| Ответить | Цитировать | Написать  
Hadoop
    #39227889
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
при чем мастеру рекомендуется давать 24 гб оперативки с запасом для будущего.
8 мало, 16 норм для 3 сторонних нодов, это я все сделал выводы из логов и мониторинга кластера.
все только пока имперический опыт.
...
Рейтинг: 0 / 0
30.04.2016, 00:55
| Ответить | Цитировать | Написать  
Hadoop
    #39230392
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
есть кластер 5 нодов, все ок.
Но не хочет импортировать данные из mysql, что может быть не так?
 
авторroot@Hadoopmaster:~# sqoop import --connect jdbc:mysql://192.168.3.224:3305/tc-db-main --driver com.mysql.jdbc.Driver --username root --table smtrans --hive-import
Warning: /opt/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0.p0.45/bin/../lib/sqoop/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
16/05/05 15:06:46 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6-cdh5.7.0
16/05/05 15:06:46 INFO tool.BaseSqoopTool: Using Hive-specific delimiters for output. You can override
16/05/05 15:06:46 INFO tool.BaseSqoopTool: delimiters with --fields-terminated-by, etc.
16/05/05 15:06:46 INFO teradata.TeradataManagerFactory: Loaded connector factory for 'Cloudera Connector Powered by Teradata' on version 1.5c5
16/05/05 15:06:46 WARN sqoop.ConnFactory: Parameter --driver is set to an explicit driver however appropriate connection manager is not being set (via --connection-manager). Sqoop is going to fall back to org.apache.sqoop.manager.GenericJdbcManager. Please specify explicitly which connection manager should be used next time.
16/05/05 15:06:46 INFO manager.SqlManager: Using default fetchSize of 1000
16/05/05 15:06:46 INFO tool.CodeGenTool: Beginning code generation
16/05/05 15:06:47 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM smtrans AS t WHERE 1=0
16/05/05 15:06:47 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM smtrans AS t WHERE 1=0
16/05/05 15:06:47 INFO orm.CompilationManager: HADOOP_MAPRED_HOME is /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce
Note: /tmp/sqoop-root/compile/373d7e9a3abd6277a59eadd661839a7b/smtrans.java uses or overrides a deprecated API.
Note: Recompile with -Xlint:deprecation for details.
16/05/05 15:06:49 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-root/compile/373d7e9a3abd6277a59eadd661839a7b/smtrans.jar
16/05/05 15:06:49 INFO mapreduce.ImportJobBase: Beginning import of smtrans
16/05/05 15:06:49 INFO Configuration.deprecation: mapred.jar is deprecated. Instead, use mapreduce.job.jar
16/05/05 15:06:49 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM smtrans AS t WHERE 1=0
16/05/05 15:06:50 INFO Configuration.deprecation: mapred.map.tasks is deprecated. Instead, use mapreduce.job.maps
16/05/05 15:06:50 INFO client.RMProxy: Connecting to ResourceManager at Hadoopmaster.icexpert.local/192.168.1.84:8032
16/05/05 15:06:50 WARN security.UserGroupInformation: PriviledgedActionException as:root (auth:SIMPLE) cause:org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission(DefaultAuthorizationProvider.java:281)
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:262)
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:242)
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkPermission(DefaultAuthorizationProvider.java:169)
at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:152)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:6590)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:6572)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkAncestorAccess(FSNamesystem.java:6524)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInternal(FSNamesystem.java:4322)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInt(FSNamesystem.java:4292)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:4265)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:867)
at org.apache.hadoop.hdfs.server.namenode.AuthorizationProviderProxyClientProtocol.mkdirs(AuthorizationProviderProxyClientProtocol.java:322)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:603)
at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:617)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1073)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2086)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2082)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1693)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2080)

16/05/05 15:06:50 ERROR tool.ImportTool: Encountered IOException running import job: org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission(DefaultAuthorizationProvider.java:281)
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:262)
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:242)
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkPermission(DefaultAuthorizationProvider.java:169)
at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:152)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:6590)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:6572)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkAncestorAccess(FSNamesystem.java:6524)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInternal(FSNamesystem.java:4322)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInt(FSNamesystem.java:4292)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:4265)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:867)
at org.apache.hadoop.hdfs.server.namenode.AuthorizationProviderProxyClientProtocol.mkdirs(AuthorizationProviderProxyClientProtocol.java:322)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:603)
at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:617)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1073)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2086)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2082)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1693)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2080)

at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
at org.apache.hadoop.ipc.RemoteException.instantiateException(RemoteException.java:106)
at org.apache.hadoop.ipc.RemoteException.unwrapRemoteException(RemoteException.java:73)
at org.apache.hadoop.hdfs.DFSClient.primitiveMkdir(DFSClient.java:3084)
at org.apache.hadoop.hdfs.DFSClient.mkdirs(DFSClient.java:3049)
at org.apache.hadoop.hdfs.DistributedFileSystem$18.doCall(DistributedFileSystem.java:957)
at org.apache.hadoop.hdfs.DistributedFileSystem$18.doCall(DistributedFileSystem.java:953)
at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
at org.apache.hadoop.hdfs.DistributedFileSystem.mkdirsInternal(DistributedFileSystem.java:953)
at org.apache.hadoop.hdfs.DistributedFileSystem.mkdirs(DistributedFileSystem.java:946)
at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:133)
at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:148)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1307)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1304)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1693)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:1304)
at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1325)
at org.apache.sqoop.mapreduce.ImportJobBase.doSubmitJob(ImportJobBase.java:196)
at org.apache.sqoop.mapreduce.ImportJobBase.runJob(ImportJobBase.java:169)
at org.apache.sqoop.mapreduce.ImportJobBase.runImport(ImportJobBase.java:266)
at org.apache.sqoop.manager.SqlManager.importTable(SqlManager.java:692)
at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:497)
at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:605)
at org.apache.sqoop.Sqoop.run(Sqoop.java:143)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:179)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:218)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:227)
at org.apache.sqoop.Sqoop.main(Sqoop.java:236)
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission(DefaultAuthorizationProvider.java:281)
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:262)
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:242)
at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkPermission(DefaultAuthorizationProvider.java:169)
at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:152)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:6590)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:6572)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkAncestorAccess(FSNamesystem.java:6524)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInternal(FSNamesystem.java:4322)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInt(FSNamesystem.java:4292)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:4265)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:867)
at org.apache.hadoop.hdfs.server.namenode.AuthorizationProviderProxyClientProtocol.mkdirs(AuthorizationProviderProxyClientProtocol.java:322)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:603)
at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:617)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1073)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2086)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2082)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1693)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2080)

at org.apache.hadoop.ipc.Client.call(Client.java:1471)
at org.apache.hadoop.ipc.Client.call(Client.java:1408)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:230)
at com.sun.proxy.$Proxy15.mkdirs(Unknown Source)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.mkdirs(ClientNamenodeProtocolTranslatorPB.java:544)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:256)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:104)
at com.sun.proxy.$Proxy16.mkdirs(Unknown Source)
at org.apache.hadoop.hdfs.DFSClient.primitiveMkdir(DFSClient.java:3082)
... 27 more
С правами уже как только не игрался, Accumulo стоит...
...
Рейтинг: 0 / 0
05.05.2016, 22:09
| Ответить | Цитировать | Написать  
Hadoop
    #39230419
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
мигель1
Участник
mishanya3624,
Так вроде на accumulated и ругается

Please set $ACCUMULO_HOME to the root of your Accumulo installation.
...
Рейтинг: 0 / 0
05.05.2016, 23:20
| Ответить | Цитировать | Написать  
Hadoop
    #39230859
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
мигель1,

с этим тоже возился, где только не пробовал указывать этот путь...
...
Рейтинг: 0 / 0
06.05.2016, 14:02
| Ответить | Цитировать | Написать  
Hadoop
    #39231639
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
мигель1
Участник
mishanya3624,

Ну как получилось?
Я щас развернул virtual box и пытаюсь установить clouded на cents 7.2
...
Рейтинг: 0 / 0
08.05.2016, 22:39
| Ответить | Цитировать | Написать  
Hadoop
    #39232243
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
мигель1,

Нет пока с импортом не получилось, ругается и все, внутри кластера все работает, ошибок нет, базы и таблицы вручную создаются.
...
Рейтинг: 0 / 0
10.05.2016, 11:57
| Ответить | Цитировать | Написать  
Hadoop
    #39232341
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
таки победил, косяк с правами на чтение блоков hdfs
Такой вопрос, как импортировать целиком базу, а не выборочно по таблицам?
...
Рейтинг: 0 / 0
10.05.2016, 13:10
| Ответить | Цитировать | Написать  
Hadoop
    #39232385
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
без all-tables, хочу взять базу и залить ее целиком в определенную базу hadoop, не в default
...
Рейтинг: 0 / 0
10.05.2016, 13:37
| Ответить | Цитировать | Написать  
Hadoop
    #39232690
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
ну ведь знаете, хорош молчать:)
получилось все таблицы из базы залить, но каждую создавать на базе файла это капец, ибо их у меня порядка 100 штук.
...
Рейтинг: 0 / 0
10.05.2016, 17:35
| Ответить | Цитировать | Написать  
Hadoop
    #39233045
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
В общем смысл думаю следующий, закачиваем все таблицы на кластер в нужную директорию и потом множестевенными запросами типа
LOAD DATA INPATH тралалалала , которых будет столько сколько таблиц + ко всему перед этим должны быть созданы таблицы для соответсвующей заливки.
Не ну это жесть конечно...
...
Рейтинг: 0 / 0
11.05.2016, 09:43
| Ответить | Цитировать | Написать  
Hadoop
    #39233586
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
полумертвая ветка:)
разговоры отщипенцев самих с собой,
итак положил кластер свой из-за невозможности подключения jdbc к mssql требовал 8 java установил, нерезапустил кластер и досвидос....страдания продолжаются
...
Рейтинг: 0 / 0
11.05.2016, 17:05
| Ответить | Цитировать | Написать  
Hadoop
    #39233865
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
Танцы с бубном и многое другое таки поднял обратно кластер, что приятно данные все остались, но пришлось hive создать новую директорию.
поехали дальше импортировать теперь из mssql , есть идея заполнить данные скриптом с помощью списка всех таблиц из базы, пока не пойму, как так же создать столько голых таблиц с нужными столбцами и типами данных...в голову приходить выгрузить всю спецификацию в xml и распарсить питоном в pig, короче пока нихрена не ясно одни догатки, надо пробовать.
...
Рейтинг: 0 / 0
12.05.2016, 00:26
| Ответить | Цитировать | Написать  
Hadoop
    #39233894
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
к mssql подключился, полет нормальный, разбираюсь дальше...
...
Рейтинг: 0 / 0
12.05.2016, 02:20
| Ответить | Цитировать | Написать  
Hadoop
    #39235414
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
первые тесты:
таблица 12 гб
67 лямов записей
обычный запрос:
Код: sql
1.
2.
3.
SELECT *
  FROM tbl_databaselog  
  where CreatedOn LIKE '%2013%'


MSSQL(сервер не загруженный, тестовый 16 гиг оперы 2 проца) - 3.40 минуты
Hadoop(5нодов):
Hive: 2.28 мин
Impala: 1-2 секунды

Итог поиска: 3,5 ляма записей

Hive конечно тормоз еще тот со своим мапредьюсом(конечно может если вручную писать все мапы и редьюсы все будет быстро, но из коробки все медлено), impala прям порадовала крутяцки.

Все понятно что это шелуха для хадупа, но все же для последующих искателей себя в бигдата:)

И еще нет ли какой утилиты для более удобного отслеживания выполненных запросов(время ресурсы), а то бегать между hive и impala не оч удобно?
...
Рейтинг: 0 / 0
13.05.2016, 17:02
| Ответить | Цитировать | Написать  
Hadoop
    #39235421
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
ну конечно же это время до вывода первичной информации
...
Рейтинг: 0 / 0
13.05.2016, 17:06
| Ответить | Цитировать | Написать  
Hadoop
    #39235605
haXbat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
haXbat
Участник
mishanya3624
И еще нет ли какой утилиты для более удобного отслеживания выполненных запросов(время ресурсы), а то бегать между hive и impala не оч удобно?
Cloudera manager)
...
Рейтинг: 0 / 0
13.05.2016, 22:54
| Ответить | Цитировать | Написать  
Hadoop
    #39235610
mishanya3624
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mishanya3624
Участник
haXbat,

это понятно:)
но там не удобно грю между ними прыгать, нет ли общего лога по запросам?
во, коли хоть кто-то заглянул на огонек, может подскажешь, как целиком базу залить со всеми таблицами в отдельно созданную в хадупе, а не в дефолтную?без всяких извращений.
...
Рейтинг: 0 / 0
13.05.2016, 23:05
| Ответить | Цитировать | Написать  
Hadoop
    #39235796
haXbat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
haXbat
Участник
mishanya3624haXbat,
во, коли хоть кто-то заглянул на огонек, может подскажешь, как целиком базу залить со всеми таблицами в отдельно созданную в хадупе, а не в дефолтную?без всяких извращений.
Без извращений не знаю: гружу через shell+ssh)
...
Рейтинг: 0 / 0
14.05.2016, 17:38
| Ответить | Цитировать | Написать  
25 сообщений из 138, страница 3 из 6
  3  все
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Hadoop
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/search_topic.php?author=galli&author_mode=last_posts&do_search=1]:
 0ms
get settings:
 10ms
get forum list:
 16ms
get settings:
 10ms
get forum list:
 13ms
get settings:
 10ms
get forum list:
 14ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 153ms
get topic data:
 13ms
get forum data:
 3ms
get page messages:
 74ms
get tp. blocked users:
 2ms
others: 1084ms
total:  1410ms
созд. / загр.: 1410ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]