检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用“testConnectApacheZk”连接开源ZooKeeper的代码,只需要将以下代码中的“xxx.xxx.xxx.xxx”修改为需要连接的开源的ZooKeeper的IP,端口号按照实际情况修改。如果仅需运行访问第三方Zookeeper的样例,需注释掉main函数中的“testConnectHive”方法。
fig命令,查找当前节点的浮动IP。 例如执行后结果如下,则当前节点的浮动IP为192.168.0.3。 登录NTP时间异常的Master节点,执行以下命令关闭NTP服务。 service ntpd stop 执行以下命令手动同步主、备Master节点的时间。 /usr/sbin/ntpdate
用户修改了虚机系统的“/dev/null”的权限值为775。 处理步骤 以root用户登录集群的任意一个Master节点。 登录成功后,执行chmod 666 /dev/null命令,修改“/dev/null”的权限值为“666”。 执行ls -al /dev/null命令,查看修改的“/d
ve目录权限,导致无法登录。 解决方法 登录FusionInsight Manager页面上,修改普通用户所属用户组,添加并加入Hive下的所有用户组。 父主题: Spark故障排除
HBase同步数据到CSS为什么没有映射字段? 问:HBase同步数据到CSS为什么没有映射字段? 答:从MRS的HBase同步数据到CSS服务后,整库没有映射字段,要单表才有映射的字段。 父主题: 周边生态对接类
Sqlline脚本报import argparse错误 问题 在客户端使用sqlline脚本时,报import argparse错误。 回答 以root用户登录安装HBase客户端的节点,使用hbase用户进行安全认证。 进入HBase客户端sqlline脚本所在目录执行python3 sqlline.py命令。
据集群及其他相关云资源的统一管理。 您可以在创建集群时添加标签,也可以在集群创建完成后,在集群的详情页添加标签,您最多可以给集群添加10个标签。 节点的标签仅支持在节点创建完成后,在节点的标签页添加标签,您最多可以给节点添加10个标签。 父主题: 集群管理
悉且统一的平台。作为查询大数据的工具补充,Impala不会替代基于MapReduce构建的批处理框架,例如Hive。基于MapReduce构建的Hive和其他框架最适合长时间运行的批处理作业。 Impala主要特点如下: 支持Hive查询语言(HiveQL)中大多数的SQL-92
悉且统一的平台。作为查询大数据的工具补充,Impala不会替代基于MapReduce构建的批处理框架,例如Hive。基于MapReduce构建的Hive和其他框架最适合长时间运行的批处理作业。 Impala主要特点如下: 支持Hive查询语言(HiveQL)中大多数的SQL-92功能,包括
将日期字面量转换成日期类型的变量 select date('2020-07-25');-- 2020-07-25 from_iso8601_timestamp(string) → timestamp with time zone 将ISO 8601格式的时戳字面量转换成带时区的时戳变量
使用OpenTSDB的接口(/api/put)写入数据。 函数genWeatherData()模拟生成的气象数据,函数putData()发送气象数据到OpenTSDB服务端。 样例代码 以下代码片段在com.huawei.bigdata.opentsdb.examples包的"Opent
当前MRS服务对外API提供云服务自定义规范的API V1.1和V2两类接口,V2版本目前仅部分接口支持,主要用于提交作业和提交SQL语句。在接口功能相同的情况下,推荐您优先使用V2接口。 MRS所有版本均支持V1.1接口。 针对MRS 1.X版本的集群,MRS 1.8.7及之后版本支持V2接口。
使用Flume Flume向Spark Streaming提交作业后报类找不到错误 Flume客户端安装失败 Flume客户端无法连接服务端 Flume数据写入组件失败 Flume服务端进程故障 Flume数据采集慢 Flume启动失败
properties”文件开启executor的debug日志,提交测试任务,查看executor的日志并确认作业提交过程中的报错。 日志路径:/var/log/Bigdata/executor/logs/exe.log 如果当前任务在exeutor中出错,执行如下命令打印executor的jstack信息,确认线程当前执行状态。
可以参考如下的使用方式来了解如何调用不同的Rest API。 使用纯文本的方式获取命名空间 以包含命名空间的路径作为参数,使用client去调用get方法获取命名空间。响应将被“org.apache.hadoop.hbase.rest.client.Response”类的对象捕获。例如
使用REST接口操作HBase表 功能简介 使用REST服务,传入对应host与port组成的url以及指定的tableName和jsonHTD,通过HTTP协议,进行查询表信息,修改表,创建表以及删除表的操作。 代码样例 方法调用 // Add a table with specified
Sqlline脚本报import argparse错误 问题 在客户端使用sqlline脚本时,报import argparse错误。 回答 以root用户登录安装HBase客户端的节点,使用hbase用户进行安全认证。 进入HBase客户端sqlline脚本所在目录执行python3 sqlline.py命令。
“指定作业”:表示指定需要导出的作业。选择“指定作业”,在作业列表中勾选需要导出的作业。 “指定组别”:表示导出某个指定分组中的所有作业。选择“指定分组”,在分组列表中勾选需要导出的作业分组。 “是否导出密码”:导出时是否导出连接器密码,勾选时,导出加密后的密码串。 单击“确定”,开
该问题是由于提交作业的用户所在用户组绑定的MRS CommonOperations策略权限在同步到Manager中后没有Hive相关权限,处理方法如下: 添加Hive服务完成。 登录IAM服务控制台,创建一个用户组,该用户组所绑定策略和提交作业用户所在用户组权限相同。 将提交作业的用户添加到新用户组中。
命令中使用。 普通模式 普通模式的集群不同组件使用原生开源的认证机制,不支持kinit认证命令。FusionInsight Manager(含DBService、KrbServer和LdapServer)使用的认证方式为用户名密码方式。组件使用的认证机制如表1所示。 表1 组件认证方式一览表