检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive、Spark、HBase、Loader、HetuEngine等服务提供访问OBS的临时认证凭据的服务,只有对接OBS的场景下才需要安装Guardian组件。Guardian的典型特性包括: 提供获取访问OBS的临时认证凭据的能力。 提供访问OBS的细粒度权限控制的能力。
'java.security.auth.login.config' is not set 回答 当试图从启用SSL的kafka数据源采集数据时,而安装程序无法读取jars.conf文件及其属性时,可能会发生这种情况。 要解决此问题,需要将所需的属性作为通过Spark提交的命令的一部分传递。如:--files
'java.security.auth.login.config' is not set 回答 当试图从启用SSL的kafka数据源采集数据时,而安装程序无法读取jars.conf文件及其属性时,可能会发生这种情况。 要解决此问题,需要将所需的属性作为通过Spark提交的命令的一部分传递。如:--files
hadoop。 操作步骤 下载并安装Hudi客户端,具体请参考安装MRS客户端章节。 目前Hudi集成在Spark中,用户从Manager页面下载Spark客户端即可,例如客户端安装目录为:“/opt/client”。 使用root登录客户端安装节点,执行如下命令: cd /opt/client
WebUI查看任务执行结果 Tez WebUI界面提供Tez任务执行过程图形化展示功能,使用户可以通过界面的方式查看Tez任务执行细节。 前提条件 当前MRS集群已安装Yarn服务的TimelineServer实例。 登录Tez WebUI界面 登录Manager系统,具体请参见访问集群Manager,在Manager界面选择“集群
Tez提供Tez任务执行过程图形化展示功能,使用户可以通过界面的方式查看Tez任务执行细节。 本章节适用于MRS 3.x及后续版本。 前提条件 已安装Yarn服务的TimelineServer实例。 使用介绍 登录Manager系统,具体请参见访问FusionInsight Manager(MRS
提交Storm拓扑 Linux中安装客户端时提交Storm拓扑 Linux中未安装客户端时提交Storm拓扑 在IDEA中提交Storm拓扑 父主题: 调测Strom应用
目前Hue支持HDFS、Hive、HBase、Yarn、MapReduce、Oozie和SparkSQL等组件的可视化操作。 前提条件 已安装Hue组件。 操作步骤 访问Hue WebUI,请参考访问Hue WebUI界面。 在左侧导航栏单击编辑器,然后选择“Hive”。 在“D
er的table-lock节点(默认路径/hbase/table-lock)下残留有新建的表名,请问该如何清理? 回答 操作步骤如下: 在安装好客户端的环境下,使用hbase用户进行kinit认证。 执行hbase zkcli命令进入ZooKeeper命令行。 在ZooKeeper命令行中执行ls
在Linux中调测HBase应用 安装客户端时编译并运行HBase应用 未安装客户端时编译并运行HBase应用 查看HBase应用调测结果 父主题: 调测HBase应用
Sqlline接口介绍 可以直接使用sqlline.py在服务端对HBase进行SQL操作。Phoenix的sqlline接口与开源社区保持一致,请参见http://phoenix.apache.org/。 Sqlline常用语法见表1,常用函数见表2,命令行使用可以参考Phoenix命令行操作介绍章节。
er的table-lock节点(默认路径/hbase/table-lock)下残留有新建的表名,请问该如何清理? 回答 操作步骤如下: 在安装好客户端的环境下,使用hbase用户进行kinit认证。 执行hbase zkcli命令进入ZooKeeper命令行。 在ZooKeeper命令行中执行ls
提交Storm拓扑 Linux中安装客户端时提交Storm拓扑 Linux中未安装客户端时提交Storm拓扑 在IDEA中提交Storm拓扑 父主题: 调测Storm应用
使用MRS客户端 安装客户端(3.x及之后版本) 安装客户端(3.x之前版本) 更新客户端(3.x及之后版本) 更新客户端(3.x之前版本) 父主题: 常见操作
Sqlline接口介绍 可以直接使用sqlline.py在服务端对HBase进行SQL操作。Phoenix的sqlline接口与开源社区保持一致,请参见http://phoenix.apache.org/。 Sqlline常用语法见表1,常用函数见表2,命令行使用可以参考Phoenix命令行操作介绍章节。
解决办法 如果确认是HDFS性能慢导致告警,需要排除是否为旧版本中Impala运行导致HDFS性能慢或者是否为集群最初部署时JournalNode部署不正确(部署过多,大于3个)。 父主题: 使用HBase
在Hive命令行执行drop表只删除了外部表的表结构,并没有删除该表存储在HDFS上的表数据。 处理步骤 使用root用户登录安装客户端的节点,并认证用户。 cd 客户端安装目录 source bigdata_env kinit 组件业务用户(未开启Kerberos认证的集群跳过此操作) 执行以下命令删除存储在HDFS上的表。
nager界面创建1个人机用户并关联到hadoop和hive用户组,主组为hadoop。 操作步骤 下载并安装Hudi客户端,具体请参考安装MRS客户端章节。 使用客户端安装用户登录客户端节点,执行如下命令进入客户端目录。 cd /opt/hadoopclient 执行以下命令加载环境变量。
MRS集群保留JDK说明 MRS集群是租户完全可控的大数据应用开发平台,用户基于平台开发业务后,将业务程序部署到大数据平台运行。由于需要具备开发调测能力,因此要在MRS集群中保留JDK。 此外,MRS集群功能中如下关键特性也强依赖JDK。 HBase BulkLoad HBase
表时,可以通过Hue完成任务。 如需在Hue WebUI中操作HBase,当前MRS集群中必须部署HBase的Thrift1Server实例。 Thrift1Server实例默认不会安装,用户可在创建自定义类型的MRS集群时,选择HBase组件并通过调整集群自定义拓扑,添加Thr