检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Hue WebUI使用HBase 操作场景 用户需要使用图形化界面在集群中创建或查询HBase表时,可以通过Hue完成任务。 如需在Hue WebUI中操作HBase,当前MRS集群中必须部署HBase的Thrift1Server实例。 Thrift1Server实例默认不会安
开源sqoop-shell工具使用示例(Oracle - HBase) 操作场景 本文将以“从Oracle导入数据到HBase”的作业为例,介绍如何分别在交互模式和批量模式下使用sqoop-shell工具进行创建和启动Loader作业。 本章节适用于MRS 3.x及后续版本。 前提条件
使用sqoop-shell工具导入数据到HBase 操作场景 本文将以从Oracle导入数据到HBase的作业为例,介绍如何分别在交互模式和批量模式下使用sqoop-shell工具进行创建和启动Loader作业。 前提条件 已安装并配置Loader客户端,具体操作请参见使用客户端运行Loader作业。
通过Hue管理HBase表 操作场景 用户需要使用图形化界面在集群中创建或查询HBase表时,可以通过Hue完成任务。 如需在Hue WebUI中操作HBase,当前MRS集群中必须部署HBase的Thrift1Server实例。 Thrift1Server实例默认不会安装,用户
IDEA工程中com.huawei.storm.example.kafka.NewKafkaTopology.java。 本章节只适用于MRS产品Storm与Kafka组件间的访问。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认Storm和Kafka组件已经安装,并正常运行。
配置Spark作业失败时清理残留文件 本章节仅适用于MRS 3.3.1-LTS及之后版本。 配置场景 Spark作业失败时可能出现文件残留的情况,可能会长期积累导致磁盘空间告警,因此需要定时清理。 使用约束 本特性需要启动Spark JDBCServer服务,借助JDBCServ
在“hbase-dual.xml”中新增主备集群配置 将在准备MRS应用开发用户时获取的主集群keytab认证文件“user.keytab”与“krb5.conf”放置到二次样例“src/main/resources/conf”目录下。 参考准备HBase应用开发和运行环境章节,获
是,集群已绑定委托。 否,执行4.b。 单击“管理委托”,为集群绑定具有OBS文件系统操作权限的委托。 您可以直接选择系统默认的“MRS_ECS_DEFAULT_AGENCY”,也可以单击“新建委托”自行创建其他具有OBS文件系统操作权限的委托。 提交wordcount作业。 在M
使用root用户登录安装了集群客户端的节点。 cd /opt/client source bigdata_env 创建输入Topic和输出Topic,与样例代码中指定的Topic名称保持一致,输出Topic的清理策略设置为compact。 kafka-topics.sh --create --zookeeper
使用Hue提交Oozie SSH作业 操作场景 该任务指导用户通过Hue界面提交SSH类型的Oozie作业。 由于有安全攻击的隐患,所以默认是无法提交SSH作业的,如果想使用SSH功能,需要手动开启。 操作步骤 开启SSH功能(如果当前集群无“oozie.job.ssh.enable”参数,则跳过该操作):
使用Hue提交Oozie SSH作业 操作场景 该任务指导用户通过Hue界面提交SSH类型的Oozie作业。 由于有安全攻击的隐患,所以默认是无法提交SSH作业的,如果想使用SSH功能,需要手动开启。 操作步骤 开启SSH功能(若当前集群无“oozie.job.ssh.enable”参数,则跳过该操作):
访问Impala WebUI界面 用户可以通过Impala的WebUI,在图形化界面查看Impala作业的相关信息。Impala的WebUI根据实例不同分为如下三种: StateStore WebUI:用于管理节点。 Catalog WebUI:用于查看元数据。 前提条件 已安装Impala服务的集群。
访问Impala WebUI界面 用户可以通过Impala的WebUI,在图形化界面查看Impala作业的相关信息。Impala的WebUI根据实例不同分为如下三种: StateStore WebUI:用于管理节点。 Catalog WebUI:用于查看元数据。 前提条件 已安装Impala服务的集群。
是,集群已绑定委托。 否,执行4.b。 单击“管理委托”,为集群绑定具有OBS文件系统操作权限的委托。 您可以直接选择系统默认的“MRS_ECS_DEFAULT_AGENCY”,也可以单击“新建委托”自行创建其他具有OBS文件系统操作权限的委托。 提交wordcount作业。 在M
批量导出Loader作业 操作场景 Loader支持批量导出已有作业。 前提条件 当前用户具备待导出作业的编辑“Edit”权限或作业所在分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问集群Manager。
name=test&op=MKDIRS" 其中用linux1代替<HOST>,用9870代替<PORT>,test为执行操作的用户,此用户需与管理员确认是否有权限进行操作。 运行结果: HTTP/1.1 200 OK Cache-Control: no-cache Expires:
name=test&op=MKDIRS" 其中用linux1代替<HOST>,用9870代替<PORT>,test为执行操作的用户,此用户需与管理员确认是否有权限进行操作。 运行结果: HTTP/1.1 200 OK Cache-Control: no-cache Expires:
以root用户登录告警节点,执行df -h命令,查看输出内容是否包含“磁盘名”字段的值。 是,执行6。 否,执行5。 执行lsblk命令,是否可以查到“磁盘名”字段值与磁盘设备的映射关系。 是,执行6。 否,执行21。 以root用户登录上报告警的节点,执行lsscsi | grep "/dev/sd[x]
批量导出Loader作业 操作场景 Loader支持批量导出已有作业。 本章节适用于MRS 3.x及后续版本。 前提条件 当前用户具备待导出作业的编辑“Edit”权限或作业所在分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight
个分布ID,使其所有的Block分布在一起,不再需要跨节点读取数据就能完成计算,极大提高MapReduce Join性能。 图2 无同分布与同分布数据块分布对比 HDFS开源增强特性:硬盘坏卷设置 在开源版本中,如果为DataNode配置多个数据存放卷,默认情况下其中一个卷损坏,