检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HDFS on Hue Hue提供了文件浏览器功能，使用户可以通过界面图形化的方式使用HDFS。 Hue界面主要用于文件、表等数据的查看与分析，禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作，建议在确认对业务没有影响后通过各组件的相应操作方法进行处理，例如使用HDF
</action> 在编写xml文件时，用户应该注意行为操作的配置和顺序。冷热数据迁移工具按照输入xml中给定的顺序执行规则。 如果只希望运行基于atime/age的一个规则，则按照时间逆序排列，且将idempotent属性设置为false。 如果为文件集配置删除操作，则在删除操作后不能再配置其他规则。
xml”中（例如“客户端安装路径/HDFS/hadoop/etc/hadoop/”）配置如下参数。 表1 参数描述 参数 描述 默认值 io.compression.codecs 为了使LZC压缩格式生效，在现有的压缩格式列表中增加如下值： “com.huawei.hadoop.datasight.io.compress
global.mapreduce.GlobalTableIndexer -Dtablename.to.index='t1' -Dindexspecs.to.add='idx1=>cf1:[q1],[q2]' 创建索引2：hbase org.apache.hadoop.hbase.hindex
在Hue WebUI使用HBase 操作场景 用户需要使用图形化界面在集群中创建或查询HBase表时，可以通过Hue完成任务。 如需在Hue WebUI中操作HBase，当前MRS集群中必须部署HBase的Thrift1Server实例。 Thrift1Server实例默认不会安
</action> 在编写xml文件时，用户应该注意行为操作的配置和顺序。冷热数据迁移工具按照输入xml中给定的顺序执行规则。 如果只希望运行基于atime/age的一个规则，则按照时间逆序排列，且将idempotent属性设置为false。 如果为文件集配置删除操作，则在删除操作后不能再配置其他规则。
通过Hue管理HBase表 操作场景 用户需要使用图形化界面在集群中创建或查询HBase表时，可以通过Hue完成任务。 如需在Hue WebUI中操作HBase，当前MRS集群中必须部署HBase的Thrift1Server实例。 Thrift1Server实例默认不会安装，用户
配置Spark作业失败时清理残留文件 本章节仅适用于MRS 3.3.1-LTS及之后版本。 配置场景 Spark作业失败时可能出现文件残留的情况，可能会长期积累导致磁盘空间告警，因此需要定时清理。 使用约束 本特性需要启动Spark JDBCServer服务，借助JDBCServ
xml”中（例如“客户端安装路径/HDFS/hadoop/etc/hadoop/”）配置如下参数。 表1 参数描述 参数 描述 默认值 io.compression.codecs 为了使LZC压缩格式生效，在现有的压缩格式列表中增加如下值： “com.huawei.hadoop.datasight.io.compress
情况，那么通过该参数可以避免这种情况。 -clear-staging-table 如果该staging-table非空，则通过该参数可以在运行导入前清除staging-table里的数据。 sqoop import（MySQL到Hive表） 登录客户端所在节点。 执行如下命令初始化环境变量。
CommonOperations MRS ReadOnlyAccess MRS Administrator 创建集群 √ x x √ 调整集群 √ x x √ 升级节点规格 √ x x √ 删除集群 √ x x √ 查询集群详情 √ √ √ √ 查询集群列表 √ √ √ √ 设置弹性伸缩策略 √ x x √
下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.JavaDstreamKafkaWriter： Spark版本升级后，推荐使用新接口createDirectStream，老接口createStream仍然存在，但是性能和稳定性差，建议不要使用老接口开发应用程序。
QUEUED：正在排队 WAITING_FOR_RESOURCES：正在等待资源 PLANNING：正在规划 STARTING：正在启动 RUNNING：正在运行 FINISHING：即将完成 FINISHED：已完成 FAILED：执行失败 默认取值： 不涉及 result_location String
请登录密钥管理控制台进行操作。 数据盘密钥ID 用于加密数据盘的密钥ID。 组件版本 集群安装各组件的版本信息。 委托 通过绑定委托，ECS或BMS云服务将有权限来管理您的部分资源。 父主题： 查看MRS集群日志
Ranger基本原理 Apache Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限
更换CA证书 操作场景 MRS CA证书用于组件客户端与服务端在通信过程中加密数据，实现安全通信。该任务指导集群用户通过FusionInsight Manager完成CA证书替换工作，以确保产品安全使用。适用于以下场景： 首次安装好集群以后，需要更换企业证书。 企业证书有效时间已过期或安全性加强，需要更换为新的证书。
<ivyurl>* 从分布式缓存中删除使用<ivyurl>添加的资源。 reload 使HiveServer2发现配置参数指定路径下JAR文件的变更“hive.reloadable.aux.jars.path”（无需重启HiveServer2）。更改操作包括添加、删除或更新JAR文件。
在Hue WebUI使用文件浏览器 操作场景 用户需要使用图形化界面管理HDFS文件时，可以通过Hue完成任务。 Hue界面主要用于文件、表等数据的查看与分析，禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作，建议在确认对业务没有影响后通过各组件的相应操作方法进行处理
访问Storm的WebUI 操作场景 用户可以通过Storm的WebUI，在图形化界面使用Storm。 Storm的WebUI支持查看以下信息： Storm集群汇总信息 Nimbus汇总信息 拓扑汇总信息 Supervisor汇总信息 Nimbus配置信息 前提条件 获取用户“a
使用Hive CBO功能优化多表查询效率 操作场景 在Hive中执行多表Join时，Hive支持开启CBO（Cost Based Optimization），系统会自动根据表的统计信息，例如数据量、文件数等，选出合适计划提高多表Join的效率。Hive需要先收集表的统计信息后才能使CBO正确的优化。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
