检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
转换MRS按需集群为包周期集群 如果用户想要将按需计费的集群转为更经济的包年/包月的包周期集群，可使用该指导进行操作。 集群状态为“运行中”或“停止中”时，可以进行转包周期操作。 转换MRS按需集群为包周期集群 登录MRS管理控制台。 在左侧导航栏中选择“现有集群”。
查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任务和数据更均匀的分布在各个节点。增加任务的并行度，充分利用集群机器的计算能力。
查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任务和数据更均匀的分布在各个节点。增加任务的并行度，充分利用集群机器的计算能力，一般并行度设置为集群CPU总和的2-3倍。
查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任务和数据更均匀的分布在各个节点。增加任务的并行度，充分利用集群机器的计算能力。
Spark JobHistory Server 用于监控正在运行的或者历史的Spark作业在Spark框架各个阶段的细节以及提供日志显示，帮助用户更细粒度地去开发、配置和调优作业。 父主题： Spark2x
样例代码中PRNCIPAL_NAME的用户名要与获取keytab文件和krb5文件的账户名一致。 不同集群的user.keytab、krb5.conf不能共用。
如果该目录下拥有100万文件不正常，需要清理不需要的文件。 父主题： 使用HDFS
如果更新的是SFTP和FTP的连接器信息，还必须带上密码参数： -Pconnection.sftpPassword=密码密文 -Pconnection.sftpServerIp=10.6.26.11 完整示例如下： .
如果更新的是SFTP和FTP的连接器信息，还必须带上密码参数： -Pconnection.sftpPassword=密码密文 -Pconnection.sftpServerIp=10.6.26.11 完整示例如下： .
hosts文件，使用主机名 final String keytab = paraTool.get("keytab文件路径"); // user.keytab路径 final String krb5 = paraTool.get("krb5文件路径
SparkSQL任务使用时，需要访问DBService以获取元数据信息，在客户端需要解密密文来访问，在使用过程中，用户没有按照流程操作，没有执行配置环境变量操作，且在其客户端环境变量中存在默认的JDK版本，导致在执行解密过程中调用的解密程序执行解密异常，导致用户被锁。
图5 sparkPi作业日志 单击“here”获取更详细日志。 图6 sparkPi作业更详细日志 获取作业执行结果。 图7 sparkPi作业执行结果 父主题： 使用Spark（MRS 3.x之前版本）
在Ranger管理首页可查看当前Ranger已集成的各服务权限管理插件，用户可通过对应插件设置更细粒度的权限，具体主要操作页面功能描述参见表1。
普通集群无需执行kinit命令） hdfs dfs -ls /user/hive/warehouse/hrdb.db/car01/Metadata 上图中，当前批次文件tablestatus_1669028899548损坏，需要使用tablestatus_1669028852132文件
文件切分会保证一行数据完整的存储在单一文件中，因此文件的大小并不严格等max_file_size。 对于部分输出为非可见字符的函数，如BITMAP、HLL类型，输出为\N，即NULL。
/日志路径，根据实际路径修改，但目录要有写入权限 hbase.log.file=hbase-client.log //日志文件名 hbase.log.level=INFO //日志级别，如果需要更详细的日志定位问题
高估更好，这样小文件分区将比大文件分区更先被调度。 4M 父主题： Spark SQL性能调优
/日志路径，根据实际路径修改，但目录要有写入权限 hbase.log.file=hbase-client.log //日志文件名 hbase.log.level=INFO //日志级别，如果需要更详细的日志定位问题
将x86版本和TaiShan版本的xx.jar分别复制到当前目录的x86文件夹和TaiShan文件夹里面。
将x86版本和TaiShan版本的xx.jar分别复制到当前目录的x86文件夹和TaiShan文件夹里面。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
