检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检查Jaas文件和Keytab文件，发现Jaas文件中配置使用的pricipal为stream。 图4 检查Jaas文件 查看user.keytab文件，发现principal为zmk_kafka。
配置Spark任务不获取HBase Token信息 配置场景 使用Spark提交任务时，Driver默认会去HBase获取Token，访问HBase则需要配置文件“jaas.conf”进行安全认证。此时若用户未配置“jaas.conf”文件，会导致应用运行失败。
这些segments的数据文件不会从物理上删除。如果用户希望强制删除这些文件，可以使用CLEAN FILES命令。 但是，使用该命令可能会导致查询命令执行失败。
前提条件 配置用户的集群信息和登录账号信息： 配置文件：“样例工程文件夹\conf\UserInfo.properties”。 参数说明： userName：登录Manager系统的用户名。 password：userName对应的用户密码。
从下载的文件中解压出来的“user.keytab”文件就是用户的凭据文件。 使用HetuEngine管理员用户登录FusionInsight Manager，选择“集群 > 服务 > HetuEngine”，进入HetuEngine服务页面。
样例 通过“CSV文件输入”算子，生成十二个字段。
经测试证明：10240个Task，2000个分区，在执行HDFS文件从临时目录rename到目标目录动作前，FileStatus元数据大小约29G。为避免以上问题，可修改SQL语句对数据进行重分区，以减少HDFS文件个数。
登录到集群的master1节点上，然后切换到omm用户下，在/home/omm目录下创建fair-scheduler.xml、llama-site.xml文件。 打开fair-scheduler.xml文件，添加如下配置。
-- 参数名：文件名 --> <!
表1 参数含义 参数 含义 name FS活动的名称 delete 删除指定的文件和目录的标签 move 将文件从源目录移动到目标目录的标签 chmod 修改文件或目录权限的标签 path 当前文件路径 source 源文件路径 target 目标文件路径 permissions
这些segments的数据文件不会从物理上删除。如果用户希望强制删除这些文件，可以使用CLEAN FILES命令。 但是，使用该命令可能会导致查询命令执行失败。
在HetuEngine所在集群的所有节点的“/etc/hosts”文件中，添加待对接数据源所在集群的主机名称和对应的IP映射，及其“/etc/hosts”文件中的“10.10.10.10 hadoop.系统域名”（如“10.10.10.10 hadoop.hadoop.com”），
配置Yarn大作业扫描 Yarn大作业扫描功能主要用于监控Hive、HetuEngine、Spark等作业的本地临时文件（例如shuffle文件是否过大）、监控Hive、HetuEngine、Spark的关键HDFS目录（不支持OBS）是否过大。
需要在运行样例代码的本机hosts文件中设置访问节点的主机名和IP地址映射，主机名和IP地址请保持一一对应。
需要在运行样例代码的本机hosts文件中设置访问节点的主机名和IP地址映射，主机名和IP地址请保持一一对应。
已准备开发环境及MRS集群相关配置文件，详情请参考准备连接HBase集群配置文件。
若需要在本地Windows调测HBase样例代码，需参考表1放置各样例项目所需的配置文件、认证文件： 表1 放置各样例项目所需的配置文件/认证文件 样例工程位置 需放置的配置/认证文件 hbase-examples/hbase-example（单集群场景） 需将以下文件放置在样例工程的
表1 参数含义 参数 含义 name FS活动的名称 delete 删除指定的文件和目录的标签 move 将文件从源目录移动到目标目录的标签 chmod 修改文件或目录权限的标签 path 当前文件路径 source 源文件路径 target 目标文件路径 permissions
配置Spark任务不获取HBase Token信息 配置场景 使用Spark提交任务时，Driver默认会去HBase获取Token，访问HBase则需要配置文件“jaas.conf”进行安全认证。此时如果用户未配置“jaas.conf”文件，会导致应用运行失败。
经测试证明：10240个Task，2000个分区，在执行HDFS文件从临时目录rename到目标目录动作前，FileStatus元数据大小约29G。为避免以上问题，可修改SQL语句对数据进行重分区，以减少HDFS文件个数。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
