检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 SparkSQL UDF功能的权限控制机制
Tez或者Spark在HDFS上库路径被删除。 处理步骤 检查Tez和Spark库路径。 以root用户登录客户端所在节点，用户密码为安装前用户自定义，请咨询系统管理员。 执行以下命令，检查“hdfs://hacluster/user/{用户名}/.Trash/Current/ ”目录下是否存在该tezlib或者sparklib目录。
HBase数据读写样例程序 HBase数据读写样例程序开发思路 初始化HBase配置 创建HBase客户端连接 创建HBase表 创建HBase表Region 向HBase表中插入数据 创建HBase表二级索引 基于二级索引查询HBase表数据 修改HBase表 使用Get API读取HBase表数据
Client 应用客户端，通常是需要提交任务（或者作业）的应用程序。 Application Server 应用服务端，通常是应用客户端需要访问的应用程序。 Kerberos 提供安全认证的服务。 KerberosAdmin 提供认证用户管理的进程。 KerberosServer 提供认证票据分发的进程。
配置多主实例与多租户模式切换 配置场景 在使用集群中，如果需要在多主实例模式与多租户模式之间切换，则还需要进行如下参数的设置。 多租户切换成多主实例模式 修改Spark2x服务的以下参数： spark.thriftserver.proxy.enabled=false spark.scheduler
时间过长 MapReduce任务长时间无进展 为什么运行任务时客户端不可用 在缓存中找不到HDFS_DELEGATION_TOKEN如何处理 如何在提交MapReduce任务时设置任务优先级 MapReduce任务运行失败，ApplicationMaster出现物理内存溢出异常
配置跨集群互信后，互信的两个集群均会增加用户“krbtgt/本集群域名@外部集群域名”、“krbtgt/外部集群域名@本集群域名”，由于两个版本集群的用户默认密码不一致导致跨集群互信配置失败。 处理步骤 若未配置互信场景： 配置互信前，登录MRS 1.8.2及之后版本的集群上的Master节点。
HBase数据读写样例程序 HBase样例程序开发思路 初始化HBase配置 创建HBase客户端连接 创建HBase表 创建HBase表Region 向HBase表中插入数据 创建HBase表二级索引 基于二级索引查询HBase表数据 修改HBase表 使用Get API读取HBase表数据
可能原因 ZooKeeper zxid低32位超过设定阈值。 处理步骤 登录Manager页面，选择“集群 > 服务 > ZooKeeper”，在“概览”页面的右上角选择“更多 > 滚动重启服务”。在弹出的界面中输入当前用户的密码，单击“确定”。在“滚动重启服务”页面单击“确定”，等待ZooKeeper服务滚动重启完成。
打开了HDFS允许写入单副本数据开关，即HDFS的配置项“dfs.single.replication.enable”的值设置为“true”。 处理步骤 登录FusionInsight Manager，选择“集群 > 服务 > HDFS > 配置 > 全部配置”。 在搜索框中搜索“dfs.single
isAsync：是否使用异步生产，默认值“false”。 consumer.alive.time：消费线程存活时间，默认值“180000”，单位ms。 server.port：访问SpringBoot服务端的端口，默认值为“8080”，支持自定义修改。 server.address: SpringBoot服务端启动时绑定的IP地址，默认值为“0
Hive故障排除 如何对insert overwrite自读自写场景进行优化 Hive SQL运行变慢阶段如何排查 父主题： 使用Hive
directory</name> <value>[1]查询中间结果的临时目录</value> </property> Java样例：使用JDBC接口访问HBase。 public String getURL(Configuration conf) {
如：“192.168.81.37:2181,192.168.195.232:2181,192.168.169.84:2181” user 访问HetuEngine的用户名，即在集群中创建的“人机”用户的用户名。 password 在集群中创建的“人机”用户的用户密码。 父主题：
对系统的影响 触发Manager主备倒换。 如果倒换后disaster进程仍旧异常会不断主备倒换，可能引起主备容灾功能不可用或Manager界面无法访问。 可能原因 disaster进程异常。 处理步骤 检查disaster进程是否异常。 打开FusionInsight Manager页面
Linux：“JDK安装目录/jre/lib/security” Windows：“JDK安装目录\jre\lib\security” 请访问Open JDK开源社区获取JCE文件。 如果客户端程序需要支持SM4加密算法，则需要更新Jar包： 在“客户端安装目录/JDK/jdk/
过滤器提供了非常强大的特性来帮助用户提高HBase处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器，而且可以实现自定义的过滤器。 协处理器 允许用户执行region级的操作，并且可以使用与RDBMS中触发器类似的功能。 Client 客户端直接面向用户，可通过Java API、HBase
开启Kerberos认证的集群需已参考CDL用户权限管理创建具有CDL管理操作权限的用户。 操作步骤 使用具有CDL管理操作权限的用户或admin用户（未开启Kerberos认证的集群）登录CDLService WebUI界面，请参考登录CDLService WebUI界面。 选择“ENV管理
txt FlinkServer访问URL日志。 start_thrift_server.out thrift server启动日志。 thrift_server_thriftServer_xxx.log.last cleanup.log 安装卸载实例时的清理日志。 flink-omm-client-IP
获取相关配置文件。 本步骤只适用于业务中有访问外部组件需求的场景，如HDFS、HBase等，获取方式请参见Storm-HDFS开发指引或者Storm-HBase开发指引。若业务无需获取相关配置文件，请忽略本步骤。 Flux配置文件样例 下面是一个完整的访问Kafka业务的yaml文件样例：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
