检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SUBDIR目录，切回Mapreduce引擎后默认不读取目录下的文件，所以没有读取到HIVE_UNION_SUBDIR目录下的数据。 此时可以设置参数set mapreduce.input.fileinputformat.input.dir.recursive=true，开启union优化，决定是否读取目录下的数据。
表1 参数含义 参数 含义 name 流程文件名 start 流程开始节点 end 流程结束节点 action 实现具体业务动作的节点（可以是多个） 样例代码 <workflow-app xmlns="uri:oozie:workflow:1.0" name="data_load">
且长度为[1-64]个字符。 默认取值： 不涉及 count 否 Integer 参数解释： 缩容节点数量，如果是指定节点缩容，则该参数可以不填。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 resource_ids 否 Array of strings 参数解释：
表1 参数含义 参数 含义 name 流程文件名 start 流程开始节点 end 流程结束节点 action 实现具体业务动作的节点（可以是多个） 样例代码 <workflow-app xmlns="uri:oozie:workflow:1.0" name="data_load">
情况，Standby NameNode启动失败，MD5文件会损坏。通过移除损坏的fsimage，然后启动Standby NameNode，可以修复此问题。Standby NameNode会加载先前的fsimage并重现所有的edits。 修复步骤： 移除损坏的fsimage。 rm
Guardian TokenServer实例RPC处理平均时间超过阈值可能导致业务访问OBS变慢，严重时会导致无法正常访问OBS。 可能原因 告警阈值配置不合理。 Guardian TokenServer实例设置的内存太小，频繁Full GC造成JVM卡顿。 处理步骤 检查告警阈值设置是否合理。
外部的时间更新，导致即使显式调用relogin也无法得到刷新。 解决措施： 通常情况下，在发现JDBC connection不可用的时候，可以关闭该connection，重新创建一个connection继续执行。 父主题： Spark应用开发常见问题
外部的时间更新，导致即使显式调用relogin也无法得到刷新。 解决措施： 通常情况下，在发现JDBC connection不可用的时候，可以关闭该connection，重新创建一个connection继续执行。 父主题： Spark应用开发常见问题
count(column_name) from table_name”。 JDBC超时限制 Hive提供的JDBC实现有超时限制，默认是5分钟，用户可以通过java.sql.DriverManager.setLoginTimeout(int seconds)设置，seconds的单位为秒。
步周期所设置的时间后再尝试登录。 未开启Kerberos认证时，由于Ranger并不从Manager同步用户数据，因此，仅有admin用户可以登录Ranger，暂时不支持其他用户登录。 父主题： Ranger常见问题
信息，需要等待同步周期所设置的时间后再尝试登录。 非安全模式下，由于Ranger并不从Manager同步用户数据，因此，仅有admin用户可以登录Ranger，暂时不支持其他用户登录。 父主题： Ranger常见问题
解决这个问题的办法是使用所有schema演进版本来创建uber schema，并使用该schema作为target schema。用户可以从hive metastore中获取schema并将其与当前schema合并。 父主题： 数据写入
外部的时间更新，导致即使显式调用relogin也无法得到刷新。 解决措施： 通常情况下，在发现JDBC connection不可用的时候，可以关闭该connection，重新创建一个connection继续执行。 父主题： Spark应用开发常见问题
更新，导致即使显式调用Hive relogin也无法得到刷新。 解决措施： 通常情况下，在发现Hive connection不可用的时候，可以关闭该connection，重新创建一个connection继续执行。 父主题： Hive应用开发常见问题
外部的时间更新，导致即使显式调用relogin也无法得到刷新。 解决措施： 通常情况下，在发现JDBC connection不可用的时候，可以关闭该connection，重新创建一个connection继续执行。 父主题： Spark应用开发常见问题
更新，导致即使显式调用Hive relogin也无法得到刷新。 解决措施： 通常情况下，在发现Hive connection不可用的时候，可以关闭该connection，重新创建一个connection继续执行。 父主题： Hive应用开发常见问题
下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection类： //创建一个配置类SparkConf，然后创建一个SparkContext SparkSession spark = SparkSession
Guardian TokenServer实例RPC队列平均时间超过阈值可能导致业务访问OBS变慢，严重时会导致无法正常访问OBS。 可能原因 告警阈值配置不合理。 或Guardian TokenServer实例设置的内存太小，频繁Full GC造成JVM卡顿。 处理步骤 检查告警阈值设置是否合理。
Exception Timeout或者SocketTimeout Exception异常。 调优建议： 将ZooKeeper实例个数调整为5个及以上，可以通过设置peerType=observer来增加observer的数目。 通过控制单个任务并发的map数或减少每个节点下运行task的内存，降低节点负载。
NameNode节点长时间满负载导致客户端无响应 为什么主NameNode重启后系统出现双备现象 为什么DataNode无法正常上报数据块 是否可以手动调整DataNode数据存储目录 DataNode的容量计算出错如何处理 为什么存储小文件过程中，缓存中的数据会丢失 当分级存储策略为
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
