检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
诉求来划分。对于一个资源池,不同队列可配置进一步的策略。 每个资源池多租户调度(reserve、min、share、max) Superior Scheduler提供了灵活的层级多租户调度策略。并允许针对不同的资源池可以访问的租户/队列,配置不同策略,如下所示。 表1 策略描述 策略名称
InterruptedException { // 通过Context可以获得配置信息。 delim = context.getConfiguration().get("log.delimiter", ",");
集群内用户密码的过期时间如何查询和修改? 如果不开启Kerberos认证,MRS集群能否支持访问权限细分? 如何给集群内用户添加租户管理权限? Hue WebUI有配置账号权限的功能吗? 为什么IAM子账号添加了MRS权限却无法在控制台提交作业? 用户A如何查看用户B创建的Hive表? 如何避免Kerberos认证过期?
IndexServer2x进程的非堆内存统计 在FusionInsight Manager首页,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,选择“IndexServer2x > 性能”,将“spark.driver.extraJavaOptions”参数中-XX:M
jobHistory2x进程的堆内存统计 在FusionInsight Manager首页,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,选择“JobHistory2x > 默认”,“SPARK_DAEMON_MEMORY”参数默认值为4G,可根据如下方案调整该参
查询HBase二级索引列表 使用HBase二级索引读取数据 删除HBase二级索引 HBase Region的多点分割 HBase ACL安全配置 父主题: HBase开发指南
EXPLAIN 语法 EXPLAIN [ ( option [, ...] ) ] statement 其中选项可以是以下选项之一: FORMAT { TEXT | GRAPHVIZ | JSON } TYPE { LOGICAL | DISTRIBUTED | VALIDATE
Spark Structured Streaming对接Kafka样例程序(Scala) 功能介绍 使用Structured Streaming,从kafka中读取广告请求数据、广告展示数据、广告点击数据,实时获取广告有效展示统计数据和广告有效点击统计数据,将统计结果写入kafka中。
Spark Structured Streaming对接Kafka样例程序(Scala) 功能介绍 使用Structured Streaming,从kafka中读取广告请求数据、广告展示数据、广告点击数据,实时获取广告有效展示统计数据和广告有效点击统计数据,将统计结果写入kafka中。
Spark Structured Streaming对接Kafka样例程序(Scala) 功能介绍 使用Structured Streaming,从Kafka中读取广告请求数据、广告展示数据、广告点击数据,实时获取广告有效展示统计数据和广告有效点击统计数据,将统计结果写入kafka中。
return properties; } 注意事项 通过Java API访问Oozie需要先参考环境准备章节进行安全认证,并将依赖的配置文件(配置文件Workflow.xml的开发参见workflow.xml)与jar包上传到HDFS,并确保进行过安全认证的用户有权限访问HDFS
n file is not secure” 使用Storm-JDBC插件开发Oracle写入Bolt时发现数据无法写入 Storm业务拓扑配置GC参数不生效 Storm UI查看信息时显示Internal Server Error
JobHistory2x进程的非堆内存统计 在FusionInsight Manager首页,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,选择“JobHistory2x > 默认”,根据如下原则调整“SPARK_DAEMON_JAVA_OPTS”参数中-XX:Ma
出现该报错作业不会立即异常,在超过重试次数时才会通知作业异常。可以适当增大HDFS参数“dfs.client.block.write.retries”配置,例如:“dfs.client.block.write.retries=10”。 父主题: Loader常见问题
StateBackend方式,且当数据量大时,执行checkpoint会很慢的问题? 如何处理blob.storage.directory配置/home目录时,启动yarn-session失败的问题? 为什么非static的KafkaPartitioner类对象去构造FlinkK
存储策略:表示设置目录或文件在HDFS中的存储策略。 摘要:表示查看选中的文件或目录的HDFS存储信息。 存储策略定义使用介绍 如果Hue的服务配置参数“fs_defaultFS”配置为“viewfs://ClusterX”时,不能启用存储策略定义功能。 存储策略定义在Hue的WebUI界面上分为两大类:
短时间内写入大量文件导致这种情况,因此DataNode内存不足。 图3 写入大量文件导致DataNode内存不足 解决办法 检查DataNode内存配置,以及机器剩余内存是否充足。 增加DataNode内存,并重启DataNode。 父主题: 使用HDFS
IndexServer2x进程堆内存统计 在FusionInsight Manager首页,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,选择“IndexServer2x > 性能”,“SPARK_DRIVER_MEMORY”参数的值默认4G,可根据如下原则进行调
IndexServer2x直接内存 在FusionInsight Manager首页,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,选择“IndexServer2x > 性能”,“spark.driver.extraJavaOptions”参数中-XX:Ma
JobHistory2x直接内存 在FusionInsight Manager首页,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,选择“JobHistory2x > 默认”,“SPARK_DAEMON_JAVA_OPTS”参数中“-XX:MaxDirect