检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
但是默认情况下,当集群中有33%的节点都被加入黑名单时,调度器会忽略黑名单节点。因此,该黑名单特性在小集群场景下容易失效。比如,集群只有3个节点,当1个节点出现故障,黑名单机制失效,不管task的attempt在同一个节点失败多少次,调度器仍然会将task继续调度到该节点,从而导致application因为tas
操作中下载认证凭据文件,保存后解压得到用户的keytab文件与krb5.conf文件。用于在样例工程中进行安全认证,具体使用请参考准备认证机制代码。 父主题: 准备Spark应用开发环境
LDAP配置文件中管理员密码使用SHA加密,当升级openldap版本为2.4.39或更高时,主备LDAP节点服务自动采用SASL External机制进行数据同步,避免密码信息被非法获取。 集群中的LDAP服务默认支持SSLv3协议,可安全使用。当升级openldap版本为2.4.39或更高时,LDAP将自动使用TLS
修复问题列表: MRS Manager 解决磁盘IO利用率监控数据不准确问题 解决偶现spark作业状态未刷新问题 解决作业运行失败问题 优化补丁机制 MRS大数据组件 解决HBase异常问题 解决Hive Role绑定权限卡顿问题 MRS 2.1.0.5 修复问题列表: MRS大数据组件
配置Doris高可用功能 Doris集群高可用方案概述 配置通过ELB访问Doris集群 父主题: Doris企业级能力增强
park-defaults.conf配置文件的spark.local.dir配置项的值,将临时目录指定到特定的目录,再对该目录单独设置清理机制。 父主题: Spark应用开发常见问题
park-defaults.conf配置文件的spark.local.dir配置项的值,将临时目录指定到特定的目录,再对该目录单独设置清理机制。 父主题: Spark应用开发常见问题
manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表,HBase表权限控制未生效 MRS manager补丁机制优化 MRS大数据组件 Spark执行load data inpath慢 Spark建表支持列名带$字符 OBS相关问题修复 MRS 2.1
指定可使用的最大资源,并且通过配置的方式指定用户的资源配额,从而管理该用户名下的拓扑资源。 State Management:提供带检查点机制的Bolt接口,当事件失败时,Storm会自动管理bolt的状态并且执行恢复。 消息采样和调试:在Storm UI界面可以开关拓扑或者组件
Spark默认使用的是Java的序列化机制,也就是ObjectOutputStream/ObjectInputStream API来进行序列化和反序列化。但是Spark同时支持使用Kryo序列化库,Kryo序列化类库的性能比Java序列化类库的性能要高很多。官方介 绍,Kryo序列化机制比Java序列化
park-defaults.conf配置文件的spark.local.dir配置项的值,将临时目录指定到特定的目录,再对该目录单独设置清理机制。 父主题: Spark应用开发常见问题
hdfs://hacluster/user/test/.Trash/Current/user 是,执行3。 否,执行5。 默认数据仓库存在自动恢复机制,用户可等待默认数据仓库的恢复(5 ~10s)。如果未恢复,用户可执行以下命令,将warehouse重新复原。 hdfs dfs -mv
Manager MRS Manager支持包周期集群指定节点缩容 MRS 1.8.10.5 修复问题列表: MRS Manager 优化补丁机制 MRS大数据组件 解决Spark JobHistory内存泄露问题 Hadoop/Hive/Spark支持OBS FileSystem
park-defaults.conf配置文件的spark.local.dir配置项的值,将临时目录指定到特定的目录,再对该目录单独设置清理机制。 父主题: Spark应用开发常见问题
为保证Hive服务的高可用性、用户数据的安全及访问服务的可控制,在开源社区的Hive-3.1.0版本基础上,Hive新增如下特性: 数据文件加密机制。 开源社区的Hive特性,请参见https://cwiki.apache.org/confluence/display/hive/designdocs。
Resource Manager、JobManager、HDFS、TaskManager、Kafka和Zookeeper。 使用YARN内部的认证机制:Yarn Resource Manager与Application Master(简称AM)。 如果用户安装安全集群需要使用kerberos认证和security
查看ClickHouse慢查询语句 查看ClickHouse复制表数据同步监控 配置ClickHouse副本间数据强一致 配置ClickHouse支持事务能力 配置通过ELB访问ClickHouse 配置ClickHouse冷热分离 配置ClickHouse对接开源ClickHouse 配置ClickHouse元数据预先缓存到内存
修复问题列表: MRS Manager 解决磁盘IO利用率监控数据不准确问题 解决偶现spark作业状态未刷新问题 解决作业运行失败问题 优化补丁机制 MRS大数据组件 解决HBase异常问题 解决Hive Role绑定权限卡顿问题 MRS 2.1.0.5 修复问题列表: MRS大数据组件
修复问题列表: MRS Manager 解决磁盘IO利用率监控数据不准确问题 解决偶现spark作业状态未刷新问题 解决作业运行失败问题 优化补丁机制 MRS大数据组件 解决HBase异常问题 解决Hive Role绑定权限卡顿问题 MRS 2.1.0.5 修复问题列表: MRS大数据组件
manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表,HBase表权限控制未生效 MRS manager补丁机制优化 MRS大数据组件 Spark执行load data inpath慢 Spark建表支持列名带$字符 OBS相关问题修复 MRS 2.1