检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在“入方向规则”页签，选择“添加规则”，在“添加入方向规则”窗口配置Windows的IP和21730TCP、21731TCP/UDP、21732TCP/UDP端口。
org.apache.hadoop.yarn.server.nodemanager.EnhancedLinuxContainerExecutor “yarn.nodemanager.linux-container-executor.user”配置运行container的用户。
在任务调度和运行的过程中，Driver和Executor承担了很大的责任，而ApplicationMaster主要负责container的启停。 因而Driver和Executor的参数配置对Spark应用的执行有着很大的影响意义。用户可通过如下操作对Spark集群性能做优化。
代码样例 如下是删除文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsMain类。
数据目录SSD和HDD的配置导致建表时偶现报错 现象描述 建表时偶现报错“Failed to find enough host with storage medium and tag”。
在任务调度和运行的过程中，Driver和Executor承担了很大的责任，而ApplicationMaster主要负责container的启停。 因而Driver和Executor的参数配置对Spark应用的执行有着很大的影响意义。用户可通过如下操作对Spark集群性能做优化。
操作步骤 运行结果会有如下成功信息： ... 2020-01-09 10:43:49,338 INFO [main] examples.HBaseExample: Entering dropTable. 2020-01-09 10:43:49,341 INFO [main] client.HBaseAdmin
通过配置hoodie.cleaner.policy和hoodie.cleaner.commits.retained可以使用不同的清理策略和保存的commit数量。
代码样例 如下是写文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsMain类和HdfsWriter类。
ARM环境python pipeline运行报139错误码规避方案 问题 在TaiShan服务器上，使用python插件的pipeline报错显示139错误。
ARM环境python pipeline运行报139错误码 问题 在TaiShan服务器上，使用python插件的pipeline报错显示139错误。
告警附加信息中显示“Call CES to send metrics fail. Permission exception”，表示资源租户token失效。需要重启controller，重新获取token。
Hudi Schema演进并发说明 建表时需要指定hoodie.cleaner.policy.failed.writes = 'LAZY'，否则并发提交时会触发rollback。
图1 ZooKeeper和HDFS的关系 ZKFC（ZKFailoverController）作为一个ZooKeeper集群的客户端，用来监控NameNode的状态信息。ZKFC进程仅在部署了NameNode的节点中存在。
dfs.client.failover.proxy.provider.hacluster=org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider 父主题： 组件配置类
在任务调度和运行的过程中，Driver和Executor承担了很大的责任，而ApplicationMaster主要负责container的启停。 因而Driver和Executor的参数配置对spark应用的执行有着很大的影响意义。用户可通过如下操作对Spark集群性能做优化。
修改配置项“high-availability.zookeeper.path.root”对应的ZooKeeper目录，例如：/flink2。 重新提交任务。 父主题： Flink应用开发常见问题
ARM环境python pipeline运行报139错误码 问题 在TaiShan服务器上，使用python插件的pipeline报错显示139错误。
ARM环境python pipeline运行报139错误码规避方案 问题 在TaiShan服务器上，使用python插件的pipeline报错显示139错误。
通过配置hoodie.cleaner.policy和hoodie.cleaner.commits.retained可以使用不同的清理策略和保存的commit数量。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
