检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
PI兼容性或可靠性问题，建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类： pyspark.SparkContext：是Spark的对外接口。负责向调用该类的python应用提供Spark的各种功能，如连接Spark集群、创建RDD、广播变量等。
PI兼容性或可靠性问题，建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类： pyspark.SparkContext：是Spark的对外接口。负责向调用该类的python应用提供Spark的各种功能，如连接Spark集群、创建RDD、广播变量等。
打开任务运行日志窗口，查看运行详细情况以及备份路径。 “查看” 检查恢复任务的参数设置。 “执行” 运行恢复任务。 查看备份恢复任务（MRS 2.x及之前版本） 在MRS Manager，单击“系统设置”。 单击“备份管理”或“恢复管理”。 在任务列表中，查看“当次任务进度”列获取
解决Executor日志滚动不释放问题 解决Hive元数据库查询网络阻塞问题 解决MRS对接DCS做缓存，缓存键一天多次被清空问题 解决CBG访问OBS概率性无权限问题 解决长时间使用客户端出现死锁问题 解决Yarn运行偶现RM主备切换问题 解决Spark SQL外表动态分区执行insert
hedged.read.threadpool.size 多路读取线程池的大小。设置等于0时不启用多路读功能。 大于等于0 参数修改后保存配置。 在HDFS“实例”界面，勾选所有DataNode实例，选择“更多 > 滚动重启实例”，等待滚动重启完成生效。 父主题： HDFS企业级能力增强
当主集群HBase服务关闭时，ZooKeeper和HDFS服务应该启动并运行。 该工具应该由启动HBase进程的系统用户运行。 如果处于安全模式，请确保备用集群的HBase系统用户具有主集群HDFS的读取权限。因为它将更新HBase系统ZooKeeper节点和HDFS文件。 主集群HBa
配置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 登录FusionInsight Manager页面，选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”。 搜索并查看“dfs.storage.policy.ena
配置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 登录FusionInsight Manager页面，选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”。 搜索并查看“dfs.storage.policy.ena
配置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 登录FusionInsight Manager页面，选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”。 搜索并查看“dfs.storage.policy.ena
properties”文件： jdbc_url=jdbc:iotdb://IoTDBServer实例IP地址:IoTDBServer RPC端口 # 进行认证的用户名 username=developuser # 进行认证的用户密码，该密码建议密文存放，使用时解密，确保安全。 password=xxx
Manager界面，选择“运维 > 告警 > 告警”。 查看该“定位信息”中对应的“主机名”字段值，获取该告警产生的主机名。 以root用户登录告警所在节点，用户密码为安装前用户自定义，请咨询系统管理员。 执行/bin/rpm -qa | grep -w "haveged"命令查看haveged安装情况，观察命令返回结果是否为空。
集群中所有DataNode角色实例保存的Block总数为：HDFS Block * 3。集群中每个DataNode实例平均保存的Blocks= HDFS Block * 3/DataNode节点数。 表2 DataNode支持规格 项目 规格 单个DataNode实例支持最大Block数 5
建立ClickHouse连接 本章节介绍建立ClickHouse连接样例代码。 以下代码片段在“ClickhouseJDBCHaDemo”类的initConnection方法中。 在创建连接时传入表1中配置的user和password作为认证凭据，ClickHouse会带着用户名和密码在服务端进行安全认证。
由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的开源API。 Spark Core常用接口 Spark主要使用到如下这几个类： JavaSparkContext：是Spark的对外接口，负责向调用该类的Java应用提供Spark的各种功能，如连接Spark集群，创建RDD，累积量和广播量等。它的作用相当于一个容器。
WebUI界面运行Flink作业 使用具有FlinkServer WebUI管理权限的用户登录集群的FusionInsight Manager，选择“集群 > 服务 > Flink”，单击概览页面“Flink WebUI”后的超链接地址进入FlinkServer WebUI界面。 进入FusionInsight
当主集群HBase服务关闭时，Zookeeper和HDFS服务应该启动并运行。 该工具应该由启动HBase进程的系统用户运行。 如果处于安全模式，请确保备集群的HBase系统用户具有主集群HDFS的读取权限。因为备集群将更新HBase系统Zookeeper节点和HDFS文件。 主集群HB
的实际磁盘条件设置。 10 dfs.disk.balancer.max.disk.errors 设置能够容忍的在指定的移动过程中出现的最大错误次数，超过此阈值则移动失败。 5 dfs.disk.balancer.block.tolerance.percent 设置磁盘之间进行数据
alhost绑定IP。如果需要MapReduce shuffle服务连接特定IP，可以参考该章节进行配置。 配置描述 当需要MapReduce shuffle服务绑定特定IP时，需要在NodeManager实例所在节点的配置文件“mapred-site.xml”中（例如路径为：$
准备集群配置文件 集群创建成功后，登录FusionInsight Manager创建用于提交Flink作业的集群用户。 选择“系统 > 权限 > 用户 > 添加用户”，在新增用户界面创建一个人机用户，例如sparkuser。 “用户组”需加入“supergroup”用户组，并关联“System_administrator”角色。
x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Hive > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 若集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 MRS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
