检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果通过spark.executor.instances或者--num-executors指定了Executor的个数，即使配置了动态资源调度功能，动态资源调度功能也不会生效。 当前动态资源分配功能开启后，不能完全避免task被分配到即将要移除的executor，但是一般情况下只会导致该task失
的用户的权限，只有HBase管理用户才有修改权限；其次检查发出该请求的IP的有效性，备集群只接收来自IP白名单中的机器发起的修改请求。IP白名单通过配置项“hbase.replication.allowedIPs”配置。 在FusionInsight Manager系统中，选择“集群
reduceByKey(_+_).collect() 您可以直接在命令行中指定Keytab和Principal以获取认证，定期更新登录票据和授权tokens，避免认证过期。示例如下： spark-shell --principal spark2x/hadoop.<系统域名>@<系统域名> --keytab
reduceByKey(_+_).collect() 您可以直接在命令行中指定Keytab和Principal以获取认证，定期更新登录票据和授权tokens，避免认证过期。示例如下： spark-shell --principal spark2x/hadoop.<系统域名>@<系统域名> --keytab
“访问方式”选择“专线访问”，记录集群浮动IP。查看“默认生效子网”后的子网，并记录。 登录VPC管理控制台，选择“虚拟私有云 > 子网”，搜索MRS集群的子网。 单击子网名称，进入子网详情页面，单击“IP地址管理”，搜索MRS集群浮动IP。 MRS集群浮动IP“操作”列的“绑定服务器”，选择MRS集
/proc/sys/net/ipv4/ip_local_port_range命令查看随机端口范围。 发现随机端口范围过大，和MRS的服务端口范围存在冲突。 MRS的服务端口范围：20000~30000。 处理步骤 修改随机端口范围。 vi /proc/sys/net/ipv4/ip_local_port_range
ARM环境python pipeline运行报139错误码 问题 在TaiShan服务器上，使用python插件的pipeline报错显示139错误。具体报错如下： subprocess exited with status 139 回答 该python程序既使用了libcrypto
'jdbc:hive2://ha-cluster/default;user.principal=spark/hadoop.COM;saslQop=auth-conf;auth=KERBEROS;principal=spark/hadoop.COM;' spark/hadoop.COM字符串在本集群上使用klist
为MRS集群用户绑定租户 操作场景 创建好的租户不能直接登录集群访问资源，管理员需要通过FusionInsight Manager为已有租户创建新用户，通过绑定租户的角色继承其操作权限，以满足业务使用。 该章节操作以MRS 3.x及之后版本集群为例进行说明。 前提条件 管理员已明确业务需求，并已创建了租户。
ARM环境python pipeline运行报139错误码 问题 在TaiShan服务器上，使用python插件的pipeline报错显示139错误。具体报错如下： subprocess exited with status 139 回答 该python程序既使用了libcrypto
jdbc:presto://example_ip:7520/Catalog/schema jdbc:presto://example_ip:7521/Catalog/schema 处理步骤 在MRS Manager管理页面找到Presto组件，记录Presto的内网浮动IP地址。 在VPC上创建一个弹性公网IP地址，
资源浪费和资源不合理的调度。 动态资源调度就是为了解决这种场景，根据当前应用任务的负载情况，实时的增减Executor个数，从而实现动态分配资源，使整个Spark系统更加健康。 操作步骤 需要先配置External shuffle service。 登录FusionInsight
通过日志判断得知是格式异常。 处理步骤 确认分隔符、表字段的格式无问题，在sqoop语句中添加--columns绑定对应字段。 sqoop export --connect jdbc:mysql://数据库IP地址:端口号/数据库名 --username 数据库用户名 --password 密码 --table
ARM环境python pipeline运行报139错误码规避方案 问题 在TaiShan服务器上，使用python插件的pipeline报错显示139错误。具体报错如下： subprocess exited with status 139 回答 该python程序既使用了libcrypto
的资源浪费和资源不合理的调度。 动态资源调度就是为了解决这种场景，根据当前应用任务的负载情况，实时的增减Executor个数，从而实现动态分配资源，使整个Spark系统更加健康。 操作步骤 需要先配置External shuffle service。 登录FusionInsight
向动态分区表中插入数据时，在重试的task中出现"Failed to CREATE_FILE"异常 问题 向动态分区表中插入数据时，shuffle过程中大面积shuffle文件损坏（磁盘掉线、节点故障等）后，为什么会在重试的task中出现"Failed to CREATE_FILE"异常？
选择Windows开发环境下，安装Eclipse，安装JDK。 请安装JDK1.8及以上版本。Eclipse使用支持JDK1.8及以上的版本，并安装JUnit插件。 若使用IBM JDK，请确保Eclipse中的JDK配置为IBM JDK。 若使用Oracle JDK，请确保Eclipse中的JDK配置为Oracle
使用Flume服务端从本地采集动态日志保存到HDFS 该任务指导用户使用Flume服务端从本地采集动态日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任
向动态分区表中插入数据时，在重试的task中出现"Failed to CREATE_FILE"异常 问题 向动态分区表中插入数据时，shuffle过程中大面积shuffle文件损坏（磁盘掉线、节点故障等）后，为什么会在重试的task中出现"Failed to CREATE_FILE"异常？
Kudu应用开发常见问题 Kudu Java API接口介绍 Kudu Java API接口可参考官网描述。 其他Kudu完整和详细的接口可以直接参考官方网站上的描述。 地址： https://kudu.apache.org/apidocs。 父主题： Kudu开发指南（安全模式）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
