检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备Eclipse与JDK 操作场景 开发环境可以搭建在Windows环境下。 操作步骤 安装Eclipse程序。安装要求Eclipse使用3.0及以上版本。 安装JDK程序。安装要求JDK使用1.7及或者1.8版本，支持IBM JDK和Oracle JDK。 若使用IBM JD
准备Eclipse与JDK 前提条件 MRS服务集群开启了Kerberos认证 操作场景 在Windows环境下需要安装Eclipse和JDK。 操作步骤 开发环境安装Eclipse程序，版本要求Eclipse使用4.2或以上版本。 开发环境安装JDK程序，版本要求JDK使用1.7或者1
Flink Job Pipeline样例程序 Flink Job Pipeline样例程序开发思路 Flink Job Pipeline样例程序（Java） Flink Job Pipeline样例程序（Scala） 父主题： 开发Flink应用
Flink Job Pipeline样例程序 Flink Job Pipeline样例程序开发思路 Flink Job Pipeline样例程序（Java） Flink Job Pipeline样例程序（Scala） 父主题： 开发Flink应用
Flink Job Pipeline样例程序 Flink Job Pipeline样例程序开发思路 Flink Job Pipeline样例程序（Java） Flink Job Pipeline样例程序（Scala） 父主题： 开发Flink应用
Flink Job Pipeline样例程序 Flink Job Pipeline样例程序开发思路 Flink Job Pipeline样例程序（Java） Flink Job Pipeline样例程序（Scala） 父主题： 开发Flink应用
上层组件是通过dbservice.floatip连接的DBService。 在DBServer所在节点执行命令netstat -anp | grep 20051，发现DBService的Gauss进程在启动时并未绑定floatip，只监测了127.0.0.1的本地IP。 解决办法 重新启动DBService服务。
如何获取MRS集群ZooKeeper的IP地址和端口？ ZooKeeper的IP地址和端口可以通过MRS控制台或登录Manager界面获取。 方法一：通过MRS控制台获取 在MRS集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 选择“组件管理 >
动态分区插入场景内存优化 操作场景 SparkSQL在往动态分区表中插入数据时，分区数越多，单个Task生成的HDFS文件越多，则元数据占用的内存也越多。这就导致程序GC（Gabage Collection）严重，甚至发生OOM（Out of Memory）。 经测试证明：102
在“弹性公网IP”下拉框中选择可用的弹性公网IP。若用户创建集群时已经绑定弹性公网IP，直接执行3.b。 如果没有弹性公网IP，可先单击“管理弹性公网IP”购买弹性公网IP后，然后在弹性公网IP下拉框中选择购买的弹性公网IP。 如果在使用完后需要解绑或释放弹性公网IP，请登录“弹
查看日志发现异常信息The submit user is invalid,the principle is 。具体信息如下： [main] INFO b.s.StormSubmitter - Get principle for stream@HADOOP.COM success [main]
2001 原因分析 Hive中会默认限制最大动态分区数，由“hive.exec.max.dynamic.partitions”参数控制（默认值为1000）。 如果超过此限制，Hive将不会创建新的动态分区。 处理步骤 调整上层业务，将动态分区数控制在“hive.exec.max.dynamic
Spark动态分区插入场景内存优化 操作场景 SparkSQL在往动态分区表中插入数据时，分区数越多，单个Task生成的HDFS文件越多，则元数据占用的内存也越多。这就导致程序GC（Gabage Collection）严重，甚至发生OOM（Out of Memory）。 经测试证
选择Windows开发环境下，安装Eclipse，安装JDK。 JDK使用1.8版本，Eclipse使用4.3.2及以上版本。 若使用IBM JDK，请确保Eclipse中的JDK配置为IBM JDK。 若使用Oracle JDK，请确保Eclipse中的JDK配置为Oracle JDK。 不同的Eclipse不
MRS集群用户绑定多个队列时系统如何选择队列？ 问： MRS集群内属于同一个用户组，并且权限也相同的两个用户A和B，同时绑定了queueA以及queueB两个队列。 为什么用户A的任务一直提交到queueA队列，用户B的任务却一直提交到queueB队列？ 答： MRS集群内用户绑定了多个
怎么通过客户端设置Map/Reduce内存？ 问题现象 客户端怎么设置Map/Reduce内存？ 处理步骤 Hive在执行SQL语句前，可以通过set命令来设置Map/Reduce相关客户端参数。 以下为与Map/Reduce内存相关的参数： set mapreduce.map.memory
MRS节点访问OBS报错408如何处理？ 问： MRS节点访问OBS报错408，怎么办？ 答： MRS节点访问OBS报错408时，用户需要更换OBS域名。 修改OBS域名为myhuaweicloud.com后缀的域名即可。 父主题： 作业管理类
配置Hive表分区动态覆盖 配置场景 在旧版本中，使用insert overwrite语法覆写分区表时，只支持对指定的分区表达式进行匹配，未指定表达式的分区将被全部删除。在spark2.3版本中，增加了对未指定表达式的分区动态匹配的支持，此种语法与Hive的动态分区匹配语法行为一致。
配置Hive表分区动态覆盖 配置场景 在旧版本中，使用insert overwrite语法覆写分区表时，只支持对指定的分区表达式进行匹配，未指定表达式的分区将被全部删除。在spark2.3版本中，增加了对未指定表达式的分区动态匹配的支持，此种语法与Hive的动态分区匹配语法行为一致。
如果通过spark.executor.instances或者--num-executors指定了Executor的个数，即使配置了动态资源调度功能，动态资源调度功能也不会生效。 当前动态资源分配功能开启后，不能完全避免task被分配到即将要移除的executor，但是一般情况下只会导致该task失
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
