检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在该问题中，由于Shuffle操作，导致take算子默认有两个Partition，Spark首先计算第一个Partition，但由于没有数据输入，导致获取结果不足10个，从而触发第二次计算，因此会出现RDD的DAG结构打印两次的现象。 在代码中将print算子修改为foreach(collect)，该问题则不会出现。
、Flink服务。 操作步骤 登录Manager页面，选择“集群 > 服务 > JobGateway > 实例”，查看所有JobServer实例节点IP。 获取部署了JobServer的节点中，IP最小的节点（以下简称“最小IP节点”）。若最小IP节点更新服务客户端失败，执行3， 否则执行4。 若
临时端口不满足当前业务需求。 系统环境异常。 处理步骤 扩大临时端口范围。 打开FusionInsight Manager页面，在实时告警列表中，单击此告警所在行的，获取告警所在主机IP地址。 以omm用户登录告警所在主机。 执行cat /proc/sys/net/ipv4/ip_local_port_range
source bigdata_env 如果集群采用安全版本，要进行安全认证。执行kinit hbase命令，按提示输入密码（向MRS集群管理员获取密码）。 执行以下命令查看目前负载均衡功能是否打开。 hbase shell balancer_enabled 是，执行10。 否，执行9。
source bigdata_env 如果集群采用安全版本，要执行以下命令进行安全认证： kinit hbase 按提示输入密码（向MRS集群管理员获取密码）。 执行以下命令查看目前负载均衡功能是否打开，结果显示为“true”，则表示负载均衡功能已打开。 hbase shell balancer_enabled
配置”，配置以下相关参数以提升HBase数据读写性能调优。 JVM GC参数 RegionServer GC_OPTS参数设置建议： -Xms与-Xmx设置相同的值，需要根据实际情况设置，增大内存可以提高读写性能，可以参考参数“hfile.block.cache.size”（见表2）和参数“hbase.regionserver
目录已添加到config.xml中。 如果是扩大已有分区操作，请提前确认ClickHouse业务已停止，否则操作期间会有中断业务的影响。 根据6确认要扩大的分区， 参考扩容云硬盘分区和文件系统（Linux）中的“扩大已有分区”章节进行操作。 扩大已有分区操作完成后，重新执行ClickHouse业务。
参数， 在hive客户端目录/Hive下的component_env中添加export HIVE_OPTS=-Xmx1024M（具体数值请根据业务调整），并重新执行source 客户端目录/bigdata_env配置环境变量。 父主题： 使用Hive
目录已添加到config.xml中。 如果是扩大已有分区操作，请提前确认ClickHouse业务已停止，否则操作期间会有中断业务的影响。 根据6确认要扩大的分区， 参考扩容云硬盘分区和文件系统（Linux）中的“扩大已有分区”章节进行操作。 扩大已有分区操作完成后，重新执行ClickHouse业务。
读写性能调优。 JVM GC参数 RegionServer “GC_OPTS”参数设置建议： “-Xms”与“-Xmx”设置相同的值，需要根据实际情况设置，增大内存可以提高读写性能，可以参考参数“hfile.block.cache.size”（见表2）和参数“hbase.regionserver
x及之前版本）。 自行搭建的客户端全量安装方法，请参见安装客户端（2.x及之前版本）。 重新安装客户端前建议先对老客户端进行备份。 若您根据业务场景修改过客户端配置，请重装客户端后再次修改客户端配置。 （可选）支持MRS Manager页面以及组件原生页面超时时间可配置，需要手动修改如下配置。
failed：集群缩容失败 集群安装、扩容、缩容失败，会显示失败的原因，详情请参见表6。 计费类型 目前MRS商用收费基本要素为集群中的弹性云服务器。 包年/包月：根据集群购买时长，一次性支付集群费用。最短时长为1个月，最长时长为1年。 按需计费：节点按实际使用时长计费，计费周期为一小时。 计费类型下方显
配置”，选择“全部配置”，选择“HiveServer/MetaStore > JVM”，将“HIVE_GC_OPTS/METASTORE_GC_OPTS”参数中“-Xmx”的值根据如下建议进行调整，并单击“保存”。 HiveServer的GC参数配置建议 当HiveServer进程使用的堆内存已达到HiveServe
待操作集群的名称 > 服务 > Yarn > 配置 > 全部配置 > ResourceManager > 系统”。将“GC_OPTS”参数根据实际情况调大。 集群中的NodeManager实例数量和ResourceManager内存大小的对应关系参考如下： 集群中的NodeMan
生成许多小文件，影响查询性能。配置该参数将小的segment合并为一个大的segment，然后对数据进行排序，可提高查询性能。 压缩的策略根据实际的数据大小和可用资源决定。如某银行1天加载一次数据，且加载数据选择在晚上无查询时进行，有足够的资源，压缩策略可选择为6、5。 表7 使用索引缓存服务器时是否开启数据预加载
$HADOOP_HOME/bin/hdfs dfs -put hadoop-x.tar.gz /mapred/framework/ 执行以下命令，根据表1，对“客户端安装路径/Yarn/config/mapred-site.xml”文件中的参数进行设置。 vi 客户端安装路径/Yarn/config/mapred-site
detect.datapart.bk.log.logs} KAFKA_HEAP_OPTS Kafka启动Broker时使用的jvm选项。建议根据业务需要进行设置。 -Xmx6G -Xms6G auto.create.topics.enable 是否自动创建Topic，如果参数设置为
接口。 MRS使用登录用户名和密码，到Kerberos进行认证。 如果认证成功，客户端会发起访问服务端（MRS组件服务）的请求。 服务端会根据登录的用户，找到其属于的用户组和角色。 服务端获得用户组拥有的所有权限和角色拥有的所有权限的并集。 服务端判断客户端是否有权限访问其请求的资源。
节点，放置到与准备放置编译出的jar包同目录的“conf”目录下，用于后续调测，例如“/opt/client/conf”。 准备开发用户时获取的keytab文件也放置于该目录下，主要配置文件说明如表2所示。 例如客户端软件包为“FusionInsight_Cluster_1_Services_Client
件中“JAVA_HOME”的值。 其中“JAVA_HOME”的值可通过登录正常启动Flume的节点，执行echo ${JAVA_HOME}获取。 ${install_home}为Flume客户端的安装路径。 父主题： 使用Flume
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
