检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Policy”，添加HDFS权限控制策略。 根据业务需求配置相关参数。 表1 HDFS权限参数 参数名称 描述 Policy Name 策略名称，可自定义，不能与本服务内其他策略名称重复。 Policy Conditions IP过滤策略，可自定义，配置当前策略适用的主机节点，可填写一个或多个IP
获取hbase表记录 Result[] resultDataBuffer = table.get(rowList); // 修改hbase表记录 List<Put> putList = new ArrayList<Put>(); for (int
建议根据“Kafka直接内存资源状况”调整“KAFKA_HEAP_OPTS”的值为“Kafka使用的直接内存大小”的两倍（可根据实际业务场景进行修改）。“Kafka直接内存资源状况”可在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Kafka
阈值（默认为最大非堆内存的90%）时产生该告警。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > MapReduce”修改阈值。 当MapReduce JobHistoryServer非堆内存使用率小于或等于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除
以Hive客户端安装用户登录安装客户端的节点。 执行以下命令，切换到客户端安装目录，例如安装目录为“/opt/client”，请用户根据实际情况修改。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 集群认证模式是否为安全模式。 是，执行以下命令进行用户认证，然后执行5。
bytes的值较大时，启动Clustering执行需要提高--spark-memory，否则会导致executor内存溢出。 当前clean不支持清理Clustering失败后的垃圾文件。 Clustering后可能出现新文件大小不等引起数据倾斜的情况。 cluster不支持和upsert并发。 如果clust
性能也会变慢，单批次分布式表写，写入节点的磁盘和网络IO会成为性能瓶颈点。 分布式表转发给各个shard成功与否，插入数据的客户端无法感知，转发失败的数据会不断重试转发，消耗CPU。 大批量数据导入要分时、分节点、扩容 如果数据盘为SATA盘，当大批量数据集中插入时候，会抢占磁盘
在普通模式下，Yarn和HBase的权限管理默认是关闭的，即任何用户都有权限，因此普通模式下默认不需要配置Yarn和HBase权限。如果用户修改了YARN或者HBase的配置来开启权限管理，则修改后也需要配置Yarn和HBase权限。 MRS 3.x及后续版本支持Ranger，如果当前组件使用了Ranger
层的每一级目录拥有“读”和“执行”权限。 说明： 使用load从Linux本地磁盘导入数据时，文件需上传到执行命令的HiveServer并修改权限。建议使用客户端执行命令，可查看客户端连接的HiveServer。例如，Hive客户端显示“0: jdbc:hive2://10.172
获取hbase表记录 Result[] resultDataBuffer = table.get(rowList); // 修改hbase表记录 List<Put> putList = new ArrayList<Put>(); for (int
启用Kerberos认证（普通模式）请跳过该步骤。 kinit hdfs 按提示输入密码，用户密码可以向MRS集群管理员获取，首次认证需要修改密码。 执行以下命令退出HDFS安全模式。 hdfs dfsadmin -safemode leave 等待5分钟，检查该告警是否恢复。 是，执行6。
出阈值（默认为最大堆内存的95%）时产生该告警。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Mapreduce”修改阈值。 平滑次数为1，MapReduce JobHistoryServer堆内存使用率小于或等于阈值时，告警恢复；平滑次数大于1，MapReduce
则可能会导致任务失败，并可能导致应用部分临时数据无法清空。 示例中的“ssl/”是Flink客户端目录下自定义的子目录，用来存放SSL keystore、truststore相关配置文件。 MRS 3.2.1及以后版本使用-tm指定taskmanager内存不能小于4096MB。
strings 参数解释： 缩容节点时指定待删除节点的资源ID列表。resource_ids为空时，按照系统规则自动选择删除节点。仅支持删除状态异常的ecs节点。会针对指定节点进行强制删除。可通过查询主机接口获取resource_id。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及
批量导出Loader作业 操作场景 Loader支持批量导出已有作业。 前提条件 当前用户具备待导出作业的编辑“Edit”权限或作业所在分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统，具体请参见访问集群Manager。
Policy”，添加HDFS权限控制策略。 根据业务需求配置相关参数。 表1 HDFS权限参数 参数名称 描述 Policy Name 策略名称，可自定义，不能与本服务内其他策略名称重复。 Policy Conditions IP过滤策略，可自定义，配置当前策略适用的主机节点，可填写一个或多个IP
aNode实例，否则可能会导致任务失败，并可能导致应用部分临时数据无法清空。 请确保Jar包和配置文件的用户权限与Flink客户端一致，例如都是omm用户，且权限为755。 MRS 3.2.1及以后版本使用-tm指定taskmanager内存不能小于4096MB。 运行DataS
待操作集群的名称 > 服务 > Yarn > 配置”，单击“全部配置”，单击“NodeManager > 系统”，在“GC_OPTS”参数中修改配置。 表1 参数说明 参数 描述 默认值 GC_OPTS Yarn NodeManager的GC参数。 128M 父主题： Spark Core
SparkLauncher类。默认提供了SparkLauncherJavaExample和SparkLauncherScalaExample示例，您需要根据实际业务应用程序修改示例代码中的传入参数。 如果您使用Java语言开发程序，您可以参考如下示例，编写SparkLauncher类。 public static
txt"); /** * * 如果程序运行在Linux上，则需要core-site.xml、hdfs-site.xml的路径修改为在Linux下客户端文件的绝对路径 * * */ private static void confLoad() throws
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
