检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
replication.factor 自动创建Topic时的默认副本数。 2 monitor.preInitDelay 服务启动后，第一次健康检查的延迟时间。如果启动需要较长时间，可以通过调大参数，来完成启动。单位为毫秒。 600000 超时参数 表2 Broker相关超时参数 参数名称
JDBC任务执行变慢或失败。 可能原因 该节点JDBCServer2x进程堆内存使用率过大，或配置的堆内存不合理，导致使用率超过阈值。 处理步骤 检查堆内存使用率 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，选中“ID”为“43010”的告警，查看
JDBC任务执行变慢或失败。 可能原因 该节点JDBCServer2x进程直接内存使用率过大，或配置的直接内存不合理，导致使用率超过阈值。 处理步骤 检查直接内存使用率 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，选中“ID”为“43012”的告警，查
在用户订阅了通知服务之后，当集群出现扩容成功/失败、缩容成功/失败、删除成功/失败、弹性升缩成功/失败的场景下，由MRS管理面通过邮件或短信方式通知对应用户。 管理面检查大数据集群的告警信息，如果大数据集群的告警信息影响到服务的使用，其告警级别达到致命时，则发送信息通知给对应租户。 在用户集群的ECS机器被
"SASL_PLAINTEXT",”注释掉。 /** *从Kafka的一个或多个主题消息。 * <checkPointDir>是Spark Streaming检查点目录。 * <brokers>是用于自举，制作人只会使用它来获取元数据 * <topics>是要消费的一个或多个kafka主题的列表
在各个数据节点准备并安装好新磁盘，并格式化磁盘。 规划好新的目录路径，用于保存旧目录中的数据。 准备好MRS集群管理员用户admin。 操作步骤 检查环境。 登录Manager，选择“集群 > 待操作集群的名称 > 服务”查看Yarn的状态“运行状态”是否为“良好”。 是，执行1.c。 否，Yarn状态不健康，执行1
造成内存溢出导致Hive服务不可用。 可能原因 该节点Hive实例堆内存使用量过大，或分配的堆内存不合理，导致使用率超过阈值。 处理步骤 检查堆内存使用率。 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，选中“告警ID”为“16005”的告警
程正常提供服务。 可能原因 该节点ResourceManager实例堆内存使用率过大，或配置的堆内存不合理，导致进程GC频繁。 处理步骤 检查GC时间。 在FusionInsight Manager首页，选择“运维 > 告警 > 告警 > ALM-18010 ResourceMa
可能原因 该节点Yarn ResourceManager实例非堆内存使用量过大，或分配的非堆内存不合理，导致使用量超过阈值。 处理步骤 检查非堆内存使用量。 在FusionInsight Manager界面，选择“运维 > 告警 > 告警 > ALM-18016 Yarn Re
libs/cdluser.keytab Principal cdluser Description - 参数配置完成后，单击“测试连接”，检查数据连通是否正常。 连接校验通过后，单击“确定”完成数据连接创建。 （可选）选择“ENV管理 > 新建ENV”，进入“新建ENV”参数配置窗口，参考下表进行参数配置。
创建一张与目标表table_dest结构、分区键、排序键、主键、存储策略、引擎都一致的临时表table_source。 先把数据写到临时表，一次只写入一个分区的数据，检查临时表的数据准确无误。 使用以下SQL查看目标表的分区： SELECT partition AS `partition`,sum(rows)
执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式，执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 执行以下命令，获取Flink集群container信息。
在运行Colocation工程时，需要将HDFS用户绑定supergroup用户组。 初始化 使用Colocation前需要进行kerberos安全认证。 private static void init() throws IOException { LoginUtil.login(PRNCIPAL_NAME
使用Ranger、Sentry或组件开源的权限能力进行权限控制。 所在Region/AZ 云上资源填写项 虚拟私有云 云上资源填写项 子网 云上资源填写项 安全组 云上资源填写项 表2 硬件信息调研表 节点组 CPU和内存信息 磁盘和网络（按节点组统计） HDFS Yarn - - 磁盘信息（数据
行搬迁任务时，可能会影响其他业务，建议在业务空闲期进行数据迁移任务。 全量数据迁移 登录CDM管理控制台。 创建CDM集群，该CDM集群的安全组、虚拟私有云、子网需要和迁移目的端集群保持一致，保证CDM集群和待迁移的MRS集群之间网络互通。 在“集群管理”页面单击待操作集群对应“操作”列的“作业管理”。
源所在集群的Manager页面，选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”，如果ClickHouse数据源是安全模式则查看ClickHouseBalancer实例HTTPS端口，即“lb_https_port”参数的“值”；如果ClickHouse数
executor进程会内存溢出 支持提交作业，manager executor可配置并发度功能 MRS manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表，HBase表权限控制未生效 MRS manager补丁机制优化 MRS大数据组件
executor进程会内存溢出 支持提交作业，manager executor可配置并发度功能 MRS manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表，HBase表权限控制未生效 MRS manager补丁机制优化 MRS大数据组件
ngContext通过运行任务处理Executor内存中的Block来执行Job。 周期性地设置检查点（橙色箭头） 为了容错的需要，StreamingContext会周期性地设置检查点，并保存到外部文件系统中。 操作流程 本实践操作流程如下所示： 步骤1：创建MRS集群：创建一个
getClassLoader().getResource("conf").getPath() + File.separator; //In Linux environment //String userdir = System.getProperty("user.dir") +
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
