检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS集群默认权限信息说明 角色 默认角色 描述 Manager_administrator Manager管理员，具有Manager所有权限。 可创建一级租户，可创建、修改新的用户组，指定用户权限，以满足不同用户对系统的管理需求。 Manager_operator Manage
表输入 概述 “表输入”算子，将关系型数据库表的指定列按顺序转换成同等数量的输入字段。 输入与输出 输入：表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输入字段 配置关系型数据库输入字段的相关信息： 位置：配置输入字段的位置。 字段名：配置输入字段名。
表输入 概述 “表输入”算子，将关系型数据库表的指定列按顺序转换成同等数量的输入字段。 输入与输出 输入：表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输入字段 配置关系型数据库输入字段的相关信息： 位置：配置输入字段的位置。 字段名：配置输入字段名。
访问FlinkServer WebUI界面 操作场景 MRS集群安装Flink组件后，用户可以通过Flink的WebUI，在图形化界面进行集群连接、数据连接、流表管理和作业管理等。 该任务指导用户在MRS集群中访问Flink WebUI。第一次访问Manager和Flink We
ClickHouse设计规范概述 内容介绍 本文主要描述ClickHouse数据管理全生命周期过程中，数据库规划、建模设计、开发、调优、运维的规则建议和指导。 通过这些约束和建议，指导开发者在ClickHouse数据库开发使用过程中能够最大化发挥数据库的优势，保障ClickHou
配置SparkSQL的分块个数 配置场景 SparkSQL在进行shuffle操作时默认的分块数为200。在数据量特别大的场景下，使用默认的分块数就会造成单个数据块过大。如果一个任务产生的单个shuffle数据块大于2G，该数据块在被fetch的时候还会报类似错误： Adjusted
配置SparkSQL的分块个数 配置场景 SparkSQL在进行shuffle操作时默认的分块数为200。在数据量特别大的场景下，使用默认的分块数就会造成单个数据块过大。如果一个任务产生的单个shuffle数据块大于2G，该数据块在被fetch的时候还会报类似错误： Adjusted
单个Region下最多生成该参数值个文件，用于提升工具性能。 注意：该值越大，生成的HFile越多，会导致HBase compaction压力增大，该参数取值范围为[1,10]，默认值为“1”，建议根据实际资源情况进行设置。 操作步骤 以客户端安装用户，登录安装客户端的节点。 执行以下命令切换到客户端目录。
创建FlinkServer集群连接 通过集群连接配置访问不同的集群。 创建FlinkServer集群连接步骤 访问Flink WebUI，请参考访问FlinkServer WebUI界面。 选择“系统管理 > 集群连接管理”，进入集群连接管理页面。 单击“创建集群连接”，在弹出的
创建FlinkServer集群连接 操作场景 通过集群连接配置访问不同的集群。 创建集群连接 访问Flink WebUI，请参考访问FlinkServer WebUI界面。 选择“系统管理 > 集群连接管理”，进入集群连接管理页面。 单击“创建集群连接”，在弹出的页面中参考表1填
配置DataNode节点容量不一致时的副本放置策略 操作场景 默认情况下，NameNode会随机选择DataNode节点写文件。当集群内某些数据节点的磁盘容量不一致（某些节点的磁盘总容量大，某些总容量小），会导致磁盘总容量小的节点先写满。通过修改集群默认的DataNode写数据时
配置DataNode节点容量不一致时的副本放置策略 操作场景 默认情况下，NameNode会随机选择DataNode节点写文件。当集群内某些数据节点的磁盘容量不一致（某些节点的磁盘总容量大，某些总容量小），会导致磁盘总容量小的节点先写满。通过修改集群默认的DataNode写数据时
组规则是否正常 400 12000024 Yearly/Monthly clusters cannot be terminated. 包年包月的集群不可终止！ 请避免进行此操作 400 12000027 Failed to verify the subnet when creating
ALM-38008 Kafka数据目录状态异常 告警解释 系统每60秒周期性检测Kafka数据目录状态，当检测到某数据目录状态异常时产生该告警。 平滑次数为1，当数据目录状态恢复正常后，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 38008 重要 是 告警参数 参数名称
创建FlinkServer作业写入数据至Hive表 本章节适用于MRS 3.1.2及之后的版本。 操作场景 目前FlinkServer对接Hive使用对接metaStore的方式，所以需要Hive开启MetaStore功能。Hive可以作为sink和维表。 本示例以安全模式Kafka为例。
Spark Streaming任务一直阻塞 问题 运行一个Spark Streaming任务，确认有数据输入后，发现没有任何处理的结果。打开Web界面查看Spark Job执行情况，发现如下图所示：有两个Job一直在等待运行，但一直无法成功运行。 图1 Active Jobs 继
管理Loader数据连接 操作场景 Loader页面支持创建、查看、编辑和删除连接。 创建连接 登录服务页面： 登录FusionInsight Manager，具体请参见访问集群Manager，选择“集群 > 服务”。 选择“Loader”，在“Loader WebUI”右侧，单击链接，打开Loader的WebUI。
管理Loader连接（MRS 3.x及之后版本） 操作场景 Loader页面支持创建、查看、编辑和删除连接。 本章节适用于MRS 3.x及之后版本。 创建连接 登录服务页面： MRS 3.x及后续版本，登录FusionInsight Manager，具体请参见访问FusionInsight
Spark Streaming任务一直阻塞 问题 运行一个Spark Streaming任务，确认有数据输入后，发现没有任何处理的结果。打开Web界面查看Spark Job执行情况，发现如下图所示：有两个Job一直在等待运行，但一直无法成功运行。 图1 Active Jobs 继
典型场景：从HBase导出数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从HBase导出到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 确保用户已授权
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
