检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
访问MRS Manager（MRS 3.x之前版本） 操作场景 MRS 3.x之前版本集群使用MRS Manager对集群进行监控、配置和管理，用户可以在MRS控制台页面打开Manager管理页面。 访问MRS Manager 登录MRS管理控制台页面。 单击“现有集群”，在集群列表中单击指定的集群名称
配置HBase主备集群容灾 操作场景 HBase集群容灾作为提高HBase集群系统高可用性的一个关键特性，为HBase提供了实时的异地数据容灾功能。对外提供了基础的运维工具，包含灾备关系维护、重建、数据校验、查看数据同步进展等功能。为了实现数据的实时容灾，可以把本HBase集群中的数据备份到另一个集群
如何使用IDEA远程调试 问题 在Spark二次开发中如何使用IDEA远程调试？ 回答 以调试SparkPi程序为例，演示如何进行IDEA的远程调试： 打开工程，在菜单栏中选择“Run > Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的号，在下拉菜单中选择
如何使用IDEA远程调试 问题 在Spark二次开发中如何使用IDEA远程调试？ 回答 以调试SparkPi程序为例，演示如何进行IDEA的远程调试： 打开工程，在菜单栏中选择“Run > Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的号，在下拉菜单中选择
如何使用IDEA远程调试 问题 在Spark二次开发中如何使用IDEA远程调试？ 回答 以调试SparkPi程序为例，演示如何进行IDEA的远程调试： 打开工程，在菜单栏中选择“Run > Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的号，在下拉菜单中选择
为什么将非ViewFS文件系统配置为ViewFS时MapReduce作业运行失败 问题 为什么将非ViewFS文件系统配置为ViewFS时MR作业运行失败？ 回答 通过集群将非ViewFS文件系统配置为ViewFS时，ViewFS中的文件夹的用户权限与默认NameService中的非
如何使用IDEA远程调试 问题 在Spark二次开发中如何使用IDEA远程调试？ 回答 以调试SparkPi程序为例，演示如何进行IDEA的远程调试。 打开工程，在菜单栏中选择“Run > Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的“+”号
如何使用IDEA远程调试 问题 在Spark二次开发中如何使用IDEA远程调试？ 回答 以调试SparkPi程序为例，演示如何进行IDEA的远程调试： 打开工程，在菜单栏中选择“Run > Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的号，在下拉菜单中选择
开启HetuEngine数据类型隐式转换 数据类型隐式转换指用户通过客户端访问HetuEngine资源时，当查询的数据类型和表的数据类型不匹配时，HetuEngine能自动进行数据类型转换，避免用户在使用时因强数据类型校验带来的不便。当前在插入数据（Insert）、条件判断（Where
配置HBase主备集群容灾 操作场景 HBase集群容灾作为提高HBase集群系统高可用性的一个关键特性，为HBase提供了实时的异地数据容灾功能。它对外提供了基础的运维工具，包含灾备关系维护，重建，数据校验，数据同步进展查看等功能。为了实现数据的实时容灾，可以把本HBase集群中的数据备份到另一个集群
导入导出FlinkServer作业信息 本章节适用于MRS 3.2.0及之后的版本。 导入导出作业介绍 FlinkServer WebUI页面支持作业、UDF、流表的导入导出，不支持集群管理、数据连接、应用管理、CheckPoint的导入导出。 当导入时，同一集群内不支持导入同名的作业
ALM-14004 损坏的HDFS块数量超过阈值（2.x及以前版本） 告警解释 系统每30秒周期性检测损坏的块数量，并把损坏的块数量和阈值相比较。损坏的块数量指标默认提供一个阈值范围。当检测到损坏的块数量超出阈值范围时产生该告警。 当损坏的块数量小于或等于阈值时，告警恢复。建议使用命令
批量删除集群标签 功能介绍 为指定集群批量删除标签。 一个集群上最多有20个标签。 此接口为幂等接口： 删除时，如果删除的标签不存在，默认处理成功，删除时不对标签字符集范围做校验。Key长度为128个字符，value为255个字符。删除时tags结构体不能缺失，key不能为空，或者空字符串
配置FlinkServer作业中添加第三方依赖jar 本章节适用于MRS 3.3.0及之后的版本。 Flink支持通过第三方依赖包来运行自定义Flink作业。可以在Flink WebUI界面中上传并管理依赖jar包，然后在运行作业时调用对应依赖。依赖管理暂不支持“语义”校验功能，依赖
ClickHouse日志介绍 日志描述 日志路径：ClickHouse相关日志的默认存储路径为“${BIGDATA_LOG_HOME}/clickhouse”。 日志归档规则：ClickHouse日志启动了自动压缩归档功能，缺省情况下，当日志大小超过100MB的时候，会自动压缩，压缩后的日志文件名规则为
创建CDL数据比较任务作业 操作场景 数据比对即是对源端数据库中的数据和目标端Hive中的数据作数据一致性校验，如果数据不一致，CDL可以尝试修复不一致的数据。 当前数据对比任务支持手动全量任务比对。数据比对任务采用On Yarn的运行形态，比对结果会上传到HDFS目录。 数据比对目前仅支持基本数据类型比对
EL操作转换 概述 “EL操作转换”算子，对字段值进行运算后生成新的字段，目前支持的算子有：md5sum、sha1sum、sha256sum和sha512sum等。 输入与输出 输入：需要转换的字段 输出：经过EL表达式转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型
EL操作转换 概述 “EL操作转换”算子，对字段值进行运算后生成新的字段，目前支持的算子有：md5sum、sha1sum、sha256sum和sha512sum等。 输入与输出 输入：需要转换的字段 输出：经过EL表达式转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型
JobGateway日志介绍 日志描述 日志路径：JobGateway相关日志的存储路径为：“/var/log/Bigdata/job-gateway/”。 日志归档规则：JobGateway的运行日志启动了自动压缩归档功能，当日志大小超过20MB的时候（此日志文件大小可进行配置）
Guardian日志介绍 日志描述 日志路径：Guardian相关日志的存储路径为：“/var/log/Bigdata/guardian/token-server”。 日志归档规则：Guardian的运行日志启动了自动压缩归档功能，当日志大小超过50MB的时候（此日志文件大小可进行配置
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
