检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
补丁安装后操作 升级客户端 如果有使用自主安装的客户端(集群内、外新下载客户端),需要执行客户端升级操作。 登录集群主节点并执行以下命令: cd /opt/Bigdata/patches/{MRS补丁版本号}/download/ 将补丁安装包拷贝到客户端机器/opt/目录下: scp
补丁安装后操作 升级客户端 如果有使用自主安装的客户端(集群内、外新下载客户端),需要执行客户端升级操作。 登录集群主节点并执行以下命令: cd /opt/Bigdata/patches/{MRS补丁版本号}/download/ 将补丁安装包拷贝到客户端机器/opt/目录下: scp
场景说明 场景说明 在Spark应用中,通过使用StructuredStreaming调用kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数。 数据规划 StructuredStreaming样例工程的数据存储在Kafka组件中。向Kafka组件发送数据(需要有kafka权限用户)。
导入导出FlinkServer作业信息 本章节适用于MRS 3.2.0及之后的版本。 导入导出作业介绍 FlinkServer WebUI页面支持作业、UDF、流表的导入导出,不支持集群管理、数据连接、应用管理、CheckPoint的导入导出。 当导入时,同一集群内不支持导入同名的作业、同名的流表、同名的UDF。
配置MRS云服务授权 用户通过MapReduce服务(MRS)管理控制台与MRS集群进行交互,查看MRS集群状态监控以及进行集群相关管理操作,首次使用MRS服务时需要进行服务授权。 进行服务授权后,MRS将在统一身份认证服务(IAM)中创建名为“mrs_admin_agency”
补丁安装后操作 升级客户端 如果有使用自主安装的客户端(集群内、外新下载客户端),需要执行客户端升级操作。 登录集群主节点并执行以下命令: cd /opt/Bigdata/patches/{MRS补丁版本号}/download/ 将补丁安装包拷贝到客户端机器/opt/目录下: scp
使用HDFS Colocation存储Hive表 操作场景 HDFS Colocation(同分布)是HDFS提供的数据分布控制功能,利用HDFS Colocation接口,可以将存在关联关系或者可能进行关联操作的数据存放在相同的存储节点上。Hive支持HDFS的Colocati
扩容MRS集群节点数据盘 随着业务增长,当集群节点的数据盘存储空间不足时,可以进行数据盘扩容操作。 本文为您介绍通过MRS控制台对数据盘进行扩容的相关操作。 当集群版本为MRS 3.1.0(须安装3.1.0.0.11及以上补丁)、MRS 3.1.5(须安装3.1.5.0.3及以上补丁)、MRS
ALM-17003 Oozie服务不可用 告警解释 系统每5秒周期性检测Oozie服务状态,当Oozie或者Oozie所依赖的组件无法正常提供服务时,系统产生此告警。 当Oozie服务恢复可用状态时,告警自动消除。 告警属性 告警ID 告警级别 是否自动清除 17003 紧急 是
ALM-45436 ClickHouse表数据倾斜 告警解释 ClickHouse各节点之间,分布式表对应的本地表中,若存在数据倾斜,系统产生此告警。当检测到数据均衡时,告警自动清除。 数据倾斜检测方法: 当参数“min_table_check_data_bytes”值为“0”时,不启用数据倾斜检查。
CarbonData常见配置参数 本章节介绍CarbonData所有配置的详细信息。 carbon.properties相关参数 根据用户实际使用场景在服务端或者客户端配置CarbonData相关参数。 服务端:登录FusionInsight Manager页面,选择“集群 > 服务
Spark Structured Streaming样例程序(Python) 功能介绍 在Spark应用中,通过使用StructuredStreaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数。 代码样例 下面代码片段仅为演示,具体代码参见:
ALM-19036 HBase关键目录数据存在坏块 告警解释 系统每5分钟周期性检测HBase服务的关键目录是否存在坏块,当检测到存在坏块时产生该告警。检查内容包括“hbase.version”文件、hbase:meta和master:store表目录。 当系统检测到HBase服务的关键目录都不存在坏块时,告警清除。
ALM-24001 Flume Agent异常 告警解释 Flume Agent监控模块对Flume Agent状态进行监控,当Flume Agent进程故障(每5秒检测一次)或Flume Agent启动失败时(即时上报告警),系统产生此告警。 当检测到Flume Agent进程故障恢复,Flume
目录下的“iotdb-client.env”文件中的配置:iotdb_ssl_enable="false"。 */ private static final String IOTDB_SSL_ENABLE = "true"; //该值为“SSL_ENABLE”参数值。
${NODE_AGENT_HOME}/bin/update-ssh-key.sh 执行上述命令时界面提示“Succeed to update ssh private key.”信息,表示ssh密钥生成成功。 执行以下命令将该节点的公钥复制到主管理节点: scp ${HOME}/.ssh/id_rsa
创建HBase索引进行数据查询 操作场景 HBase是一个Key-Value类型的分布式存储数据库,HIndex为HBase提供了按照某些列的值进行索引的能力,缩小搜索范围并缩短时延。 使用约束 列族应以“;”分隔。 列和数据类型应包含在“[]”中。 列数据类型在列名称后使用“->”指定。
Manager界面,选择“运维 > 告警 > 告警”,在告警列表中查看该告警是否清除。 是,操作结束。 否,执行7。 连接OBS失败。 检查集群和OBS网络是否连通,初始化配置。 是,执行8。 否,执行12。 登录MRS云服务管理控制台,在服务列表选择“统一身份认证服务 IAM > 委托”,在
information Receiver info: No information 是,执行2.c。 否,执行2.b。 联系运维人员查看是否为网络故障,并修复故障。 是,执行2.c。 否,执行3。 等待5分钟,查看告警列表中,该告警是否已清除。 是,处理完毕。 否,执行3。 收集故障信息。
构造继承AssignerWithPunctuatedWatermarks的类,用于设置eventTime以及waterMark private class Record2TimestampExtractor extends AssignerWithPunctuatedWatermarks[UserRecord]