检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
container的内存,虚拟内核,端口等。 Pipeline: 为适应某些场景对降低时延的需求,设计多个Job间采用Netty直接相连的方式传递数据,即分别使用NettySink用于Server端、NettySource用于Client端进行数据传输。配置项包括NettySin
补丁安装后操作 升级客户端 如果有使用自主安装的客户端(集群内、外新下载客户端),需要执行客户端升级操作。 登录集群主节点并执行以下命令: cd /opt/Bigdata/patches/{MRS补丁版本号}/download/ 将补丁安装包拷贝到客户端机器/opt/目录下: scp
补丁安装后操作 升级客户端 如果有使用自主安装的客户端(集群内、外新下载客户端),需要执行客户端升级操作。 登录集群主节点并执行以下命令: cd /opt/Bigdata/patches/{MRS补丁版本号}/download/ 将补丁安装包拷贝到客户端机器/opt/目录下: scp
创建集群时配置LakeFormation数据连接 该章节指导用户在创建MRS 3.3.0-LTS集群时配置LakeFormation数据连接,并在创建完成后配置MRS集群相关参数完成与LakeFormation的对接。 创建集群时配置LakeFormation数据连接 进入购买MRS集群页面。
计费项 MRS集群的计费项由MRS服务管理费用和IaaS基础设施资源费用(弹性云服务器、云硬盘)组成。 图1 MRS费用组成 具体内容如表1所示。 表1 MRS集群计费项 计费项 计费项说明 适用的计费模式 计费公式 MRS服务管理费用 计费因子:MRS服务管理,以核为单位计费,每个Region计费不相同。包括:
回滚补丁后操作 回退HDFS上的组件包 登录集群主节点并执行以下命令: su - omm cd /opt/Bigdata/patches/{MRS补丁版本号}/client/ source /opt/Bigdata/client/bigdata_env 所有涉及{MRS补丁版本号
MRS集群类型介绍 MRS包含了多种大数据组件,用户可基于企业大数据场景的业务场景、数据类型、可靠性要求以及资源预算等要求合理选择集群类型。 用户可以基于系统预置的集群模板快速购买一个集群,也可自行选择组件列表及高级配置特性,自定义购买集群。 表1 MRS集群类型 集群类型 场景介绍
安装补丁前准备 安装补丁前需要手动进行以下相关检查。 检查所有节点管理平面网络是否互通 登录FusionInsight Manager界面,选择“运维 > 告警 > 告警”。 查看当前集群是否存在“ALM-12089 节点间网络互通异常”或“节点故障”等告警。 是,节点间网络不互通,请联系运维人员修复。
回滚补丁后操作 回退HDFS上的组件包 登录集群主节点并执行以下命令: su - omm cd /opt/Bigdata/patches/{MRS补丁版本号}/client/ source /opt/Bigdata/client/bigdata_env 所有涉及{MRS补丁版本号
container的内存,虚拟内核,端口等。 Pipeline: 为适应某些场景对降低时延的需求,设计多个Job间采用Netty直接相连的方式传递数据,即分别使用NettySink用于Server端、NettySource用于Client端进行数据传输。配置项包括NettySin
补丁安装后操作 升级客户端 如果有使用自主安装的客户端(集群内、外新下载客户端),需要执行客户端升级操作。 操作步骤 登录集群主节点并执行以下命令: cd /opt/Bigdata/patches/{MRS补丁版本号}/download/ 将补丁安装包拷贝到客户端机器/opt/目录下:
创建集群时配置LakeFormation数据连接 该章节指导用户在创建MRS 3.3.0-LTS集群时配置LakeFormation数据连接,并在创建完成后配置MRS集群相关参数完成与LakeFormation的对接。 创建集群时配置LakeFormation数据连接 进入购买MRS集群页面。
<系统域名> 系统随机生成 Loader系统启动与Kerberos认证用户。 HTTP/<hostname> 系统随机生成 用于连接各组件的HTTP接口,<hostname>表示集群中节点主机名。 hue 系统随机生成 Hue系统启动与Kerberos认证用户,并用于访问HDFS和Hive。
制。 稀疏:表中为空(null)的列不占用存储空间。 MRS服务支持HBase组件的二级索引,支持为列值添加索引,提供使用原生的HBase接口的高性能基于列过滤查询的能力。 HBase结构 HBase集群由主备Master进程和多个RegionServer进程组成。如图1所示。 图1
启动日志。 stop.log 停止日志。 postinstall.log 安装日志。 运行日志 实例名.log 运行日志。 实例名_wsf.log 接口参数校验日志。 hdfs://hacluster/hetuserverhistory/租户/coordinator或worker/appl
安装补丁前准备 安装补丁前需要手动进行以下相关检查。 检查所有节点管理平面网络是否互通 登录FusionInsight Manager界面,选择“运维 > 告警 > 告警”。 查看当前集群是否存在“ALM-12089 节点间网络互通异常”或“节点故障”等告警。 是,节点间网络不互通,请联系运维人员修复。
补丁安装后操作 升级客户端 如果有使用自主安装的客户端(集群内、外新下载客户端),需要执行客户端升级操作。 登录集群主节点并执行以下命令: cd /opt/Bigdata/patches/{MRS补丁版本号}/download/ 将补丁安装包拷贝到客户端机器/opt/目录下: scp
未知 该服务中所有角色实例状态为“未知”。 正在恢复 后台系统正在尝试自动启动服务。 亚健康 该服务所依赖的服务状态不正常,异常服务的相关接口无法被外部调用,此时与状态不正常服务相关的上层业务会收到影响。 HBase、Hive、Spark和Loader组件可显示“亚健康”(Subhealthy)状态。
本地配置好Maven及SDK相关参数后,样例工程会自动加载相关依赖包,具体操作可参考配置并导入样例工程。 在示例程序“WordCountDemo”中,通过调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数,关键代码片段如下: ... static Properties getStreamsConfig()
绑定监测端口,该端口需未被占用。 handler org.apache.flume.source.http.JSONHandler http请求的消息解析方式,支持Json格式解析(org.apache.flume.source.http.JSONHandler)和二进制Blob块解析(org.apache