检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群节点组名称。 节点类型 节点组对应的节点类型,可参考MRS集群节点类型说明。 单击节点组名称前方的,显示该节点组包含的节点,单击节点名称,使用创建集群时配置的密码或者密钥对远程登录弹性云服务器。节点参数说明请参见查看MRS集群组件监控指标。 节点数 对应节点组中包含的节点数量。 付费类型
e WebUI页面。 admin用户默认不具备其他组件的管理权限,如果访问组件原生界面时出现因权限不足而打不开页面或内容显示不全时,可手动创建具备对应组件管理权限的用户进行登录。 在浏览器地址栏的URL地址后追加“/servicehealth”重新访问,“statusCode”对
Sync操作延迟-所有实例”监控值是否超过500ms。 是,执行21。 否,执行22。 单击“实例”,勾选上报告警的RegionServer实例,选择“更多 > 重启实例”,可快速恢复,还需执行22联系运维人员排查可能存在问题的磁盘。 在RegionServer重启期间, 客户端的请求会进行多次失败重试,短暂影响业务读写。
Sync操作延迟-所有实例”监控值是否超过500ms。 是,执行21。 否,执行22。 单击“实例”,勾选上报告警的RegionServer实例,选择“更多 > 重启实例”,可快速恢复,还需执行22联系运维人员排查可能存在问题的磁盘。 在RegionServer重启期间, 客户端的请求会进行多次失败重试,短暂影响业务读写。
确认本地环境网络正常。 打开浏览器访问:华为提供开源镜像站(网址为https://mirrors.huaweicloud.com/),查看网站是否能正常访问。如果访问异常,请先开通本地网络。 确认当前开发工具是否开启代理。下载jar包前需要确保开发工具代理关闭。 比如以2020.2版本的IntelliJ
考配置Flume加密传输数据采集任务。 前提条件 已安装Flume客户端。 已成功安装集群,包含HDFS、Kafka及Flume服务。 已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 确保集群网络环境安全。 操作步骤 在FusionInsight Manager管理界面,选择“系统
QL中进行数据加工,将加工后的数据实时写入Doris中。 图3 实时数据加载 场景特点: 业务特点为实时流式数据,需要针对实时流式数据进行快速的统计查询。 前端业务库系统实时同步到后端分析系统,在后端分析系统进行实时OLAP分析。 数据加载方式: 前端数据统一接入Kafka中,Kafka作为实时数据加工的唯一数据源。
Kafka默认用户组信息表所示。 用户组名 描述 kafkaadmin Kafka管理员用户组。添加入本组的用户,拥有所有Topic的创建,删除,授权及读写权限。 kafkasuperuser 添加入本组的用户,拥有所有Topic的读写权限。 kafka Kafka普通用户组
考配置Flume加密传输数据采集任务。 前提条件 已安装Flume客户端。 已成功安装集群,包含HDFS、Kafka及Flume服务。 已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 确保集群网络环境安全。 操作步骤 在FusionInsight Manager管理界面,选择“系统
SERT,当初始化数据集时建议使用BULK_INSERT。 批量写入Hudi表 引入Hudi包生成测试数据,参考使用Spark Shell创建Hudi表章节的2到4。 写入Hudi表,写入命令中加入参数:option("hoodie.datasource.write.operation"
当前客户端的安装用户或者其他拥有更大权限的用户进行授权(将loader客户端的安装目录赋予“755”权限),请用户关注授权后的安全问题。 创建访问Loader服务的用户,如果是“机机”用户需要下载keytab文件。 操作步骤 配置Loader shell客户端。 使用安装客户端的用户登录客户端所在节点。
当前客户端的安装用户或者其他拥有更大权限的用户进行授权(将loader客户端的安装目录赋予“755”权限),请用户关注授权后的安全问题。 创建访问Loader服务的用户,如果是“机机”用户需要下载keytab文件。 操作步骤 配置Loader shell客户端。 使用安装客户端的用户登录客户端所在节点。
nal=false,则删除Hetu-HBase表的同时,会删除HBase数据源上的表。 HBase数据类型映射 HBase是基于字节的分布式存储系统,它将所有数据类型存储为字节数组。要在HetuEngine中表示HBase数据,需要先在HetuEngine中通过创建映射表的方式为
伸缩、如何为已有集群新增弹性伸缩策略。 因不同版本操作界面可能存在差异,相关视频供参考,具体以实际环境为准。 添加Task节点 MRS集群创建成功之后,如果需要规划Task类型的节点组进行弹性伸缩,可通过手动添加节点组的方式进行配置。 “自定义”类型集群添加Task节点操作步骤:
问权限策略。 表1 Kafka默认用户组 用户组名称 描述 kafkaadmin Kafka管理员用户组。添加入本组的用户,拥有所有主题的创建,删除,授权及读写权限。 kafkasuperuser Kafka高级用户组。添加入本组的用户,拥有所有主题的读写权限。 kafka Ka
之间的范围等于未绑定的前导和未绑定的后续之间的范围。 例如:下面的查询将salary表中的信息按照每个部门员工工资的大小进行排序。 --创建数据表并插入数据 create table salary (dept varchar, userid varchar, sal double);
权限。 自研超级调度器Superior Scheduler原理 Superior Scheduler是一个专门为Hadoop YARN分布式资源管理系统设计的调度引擎,是针对企业客户融合资源池,多租户的业务诉求而设计的高性能企业级调度器。 Superior Scheduler可实现开源调度器、Fair
运行集群利用率监控工具。 -Dmapreduce.job.hdfs-servers 如果对接了OBS,而服务端依然使用HDFS,那么需要显式在命令行使用该参数指定HDFS的地址。格式为hdfs://{NAMESERVICE}。其中{NAMESERVICE}为hdfs nameservice名称。
运行集群利用率监控工具。 -Dmapreduce.job.hdfs-servers 如果对接了OBS,而服务端依然使用HDFS,那么需要显式在命令行使用该参数指定HDFS的地址。格式为hdfs://{NAMESERVICE}。其中{NAMESERVICE}为hdfs nameservice名称。
运行集群利用率监控工具。 -Dmapreduce.job.hdfs-servers 如果对接了OBS,而服务端依然使用HDFS,那么需要显式在命令行使用该参数指定HDFS的地址。格式为hdfs://{NAMESERVICE}。其中{NAMESERVICE}为hdfs nameservice名称。