检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
行用户认证。集群未启用Kerberos认证(普通模式)请跳过该步骤。 kinit hdfs 按提示输入密码,用户密码可以向MRS集群管理员获取,首次认证需要修改密码。 执行以下命令退出HDFS安全模式。 hdfs dfsadmin -safemode leave 等待5分钟,检查该告警是否恢复。
在主备模式下,由于Master1和Master2之间会进行主备切换,Master1节点不一定是主管理节点。 通过执行脚本确定主备管理节点 获取MRS集群的Master节点信息。 登录MRS管理控制台,选择“现有集群”,单击待操作集群名称,进入集群信息页面。 单击“节点管理”查看M
解压下载的用户凭证文件,得到“krb5.conf”和“user.keytab”两个文件并放入客户端目录,例如“客户端安装目录/Presto/”。 执行如下命令获取用户principal。 klist -kt 客户端安装目录/Presto/user.keytab 执行以下命令连接本集群的Presto Server:
证书文件和密钥文件可向企业证书中心申请或由集群用户生成。 对系统的影响 更换过程中Manager需要重启,此时系统无法访问且无法提供服务。 前提条件 获取需要更换的HA根证书文件“root-ca.crt”和密钥文件“root-ca.pem”。 准备一个访问密钥文件的密码password,例如
在本示例中,使用MRS集群内置的Flink WordCount作业程序,来分析OBS文件系统中保存的源数据,以统计源数据中的单词出现次数。 当然您也可以获取MRS服务样例代码工程,参考Flink开发指南开发其他Flink流作业程序。 操作流程 本实践操作流程如下所示: 步骤1:创建MRS集群:
Storm应用开发环境简介 本开发指南提供了MRS产品Storm组件基于开源Storm的Eclipse样例工程和常用接口说明,便于开发者快速熟悉Storm开发。 开发环境准备分为应用开发客户端和应用提交客户端;应用开发一般是在Windows环境下进行;应用提交一般是在Linux环境下进行。
ALM-45329 Presto Coordinator资源组排队任务超过阈值 本章节仅适用于MRS 3.1.5及之后版本。 告警解释 系统通过jmx接口查询资源组的排队任务数即QueuedQueries指标,当检测到资源组排队数大于阈值时产生该告警。 告警属性 告警ID 告警级别 可自动清除
配置HDFS Mover命令迁移数据 配置场景 Mover是一个新的数据迁移工具,工作方式与HDFS的Balancer接口工作方式类似。Mover能够基于设置的数据存储策略,将集群中的数据重新分布。 通过运行Mover,周期性地检测HDFS文件系统中用户指定的HDFS文件或目录,
3/install/MRS-Ranger-1.0.1/ranger/ranger-1.0.1-admin/ranger-admin-keystore.jks_bak 如果集群已安装Ranger,则需更新证书,更新指导如下: 从obs-patch桶中下载MRS_1.9_Patch_UpdateRangerJks_All_20210203
数据库表中的一列或多列,提供了快速随机查找和有效访问有序记录的基础。 协处理器 HBase提供的在RegionServer执行的计算逻辑的接口。协处理器分两种类型,系统协处理器可以全局导入RegionServer上的所有数据表,表协处理器即是用户可以指定一张表使用协处理器。 Block
commitTime from hudi_ro_table order by commitTime").map(k => k.getString(0)).take(50) val beginTime = commits(commits.length - 2) val incViewDF = spark
commitTime from hudi_ro_table order by commitTime").map(k => k.getString(0)).take(50) val beginTime = commits(commits.length - 2) val incViewDF = spark
100 指定获取并发操作锁的最大重试次数。该参数用于并发加载。 carbon.concurrent.lock.retry.timeout.sec 1 指定获取并发操作的锁重试之间的间隔。 carbon.lock.retries 3 指定除导入操作外其他所有操作尝试获取锁的次数。 carbon
nettyconnector.sinkserver.subnet: 10.162.0.0/16 接口说明 注册服务器接口 注册服务器用来保存NettySink的IP、端口以及并发度信息,以便NettySource连接使用。为用户提供以下接口: public interface RegisterServerHandler
testCreateTable."); } 参数说明 (1)创建表描述符 (2)创建列族描述符 (3)添加列族描述符到表描述符中 (4)获取Admin对象,Admin提供了建表、创建列族、检查表是否存在、修改表结构和列族结构以及删除表等功能。 (5)调用Admin的建表方法。 注意事项
testCreateTable."); } 解释 (1)创建表描述符。 (2)创建列族描述符。 (3)添加列族描述符到表描述符中。 (4)获取Admin对象,Admin提供了建表、创建列族、检查表是否存在、修改表结构和列族结构以及删除表等功能。 (5)调用Admin的建表方法。 注意事项
硬盘离线、硬盘坏道等故障。 处理步骤 打开FusionInsight Manager页面,选择“运维 > 告警 > 告警”,单击此告警所在行的。 从“定位信息”中获取“主机名”、“设备分区名”和“挂载目录名”。 确认“主机名”节点的“设备分区名”对应的磁盘是否在对应服务器的插槽上。 是,执行4。 否,执行5。
以root用户登录备DBService节点。 执行命令su - omm切换到omm用户。 进入“${DBSERVER_HOME}”目录,执行以下命令获取DBservice的数据目录。 cd ${DBSERVER_HOME} source .dbservice_profile echo ${DBSERVICE_DATA_DIR}
FE的查询连接端口,可以通过登录FusionInsight Manager,选择“集群 > 服务 > Doris > 配置”,查询Doris服务的“query_port”参数获取。 Doris FE实例IP地址,可以通过登录FusionInsight Manager,选择“集群 > 服务 > Doris > 实例”,查看任一FE的业务IP地址。
前提条件 MRS 2.x及之前版本,已在Master1节点准备客户端。 MRS 3.x及之后版本,已在集群内的任一节点安装了客户端,并获取此节点IP地址。 修改Kerberos管理员用户密码 如果当前为MRS 3.x及之后版本,修改此用户密码将同步修改OMS Kerberos管理员密码。