检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本章节仅适用于MRS 3.1.2及至MRS 3.3.0版本。 告警解释 系统以用户配置的告警周期检查Checkpoint连续失败次数,如果Flink作业Checkpoint连续失败次数达到用户配置的阈值,则发送告警。当Checkpoint恢复正常,或者作业重启成功,则告警恢复。 告警属性
修改OMS数据库管理员密码 建议管理员定期修改OMS数据库管理员的密码,以提升系统运维安全性。 使用root用户登录主管理节点。 ommdba用户密码不支持在备管理节点修改,否则集群无法正常工作。只需在主管理节点执行修改操作,无需在备管理节点操作。 执行以下命令,切换用户。 sudo
Studio服务CDM组件使用,参考创建集群创建CDM集群。 关键配置如下: CDM集群的规格,按待迁移的数据量选择,一般选择“cdm.medium”即可,满足大部分迁移场景。 CDM集群所在VPC、子网、安全组,选择与MRS集群所在的网络一致。 CDM集群创建完成后,选择集群操作列的“绑定弹性IP”,CDM通过EIP访问MRS
器(BMS)混合部署,部署方式如下: Master、Core和Task节点均使用ECS部署。 Master、Core使用BMS部署,Task使用ECS部署。 Master、Core节点任意使用ECS和BMS混合部署,Task节点使用ECS部署。 节点的实例规格配置越高,数据处理分析能力越强,集群所需费用也越高。
如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装和配置IntelliJ IDEA 开发环境的基本配置。版本要求:JDK使用1.8版本,IntelliJ IDEA使用2019.1或其他兼容版本。 说明: 若使用IBM JDK,请确保IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle
x及之后版本,且在集群外客户端节点中安装Python3。 操作流程 本实践基本操作流程如下所示: 步骤1:在MRS集群外节点安装客户端 步骤2:安装Python3 步骤3:安装Jupyter Notebook 步骤4:验证Jupyter Notebook访问MRS 步骤1:在MRS集群外节点安装客户端 准
数超阈值 本章节仅适用于MRS 3.3.1及以后版本。 告警解释 系统以用户配置的告警周期检查CheckPoint连续失败次数,如果FlinkServer作业CheckPoint连续失败次数达到用户配置的阈值,则发送告警。当CheckPoint恢复正常,或者作业重启成功,则告警恢复。
show='数据表名称' 查询结果如图1所示,会打印索引列定义、覆盖列定义、TTL、预分区信息、索引状态等。 图1 索引查询结果 父主题: 配置HBase全局二级索引提升查询效率
使用Oozie调度Spark访问HBase以及Hive 前提条件 已经配置完成导入并配置Oozie样例工程的前提条件 开发环境配置 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\oozie-examples\oozienormal-examples”目录下的样例
创建Configuration 功能介绍 HBase通过加载配置文件来获取配置项,包括用户登录信息配置项。 代码样例 下面代码片段在com.huawei.bigdata.hbase.examples包中。 调用类TestMain下的init()方法会初始化Configuration对象:
Manager首页,选择“集群 > 待操作集群的名称 > 服务> Oozie > 配置”,选择“全部配置”。在搜索栏里搜索“GC_OPTS”参数,将“-Xmx”的值根据实际情况调大,并单击“保存”,单击“确定”。 Oozie的GC参数配置建议: 建议“-Xms”和“-Xmx”设置成相同的值,这样可以
gsi.cleandata.timeout(可选):表示构建索引数据前等待清空索引表超时时间,默认值为“1800”,单位为:秒。 父主题: 配置HBase全局二级索引提升查询效率
导出角色 集群 启动集群 停止集群 重启集群 滚动重启集群 重启所有过期实例 保存配置 同步集群配置 定制集群监控指标 配置监控转储 保存监控阈值 下载客户端配置 北向Syslog接口配置 北向SNMP接口配置 SNMP清除告警 SNMP添加trap目标 SNMP删除trap目标 SNMP检查告警
JDK,请确保IntelliJ IDEA中的JDK配置为Oracle JDK。 若使用Open JDK,请确保IntelliJ IDEA中的JDK配置为Open JDK。 安装Junit插件 开发环境的基本配置。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 华
值设置为1。 配置HBase本地二级索引 登录MRS控制台,在现有集群列表中单击集群名称,选择“组件管理”。 在组件列表中选择“HBase > 服务配置”,在下拉列表中将“基础配置”切换为“全部配置”,进入HBase服务参数“全部配置”界面。 在HBase全部配置界面查看相关参数。
s。 安装和配置IntelliJ IDEA 开发环境的基本配置,建议使用2019.1或其他兼容版本。 说明: 若使用IBM JDK,请确保IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle JDK,请确保IntelliJ IDEA中的JDK配置为Oracle
Manager首页,选择“集群 > 待操作集群的名称 > 服务> Oozie > 配置”,选择“全部配置”,在搜索栏里搜索“GC_OPTS”参数。将“-Xmx”的值根据实际情况调大,并单击“保存”,单击“确定”进行保存。 Oozie的GC参数配置建议: 建议“-Xms”和“-Xmx”设置成相同的值,这样
(IOException e) { LOG.error("Failed to login because ", e); return; } 初始化配置 private static void init() throws IOException { // Default load
写参数。 配置“基本配置”,填写数据源名称,选择数据源类型“Hudi”。 配置“Hudi配置”,参数配置请参考表1。 表1 Hudi配置 参数 描述 取值样例 驱动 默认为hudi。 hudi hdfs-site文件 在本地选择1获取的“hdfs-site.xml”配置文件,文件名固定。
每天零点系统检查熵值,每次检查都连续检查五次,首先检查是否启用并正确配置了rng-tools工具,如果没有配置,则继续检查当前熵值,如果五次均小于500,则上报故障告警。 当检查到真随机数方式已经配置或者伪随机数方式中配置了随机数参数或者没有配置但是五次检查中,至少有一次熵值大于等于500,则发送恢复告警。