检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
相关任务 单击拓扑名称,可查看指定拓扑的详细信息、拓扑状态、Spouts信息、Bolts信息和拓扑配置。 在“Topology actions”区域,用户可以对拓扑执行激活、去激活、重部署、删除操作、调试、停止调试和修改日志级别,即“Activate”、“Deactivate”、“R
重置MRS集群组件数据库用户密码 MRS集群中组件连接DBService数据库的用户默认密码为随机密码,建议管理员定期重置组件数据库用户的密码,以提升系统运维安全性。 该章节仅适用于MRS 3.1.2及之后版本。MRS 3.1.2之前版本请参考修改MRS集群组件数据库用户密码章节。
修改MRS集群组件数据库用户密码 该任务指导用户定期修改组件数据库用户的密码,以提升系统运维安全性。 对系统的影响 修改密码需要重启服务,服务在重启时无法访问。 修改MRS集群组件数据库用户密码(MRS 3.1.0版本) 该操作仅适用于MRS 3.1.0版本,MRS 3.1.0之
} [1]userdir获取的是编译后资源路径下conf目录的路径。 前提条件 已获取样例工程运行所需的配置文件及认证文件,详细操作请参见准备连接HBase集群配置文件。 配置安全登录 请根据实际情况,在“com.huawei.bigdata.hbase.examples”包的“
单击“NameNode(xx,备)”,单击“实例配置”,获取配置项“dfs.namenode.name.dir”的值,该值即为备NameNode的FsImage存储目录。 以root或omm用户登录备NameNode节点,用户密码为安装前用户自定义,请咨询系统管理员。 进入到FsI
GlobalTableIndexer -Dtablename.to.show='table' 如图2所示,idx1的索引状态已被修改: 图2 idx1索引状态 父主题: 配置HBase全局二级索引提升查询效率
Manager首页,选择“集群 > 服务 > Ranger > 实例 > TagSync > 实例配置”,选择“全部配置”,选择“TagSync > 系统”。将“GC_OPTS”参数中“-Xmx”的值根据实际情况调大,并保存配置。 出现此告警时,说明当前TagSync设置的堆内存无法满足当前TagSyn
> 服务 > Ranger > 实例 > PolicySync > 实例配置”,选择“全部配置”,选择“PolicySync > 系统”。将“GC_OPTS”参数中“-Xmx”的值根据实际情况调大,并保存配置。 出现此告警时,说明当前PolicySync设置的堆内存无法满足当前P
\"type\":\"string\"}]}"); return avroSchema; } } 父主题: Hudi自定义配置项样例程序
FlinkServer作业失败重启次数超阈值 适用于MRS 3.1.2及至3.2.0之间版本。 告警解释 系统以用户配置的告警周期检查FlinkServer作业重启次数,如果重启次数超过用户配置的阈值,则发送告警。当作业重启成功,则告警恢复。 告警属性 告警ID 告警级别 是否自动清除 45638
onData表中,用于分析型查询业务。 数据规划 运行样例程序前,需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”(该参数值默认为“
later. 原因分析 Hue配置过期。 MRS 2.0.1及之后版本的单Master节点集群中,Hue服务需要手动修改配置。 解决办法 Hue配置过期,重启Hue服务即可。 在MRS 2.0.1及之后版本,单Master节点的集群Hue服务需要手动修改配置。 登录Master节点。
从ogg同步数据到Hudi时,ogg Source配置的Task值与任务实际运行的Task数量不一致 现象描述 执行从ogg同步数据到Hudi的CDL任务时,源端(ThirdKafka)中指定的“tasks.max”值与任务实际运行的Task数量不一致。 例如,在CDL WebU
ALM-45638 Flink作业失败重启次数超阈值 本章节仅适用于MRS 3.2.0及以后版本。 告警解释 系统以用户配置的告警周期检查Flink作业重启次数,如果重启次数超过用户配置的阈值,则发送告警。当作业重启成功,则告警恢复。 告警属性 告警ID 告警级别 是否自动清除 45638 重要
检测Yarn内存使用情况 配置场景 针对所提交应用的内存使用无法预估的情况,可以通过修改服务端的配置项控制是否对内存使用进行检测。 若不检测内存使用,Container会占用内存直到内存溢出;若检测内存使用,当内存使用超过配置的内存大小时,相应的Container会被kill掉。 配置描述 参考
dir”配置项指定,是否可以修改该配置项来修改数据存储目录? 是否可以手动拷贝数据存储目录下的文件? 回答 “dfs.datanode.data.dir”配置项用于指定数据块在DataNode上的存储目录,在系统安装时需要指定根目录,并且可以指定多个根目录。 请谨慎修改该配置项,可以添加新的数据根目录。
检测Yarn内存使用情况 配置场景 针对所提交应用的内存使用无法预估的情况,可以通过修改服务端的配置项控制是否对内存使用进行检测。 如果不检测内存使用,Container会占用内存直到内存溢出;如果检测内存使用,当内存使用超过配置的内存大小时,相应的Container会被kill掉。 配置描述 参
FlinkSQL HBase数据表开发建议 客户端提交作业时通过with属性添加HBase配置信息 Flink客户端提交作业,如SQL client提交,在建表语句中添加如下配置: 表1 Flink作业with属性 配置 说明 'properties.hbase.rpc.protection' =
k。 安装和配置IntelliJ IDEA 开发环境的基本配置,建议使用2019.1或其他兼容版本。 说明: 若使用IBM JDK,请确保IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle JDK,请确保IntelliJ IDEA中的JDK配置为Oracle
如果当前退服DataNode节点,退服前需要进行健康检查,步骤如下。 使用客户端用户登录客户端安装节点,并切换到客户端安装目录。 如果是安全集群,需要使用hdfs用户进行权限认证。 source bigdata_env #配置客户端环境变量 kinit hdfs