检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink Client CLI介绍 常用CLI Flink常用的CLI如下所示: yarn-session.sh 可以使用yarn-session.sh启动一个常驻的Flink集群,接受来自客户端提交的任务。启动一个有3个TaskManager实例的Flink集群示例如下: bin/yarn-session
ALM-13002 ZooKeeper直接内存使用率超过阈值 告警解释 系统每30秒周期性检测ZooKeeper服务直接内存使用状态,当检测到ZooKeeper实例直接内存使用率超出阈值(最大内存的80%)时产生该告警。 平滑次数为1,ZooKeeper直接内存使用率小于阈值时,
ALM-18015 JobHistoryServer直接内存使用率超过阈值 告警解释 系统每30秒周期性检测MapReduce服务直接内存使用状态,当检测到JobHistoryServer实例直接内存使用率超出阈值(最大内存的90%,默认阈值)时,产生该告警。 直接内存使用率小于阈值时,告警恢复。
调测Hive Python样例程序 Python样例工程的命令行形式运行 赋予“python-examples”文件夹中脚本的可执行权限。在命令行终端执行以下命令: chmod +x python-examples -R。 在python-examples/pyCLI_sec.p
完整迁移Storm业务 操作场景 该任务指导用户通过Storm业务完整迁移的方式转换并运行完整的由Storm API开发的Storm拓扑。 操作步骤 打开Storm业务工程,修改工程的pom文件,增加“flink-storm” 、“flink-core”和“flink-streaming-java_2
准备本地应用开发环境 在进行应用开发时,要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 Eclipse 开发环境的基本配置。版本要求:4.2或以上。 JDK JDK使用1.7或者1.8版本。 说明: 基于安全考虑,MRS集群服务端只支持TLS 1.1和TLS 1.2加密协议,IBM
使用Hue提交Oozie Java作业 操作场景 该任务指导用户通过Hue界面提交Java类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“Java 程序”按钮,将其拖到操作区中。 在弹出的“Java program”窗口中配置“Jar
ALM-50224 BE上执行的各类任务中是否存在某种类型的任务失败次数有增长趋势 告警解释 系统每30秒周期性检查BE上执行的各类任务中是否存在某种类型的任务失败次数有增长趋势,当检查到该值不等于1(1表示没有增长趋势,0表示有增长趋势)时产生该告警。 当系统检测到BE上执行的
后执行5。 以root用户登录告警节点,执行df -h命令,查看输出内容是否包含“磁盘名”字段的值,用户密码为安装前用户自定义,请咨询系统管理员。 是,执行7。 否,执行6。 执行lsblk命令,是否可以查到“磁盘名”字段值与磁盘设备的映射关系。 是,执行7。 否,执行22。 以
ALM-45738 TokenServer直接内存使用率超过阈值 本章节仅适用于MRS 3.1.5及之后版本。 告警解释 系统每60秒周期性检测TokenServer服务直接内存使用状态,当连续5次检测到TokenServer实例直接内存使用率超出阈值(最大内存的80%)时,产生该告警。
ALM-45739 TokenServer非堆内存使用率超过阈值 本章节仅适用于MRS 3.1.5及之后版本。 告警解释 系统每60秒周期性检测TokenServer服务非堆内存使用状态,当连续5次检测到TokenServer实例非堆内存使用率超出阈值(最大内存的80%)时产生该告警。
rollback_package.sh 回退手动的操作 不涉及。 补丁卸载完成后重新打开弹性伸缩 如果卸载补丁前关闭了弹性伸缩,请卸载完成后重新打开。 登录华为云MRS管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”页签。 请开启卸载前关闭的弹性策略。 父主题: 回滚补丁
HCatalog建立在Hive Metastore之上,具有Hive的DDL能力。从另外一种意义上说,HCatalog还是Hadoop的表和存储管理层,它使用户能够通过使用不同的数据处理工具(比如MapReduce),更轻松地在网格上读写HDFS上的数据,HCatalog还能为这些数据
StarRocks兼容MySQL协议,支持标准SQL语法,用户可通过各类MySQL客户端和常用BI工具对接。 FE StarRocks的前端节点,主要负责管理元数据、管理客户端连接、进行查询规划、查询调度等工作。 BE StarRocks的后端节点,主要负责数据存储和SQL计算等工作。 Leader
MRS 1.8.10.6补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.8.10.6 发布时间 2020-05-20 解决的问题 MRS 1.8.10.6 修复问题列表: MRS Manager MRS Manager支持包周期集群指定节点缩容 MRS 1.8.10
开启Kafka高可靠功能 操作场景 如果需执行表1中的CDL数据同步任务时,需开启Kafka高可靠性功能,防止当Kafka发生故障或者Kafka重启时传输的数据丢失。 表1 使用MRS Kafka同步数据的CDL任务 数据源 目的端 描述 MySQL Hudi 该任务支持从MySQL同步数据到Hudi。
FlinkSQL Kafka表开发规则 Kafka作为sink表时必须指定“topic”配置项 【示例】向Kafka的“test_sink”主题插入一条消息: CREATE TABLE KafkaSink( `user_id` VARCHAR, `user_name`
ALM-47003 MemArtsCC Worker进程内存使用超过阈值 本章节仅适用于MRS 3.5.0及之后版本。 告警解释 系统每30秒周期性检查MemArtsCC组件的CCWorker进程内存,当检查到超过最大限制时触发该告警。 当检测到CCWorker进程内存使用率低于阈值时,告警恢复。
Flume向Spark Streaming提交作业后报类找不到错误 用户问题 Flume向Spark Streaming提交作业,提交到集群后报类找不到的错误。 问题现象 Spark Streaming代码打成jar包提交到集群后报类找不到错误,通过以下两种方式依然不生效。 在提交Spark作业的时候使用--jars
ClickHouse应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 ClickHouse应用程序开发流程 表1 ClickHouse应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解ClickHouse的基本概念。 基本概念 准备开发和运行环境