检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备连接集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 准备连接Kafka集群配置文件
准备连接集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 准备连接Kafka集群配置文件
不建议表中存储过多的Nullable列,可以考虑字符串使用“NA”,数值型用0作为缺省值。过多使用Nullable将消耗更多内存。 建议规划好业务所需的列,必要时可提前预置一些属性列,避免频繁的增删列。 数值类型:UInt8/UInt16/UInt32/UInt64、Int8/Int16/Int32/Int64
CDC场景下Hudi读写表需要开启Changelog CDC场景下为保障Flink计算的准确,需要在Hudi表中保留+I、+U、-U、-D。所以同一个Hudi表在写入、流读时都需要开启Changelog。 父主题: Flink on Hudi开发规范
ALM-38014 Produce请求总体时延超过阈值 告警解释 系统每30秒周期性检测Broker实例的Produce请求的总体时延,当检测到某个Broker上的Produce请求的总体时延连续10次超出阈值时产生该告警。 当Produce请求的总体时延小于或等于阈值时,告警消除。 该告警仅适用于MRS
Fetch请求在请求队列的时延超过阈值 告警解释 系统每30秒周期性检测Broker实例的Fetch请求在请求队列的时延,当检测到某个Broker上的Fetch请求在请求队列的时延连续10次超出阈值时产生该告警。 当Fetch请求在请求队列的时延小于或等于阈值时,告警清除。 该告警仅适用于MRS
使用旧插件storm-kafka时如何正确设置offset 问题 当前虽然默认推荐使用storm-kafka-client插件进行安全kafka对接,但仍然存在使用旧插件storm-kafka的用户和场景,在这种场景下如何正确指定消费的offset,避免每次重启拓扑后都从头开始消费?
新生代占整个堆空间的1/3,老年代占2/3。 开发Flink应用程序时,优化DataStream的数据分区或分组操作。 当分区导致数据倾斜时,需要考虑优化分区。 避免非并行度操作,有些对DataStream的操作会导致无法并行,例如WindowAll。 keyBy尽量不要使用String。
Manager,选择“集群 > 服务 > Flume > 配置 > 导入”,将该文件导入后再修改非加密传输的相关配置项即可。 导入配置文件时,建议配置Source/Channel/Sink的各自的个数都不要超过40个,否则可能导致界面响应时间过长。 表1 Flume角色客户端所需修改的参数列表
配置可能出现空值的字段名,需填写已生成的字段名。 string 是 无 替换值 配置替换空值的指定值。 string 是 无 数据处理规则 字段原值为null时,替换成指定的值。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“空值转换”算子,如下图: 转换后,将A和B的值输出后的结果如下:
enldap版本为2.4.39或更高时,主备LDAP节点服务自动采用SASL External机制进行数据同步,避免密码信息被非法获取。 集群中的LDAP服务默认支持SSLv3协议,可安全使用。当升级openldap版本为2.4.39或更高时,LDAP将自动使用TLS1.0以上的协议通讯,避免未知的安全风险。
properties修改阈值:修改对应channel的“channelfullcount”参数。 当Flume Channel空间被释放,且告警处理完成时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 24005 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名
ES_BY_SIZE时,该参数可以设置保留多少字节大小的归档文件,默认值5368709120字节(5G)。 hoodie.archive.file.cleaner.days.retained 当清理策略为KEEP_ARCHIVED_FILES_BY_DAYS时,该参数可以设置保留
Manager主备节点同步数据异常(2.x及以前版本) 告警解释 当备Manager无法与主Manager同步文件时,产生该告警。 当备Manager与主Manager正常同步文件时,告警恢复。 告警属性 告警ID 告警级别 可自动清除 12011 致命 是 告警参数 参数名称 参数含义
操作,编译完成后,在target目录下即可生成“JDBCExample-1.0-SNAPSHOT.jar”。 在Linux环境执行以下命令创建调测运行目录。 mkdir -p /opt/hetuclient; 上传“JDBCExample-1.0-SNAPSHOT.jar”包到L
配置可能出现空值的字段名,需填写已生成的字段名。 string 是 无 替换值 配置替换空值的指定值。 string 是 无 数据处理规则 字段原值为null时,替换成指定的值。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“空值转换”算子,如下图: 转换后,将A和B的值输出后的结果如下:
的WAL写入超时个数,当检测到某个RegionServer上的WAL写入超时个数连续10次超出阈值时产生该告警。 当RegionServer实例的WAL写入超时个数小于或等于阈值时,告警消除。 该告警仅适用于MRS 3.3.1及之后版本。 告警属性 告警ID 告警级别 是否可自动清除
Produce请求在请求队列的时延超过阈值 告警解释 系统每30秒周期性检测Broker实例的Produce请求在请求队列的时延,当检测到某个Broker上的Produce请求在请求队列的时延连续10次超出阈值时产生该告警。 当Produce请求在请求队列的时延小于或等于阈值时,告警消除。 该告警仅适用于MRS
Manager,选择“集群 > 服务 > Flume > 配置 > 导入”,将该文件导入后再修改非加密传输的相关配置项即可。 导入配置文件时,建议配置Source/Channel/Sink的各自的个数都不要超过40个,否则可能导致界面响应时间过长。 表1 Flume角色客户端所需修改的参数列表
} } LOG.info("Exiting dropTable."); } 注意事项 注[1] 只有表被disable时,才能被删除掉,所以deleteTable常与disableTable,enableTable,tableExists,isTableEna