检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为什么非static的KafkaPartitioner类对象去构造FlinkKafkaProducer010，运行时会报错？ 问题 Flink内核升级到1.3.0之后，当kafka调用带有非static的KafkaPartitioner类对象为参数的FlinkKafkaProdu
为什么Spark Streaming应用创建输入流，但该输入流无输出逻辑时，应用从checkpoint恢复启动失败 问题 Spark Streaming应用创建1个输入流，但该输入流无输出逻辑。应用从checkpoint恢复启动失败，报错如下： 17/04/24 10:13:57
需要更新客户端配置文件的场景。 完整客户端 选择平台类型 客户端类型必须与待安装客户端的节点架构匹配，否则客户端会安装失败。 LTS版本集群仅支持下载与Manager平台类型一致的客户端软件包。 x86_64：可以部署在X86平台的客户端软件包。 aarch64：可以部署在鲲鹏服务器的客户端软件包。
Time的聚合计算，支持对迟到数据的处理。 支持对流式数据的去除重复数据操作。 支持状态计算。 支持对流处理任务的监控。 支持批流join，流流join。 当前JOIN操作支持列表如下： 左表 右表 支持的Join类型 说明 Static Static 全部类型 即使在流处理中，不涉及流数据的join操作也能全部支持
DataNode的心跳有延迟。 解决办法 如果DataNode的数据接收器不可用，通过在Manager页面，增加HDFS参数“dfs.datanode.max.transfer.threads”的值解决。 如果没有足够的硬盘空间或者CPU，试着增加新的数据节点或确保资源是可用的（磁盘空间或CPU）。
today yesterday tomorrow now 默认只支持timestamp '*' 或者data '*'的格式，如果使用之前的语法插入数据表，会得到NULL值。 回答 在Spark客户端中执行以下命令设置“spark.sql.convert.special.datetime”参数即可兼容之前的语法。
reporter.alarm.job.alarm.rocksdb.metrics.duration，默认180s）检查作业RocksDB监控数据，如果作业RocksDB的Level0层SST文件数持续达到用户配置的阈值（state.backend.rocksdb.level0_sl
答： MRS服务暂不支持集群创建完成后手动开启和关闭Kerberos服务，如需更换Kerberos认证状态，建议重新创建MRS集群，然后进行数据迁移。 父主题： 用户认证及权限类
leader offsets” 问题背景与现象 使用SparkStreaming来消费Kafka中指定Topic的消息时，发现无法从Kafka中获取到数据。 提示如下错误： Couldn't find leader offsets。 可能原因 Kafka服务异常。 网络异常。 Kafka Topic异常。
本章节内容仅适用于MRS 3.2.1-LTS至MRS 3.3.1-LTS版本。 命令功能 用于对Hudi表的归档文件进行清理，以减少Hudi表的数据存储及读写压力。 命令格式 set hoodie.archive.file.cleaner.policy = KEEP_ARCHIVED_FILES_BY_SIZE;
切换Hive执行引擎为Tez 操作场景 Hive支持使用Tez引擎处理数据计算任务，用户在执行任务前可手动切换执行引擎为Tez。 前提条件 集群已安装Yarn服务的TimelineServer角色，且角色运行正常。 客户端切换执行引擎为Tez 安装并登录Hive客户端，具体操作请参考Hive客户端使用实践。
reporter.alarm.job.alarm.rocksdb.metrics.duration，默认180s）检查作业RocksDB监控数据，如果作业RocksDB的Get P95耗时达到用户配置的阈值（metrics.reporter.alarm.job.alarm.rocksdb
Manager 解决磁盘IO利用率监控数据不准确问题 解决偶现spark作业状态未刷新问题 解决作业运行失败问题 优化补丁机制 MRS大数据组件 解决HBase异常问题 解决Hive Role绑定权限卡顿问题 MRS 2.1.0.5 修复问题列表： MRS大数据组件 impala支持ObsFileSystem功能
Manager 解决磁盘IO利用率监控数据不准确问题 解决偶现spark作业状态未刷新问题 解决作业运行失败问题 优化补丁机制 MRS大数据组件 解决HBase异常问题 解决Hive Role绑定权限卡顿问题 MRS 2.1.0.5 修复问题列表： MRS大数据组件 impala支持ObsFileSystem功能
Manager，选择“集群 > 概览 > 更多 > 下载客户端”，“选择客户端类型”设置为“仅配置文件”，根据待安装客户端节点的节点类型选择正确的平台类型后（x86选择x86_64，ARM选择aarch64）单击“确定”，等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如
如何处理非static的KafkaPartitioner类对象构造FlinkKafkaProducer010运行时报错 问题 Flink内核升级到1.3.0之后，当Kafka调用带有非static的KafkaPartitioner类对象为参数的FlinkKafkaProducer010去构造函数时，运行时会报错。
1版本安装不成功，则需要检查环境是否有问题或是Python自身原因导致的。 客户端机器必须安装有jaydebeapi，可以通过该模块使用java的JDBC来连接数据库。 可通过如下两种方式安装： pip安装： 在客户端节点执行pip install JayDeBeApi。 运行脚本安装。 通过官方网站
Manager 解决磁盘IO利用率监控数据不准确问题 解决偶现spark作业状态未刷新问题 解决作业运行失败问题 优化补丁机制 MRS大数据组件 解决HBase异常问题 解决Hive Role绑定权限卡顿问题 MRS 2.1.0.5 修复问题列表： MRS大数据组件 impala支持ObsFileSystem功能
解决磁盘IO使用率一直不变问题 MRS大数据组件 MRS Kafka支持Kafka Consumer Lag监控 MRS Kafka支持Kafka 2181/9092进程端口监控 MRS 1.8.10.2 修复问题列表： MRS Manager 支持安装补丁不自动重启服务的能力 MRS大数据组件 MRS
Manager 解决磁盘IO利用率监控数据不准确问题 解决偶现spark作业状态未刷新问题 解决作业运行失败问题 优化补丁机制 MRS大数据组件 解决HBase异常问题 解决Hive Role绑定权限卡顿问题 MRS 2.1.0.5 修复问题列表： MRS大数据组件 impala支持ObsFileSystem功能
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
