检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
protocol", protocol)”注释掉。 当Streaming DataFrame/Dataset中有新的可用数据时,outputMode用于配置写入Streaming接收器的数据。其默认值为“append”。 object SecurityKafkaWordCount { def
Kafka运维管理 Kafka常用配置参数 Kafka日志介绍 更改Kafka Broker的存储目录 迁移Kafka节点内数据 父主题: 使用Kafka
当初始Executor为0时,为什么INSERT INTO/LOAD DATA任务分配不正确,打开的task少于可用的Executor? 为什么并行度大于待处理的block数目时,CarbonData仍需要额外的executor? 父主题: 使用CarbonData
管理Kafka Topic 查看Kafka Topic信息 修改Kafka Topic配置 增加Kafka Topic分区 管理Kafka Topic中的消息 查看Kafka数据生产消费详情 父主题: 使用Kafka
2020-08-04 解决的问题 MRS Manager 优化补丁机制 解决executor内存溢出问题 解决executor作业状态不一致问题 优化executor日志打印 MRS大数据组件 增加Hbase region处在RIT状态的时长超过阈值的告警 解决presto日志回滚问题
配置Yarn权限控制开关 手动指定运行Yarn任务的用户 配置AM失败重试次数 配置AM自动调整分配内存 配置AM作业自动保留 配置Yarn数据访问通道协议 配置自定义调度器的WebUI 配置NodeManager角色实例使用的资源 配置ResourceManager重启后自动加载Container信息
Size为1024B,因此,一个文件中的记录总数约为130K。 默认值(60000)大约是此近似值的一半。 注意: 将此值设置的太低,将产生很多误报,并且索引查找将必须扫描比其所需的更多的文件;如果将其设置的非常高,将线性增加每个数据文件的大小(每50000个条目大约4KB)。 60000
会很慢的问题? 如何处理blob.storage.directory配置/home目录时,启动yarn-session失败的问题? 为什么非static的KafkaPartitioner类对象去构造FlinkKafkaProducer010,运行时会报错? 为什么新创建的Flin
告警”,在实时告警列表中,单击此告警前的,在“定位信息”中查看角色名并确定实例的IP地址。 选择“运维 > 日志 > 下载”。 在“服务”中勾选操作集群的“IoTDB”,单击“确定”。 在“主机”勾选1查看到的主机,单击“确定”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟,单击“下载”。
replicas) Partition的副本数不要超过节点个数 Kafka中Topic的Partition的副本是为了提升数据的可靠性而存在的,同一个Partition的副本会分布在不同的节点,因此副本数不允许超过节点个数。 Consumer客户端的配置参数“fetch.message
管理Kafka Topic 查看Kafka Topic信息 修改Kafka Topic配置 增加Kafka Topic分区 管理Kafka Topic中的消息 查看Kafka数据生产消费详情 父主题: 使用Kafka
topic.replication.factor和transaction.state.log.replication.factor的值为2。 保存配置,并重启配置过期的服务或者实例。 父主题: 使用Kafka
Spark2x开源增强特性 Spark2x开源新特性说明 CarbonData基本原理 Spark跨源复杂数据的SQL查询优化 父主题: Spark2x
HDFS企业级能力增强 配置HDFS快速关闭文件功能 配置DataNode节点容量不一致时的副本放置策略 配置DataNode预留磁盘百分比 配置从NameNode支持读操作 配置NameNode黑名单功能 配置Hadoop数据传输加密 父主题: 使用HDFS
访问Spark应用获取的restful接口信息有误 为什么从Yarn Web UI页面无法跳转到Spark Web UI界面 HistoryServer缓存的应用被回收,导致此类应用页面访问时出错 加载空的part文件时,app无法显示在JobHistory的页面上 Spark2x导出带有相同字段名的表,结果导出失败
MRS 2.0.1.1补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.0.1.1 发布时间 2019-09-30 解决的问题 MRS Manager 解决反复扩缩容导致MRS Master节点executor内存溢出问题 MRS大数据组件 MRS Presto新增
配置HetuEngine物化视图改写能力 配置HetuEngine物化视图推荐能力 配置HetuEngine物化视图缓存能力 配置HetuEngine物化视图的有效期与数据刷新能力 配置HetuEngine智能物化视图能力 查看HetuEngine物化视图自动化任务 父主题: 使用HetuEngine
补丁基本信息 补丁号 MRS 2.0.1.2 发布时间 2019-09-30 解决的问题 MRS 2.0.1.2 修复问题列表: MRS Manager 解决RM执行refreshNodes超时导致的偶现扩容失败问题 MRS 2.0.1.1 修复问题列表: MRS Manager 解决反复扩缩容导致MRS
版本元数据查询 展示MRS版本列表 查询MRS集群版本可用的规格 父主题: API V2
Orders WHERE id = 10 WITH语句 WITH子句提供了一种用于更大查询而编写辅助语句的方法。这些语句通常被称为公用表表达式,表达式可以理解为仅针对某个查询而存在的临时视图。 语法: WITH <with_item_definition> [ , ... ] SELECT