检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
alarm.job.alarm.rocksdb.background.jobs.multiplier 2 flush/compaction的请求量超过了state.backend.rocksdb.thread.num的multiplier倍数,作业将上报告警 在“作业管理”页面单击
de节点的选取,只是在每次选择节点后,如果该节点I/O负载较高,会舍弃并从其他节点中重新选取。 读文件时,Client会向NameNode请求所读Block所在的DataNode列表。NameNode会返回根据网络拓扑距离进行排序的DataNode列表。开启读取的HDFS Load
Tomcat应用名 -u,--url Sqoop服务URL option verbose 冗余模式,表示打印更多的信息 poll-timeout 设置轮询超时时间 示例: set option --name verbose --value false set server --host 10.0
范围,则会导致查询冷数据。在这种情况下,查询吞吐量会受到冷存储的限制。 冷存储中的数据常用于归档,会很少访问。如果冷存储中的数据被大量频繁请求访问,请检查冷热数据边界(COLD_BOUNDARY)配置是否正确。如果频繁查询的大量数据在冷存储中将会限制查询的性能。 如果冷存储中存储
Tomcat应用名 -u,--url Sqoop服务URL option verbose 冗余模式,表示打印更多的信息 poll-timeout 设置轮询超时时间 示例: set option --name verbose --value false set server --host 10.0
MRS集群创建失败错误码列表如表6所示。 表6 错误码 错误码 说明 MRS.101 用户请求配额不足,请联系客服提升配额。 MRS.102 用户Token为空或不合法,请稍后重试或联系客服。 MRS.103 用户请求不合法,请稍后重试或联系客服。 MRS.104 用户资源不足,请稍后重试或联系客服。
tls.ephemeralDHKeySize=2048 spark.shuffle.servicev2.port Shuffle服务监测数据获取请求的端口。 27338 spark.ssl.historyServer.enabled 配置history server是否使用SSL。 true
源连接状况”监控值分析,当规格不满足要求时,增大如上服务端参数配置值即可。 滚动重启3个节点耗时约15分钟。 Guardian 直接重启 请求Guardian失败,任务拿不到访问OBS的aksk 直接重启耗时约5分钟 滚动重启 滚动重启无影响 滚动重启10个节点耗时约10分钟 IoTDB
tls.ephemeralDHKeySize=2048 spark.shuffle.servicev2.port Shuffle服务监测数据获取请求的端口。 27338 spark.ssl.historyServer.enabled 配置history server是否使用SSL。 true
ink默认配置中不存在,用户如果开启外部连接SSL,则需要添加以下参数。开启外部连接SSL后,因为YARN目前的开源版本无法代理HTTPS请求,所以无法通过YARN代理访问Flink的原生页面,用户可以在集群的同一个VPC下,创建windows虚拟机,在该虚拟机中访问Flink 原生页面。
overwrite报错问题 解决周期清理任务清理.hive-staging时,查询数据库失败问题 解决NameNode在大量删除操作的时候会出现RPC请求处理慢的问题 解决Hive配置Redis缓存频繁访问表key导致Redis热键问题 解决磁盘写速率和磁盘读速率两个指标无法正常上报问题 解
约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。 默认取值: 不涉及 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 service_id 否 String 参数解释: 服务ID,为扩展接口,预留此参数。用户不需要配置。
查询作业所有执行记录 查询作业最近执行记录 提交作业 停止作业 Mapreduce审计日志 程序运行 启动Container请求 停止Container请求 Container结束,状态为成功 Container结束,状态为失败 Container结束,状态为中止 提交任务 结束任务
ZNode的名称,建议与Hudi表名相同。 无 hoodie.write.lock.zookeeper.connection_timeout_ms ZooKeeper连接超时时间。 15000 hoodie.write.lock.zookeeper.port ZooKeeper端口号。 无 hoodie.write
ZONE、TIME、ARRAY、MAP、STRUCT、ROW。 性能优化 元数据缓存 Hive连接器支持元数据缓存,以便更快地提供对各种操作的元数据请求。可参考调整HetuEngine元数据缓存。 动态过滤 开启动态过滤有助于Hive连接器的Join算子的计算优化。可参考调整HetuEngine动态过滤。
则参数配置请参见表3。 表3 选择器规则 配置项 必选/可选 配置说明 user 可选 匹配用户名的正则表达式。 source 可选 匹配请求源,参见选择器属性的配置中--source选项的配置值。 queryType 可选 配置任务类型: DATA_DEFINITION:更改/
约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。 默认取值: 不涉及 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 job_type 是 String 参数解释: 作业类型。 约束限制: 不涉及 取值范围:
StructuredStreamingADScalaExample 使用Structured Streaming,从kafka中读取广告请求数据、广告展示数据、广告点击数据,实时获取广告有效展示统计数据和广告有效点击统计数据,将统计结果写入kafka中。 StructuredS
使用流式计算引擎(如Flink)把实时数据写入ClickHouse,借助ClickHouse的优异查询性能,在亚秒级内响应多维度、多模式的实时查询分析请求。 离线查询场景 把规模庞大的业务数据导入到ClickHouse,构造数亿至数百亿记录规模、数百以上的维度的大宽表,随时进行个性化统计和持
StructuredStreamingADScalaExample 使用Structured Streaming,从kafka中读取广告请求数据、广告展示数据、广告点击数据,实时获取广告有效展示统计数据和广告有效点击统计数据,将统计结果写入kafka中。 StructuredS