检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
datasource.query.type","read_optimized") .load("tablePath") 对查询性能有要求，但是可以接受一定时间的数据时延。 对于mor表来说，这种读方式性能比读实时表快很多。该读取方式不会读log数据，这些log中新增数据compact
件名规则为：“<原有日志名>.<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。默认最多保留最近的20个压缩文件，压缩文件保留个数可以在Manager界面中配置。 表1 日志介绍 日志类型 日志文件 日志描述 运行日志 connect.log CDLConnector的运行日志。
为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。默认最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置。 表1 Kafka日志列表 日志类型 日志文件名 描述 运行日志 server.log Broker进程的server运行日志。
本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。该配置为只用一个Flume场景，例如：Kafka Source+Memory Channel+HDFS Sink. 前提条件 已成功安装集群，包含HDFS、Kafka及Flume服务。
在Map阶段，有一个可选过程，将同一个key值的中间结果合并，叫做Combiner。一般将reduce类设置为Combiner即可。通过Combiner，一般情况下可以显著减少Map输出的中间结果，从而减少shuffle过程的网络带宽占用。可通过如下接口为一个任务设置Combiner类。
(TID 208574) in 15088 ms on 10-196-115-6 (59515/153378) 因此，处理这类网络超时任务，可以减少单个Executor的核数来规避该类问题。 父主题： Spark Core
在Map阶段，有一个可选过程，将同一个key值的中间结果合并，叫做Combiner。一般将reduce类设置为Combiner即可。通过Combiner，一般情况下可以显著减少Map输出的中间结果，从而减少shuffle过程的网络带宽占用。可通过如下接口为一个任务设置Combiner类。
内存5GB，3个Executor。 原始CSV文件大小的最大值 200GB 17个cluster节点，每个executor 150GB，25个CPU核。Driver内存10 GB，17个Executor。 每个文件夹的CSV文件数 100个文件夹，每个文件夹10个文件，每个文件大小50MB。
xxx角色部署的节点个数必须满足：大于等于xxx个节点，小于等于xxx个节点。 按照报错提示修改请求参数 400 12000407 The xxx role must be deployed on xxx nodes. xxx角色部署的节点个数必须是：xxx个节点。 按照报错提示修改请求参数 400
备FlinkServer的配置文件没有更新，主备倒换之后，部分配置可能会丢失，会对FlinkServer的部分作业以及配置连接产生影响，但FlinkServer可以正常提供服务。 可能原因 主备FlinkServer节点间链路中断。 同步文件不存在，或者文件权限有误。 处理步骤 检查主备FlinkServer服务器间的网络是否正常。
duration，默认180s）检查作业RocksDB监控数据，如果作业RocksDB持续出现is-write-stopped，则发送告警。当作业RocksDB在同一个告警周期内不再或不连续出现is-write-stopped，则告警恢复。 告警属性 告警ID 告警级别 是否可自动清除 45648 次要 是
集群中每个DataNode实例平均保存的Blocks= HDFS Block * 3 ÷ DataNode节点数。 HDFS Block：可以登录FusionInsight Manager，选择“集群 > 服务 > HDFS”，单击“NameNode Web UI”后的“Name
在弹出的提示框中单击“知道了”，开始授权。界面提示“授权成功。”，单击“完成”，委托成功创建。 为MRS集群配置委托 配置存算分离支持在新建集群中配置委托实现，也可以通过为已有集群绑定委托实现。本示例以为已有集群配置委托为例介绍。 登录MRS控制台，在导航栏选择“现有集群”。 单击集群名称，进入集群详情页面。
密码由FusionInsight Manager统一控制，参考准备MRS应用开发用户，确保该用户具有操作IoTDB服务的角色权限。 本端域可以在Manager界面，选择“系统 > 域与互信 > 本端域 ”中查看。 package com.huawei.bigdata.iotdb;
文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的100个压缩文件，压缩文件保留个数可以在参数配置界面中配置。 在MapReduce服务中，JobhistoryServer会定时去清理HDFS上存储的旧的日志文件
(TID 208574) in 15088 ms on 10-196-115-6 (59515/153378) 因此，处理这类网络超时任务，可以减少单个Executor的核数来规避该类问题。 父主题： Spark Core
物化视图通常基于对数据表进行聚合和连接的查询结果创建。 物化视图支持“查询重写”，这是一种优化技术，即将基于原始表编写的查询语句转换为查询一个或多个物化视图语句的等效请求。如下物化视图的SQL示例： create materialized view mv.default.mv1 w
默认配置HDFS作为交换区，将exchange中间数据落盘，如果查询任务失败，将重试失败的task。建议在执行大批量查询时使用此策略，集群可以更高效的重试查询中的小颗粒任务，而不是整个查询。 本示例介绍设置“TASK”重试策略容错执行机制。 使用HetuEngine查询容错执行能力须知
文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的100个压缩文件，压缩文件保留个数可以在参数配置界面中配置。 在MapReduce服务中，JobhistoryServer会定时去清理HDFS上存储的旧的日志文件
文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的100个压缩文件，压缩文件保留个数可以在Manager界面中配置。 日志归档规则： 表1 Yarn日志列表 日志类型 日志文件名 描述 运行日志 hadoop-<
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
