检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的100个压缩文件，压缩文件保留个数可以在Manager界面中配置。 日志归档规则： 表1 Yarn日志列表 日志类型 日志文件名 描述 运行日志 hadoop-<
本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。该配置为只用一个Flume场景，例如：Kafka Source+Memory Channel+HDFS Sink。 前提条件 已成功安装集群，包含HDFS、Kafka及Flume服务。
文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的100个压缩文件，压缩文件保留个数可以在参数配置界面中配置。 在MapReduce服务中，JobhistoryServer会定时去清理HDFS上存储的旧的日志文件
物化视图通常基于对数据表进行聚合和连接的查询结果创建。 物化视图支持“查询重写”，这是一种优化技术，即将基于原始表编写的查询语句转换为查询一个或多个物化视图语句的等效请求。如下物化视图的SQL示例： create materialized view mv.default.mv1 w
默认配置HDFS作为交换区，将exchange中间数据落盘，如果查询任务失败，将重试失败的task。建议在执行大批量查询时使用此策略，集群可以更高效的重试查询中的小颗粒任务，而不是整个查询。 本示例介绍设置“TASK”重试策略容错执行机制。 使用HetuEngine查询容错执行能力须知
(TID 208574) in 15088 ms on 10-196-115-6 (59515/153378) 因此，处理这类网络超时任务，可以减少单个Executor的核数来规避该类问题。 父主题： Spark Core
hive.ql.security.SessionStateUserGroupAuthenticator”。 执行以下命令创建Hive表。 可以在Hue WebUI中的Hive面板直接输入以下SQL创建表。 CREATE DATABASE test; CREATE TABLE IF
WebUI”后的链接进入Yarn原生页面。 根据告警“定位信息”中的任务名找到异常任务，查找并记录作业的“application ID”，是否可以在Yarn页面上查看到作业日志。 图1 作业的“application ID” 是，执行9。 否，执行10。 单击失败作业application
WebUI”后的链接进入Yarn原生页面。 根据告警“定位信息”中的任务名找到异常任务，查找并记录作业的“application ID”，是否可以在Yarn页面上查看到作业日志。 图1 作业的“application ID” 是，执行16。 否，执行18。 单击失败作业application
Kafka磁盘容量不足（2.x及以前版本） 告警解释 系统按60秒周期检测Kafka磁盘空间使用率，并把实际磁盘使用率和阈值相比较。磁盘使用率默认提供一个阈值范围。当检测到磁盘使用率高于阈值时产生该告警。 用户可通过“系统设置 > 阈值配置”修改阈值。 当Kafka磁盘使用率小于或等于阈值时，告警恢复。
hive.ql.security.SessionStateUserGroupAuthenticator”。 执行以下命令创建Hive表。 可以在Hue UI里hive面板里面直接输入以下的SQL。 图1 执行Hive SQL命令 CREATE DATABASE test; CREATE
datasource.query.type","read_optimized") .load("tablePath") 对查询性能有要求，但是可以接受一定时间的数据时延。 对于mor表来说，这种读方式性能比读实时表快很多。该读取方式不会读log数据，这些log中新增数据compact
件名规则为：“<原有日志名>.<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。默认最多保留最近的20个压缩文件，压缩文件保留个数可以在Manager界面中配置。 表1 日志介绍 日志类型 日志文件 日志描述 运行日志 connect.log CDLConnector的运行日志。
为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。默认最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置。 表1 Kafka日志列表 日志类型 日志文件名 描述 运行日志 server.log Broker进程的server运行日志。
本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。该配置为只用一个Flume场景，例如：Kafka Source+Memory Channel+HDFS Sink. 前提条件 已成功安装集群，包含HDFS、Kafka及Flume服务。
在Map阶段，有一个可选过程，将同一个key值的中间结果合并，叫做Combiner。一般将reduce类设置为Combiner即可。通过Combiner，一般情况下可以显著减少Map输出的中间结果，从而减少shuffle过程的网络带宽占用。可通过如下接口为一个任务设置Combiner类。
在Map阶段，有一个可选过程，将同一个key值的中间结果合并，叫做Combiner。一般将reduce类设置为Combiner即可。通过Combiner，一般情况下可以显著减少Map输出的中间结果，从而减少shuffle过程的网络带宽占用。可通过如下接口为一个任务设置Combiner类。
(TID 208574) in 15088 ms on 10-196-115-6 (59515/153378) 因此，处理这类网络超时任务，可以减少单个Executor的核数来规避该类问题。 父主题： Spark Core
如果设置了numrecords和jobid，jobid列表按字典顺序排列，待jobid返回后，可以得到numrecords的最大值。如果jobid没有设置， 而numrecords设置了参数值，jobid按字典顺序排列后，可以得到numrecords的最大值。相反，如果numrecords没有设置，
river端一直在进行GC，尝试回收垃圾来存放返回的数据，导致应用长时间挂起。 解决措施： 如果用户需要在OOM场景下强制将应用退出，那么可以在启动Spark Core应用时，在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的配置项“spark
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
