检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果您对组件启动前后都添加了引导操作，可通过时间戳前后关系来区分两个阶段引导操作的日志。 建议您在脚本中尽量详细地打印日志，以方便查看运行结果。MRS将脚本的标准输出和错误输出都重定向到了引导操作日志目录下。 父主题： 配置MRS集群节点引导操作
若主集群的客户端安装在集群外的节点上，也需在该节点的hosts文件中配置主备集群所有机器的机器名与业务IP地址的对应关系。 主备集群间的网络带宽需要根据业务流量而定，不应少于最大的可能业务流量。 主备集群安装的MRS版本需要保持一致。 备集群规模不小于主集群规模。 使用约束 尽管容灾提供了实时的数据复制功能，但实
对系统的影响 磁盘容量不足会导致Kafka写入数据失败。 可能原因 用于存储Kafka数据的磁盘配置（如磁盘数目、磁盘大小等），无法满足当前业务数据流量，导致磁盘使用率达到上限。 数据保存时间配置过长，数据累积达到磁盘使用率上限。 业务规划不合理，导致数据分配不均，使部分磁盘达到使用率上限。
数“delete.topic.enable = true”） 支持为已有主题增加分区 支持更新现有主题的配置 可以为分区级别和主题级别度量标准启用JMX查询 父主题： 使用Kafka
点数据盘将按磁盘扩容后的容量创建。 当选择多节点扩容至目标容量，存在部分节点挂载数据盘高于目标容量时，这些数据盘将不进行扩容，也不参与订单收费。 仅支持集群节点创建时默认挂载的数据盘完整扩容，自行挂载的数据盘仅能扩容云硬盘（EVS）容量，无法扩展磁盘分区和文件系统，需参考扩展数据
持修改。 云日志服务的计费单位为日志使用量，免费额度为500MB/月，包括日志读写、日志存储和日志索引，超过免费额度后将按照日志使用量进行收费。 单击“确定”，完成日志组的创建。 在“日志管理”页面中，可以查看日志组名称、日志存储时间、创建时间、创建类型和标签（支持修改）。单击日
MAX(NAME) MIN 获取最小值。 MIN(NAME) SUM 数字求合。 SUM(X) STDDEV_POP 标准差。 STDDEV_POP( X ) STDDEV_SAMP 样板标准差。 STDDEV_SAMP( X ) NTH_VALUE 分组后的第几个值。 NTH_VALUE( name
MAX(NAME) MIN 获取最小值。 MIN(NAME) SUM 数字求合。 SUM(X) STDDEV_POP 标准差。 STDDEV_POP( X ) STDDEV_SAMP 样板标准差。 STDDEV_SAMP( X ) NTH_VALUE 分组后的第几个值。 NTH_VALUE( name
如果主集群的客户端安装在集群外的节点上，也需在该节点的hosts文件中配置主备集群所有机器的机器名与业务IP地址的对应关系。 主备集群间的网络带宽需要根据业务流量而定，不应少于最大的可能业务流量。 主备集群安装的MRS版本需要保持一致。 备集群规模不小于主集群规模。 使用约束 尽管容灾提供了实时的数据复制功能，但实
流式处理（Streaming Processing）：支持秒级延迟的流式处理，可支持多种外部数据源。 查询分析（Query Analysis）：支持标准SQL查询分析，同时提供DSL（DataFrame）， 并支持多种外部输入。 Apache Spark部件架构如图1所示。本文档重点介绍Spark、Spark
执行Balance操作时会占用DataNode的网络带宽资源，请根据业务需求在维护期间执行任务。 默认使用带宽控制为20MB/s，如果重新设置带宽流量或加大数据量，Balance操作可能会对正在运行的业务产生影响。 前提条件 已安装HDFS客户端。 配置Balance任务 使用客户端安装
执行Balance操作时会占用DataNode的网络带宽资源，请根据业务需求在维护期间执行任务。 默认使用带宽控制为20MB/s，如果重新设置带宽流量或加大数据量，Balance操作可能会对正在运行的业务产生影响。 前提条件 已安装HDFS客户端。 配置Balance任务 使用客户端安装
/taskmanagers/<taskmanagerid>/stdout 一个任务管理员的标准。 /jobmanager/log JobManager的日志信息。 /jobmanager/stdout JobManager的标准。 /jobmanager/metrics JobManager的指标。
/taskmanagers/<taskmanagerid>/stdout 一个任务管理员的标准。 /jobmanager/log JobManager的日志信息。 /jobmanager/stdout JobManager的标准。 /jobmanager/metrics JobManager的指标。
/taskmanagers/<taskmanagerid>/stdout 一个任务管理员的标准。 /jobmanager/log JobManager的日志信息。 /jobmanager/stdout JobManager的标准。 /jobmanager/metrics JobManager的指标。
zip”。最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置。 表1 Hive日志列表 日志类型 日志文件名 描述 运行日志 /fe/fe.out 标准/错误输出的日志（stdout和stderr） /fe/fe.log 主日志，包括除fe.out外的所有内容 /fe/fe.warn.log
/taskmanagers/<taskmanagerid>/stdout 一个任务管理员的标准。 /jobmanager/log JobManager的日志信息。 /jobmanager/stdout JobManager的标准。 /jobmanager/metrics JobManager的指标。
在第二个输入框输入正则表达式，支持标准正则表达式。例如要筛选父目录中所有的文件或子目录，输入“([\s\S]*?)”。例如要筛选命名规则为字母数字组合的文件，如file1可输入“file\d*”。 在第二个输入框输入正则表达式，支持标准正则表达式。例如要筛选包含“test”的对象，请输入“
network.memory.buffers-per-channel 每个传出/传入通道（子分区/输入通道）使用的最大网络缓冲区数。在基于信用的流量控制模式下，这表示每个输入通道中有多少信用。它应配置至少2以获得良好的性能。1个缓冲区用于接收子分区中的飞行中数据，1个缓冲区用于并行序列化。
nct聚合函数时执行查询语法报错的问题。 解决DataArts Studio API方式连接Spark SQL查询遇到特殊字符,比如换行时标准的解析会自动换行的问题。 解决Yarn监控图缺失问题。 解决使用Sqoop将MySQL数据导入到Hive中失败的问题。 解决Yarn配置本
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
