检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置MapReduce任务日志归档和清理机制 配置场景 执行一个MapReduce应用会产生两种类型日志文件：作业日志和任务日志。 作业日志由MRApplicationMaster产生，详细记录了作业启动时间、运行时间，每个任务启动时间、运行时间、Counter值等信息。此日志内
配置MapReduce任务日志归档和清理机制 配置场景 执行一个MapReduce应用会产生两种类型日志文件：作业日志和任务日志。 作业日志由MRApplicationMaster产生，详细记录了作业启动时间、运行时间，每个任务启动时间、运行时间、Counter值等信息。此日志内
一次，最多保留100个文件，压缩存储。 JDBCServer2x审计日志默认20MB滚动存储一次，最多保留20个文件，压缩存储。 日志大小和压缩文件保留个数可以在FusionInsight Manager界面中配置。 表1 Spark2x日志列表 日志类型 日志文件名 描述 SparkResource2x日志
一次，最多保留100个文件，压缩存储。 JDBCServer2x审计日志默认20MB滚动存储一次，最多保留20个文件，压缩存储。 日志大小和压缩文件保留个数可以在FusionInsight Manager界面中配置。 表1 Spark2x日志列表 日志类型 日志文件名 描述 SparkResource2x日志
是从外部数据源读取数据；对于数据从集群导出去的场景来说，就是将数据写入到外部数据源。上述示例配置的是一个SFTP数据源连接器。配置SFTP和FTP的数据源连接器需要设置密码并进行加密。密码加密方法如下： 执行以下命令，进入到loader-tools-1.99.3目录。Loader
总大小。 列级别统计信息包括：唯一值个数；最大值；最小值；空值个数；平均长度；最大长度；直方图。 有了统计信息后，就可以估计算子的执行代价了。常见的算子包括过滤条件Filter算子和Join算子。 直方图为列统计值的一种，可以直观的描述列数据的分布情况，将列的数据从最小值到最大值
总大小。 列级别统计信息包括：唯一值个数；最大值；最小值；空值个数；平均长度；最大长度；直方图。 有了统计信息后，就可以估计算子的执行代价了。常见的算子包括过滤条件Filter算子和Join算子。 直方图为列统计值的一种，可以直观的描述列数据的分布情况，将列的数据从最小值到最大值
ume客户端。 本章节适用于MRS 3.x之前版本。 前提条件 已创建包含Flume组件的流集群。 日志主机需要与MRS集群在相同的VPC和子网。 已获取日志主机的登录方式。 操作步骤 根据前提条件，创建一个满足要求的弹性云服务器。 登录集群详情页面，选择“组件管理”。 若集群详
Streaming对接Kafka样例程序开发思路 场景说明 假定一个广告业务，存在广告请求事件、广告展示事件、广告点击事件，广告主需要实时统计有效的广告展示和广告点击数据。 已知： 终端用户每次请求一个广告后，会生成广告请求事件，保存到kafka的adRequest topic中。 请求一个广告后
Streaming对接Kafka样例程序开发思路 场景说明 假定一个广告业务，存在广告请求事件、广告展示事件、广告点击事件，广告主需要实时统计有效的广告展示和广告点击数据。 已知： 终端用户每次请求一个广告后，会生成广告请求事件，保存到kafka的adRequest topic中。 请求一个广告后
支持presto查询结果保存成一个文件 MRS 2.1.0.6 修复问题列表： MRS Manager 解决磁盘IO利用率监控数据不准确问题 解决偶现spark作业状态未刷新问题 解决作业运行失败问题 优化补丁机制 MRS大数据组件 解决HBase异常问题 解决Hive Role绑定权限卡顿问题 MRS 2
支持presto查询结果保存成一个文件 MRS 2.1.0.6 修复问题列表： MRS Manager 解决磁盘IO利用率监控数据不准确问题 解决偶现spark作业状态未刷新问题 解决作业运行失败问题 优化补丁机制 MRS大数据组件 解决HBase异常问题 解决Hive Role绑定权限卡顿问题 MRS 2
至少需要包含大写字母、小写字母、数字、空格、特殊字符5种类型字符中的4种。支持的特殊字符为~`!?,.;-_'(){}[]/<>@#$%^&*+|\=。 不可和用户名相同或用户名的倒序字符相同。 不可以为常见的易破解密码。 不可与最近N次使用过的密码相同，N为密码策略配置中“重复使用规则”的值。 使用客户端修改密码
说明：对此规则或建议进行的解释。 示例：对此规则或建议从正、反两个方面给出。 适用范围 基于MRS-Hudi进行数据存储、数据加工作业的设计、开发、测试和维护。 该设计开发规范是基于MRS 3.3.0版本。 父主题： Hudi应用开发规范
修改完成后，单击左上方“保存”，在弹出的对话框中单击“确定”保存配置。 选择“集群 > 待操作集群的名称 > 服务 > Impala > 实例”，勾选配置状态为“配置过期”的实例，选择“更多 > 重启实例”重启受影响的Impala实例。 父主题： 使用Impala
ublicip_id”为1查询到的待解绑EIP的ID。 接口调用成功后，登录EIP管理控制台，在EIP列表中可查看到当前EIP已变为未绑定状态。 登录MRS管理控制台，进入集群概览页面后，可为MRS集群重新绑定其他EIP。 父主题： 集群管理类
选填 作业并行度，例如join算子，通过-yD添加，默认值为1。 根据实际情况而定 table.exec.state.ttl 必填 Flink状态ttl（join ttl），通过-yD添加，默认值为0。 根据实际情况而定 Checkpoint间隔时长大于Checkpoint执行时长
创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。
主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要，规划备份的类型、周期和策略等规格，并检查主备管理节点“数据存放路径/LocalBackup/”是否有充足的空间。 如果数据要备份至NAS中，需要提前部署好NAS服务端。 如果数据要备份至OBS中，需要
主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要，规划备份的类型、周期和策略等规格，并检查主备管理节点“数据存放路径/LocalBackup/”是否有充足的空间。 如果数据要备份至NAS中，需要提前部署好NAS服务端。 如果数据要备份至OBS中，需要
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
