检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备Oozie应用开发环境 准备本地应用开发环境 导入并配置Oozie样例工程 父主题： Oozie开发指南（普通模式）
准备Flink应用开发环境 准备本地应用开发环境 导入并配置Flink样例工程 导入并配置Flink SpringBoot样例工程 父主题： Flink开发指南（普通模式）
开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark
HDFS客户端安装在数据节点导致数据分布不均衡 问题背景与现象 HDFS的DataNode数据分布不均匀，在某节点上磁盘使用率很高，甚至达到100%，其他节点空闲很多。 原因分析 客户端安装在该节点，根据HDFS数据副本机制，第一个副本会存放在本地机器，最终导致节点磁盘被占满，而其他节点空闲很多。
签名。 URI API接口的调用路径及参数。 请参考各云服务的详细接口章节获取，MRS的接口请参考API概览。 X-Domain-Id 账号ID，用途： Token认证方式下获取Token。 AK/SK认证方式下，全局服务的接口调用，需在请求消息头中配置X-Domain-Id。 X-Project-Id
登录“Loader WebUI”界面。 登录FusionInsight Manager系统，具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称，主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面
登录“Loader WebUI”界面。 登录FusionInsight Manager系统，具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称，主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面
Loader输入类算子 CSV文件输入 固定宽度文件输入 表输入 HBase输入 HTML输入 Hive输入 Spark输入 父主题： Loader算子帮助
使用可访问HetuEngine WebUI界面的用户登录FusionInsight Manager，选择“集群 > 服务 > HetuEngine”，进入HetuEngine服务页面。 在概览页签下的“基本信息”区域，单击“HSConsole WebUI”后的链接，进入HSConsole界面。
配置Flink任务进程参数 操作场景 Flink on YARN模式下，有JobManager和TaskManager两种进程。在任务调度和运行的过程中，JobManager和TaskManager承担了很大的责任。 因而JobManager和TaskManager的参数配置对F
规划IoTDB容量 IoTDB自身有多副本机制，region（schema region和data region）默认是3副本。ConfigNode上保存region和IoTDBServer的映射关系，IoTDBServer保存region数据，直接使用操作系统自身的文件系统来管理元数据和数据文件。
Loader常用参数 参数入口 参数入口，请参考修改集群服务配置参数。 参数说明 表1 Loader常用参数 配置参数 说明 默认值 范围 mapreduce.client.submit.file.replication MapReduce任务在运行时依赖的相关job文件在HDF
安装补丁 安装补丁 登录MRS管理控制台。 选择“现有集群”，选中一集群并单击集群名，进入集群基本信息页面。 进入“补丁管理”页面，在操作列表中单击“安装”。 进入“警告”页面，阅读补丁说明，并单击“确定”。 图1 安装补丁 如果任务失败，选择“重试安装”，只有当“状态”显示为“已安装”时，才能进入下一步操作。
回滚补丁 回滚补丁前检查 回滚补丁 卸载补丁后操作 父主题： MRS 3.1.0 运维通道补丁说明
启停MRS集群节点上所有角色 当主机（节点）故障异常时，用户可能需要在MRS停止主机上的所有角色，对主机进行维护检查。故障清除后，启动主机上的所有角色恢复主机业务。 操作MRS集群前提条件 如果通过MRS管理控制台操作，需要已完成IAM用户同步（在集群详情页的“概览”页签，单击“
LakeFormation概述 LakeFormation是企业级一站式湖仓构建服务，提供元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持无缝对接多种计算引擎及大数据云服务，使客户便捷高效地构建数据湖和运营相关业务，加速释放业务数据价值。 您可以
HetuEngine预留关键字 表1罗列了系统预留的关键字，以及它们在其他SQL标准中是否为预留关键字。如果需要使用这些关键字作为标识符，请加注双引号。 表1 关键字 Keyword SQL：2016 SQL-92 ALTER reserved reserved AND reserved
%以上），开启多路读可能导致磁盘处理能力不足而性能劣化。 操作步骤 登录FusionInsight Manager页面。 选择“集群 > 服务 > HDFS > 配置 > 全部配置”进入HDFS全部配置页面。 搜索“hdfs.hdfs-site.customized.config
Spark Core企业级能力增强 配置Spark HA增强高可用 配置Spark Native引擎 配置Spark事件队列大小 配置parquet表的压缩格式 使用Ranger时适配第三方JDK 配置Spark小文件自动合并 使用Spark小文件合并工具说明 配置流式读取Spark
配置Flume加密传输数据采集任务 使用多级agent串联从本地采集静态日志保存到HDFS 父主题： 使用Flume
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
