检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OCC特性的限制，当前不建议多流并发写Hudi表。 如果需要多流同时写请将所有流union后写入Hudi。 适合批读获取结果。 开启聚合引擎 建表属性中指定hoodie.merge-engine=aggregate开启hudi表的聚合引擎功能。开启聚合引擎后，每个非主键字段都可以被赋予一个聚合函数，通过字段的fields
minMemory 内存自动调整下限，如果调整后的内存不大于该值，仍保持"yarn.app.mapreduce.am.resource.mb"的配置 不能为空且大于零，且不大于maxMemory的设定值 单位：MB maxMemory 内存自动调整上限，如果调整后的内存超过该值，则使用该值作为最终调整值
的平台类型后（x86选择x86_64，ARM选择aarch64），单击“确定”，等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如，客户端配置文件压缩包为“FusionInsight_Cluster_1_Services_Client.tar”，解压后得到“Fus
Flink > 配置 > 全部配置”，搜索参数“ClearUpEnabled”并将值设置为“true”开启目录残留清理功能，相关参数详情请见表1。 表1 FlinkServer目录残留清理参数 参数 描述 默认值 取值范围 ClearUpEnabled FlinkServer是否开启目录残留清理功能。
规划好新的目录路径，用于保存旧目录中的数据。 准备好MRS集群管理员用户admin。 操作步骤 检查环境。 登录Manager，选择“集群 > 待操作集群的名称 > 服务”查看Yarn的状态“运行状态”是否为“良好”。 是，执行1.c。 否，Yarn状态不健康，执行1.b。 修复Yarn异常，任务结束。 确定修改NodeManager的存储目录场景。
FATAL表示系统运行的致命错误信息。 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别，请执行如下操作： 请参考修
在“选择导出类型”中选择删除作业类型。 “所有”：表示导出当前所有的作业。 “指定作业”：表示指定需要导出的作业。选择“指定作业”，在作业列表中勾选需要导出的作业。 “指定组别”：表示导出某个指定分组中的所有作业。选择“指定分组”，在分组列表中勾选需要导出的作业分组。 “是否导出密码”
sh 重新打开指标共享 安装完此补丁后，如果之前集群已经开启指标共享功能，需要先单击关闭指标共享，再重新开启指标共享功能。 图1 开启集群指标共享 重新打开弹性伸缩 升级完补丁后需要重新打开弹性伸缩，操作如下： 登录华为云管理控制台，在“现有集群”列表中选择对应集群，单击“弹性伸缩”。
执行以下命令升级HDFS上的zip包： sh update_hdfs_file.sh 升级完成后需要在FusionInsight Manager界面上重启Spark的JDBCServer2x实例。 重新打开指标共享 安装完此补丁后，如果之前集群已经开启指标共享功能，需要先单击关闭指标共享，再重新开启指标共享功能。
执行以下命令升级HDFS上的zip包： sh update_hdfs_file.sh 升级完成后需要在FusionInsight Manager界面上重启Spark的JDBCServer2x实例。 重新打开指标共享 安装完此补丁后，如果之前集群已经开启指标共享功能，需要先单击关闭指标共享，再重新开启指标共享功能。
数据流，是指Flink系统处理的最小数据单元。该数据单元最初由外部系统导入，可以通过socket、Kafka和文件等形式导入，在Flink系统处理后，通过Socket、Kafka和文件等输出到外部系统，这是Flink的核心概念。 Data Transformation 数据处理单元，会将
start="row_start"：表示开始行号为“row_start”。 -Dupdate.rowkey.stop="row_stop"：表示结束行号为“row_stop”。 -Dupdate.hfile.output=/user/output/：表示执行结果输出路径为“/user/output/”。
> 添加角色”。 填写角色的名称，例如mrrole。 编辑角色，在“权限”的表格中选择“Yarn > Scheduler Queue > root”，勾选“Submit”、“Admin”。 在“权限”表格中选择“HBase > HBase Scope”，勾选global的“Cre
角色管理 > 添加角色”。 填写角色的名称，例如sparkrole。 在“权限”表格中选择“HBase > HBase Scope > global”，勾选default的“Create”。 在“权限”的表格中选择“HBase > HBase Scope > global > hba
信息页面。 进入“补丁管理”页面，在操作列表中单击“安装”。 进入“警告”页面，阅读补丁说明，并单击“确定”。 图1 安装补丁 如果任务失败，选择“重试安装”，只有当“状态”显示为“已安装”时，才能进入下一步操作。 升级安装失败或者重试后仍然失败，不能直接回滚，请联系运维人员。 修改配置
FATAL表示系统运行的致命错误信息。 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示系统及各事件正常运行状态信息。 DEBUG DEBUG表示系统及系统调试信息。 如果您需要修改日志级别，请执行如下操作： 请参考修改集群服务配置参数，进入HDFS的“全部配置”页面。
start="row_start"：表示开始行号为“row_start”。 -Ddelete.rowkey.stop="row_stop"：表示结束行号为“row_stop”。 -Ddelete.hfile.output="/output/destdir/"：表示执行结果输出到“/output/destdir/”目录下。
下载客户端”，“选择客户端类型”设置为“仅配置文件”，单击“确定”，等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如，客户端配置文件压缩包为“FusionInsight_Cluster_1_Services_Client.tar”，解压后得到“FusionInsight_Cluster_1_S
权行为，详细鉴权机制如表1所示。 在安装了Ranger服务的普通模式集群中，Ranger可以支持基于OS用户进行组件资源的权限控制，支持启用Ranger鉴权的组件包括：HBase、HDFS、Hive、Spark2x、Yarn。 表1 普通模式组件鉴权一览表 服务 是否鉴权 是否支持开关鉴权
准备本地应用开发环境 在进行应用开发时，要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 Eclipse 开发环境的基本配置。版本要求：4.2或以上。 JDK JDK使用1.7或者1.8版本。 说明： 基于安全考虑，MRS集群服务端只支持TLS 1.1和TLS 1.2加密协议，IBM
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
