检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备本地应用开发环境 在进行应用开发时，要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 Eclipse 开发环境的基本配置。版本要求：4.2或以上。 JDK JDK使用1.7或者1.8版本。 说明： 基于安全考虑，MRS集群服务端只支持TLS 1.1和TLS 1.2加密协议，IBM
执行以下命令升级HDFS上的zip包： sh update_hdfs_file.sh 升级完成后需要在FusionInsight Manager界面上重启Spark的JDBCServer2x实例。 重新打开指标共享 安装完此补丁后，如果之前集群已经开启指标共享功能，需要先单击关闭指标共享，再重新开启指标共享功能。
执行以下命令升级HDFS上的zip包： sh update_hdfs_file.sh 升级完成后需要在FusionInsight Manager界面上重启Spark的JDBCServer2x实例。 重新打开指标共享 安装完此补丁后，如果之前集群已经开启指标共享功能，需要先单击关闭指标共享，再重新开启指标共享功能。
Loader中提供了如表2所示的日志级别，日志级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG，程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。 表2 日志级别 级别 描述 ERROR ERROR表示错误日志输出。 WARN WARN表示当前事件处理存在异常信息。
志文件大小可进行配置），会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd>.[编号].log.zip”。最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置 表1 JobGateway日志列表 日志类型 日志文件名 描述 jobserver运行日志
update_hdfs_file.sh 升级完成后需要在FusionInsight Manager界面上重启Spark的JDBCServer2x实例。 创建Doris自定义函数 如果安装补丁前，删除了Doris的自定义函数，安装完补丁后，需要重新创建，安装前没有做此操作，则跳过。 使用create
下载客户端”），“选择客户端类型”设置为“仅配置文件”，单击“确定”，等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如，客户端配置文件压缩包为“FusionInsight_Cluster_1_Services_Client.tar”，解压后得到“FusionInsight_Cluster_1_S
填写角色的名称，例如flinkrole。 在“权限”的表格中选择“HDFS > File System > hdfs://hacluster/”，勾选“Read”、“Write”和“Execute”，单击“权限”表格中“服务”返回。 在“权限”的表格中选择“Yarn > Scheduler Queue
acks -1 Producer需要Leader确认消息是否已经接收并认为已经处理完成。 acks=-1需要表示等待在ISR列表的副本都确认接收到消息并处理完成才表示消息成功。配合min.insync.replicas可以确保多副本写入成功，只要有一个副本保持活跃状态，记录将不会丢失。
Loader中提供了如表2所示的日志级别，日志级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG，程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。 表2 日志级别 级别 描述 ERROR ERROR表示错误日志输出。 WARN WARN表示当前事件处理存在异常信息。
对应该账号的keytab文件和krb5文件。 用户可登录FusionInsight Manager，单击“系统 > 权限 > 域和互信”，查看“本端域”参数，即为当前系统域名。 “zookeeper/hadoop.<系统域名>”为用户名，用户的用户名所包含的系统域名所有字母为小写
minMemory 内存自动调整下限，若调整后的内存不大于该值，仍保持“yarn.app.mapreduce.am.resource.mb”的配置。 不能为空且大于零，且不大于maxMemory的设定值。 单位：MB maxMemory 内存自动调整上限，若调整后的内存超过该值，则使用该值作为最终调整值。
Flink > 配置 > 全部配置”，搜索参数“ClearUpEnabled”并将值设置为“true”开启目录残留清理功能，相关参数详情请见表1。 表1 FlinkServer目录残留清理参数 参数 描述 默认值 取值范围 ClearUpEnabled FlinkServer是否开启目录残留清理功能。
start="row_start"：表示开始行号为“row_start”。 -Dupdate.rowkey.stop="row_stop"：表示结束行号为“row_stop”。 -Dupdate.hfile.output=/user/output/：表示执行结果输出路径为“/user/output/”。
填写角色的名称，例如developrole，单击“确定”保存角色。 在“配置资源权限”的表格中选择“待操作集群的名称 > ClickHouse > Clickhouse Scope”，勾选对应数据库的创建权限。单击对应的数据库名称，根据不同任务场景，勾选对应表的“读”、“写”权限，单击“确定”保存。 单击“系统 >
start="row_start"：表示开始行号为“row_start”。 -Ddelete.rowkey.stop="row_stop"：表示结束行号为“row_stop”。 -Ddelete.hfile.output="/output/destdir/"：表示执行结果输出到“/output/destdir/”目录下。
用户名：表示需要控制资源调度的用户，请输入当前集群中已存在用户的名称。 最大运行任务数：表示该用户在当前集群中能运行的最大任务数量。 最大挂起任务数：表示该用户在当前集群中能挂起的最大任务数量。 默认队列：表示用户的队列，请输入当前集群中已存在队列的名称。 修改策略 在FusionInsight Manager，单击“租户资源”。
成Guardian对接OBS后，MapReduce服务还需参考本章节新增自定义配置。 Mapreduce对接OBS 登录FusionInsight Manager，选择“集群 > 服务 > MapReduce > 配置 > 全部配置”，在左侧的导航列表中选择“Mapreduce >
修改该参数不需要重启即可生效。 参数取值范围为0~1，表示可用于ClickHouse的服务器的总物理RAM量的比例。如服务器物理内存为10G，该值设置为0.9，则ClickHouse服务在当前服务器上可用内存为10G* 0.9 = 9G，如果参数设置为0，则表示不限制，那么ClickHouse服务
角色管理 > 添加角色”。 填写角色的名称，例如sparkrole。 在“权限”表格中选择“HBase > HBase Scope > global”，勾选default的“Create”。 在“权限”的表格中选择“HBase > HBase Scope > global > hba
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
