检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
个任务中再次使用HDFS_DELEGATION_TOKEN，缓存中将会找不到HDFS_DELEGATION_TOKEN。 为了能够在随后的工作中再次使用同一个Token，为MapReduce任务配置参数。当参数为false时，用户能够再次使用同一个Token。 jobConf.s
使用Loader导出数据 操作场景 该任务指导用户完成将数据从MRS导出到外部的数据源的工作。 一般情况下，用户可以手工在Loader界面管理数据导入导出作业。当用户需要通过shell脚本来更新与运行Loader作业时，必须对已安装的Loader客户端进行配置。 前提条件 创建或获
/sqoop/ 该目录下需关注文件如表1所示。 表1 文件说明 文件名称 描述 job.properties 工作流的参数变量定义文件。 workflow.xml 工作流的规则定制文件。 执行以下命令，编辑“job.properties”文件。 vi job.properties
/sqoop/ 该目录下需关注文件如表1所示。 表1 文件说明 文件名称 描述 job.properties 工作流的参数变量定义文件。 workflow.xml 工作流的规则定制文件。 执行以下命令，编辑“job.properties”文件。 vi job.properties
个任务中再次使用HDFS_DELEGATION_TOKEN，缓存中将会找不到HDFS_DELEGATION_TOKEN。 为了能够在随后的工作中再次使用同一个Token，为MapReduce任务配置参数。当参数为false时，用户能够再次使用同一个Token。 jobConf.s
另外一张表进行查询，连接条件匹配上的进行UPDATE或DELETE，无法匹配的执行INSERT。这个语法仅需要一次全表扫描就完成了全部同步工作，执行效率要高于INSERT＋UPDATE。 命令格式 MERGE INTO tableIdentifier AS target_alias
在Oozie的“概览”界面，选择右上角“更多 > 重启服务”，重启Oozie服务。 创建工作流，请参考使用Hue创建工作流。 添加互信操作，请参考配置Oozie节点间用户互信。 在工作流编辑页面，选择“Ssh”按钮，将其拖到操作区中。 在弹出的“Ssh”窗口中配置以下参数并单击“添加”。
在Oozie的“概览”界面，选择右上角“更多 > 重启服务”，重启Oozie服务。 创建工作流，请参考使用Hue创建工作流。 添加互信操作，请参考配置Oozie节点间用户互信。 在工作流编辑页面，选择“Ssh”按钮，将其拖到操作区中。 在弹出的“Ssh”窗口中配置以下参数并单击“添加”。
配置数据操作的MapReduce任务中同时启动的Map数量。不可与“Map数据块大小”同时配置。参数值必须小于或等于3000。 - Map数据块大小 配置数据操作的MapReduce任务中启动map所处理的数据大小，单位为MB。参数值必须大于或等于100，建议配置值为1000。不可与“Map数”同时配置。当使用关
如何配置Flume定制脚本 Flume支持定制脚本，支持在传输前或者传输后执行指定的脚本，用于执行准备工作。 本章节适用于MRS 3.x及之后版本。 未安装Flume客户端 获取软件包。 登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 >
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 当Ranger服务不可用时，Ranger无法正常工作，Ranger原生UI无法访问。 可能原因 Ranger服务所依赖内部服务DBService故障。 RangerAdmin角色实例异常。 处理步骤
样例目录下需关注文件如表2所示。 表2 文件说明 文件名称 描述 job.properties 工作流的参数变量定义文件。 workflow.xml 工作流的规则定制文件。 lib 工作流运行依赖的jar包目录。 coordinator.xml “cron”目录下存在，定时任务配置文件，用于设置定时策略。
distcp/ 该目录下需关注文件如表1所示。 表1 文件说明 文件名称 描述 job.properties 工作流的参数变量定义文件。 workflow.xml 工作流的规则定制文件。 执行以下命令，编辑“job.properties”文件。 vi job.properties
样例目录下需关注文件如表2所示。 表2 文件说明 文件名称 描述 job.properties 工作流的参数变量定义文件。 workflow.xml 工作流的规则定制文件。 lib 工作流运行依赖的jar包目录。 coordinator.xml “cron”目录下存在，定时任务配置文件，用于设置定时策略。
distcp/ 该目录下需关注文件如表1所示。 表1 文件说明 文件名称 描述 job.properties 工作流的参数变量定义文件。 workflow.xml 工作流的规则定制文件。 执行以下命令，编辑“job.properties”文件。 vi job.properties
-split-by<column-name> 表的列名，用来切分工作单元，一般后面跟主键ID。 -table <table-name> 关系数据库表名，数据从该表中获取。 -target-dir <dir> 指定hdfs路径。 -warehouse-dir <dir> 与-target-dir不能同时使用，
登录Manager，在“集群”下拉列表中单击需要操作的集群名称，选择“更多 > 下载客户端”，弹出“下载集群客户端”信息提示框。 选择“完整客户端”，选择与待安装节点架构相匹配的平台类型，勾选“仅保存到如下路径”，单击“确定”开始生成客户端文件。 文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。
如何配置Flume定制脚本 Flume支持定制脚本，支持在传输前或者传输后执行指定的脚本，用于执行准备工作。 未安装Flume客户端场景 获取软件包。 登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > Flume”进入Flume服务界面，在右上角选择“更多
API提交MapReduce作业和查询作业状态，代码示例只涉及了MapReduce作业，其他作业的API调用代码是一样的，只是job配置“job.properties”与工作流配置文件“workflow.xml”不一样。 完成导入并配置Oozie样例工程操作后即可执行通过Java API提交MapReduce作业和查询作业状态。
增加Broker的存储目录时，MRS集群管理员需要在FusionInsight Manager中修改Broker的存储目录，以保证Kafka正常工作，新创建的主题分区将在分区最少的目录中生成。适用于以下场景： 由于Kafka不感知磁盘容量，建议各Broker实例配置的磁盘个数和容量保持一致。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
