检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink常用配置参数 配置文件说明 Flink所有的配置参数都可以在客户端侧进行配置，建议用户直接修改客户端的“flink-conf.yaml”配置文件进行配置，如果通过Manager界面修改Flink服务参数，配置完成之后需要重新下载安装客户端： 配置文件路径：客户端安装路径/Flin
使用Oozie客户端提交DistCp任务 操作场景 该任务指导用户在使用Oozie客户端提交DistCp任务。 请下载使用最新版本的客户端。 前提条件 HDFS和Oozie组件安装完成且运行正常，客户端安装成功。 如果当前客户端为旧版本，需要重新下载和安装客户端。 已创建或获取访问Oozie服务的人机用户账号及密码。
增大客户端的JVM大小，防止OOM，方法如下。（1亿文件建议32G） 若执行HDFS客户端命令时，客户端程序异常退出，并且报“java.lang.OutOfMomeryError”错误。 这个问题是由于HDFS客户端运行时的所需的内存超过了HDFS客户端设置的内存上限（默认128M
增大客户端的JVM大小，防止OOM，方法如下。（1亿文件建议32G） 若执行HDFS客户端命令时，客户端程序异常退出，并且报“java.lang.OutOfMomeryError”错误。 这个问题是由于HDFS客户端运行时的所需的内存超过了HDFS客户端设置的内存上限（默认128M
0及之后版本：在主页右上方单击“下载客户端”。 下载集群客户端。 “选择客户端类型”选择“仅配置文件”，选择平台类型，单击“确定”开始生成客户端配置文件，文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client/”。 登录Manager的主管理节点。 以root用户登录任意部署Manager的节点。
创建HBase客户端连接 功能介绍 HBase通过ConnectionFactory.createConnection(configuration)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以
创建HBase客户端连接 功能介绍 HBase通过ConnectionFactory.createConnection(configuration)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以
该目录下需关注文件如表1所示。 表1 文件说明 文件名称 描述 hive-site.xml Hive任务的配置文件。 job.properties 工作流的参数变量定义文件。 script.q Hive任务的SQL脚本。 workflow.xml 工作流的规则定制文件。 执行以下命令，编辑“job
该目录下需关注文件如表1所示。 表1 文件说明 文件名称 描述 hive-site.xml Hive任务的配置文件。 job.properties 工作流的参数变量定义文件。 script.q Hive任务的SQL脚本。 workflow.xml 工作流的规则定制文件。 执行以下命令，编辑“job
“RENAME”：重命名新文件。无扩展名的文件直接增加字符串后缀，有扩展名的文件在文件名增加字符串后缀。字符串具有唯一性。 “APPEND”：在旧文件尾部合并新文件内容。合并操作只是简单的追加，不保证追加文件是否可以使用。例如文本文件可合并，压缩文件合并后可能无法使用。 “IGNORE”：保留旧文件，不复制新文件。
定时任务 客户端安装目录/Oozie/oozie-client-*/examples/apps/cron 其他任务样例中已包含HDFS任务样例。 样例目录下需关注文件如表2所示。 表2 文件说明 文件名称 描述 job.properties 工作流的参数变量定义文件。 workflow
Existing Projects into Workspace > Next >Browse”。 显示“浏览文件夹”对话框。 选择文件夹“impala-examples”。Windows下要求该文件夹的完整路径不包含空格。 单击“Finish”。 导入成功后，com.huawei.bigdata
MapReduce任务异常，临时文件未删除 用户问题 MapReduce任务异常临时文件为什么没有删除？ MR任务即MapReduce任务，关于MapReduce介绍请参考MapReduce。 问题现象 HDFS临时目录文件过多，占用内存。 原因分析 MapReduce任务提交时会将相关配置文件、jar
配置说明 Flink所有的配置参数都可以在客户端侧进行配置，建议用户直接修改客户端的“flink-conf.yaml”配置文件进行配置，如果通过Manager界面修改Flink服务参数，配置完成之后需要重新下载安装客户端： 配置文件路径：客户端安装路径/Flink/flink/conf/flink-conf
机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。（普通模式不涉及） 使用HDFS客户端 安装客户端，详细操作请参考使用MRS客户端。 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。
Manager，然后选择“服务管理”。 单击“下载客户端”。 “客户端类型”选择“仅配置文件”，“下载路径”选择“服务器端”，单击“确定”开始生成客户端配置文件，文件生成后默认保存在主管理节点“/tmp/MRS-client”。 图1 仅下载客户端的配置文件 登录MRS Manager的主管理节点。
使用Oozie客户端提交Spark2x任务 操作场景 该任务指导用户在使用Oozie客户端提交Spark2x任务。 请下载使用最新版本的客户端。 前提条件 Spark2x和Oozie组件安装完成且运行正常，客户端安装成功。 如果当前客户端为旧版本，需要重新下载和安装客户端。 已创建或
3.3.0-LTS及之后版本，在“主页”右上方选择“更多 > 下载客户端”），“选择客户端类型”设置为“仅配置文件”，单击“确定”，等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如，客户端配置文件压缩包为“FusionInsight_Cluster_1_Services_Client
FTP服务器上源文件的读取权限。如果源文件在导入后文件名要增加后缀，则该用户还需具备源文件的写入权限。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从SFTP服务器导入数据时，确保SFTP服务器输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;
使用Flink客户端（MRS 3.x及之后版本） 安装客户端。 以在集群内节点安装客户端为例： 登录Manager，在“集群”下拉列表中单击需要操作的集群名称，选择“更多 > 下载客户端”，弹出“下载集群客户端”信息提示框。 选择“完整客户端”，选择与待安装节点架构相匹配的平台类型，
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
