检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上（文件上传的路径需要和生成的jar包路径一致）。
Boolean 参数解释： 自定义自动化脚本是否只运行在主Master节点上。 约束限制： 不涉及 取值范围： true：自定义自动化脚本只运行在主Master节点上。 false：自定义自动化脚本可运行在所有Master节点上。 默认取值： false fail_action 是
datasource.write.precombine.field 该值用于在写之前对具有相同的key的行进行合并去重。 指定为具体的表字段 hoodie.datasource.write.payload.class 在更新过程中，该类用于提供方法将要更新的记录和更新的记录做合并，该实现
HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是用来解决关系型数据库在处理海量数据时的局限性。 HBase使用场景有如下几个特点： 处理海量数据（TB或PB级别以上）。 具有高吞吐量。 在海量数据中实现高效的随机读取。 具有很好的伸缩能力。 能够同时处理结构化和非结构化的数据。
-j 1 -s create命令扩展属性 针对HDFS与SFTP服务器或RDB进行数据交换场景，MRS在开源sqoop-shell工具的基础上对create命令属性进行扩展，以达到在创建作业时指定行、列分隔符及转换步骤的目的。 表2 create命令扩展属性 属性 说明 fields-terminated-by
hdfsDisconnect(fs); 准备运行环境 在节点上安装客户端，例如安装到“/opt/client”目录。 Linux中编译并运行程序 进入Linux客户端目录，运行如下命令导入公共环境变量： cd/opt/client sourcebigdata_env 在该目录下用hdfs用户进行命令行认证，用户密码请咨询集群管理员。
hdfsDisconnect(fs); 准备运行环境 在节点上安装客户端，例如安装到“/opt/client”目录。 Linux中编译并运行程序 进入Linux客户端目录，运行如下命令导入公共环境变量： cd/opt/client sourcebigdata_env 在该目录下用hdfs用户进行命令行认证，用户密码请咨询集群管理员。
-j 1 -s create命令扩展属性 针对HDFS与SFTP服务器或RDB进行数据交换场景，MRS在开源sqoop-shell工具的基础上对create命令属性进行扩展，以达到在创建作业时指定行、列分隔符及转换步骤的目的。 表2 create命令扩展属性 属性 说明 fields-terminated-by
non-master node. xxx角色必须部署在非master节点。 按照报错提示修改请求参数 400 MRS.00005095 Role xxx must be deployed on all nodes. xxx角色必须部署在所有节点上。 按照报错提示修改请求参数 400 MRS
MapReduce任务通过JDBC方式访问Hive // Hive会将sql查询封装成另一个MapReduce任务并提交 // 所以不建议在MapReduce作业中调用Hive final String driver = "org.apache.hive.jdbc.HiveDriver";
MapReduce任务通过JDBC方式访问Hive // Hive会将sql查询封装成另一个MapReduce任务并提交 // 所以不建议在MapReduce作业中调用Hive final String driver = "org.apache.hive.jdbc.HiveDriver";
表示扩容时是否在新增节点上执行创建集群时指定的引导操作。 约束限制： 不涉及 取值范围： true：跳过引导操作。 false：执行引导操作。 默认取值： false scale_without_start 否 Boolean 参数解释： 扩容后是否启动扩容节点上的组件。 约束限制：
agency_id String 参数解释： 该映射关系绑定的委托的唯一标识码。请前往IAM，单击“委托”按钮，进入委托页面，将鼠标放置委托名称上，在弹窗中获取委托唯一标识码。获取方法，请参见获取委托名称和ID。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 状态码： 400
查询SQL结果 功能介绍 在MRS集群中查询一条SQL的执行结果。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/sql-execution/{sql_id} 表1 路径参数 参数 是否必选
hdfsFileFreeReadStatistics(stats); 断开HDFS文件系统连接。 hdfsDisconnect(fs); 准备运行环境 在节点上安装客户端，例如安装到“/opt/client”目录。 Linux中编译并运行程序 进入Linux客户端目录，运行如下命令导入公共环境变量：
hdfsFileFreeReadStatistics(stats); 断开HDFS文件系统连接。 hdfsDisconnect(fs); 准备运行环境 在节点上安装客户端，例如安装到“/tmp/client”目录。 Linux中编译并运行程序 进入Linux客户端目录，运行如下命令导入公共环境变量：
如sum()返回null而不是零，并且avg()在统计时不会包含null值。coalesce函数可用于将null转换为零。 聚合函数的子句 排序order by 有些聚合函数可能会因为输入值的顺序不同而导致产生不同的结果，可以通过在聚合函数中使用order by子句来指定此顺序。
agency_id 是 String 参数解释： 该映射关系绑定的委托的唯一标识码。请前往IAM，单击“委托”按钮，进入委托页面，将鼠标放置委托名称上，在弹窗中获取委托唯一标识码。获取方法，请参见获取委托名称和ID。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 响应参数 状态码：
提交SQL语句 功能介绍 在MRS集群中提交并执行一条SQL语句。 接口约束 无 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/sql-execution 表1 路径参数 参数 是否必选 参数类型
tics(stats); free(buffer); 断开HDFS文件系统连接。 hdfsDisconnect(fs); 准备运行环境 在节点上安装客户端，例如安装到“/opt/client”目录，安装方法可参考《MapReduce服务用户指南》的“客户端管理”章节。 确认服务端HDFS组件已经安装，并正常运行。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
