检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
请参考修改集群服务配置参数进入JobGateway服务配置页面。 参数说明 表1 JobGateway参数说明 参数 参数说明 默认值 HTTP_INSTANCE_PORT JobServer服务http端口。 默认值：29973 取值范围：29970~29979 HTTPS_INSTANCE_PORT JobServer服务https端口。
源镜像仓。 根据用户自身需求，构建完整的Maven工程并进行编译开发。 样例工程获取地址 MRS服务1.8之前版本的样例工程下载地址为：http://mapreduceservice.obs-website.cn-north-1.myhuaweicloud.com/。 MRS服务1
API、Shell、HTTP REST API。 Java API 提供Alluxio文件系统的应用接口，本开发指南主要介绍如何使用Java API进行Alluxio客户端的开发。 Shell 提供shell命令完成Alluxio文件系统的基本操作。 HTTP REST API 提供除Shell、Java
MapReduce REST API接口介绍 功能简介 通过HTTP REST API来查看更多MapReduce任务的信息。目前Mapresuce的REST接口可以查询已完成任务的状态信息。完整和详细的接口请直接参考官网上的描述以了解其使用： http://hadoop.apache.org/docs/r3
YARN REST API接口介绍 功能简介 通过HTTP REST API来查看更多Yarn任务的信息。目前Yarn的REST接口只能进行一些资源或者任务的查询。完整和详细的接口请直接参考官网上的描述以了解其使用：http://hadoop.apache.org/docs/r3
在“添加监听器”界面，根据界面提示完成具体配置。 配置监听器。 “前端协议/端口”选择“TCP”、端口填写“9000”，其他参数保持默认。配置完成单击“下一步”。 如果是通过HTTP请求访问，则“前端协议/端口”选择“HTTP”、端口填写“8123”。 配置后端服务器组。 “分配策略类型
HBase Shell接口介绍 您可以使用Shell在服务端直接对HBase进行操作。HBase的Shell接口同开源社区版本保持一致，请参见http://learnhbase.wordpress.com/2013/03/02/hbase-shell-commands/ Shell命令执行方法：
HBase Shell接口介绍 您可以使用Shell在服务端直接对HBase进行操作。HBase的Shell接口同开源社区版本保持一致，请参见http://learnhbase.wordpress.com/2013/03/02/hbase-shell-commands/ Shell命令执行方法：
Sqlline接口介绍 可以直接使用sqlline.py在服务端对HBase进行SQL操作。Phoenix的sqlline接口与开源社区保持一致，请参见http://phoenix.apache.org/。 Sqlline常用语法见表1，常用函数见表2，命令行使用可以参考Phoenix命令行操作介绍章节。
在“添加监听器”界面，根据界面提示完成具体配置。 配置监听器。 “前端协议/端口”选择“TCP”、端口填写“9000”，其他参数保持默认。配置完成单击“下一步”。 如果是通过HTTP请求访问，则“前端协议/端口”选择“HTTP”、端口填写“8123”。 配置后端服务器组。 “分配策略类型
访问Spark应用的聚合日志页面报“DNS查找失败”错误 问题 采用http(s)://<spark ip>:<spark port>的方式直接访问Spark JobHistory页面时，如果当前跳转的Spark JobHistory页面不是FusionInsight代理的页面（
protection参数表示数据可通过以下任一方式在节点间进行传输。 privacy：指数据在鉴权及加密后再传输。这种方式会降低性能。 authentication：指数据在鉴权后直接传输，不加密。这种方式能保证性能但存在安全风险。 integrity：指数据直接传输，即不加密也不鉴权。 为保证数据安全，请谨慎使用这种方式。
csv.txt”。 .log 压缩 使用SFTP协议导入数据时，是否开启压缩传输功能以减小带宽使用。 选择“true”，表示开启压缩。 选择“false”，表示关闭压缩。 true 设置数据转换 单击“下一步”，进入“转换”界面，设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表3。
csv.txt”。 .log 压缩 使用SFTP协议导入数据时，是否开启压缩传输功能以减小带宽使用。 选择“true”，表示开启压缩。 选择“false”，表示关闭压缩。 true 设置数据转换 单击“下一步”，进入“转换”界面，设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表3。
小文件优化 操作场景 Spark SQL表中，经常会存在很多小文件（大小远小于HDFS的块大小），每个小文件默认对应Spark中的一个Partition，即一个Task。在有很多小文件时，Spark会启动很多Task，此时当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响系统性能。
优化小文件场景下的Spark SQL性能 配置场景 Spark SQL的表中，经常会存在很多小文件（大小远小于HDFS块大小），每个小文件默认对应Spark中的一个Partition，也就是一个Task。在很多小文件场景下，Spark会起很多Task。当SQL逻辑中存在Shuff
application id application_1624937999496_0017 JobManager Web Interface: http://192.168.1.150:32261 “flink.keystore”和“flink.truststore”文件路径为绝对路径时：
访问Spark应用的聚合日志页面报“DNS查找失败”错误 问题 采用http(s)://<spark ip>:<spark port>的方式直接访问Spark JobHistory页面时，如果当前跳转的Spark JobHistory页面不是FusionInsight代理的页面（
配置Hadoop数据传输加密 配置场景 安全加密通道是HDFS中RPC通信的一种加密协议，当用户调用RPC时，用户的login name会通过RPC头部传递给RPC，之后RPC使用Simple Authentication and Security Layer（SASL）确定一个权限协议（支持
败。 OVERRIDE 编码类型 导出文件的编码格式，如UTF-8。导出文本文件时才能配置。 UTF-8 压缩 使用SFTP协议导入数据时，是否开启压缩传输功能以减小带宽使用。 选择“true”，表示开启压缩。 选择“false”，表示关闭压缩。 true 单击“保存并运行”，开始保存并运行作业。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
