-
典型场景:从HDFS/OBS导出数据到SFTP服务器 - MapReduce服务 MRS
UTF-8 压缩 使用SFTP协议导入数据时,是否开启压缩传输功能以减小带宽使用。 选择“true”,表示开启压缩。 选择“false”,表示关闭压缩。 true 单击“保存并运行”,开始保存并运行作业。
-
Manager日志清单 - MapReduce服务 MRS
controller_config.log 配置运行日志 controller_nodesetup.log Controller加载任务日志 controller_root.log Controller进程系统日志 controller_trace.log Controller与NodeAgent之间RPC通信日志
-
准备本地应用开发环境 - MapReduce服务 MRS
说明: 基于安全考虑,服务端只支持TLS V1.2及以上的加密协议。
-
准备Spark本地应用开发环境 - MapReduce服务 MRS
说明: 基于安全考虑,服务端只支持TLS V1.2及以上的加密协议。
-
准备本地应用开发环境 - MapReduce服务 MRS
说明: 基于安全考虑,服务端只支持TLS V1.2及以上的加密协议。
-
使用Loader从SFTP服务器导入数据到HDFS/OBS - MapReduce服务 MRS
log 压缩 使用SFTP协议导入数据时,是否开启压缩传输功能以减小带宽使用。 选择“true”,表示开启压缩。 选择“false”,表示关闭压缩。 true 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。
-
编译并调测Flink应用 - MapReduce服务 MRS
是 security.protocol 运行参数可以配置为PLAINTEXT(可不配置)/SASL_PLAINTEXT/SSL/SASL_SSL四种协议,分别对应FusionInsight Kafka集群的21005/21007/21008/21009端口。
-
典型场景:从SFTP服务器导入数据到HDFS/OBS - MapReduce服务 MRS
log 压缩 使用SFTP协议导入数据时,是否开启压缩传输功能以减小带宽使用。 选择“true”,表示开启压缩。 选择“false”,表示关闭压缩。 true 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。
-
编译并调测Flink应用 - MapReduce服务 MRS
是 security.protocol 运行参数可以配置为PLAINTEXT(可不配置)/SASL_PLAINTEXT/SSL/SASL_SSL四种协议,分别对应FusionInsight Kafka集群的21005/21007/21008/21009端口。
-
备份恢复简介 - MapReduce服务 MRS
利用NFS(支持NFSv3、NFSv4)和CIFS(支持SMBv2、SMBv3)协议,用户可以连通MRS的业务平面与NAS服务器,将数据备份至NAS或从NAS恢复数据。 数据备份至NAS前,系统会自动将NAS共享地址挂载为备份任务执行节点的本地分区。
-
用户账号一览表 - MapReduce服务 MRS
系统内部用户 集群提供的用于Kerberos认证、进程通信、保存用户组信息和关联用户权限的内部用户。系统内部用户不建议在操作与维护的场景下使用。请通过admin用户操作,或联系系统管理员根据业务需要创建新用户。 数据库用户 用于OMS数据库管理和数据访问的用户。
-
配置MRS集群阈值类告警 - MapReduce服务 MRS
80% 网络写信息 写包错误率 12048 网络写包错误率超过阈值 通信闪断,业务超时。 0.5% 写包丢包率 12046 网络写包丢包率超过阈值 业务性能下降或者个别业务出现超时问题。 0.5% 写吞吐率 12050 网络写吞吐率超过阈值 业务系统运行不正常或不可用。
-
编译并调测Flink应用 - MapReduce服务 MRS
是 security.protocol 运行参数可以配置为PLAINTEXT(可不配置)/SASL_PLAINTEXT/SSL/SASL_SSL四种协议,分别对应FusionInsight Kafka集群的21005/21007/21008/21009端口。
-
快速配置参数 - MapReduce服务 MRS
org.apache.spark.om.util.FIPasswordFactory spark.ssl.ui.protocol 配置ui的ssl协议。 TLSv1.2 spark.yarn.archive Spark jars的存档,用于分发到YARN缓存。
-
快速配置参数 - MapReduce服务 MRS
org.apache.spark.om.util.FIPasswordFactory spark.ssl.ui.protocol 配置ui的ssl协议。 TLSv1.2 spark.yarn.archive Spark jars的存档,用于分发到YARN缓存。
-
使用Broker Load方式导入数据至Doris - MapReduce服务 MRS
用户需要通过MySQL协议创建Broker Load 导入,并通过查看导入命令检查导入结果。适用以下场景: 源数据在Broker可以访问的存储系统中,如HDFS。 数据量在几十到百GB级别。 支持导入CSV、Parquet、ORC格式的数据,默认支持导入CSV格式数据。
-
编包并运行Spark应用 - MapReduce服务 MRS
普通集群需要注释掉配置kafka安全协议部分代码,详情请参见Java样例代码和Scala样例代码章节中的说明部分。
-
编译并调测Flink应用 - MapReduce服务 MRS
是 security.protocol 运行参数可以配置为PLAINTEXT(可不配置)/SASL_PLAINTEXT/SSL/SASL_SSL四种协议,分别对应FusionInsight Kafka集群的21005/21007/21008/21009端口。
-
使用Loader导出MRS集群内数据 - MapReduce服务 MRS
压缩 使用SFTP协议导数据时,是否开启压缩传输功能以减小带宽使用。“true”为开启压缩,“false”为关闭压缩。 hdfs-connector 输出路径 导出文件在HDFS/OBS的输出目录或者文件名。
-
使用Loader导出数据 - MapReduce服务 MRS
压缩 使用SFTP协议导数据时,是否开启压缩传输功能以减小带宽使用。“true”为开启压缩,“false”为关闭压缩。 hdfs-connector 输出路径 导出文件在HDFS/OBS的输出目录或者文件名。