检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何获取Spark Jar包？ 华为提供开源镜像站（网址为https://mirrors.huaweicloud.com/），各服务样例工程依赖的jar包都可在华为开源镜像站下载，剩余所依赖的开源jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载。 本地环境使用开发
MRS集群是否支持重装系统？ 问： MRS集群是否支持重装系统？ 答： MRS集群内节点操作系统为ECS初始镜像，不支持重装操作系统。 父主题： 节点管理类
Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示，客户端与服务端的配置相同。要使用表权限功能，需要在服务端和客户端添加如下配置。 “spark-defaults.conf”配置文件 表1 参数说明（1） 参数 描述 默认值 spark.sql
d} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释： 项目编号。获取方法，请参见获取项目ID。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 job_execution_id 是 String 参数解释： 作业ID。
Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示，客户端与服务端的配置相同。要使用表权限功能，需要在服务端和客户端添加如下配置。 “spark-defaults.conf”配置文件 表1 参数说明（1） 参数 描述 默认值 spark.sql
=> '[table_type]'); 参数描述 表1 参数描述 参数 描述 table_name 需要修改的表名 table_type 需要修改的表类型 index_type 需要修改的索引类型 注意事项 如修改的索引类型有其对应的其他配置参数，同样需要以key => 'value'格式传入sql中。
始化操作。 执行lsblk命令，查看新增磁盘分区信息。 图2 查看新增磁盘（分区） 使用df -TH获取文件系统类型。 图3 获取文件系统类型 使用对应的文件系统类型对新磁盘（分区）进行格式化。 例如：mkfs.ext4 /dev/sdd1 执行如下命令挂载新磁盘。 mount 新磁盘
表4 MRS集群计费信息 参数 参数说明 付费类型 显示创建集群时的付费类型，目前支持“按需计费”和“包年/包月”。 最近交易订单 显示购买集群的订单号。该参数仅在“付费类型”为“包年/包月”时显示。 创建时间 显示集群创建时间。该参数仅在“付费类型”为“包年/包月”时显示。 到期时间
DATE_ADD函数用于返回指定日期增加目标天数后的日期。 参数说明 指定日期：数据类型为TIMESTAMP或者STRING（格式为：yyyy-MM-dd HH:mm:ss），支持参数为NULL的特殊情况。 目标天数：数据类型为INT。 返回日期：指定日期增加目标天数后的日期，数据类型为STRING。 SQL示例
Streaming任务参数调优的注意事项 问题 运行Spark Streaming任务时，随着executor个数的增长，数据处理性能没有明显提升，对于参数调优有哪些注意事项？ 回答 在executor核数等于1的情况下，遵循以下规则对调优Spark Streaming运行参数有所帮助。
默认取值： 不涉及 请求参数 无 响应参数 状态码： 200 表2 响应Body参数 参数 参数类型 描述 job_execution JobExeResult object 参数解释： 作业详细信息。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 表3 JobExeResult
Streaming任务参数调优的注意事项 问题 运行Spark Streaming任务时，随着executor个数的增长，数据处理性能没有明显提升，对于参数调优有哪些注意事项？ 回答 在executor核数等于1的情况下，遵循以下规则对调优Spark Streaming运行参数有所帮助。
不涉及 id 否 String 参数解释： 作业执行对象的编号。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 请求参数 无 响应参数 状态码： 200 表3 响应Body参数 参数 参数类型 描述 totalRecord Integer 参数解释： 作业列表总数。 约束限制：
ClickHouse > 配置 > 全部配置”。 在“clickhouse-metrika-customize”参数中添加表1中自定义配置项。 表1 自定义参数 参数 值 clickhouse_remote_servers.example_cluster.shard[1].replica[1]
apps/hive2/script.q”，然后单击“添加”。 单击“参数+”，添加输入输出参数。 例如输入参数为“INPUT=/user/admin/examples/input-data/table”，输出参数为“OUTPUT=/user/admin/examples/outp
apps/hive2/script.q”，然后单击“添加”。 单击“参数+”，添加输入输出参数。 例如输入参数为“INPUT=/user/admin/examples/input-data/table”，输出参数为“OUTPUT=/user/admin/examples/outp
MRS支持什么类型的分布式存储？ 问： MRS集群支持什么类型的分布式存储？有哪些版本？ 答： MRS集群内使用主流的大数据Hadoop，目前支持Hadoop 3.x版本，并且随集群演进更新版本。 同时MRS也支持用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离模式。
Kafka支持的访问协议类型有哪些？ 问： Kafka支持的访问协议类型有哪些？ 答： Kafka支持四种协议类型的访问，分别为：PLAINTEXT、SSL、SASL_PLAINTEXT、SASL_SSL。 父主题： 组件配置类
样例工程配置文件说明 Conf目录下各配置文件及重要参数配置说明。 Producer API配置项。 表1 producer.properties文件配置项 参数 描述 备注 security.protocol 安全协议类型 生产者使用的安全协议类型，当前Kerberos开启的模式下仅支持S
话框。 配置克隆参数。 若无参数修改，无需执行本步骤。 若有参数修改，根据实际情况填写参数，单击“确定”下发克隆作业。 命令参考（由添加作业时的“运行程序参数”与“执行程序参数”组成）：在原有的命令后，按“, {新参数}”的格式继续新增参数。 增加新的运行程序参数：新的命令参考是“运行程序参数
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
