检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发和运行环境的基本配置，版本要求如下： 服务端和客户端仅支持集群自带的OpenJDK，不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的： X86客户端： Oracle JDK：支持1.8版本； IBM JDK：支持1.8.0.7.20和1.8.0.6.15版本。 ARM客户端：
下： 服务端和客户端仅支持自带的OpenJDK，版本为1.8.0_272，不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。 X86客户端：Oracle JDK：支持1.8版本；IBM JDK：支持1.8.5.11版本。 TaiShan客户端：OpenJDK：支持1
在并发数高和数据量大时，发生shuffle后会发生大量的网络IO，提升网络缓存内存可以扩大一次性读取的数据量，从而提升IO速度。 【示例】 # 网络占用内存占整个进程内存的比例 taskmanager.memory.network.fraction: 0.6 # 网络缓存内存的最小值 taskmanager
stageDesc String 参数解释： 集群进度描述。（默认为英文，当X-Language请求头被设置为zh-cn时，该字段会返回中文，因此请谨慎设置X-Language等语言请求头）。 约束限制： 不涉及 取值范围： 安装集群进度包括： Verifying cluster parameters：校验集群参数中
'1995-03-22' and l_shipdate > '1995-03-22' limit 10; 注意事项 Join数据倾斜问题。执行任务的时候，任务进度长时间维持在99%，这种现象叫数据倾斜。 数据倾斜是经常存在的，因为有少量的Reduce任务分配到的数据量和其他Reduce差异过大，导致
'1995-03-22' and l_shipdate > '1995-03-22' limit 10; 注意事项 Join数据倾斜问题 执行任务的时候，任务进度长时间维持在99%，这种现象叫数据倾斜。 数据倾斜是经常存在的，因为有少量的Reduce任务分配到的数据量和其他Reduce差异过大，导致
application-arguments：提交Spark应用的所需要的参数（可以为空）。 Spark JobHistory Server 用于监控正在运行的或者历史的Spark作业在Spark框架各个阶段的细节以及提供日志显示，帮助用户更细粒度地去开发、配置和调优作业。 Spark SQL常用概念
Resource Manager与Application Master（简称AM）。 Flink的JobManager与YARN的AM是在同一个进程下。 表1 安全认证方式 安全认证方式 说明 配置方法 Kerberos认证 当前只支持keytab认证方式。 从KDC服务器上下载用户k
FlinkResource：提供客户端配置管理，是必须安装的角色。包括供客户端下载使用的原始lib包和配置文件，以及FlinkServer提交作业所依赖的原始lib包。无实体进程，作业运行过程不依赖FlinkResource。 FlinkServer：基于Web的作业管理二次开发平台，可直接在界面开发与管理Flin
访问ThriftServer操作表、向表中写数据、从表中读数据。 hbase-zk-example HBase访问ZooKeeper应用开发示例。 在同一个客户端进程内同时访问MRS ZooKeeper和第三方的ZooKeeper，其中HBase客户端访问MRS ZooKeeper，客户应用访问第三方ZooKeeper。
ClickHouseBalancer服务关闭日志文件路径。 /var/log/coredump/clickhouse-*.core.gz ClickHouse进程异常崩溃后生成的内存转储文件压缩包。 该日志仅适用于MRS 3.3.0及之后版本。 数据迁移日志 /var/log/Bigdata/cli
开发和运行环境的基本配置，版本要求如下： 服务端和客户端仅支持集群自带的OpenJDK，不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的： X86客户端： Oracle JDK：支持1.8版本； IBM JDK：支持1.8.0.7.20和1.8.0.6.15版本。 ARM客户端：
Resource Manager与Application Master（简称AM）。 Flink的JobManager与YARN的AM是在同一个进程下。 如果用户安装安全模式需要使用kerberos认证和security cookie认证。 表1 安全认证方式 安全认证方式 配置方法
如果不存在指定的恢复目录，校验失败。 单击“确定”保存。 在恢复任务列表已创建任务的“操作”列，单击“执行”，开始执行恢复任务。 恢复成功后进度显示为绿色。 恢复成功后此恢复任务不支持再次执行。 如果恢复任务在第一次执行时由于某些原因未执行成功，在排除错误原因后单击“重试”，重试恢复任务。
径。 daemonlog 获取或者设置服务LOG级别。 CLASSNAME 运行一个名字为CLASSNAME的类。 top 运行集群利用率监控工具。 -Dmapreduce.job.hdfs-servers 如果对接了OBS，而服务端依然使用HDFS，那么需要显式在命令行使用该参
径。 daemonlog 获取或者设置服务LOG级别。 CLASSNAME 运行一个名字为CLASSNAME的类。 top 运行集群利用率监控工具。 -Dmapreduce.job.hdfs-servers 如果对接了OBS，而服务端依然使用HDFS，那么需要显式在命令行使用该参
径。 daemonlog 获取或者设置服务LOG级别。 CLASSNAME 运行一个名字为CLASSNAME的类。 top 运行集群利用率监控工具。 -Dmapreduce.job.hdfs-servers 如果对接了OBS，而服务端依然使用HDFS，那么需要显式在命令行使用该参
径。 daemonlog 获取或者设置服务LOG级别。 CLASSNAME 运行一个名字为CLASSNAME的类。 top 运行集群利用率监控工具。 -Dmapreduce.job.hdfs-servers 如果对接了OBS，而服务端依然使用HDFS，那么需要显式在命令行使用该参
0版本为例，建议按照指定版本创建集群。 方案架构 Spark的应用运行架构如图1所示，运行流程如下所示： 应用程序（Application）是作为一个进程的集合运行在集群上的，由Driver进行协调。 在运行一个应用时，Driver会去连接集群管理器（Standalone、Mesos、YAR
spark-defaults.conf中的Spark配置参考 参数 默认值 描述 spark.driver.memory 4G 指定用于driver端进程的内存，其中SparkContext已初始化。 说明： 在客户端模式下，不要使用SparkConf在应用程序中设置该参数，因为驱动程序JV
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
