检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从零开始使用Spark 本章节提供从零开始使用Spark提交sparkPi作业的操作指导，sparkPi是最经典的Spark作业，它用来计算Pi（π）值。 操作步骤 准备sparkPi程序。 开源的Spark的样例程序包含多个例子，其中包含sparkPi。可以从https://archive
产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 导致Oozie调度任务响应变慢直至服务不可用。 可能原因 该节点Oozie实例堆内存使用率过大
写时复制表也简称cow表，使用parquet文件存储数据，内部的更新操作需要通过重写原始parquet文件完成。 优点：读取时，只读取对应分区的一个数据文件即可，较为高效。 缺点：数据写入的时候，需要复制一个先前的副本再在其基础上生成新的数据文件，这个过程比较耗时。且由于耗时，读请求读取到的数据相对就会滞后。 Merge
动，或者是网络原因，由于Sqoop迁移数据过程，MapReduce任务是运行在分析core节点，因此需要保证正常加载驱动类的情况下，保证源端数据库和集群节点的网络正常通信。 处理步骤 检查源端数据库端口对集群节点均放通。 若使用EIP公网通信，那么集群节点均需要绑定公网，尤其是分
Manager的用户名和密码。从HDFS导出目录时，如果需要创建快照，这里配置的用户需要HDFS系统的管理员权限。 如果要创建MRS安全集群的数据连接，不能使用admin用户。因为admin用户是默认的管理页面用户，这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户
在“慢查询分布”页面，用户可查看历史任务的慢查询分布情况，包括： 慢SQL统计：统计各个租户的慢查询（查询时间大于慢查询阈值）提交个数。 慢查询TOP用户请求统计列表：统计各个用户的慢查询统计明细，支持列表排序和全部导出功能。 在“慢查询列表”页面，用户可查看历史任务的慢查询列表、诊断结果和优化建议，支持导出查询结果。
产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Coordinator进程GC时间过长，会影响Coordinator进程运行的性能，甚
ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Worker进程GC时间过长，会影响Worker进程运行的性能，甚至造成Worker进程不可用。
ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Worker1进程GC时间过长，会影响Worker1进程运行的性能，甚至造成Worker1进程不可用。
ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Worker2进程GC时间过长，会影响Worker2进程运行的性能，甚至造成Worker2进程不可用。
Oozie堆内存使用率超过阈值”，检查该告警的“定位信息”。查看告警上报的实例主机名。 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Oozie > 实例”，选择上报告警实例主机名对应的角色，单击图表区域右上角的下拉菜单，选择“定制 > 内存”中的“Oozie堆内存使用率”，单击“确定”。
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 版本元数据详情。（该样例省略了部分内容，详细返回请调用接口查看）
自动续费 自动续费可以减少手动续费的管理成本，避免因忘记手动续费而导致MRS集群被自动删除。自动续费的规则如下所述： 以MRS集群的到期日计算第一次自动续费日期和计费周期。 MRS集群自动续费周期根据您开通自动续费的途径不同，遵循不同的规则。 在MRS集群到期前均可开通自动续费，
xml、hbase-site.xml、hiveclient.properties等配置文件放置到工程的“conf”目录下。 在“conf”目录创建“jaas_mr.conf”文件并添加如下内容（test是user.keytab对应的用户名称）： Client { com.sun.security.auth
告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 导致RangerAdmin响应缓慢。 可能原因
系统”。将“GC_OPTS”参数中“-Xmx”的值根据实际情况调大，并保存配置。 出现此告警时，说明当前TagSync设置的堆内存无法满足当前TagSync进程所需的堆内存，建议根据2查看“TagSync堆内存使用率”，调整“GC_OPTS”参数中“-Xmx”的值为“TagSync使用的堆内存大小”的两倍（可根据实际业务场景进行修改）。
ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件 对系统的影响 Worker3进程GC时间过长，会影响Worker3进程运行的性能，甚至造成Worker3进程不可用。
告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 导致Loader服务响应缓慢。 可能原因
_distinct（）函数。 数据结构 HyperLogLog（hll）是一种统计基数的算法。它实际上不会存储每个元素出现的次数，它使用的是概率算法，通过存储元素的32位hash值的第一个1的位置，来计算元素数量。通常分为稀疏存储结构和密集存储结构两种。hll创建时是稀疏存储结构
ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件 对系统的影响 Worker4进程GC时间过长，会影响Worker4进程运行的性能，甚至造成Worker4进程不可用。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
