检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
print "Usage: CollectFemaleInfo <file>" exit(-1) # 创建SparkContext，设置AppName sc = SparkContext(appName = "CollectFemaleInfo")? """ 以下程序主要实现以下几步功能：
如果不做相应等待，可能造成数据丢失风险。 10分钟后，检查该告警是否恢复。 是，处理完毕。 否，执行5。 收集故障信息。 在MRS Manager界面，单击“系统设置 > 日志导出”。 请联系运维人员，并发送已收集的故障日志信息。 参考信息 无。 父主题： MRS集群告警处理参考
需要确保Curl命令所支持的SSL协议在集群中已添加支持。若不支持，可对应修改集群中SSL协议。例如，若Curl仅支持TLSv1协议，修改方法如下： 登录FusionInsight Manager页面，选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置 > 全部配置”，在“搜索”框里搜索“hadoop
> 下载”。 在“服务”中勾选待操作集群的“ClickHouse”。 在“主机”中选择异常的主机，单击“确定”。 单击右上角的时间编辑按钮，设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除
分配的用户需配置以下特性。 使用参数“spark.dynamicAllocation.executorIdleTimeout”并将此参数值设置为15min（或平均查询时间）。 正确配置参数“spark.dynamicAllocation.maxExecutors”，不推荐使用默认
分配的用户需配置以下特性。 使用参数“spark.dynamicAllocation.executorIdleTimeout”并将此参数值设置为15min（或平均查询时间）。 正确配置参数“spark.dynamicAllocation.maxExecutors”，不推荐使用默认
compaction阈值。 配置示例和预期输出： 用户将所有历史数据加载到CarbonData，此数据的一个segment的大小假定为500GB。 用户设置major compaction参数的阈值：“carbon.major.compaction.size” = “491520（480gb *
需要确保Curl命令所支持的SSL协议在集群中已添加支持。若不支持，可对应修改集群中SSL协议。例如，若Curl仅支持TLSv1协议，修改方法如下： 登录FusionInsight Manager页面，选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置 > 全部配置”，在“搜索”框里搜索“hadoop
Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“DBService”和“NodeAgent”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除
在告警列表中，查看“ALM-16004 Hive服务不可用”告警是否清除。 是，处理完毕。 否，执行7。 收集故障信息。 在MRS Manager界面，单击“系统设置 > 日志导出”。 请联系运维人员，并发送已收集的故障日志信息。 参考信息 无。 父主题： MRS集群告警处理参考
作。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/shrink 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释： 项目编号。获取方法，请参见获取项目ID。
Channel和HDFS Sink，如图3所示。 图3 Flume配置工具示例 双击对应的source、channel以及sink，根据实际环境并参考表1设置对应的配置参数。 如果想在之前的“properties.propretites”文件上进行修改后继续使用，则登录FusionInsight
Channel和HDFS Sink，如图3所示。 图3 Flume配置工具示例 双击对应的source、channel以及sink，根据实际环境并参考表1设置对应的配置参数。 如果想在之前的“properties.propretites”文件上进行修改后继续使用，则登录FusionInsight
Channel和HDFS Sink，如图3所示。 图3 Flume配置工具示例 双击对应的Source、Channel以及Sink，根据实际环境并参考表1设置对应的配置参数。 如果想在之前的“properties.propretites”文件上进行修改后继续使用，则登录FusionInsight
在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Flume”。 单击右上角的时间编辑按钮，设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除
警信息，查看系统在定时检查时是否会再次产生此告警。 是，执行8。 否，处理完毕。 收集故障信息。 在MRS Manager界面，单击“系统设置 > 日志导出”。 请联系运维人员，并发送已收集的故障日志信息。 参考信息 OBS证书过期请参考如何处理集群内部OBS证书过期。 父主题：
“false”。 authentication.user 普通模式或者使用密码认证方式时，登录使用的用户。 keytab登录方式，则不需要设置该参数。 authentication.password 安全模式中如果不使用keytab认证，配置访问Loader服务的用户密码加密字符串。
如图1所示。 图1 小文件合并 操作步骤 要启动小文件优化，在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数介绍 参数 描述 默认值 spark.sql.files.maxPartitionBytes 在读取文件时，将单个分区打包的最大字节数。
如图1所示。 图1 小文件合并 操作步骤 要启动小文件优化，在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数介绍 参数 描述 默认值 spark.sql.files.maxPartitionBytes 在读取文件时，将单个分区打包的最大字节数。
AL机制，对可重放的sources，以及支持重复处理的幂等性sinks，可以提供端到端的exactly-once容错语义。 用户可在程序中设置option("checkpointLocation", "checkpoint路径")启用checkpoint。 从checkpoint
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
