检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
处理步骤 登录集群任意Master节点。 执行source /opt/client/bigdata_env命令，初始化环境变量。 如果是安全集群，则需要执行kinit -kt <keytab file> <pricipal name> 进行认证。 执行hdfs dfs -put
景下存在数据丢失风险。 配置高可靠性的影响： 性能降低： 在生产数据时，配置了高可靠参数ack=-1之后，需要多个副本均写入成功之后才认为是写入成功。这样会导致单条消息时延增加，客户端处理能力下降。具体性能以现场实际测试数据为准。 可用性降低： 不允许不在ISR中的副本被选举为L
eToKillInSeconds="${tgt.timeToKillInSeconds:1200}"中的1200为对应的超时时长，值的单位是秒。 在主Master节点重启tomcat服务。 在主master节点上用omm用户执行netstat -anp |grep 28443 |grep
HDFS”修改阈值。 当HDFS DataNode非堆内存使用率小于或等于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 14019 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。
该告警仅适用于MRS 3.5.0及之后版本。 告警属性 告警ID 告警级别 是否可自动清除 14038 紧急（默认阈值为95%） 重要（默认阈值为90%） 是 告警参数 类别 参数名称 参数含义 定位信息 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名
并妥善保存。 执行以下命令 ，查看被锁用户数据密码错误次数“Failed password attempts”参数值是否大于或等于5，如果是，则证明账户被锁。 getprinc 被锁用户名 如果账户被锁，执行以下命令解锁用户后，重新登录Manager。 modprinc -unlock
sha512sum：生成sha512校验值。 类型：表达式输出结果类型，建议选择“VARCHAR”。 时间格式：表达式输出结果格式。 长度：表达式输出结果长度。 map 是 无 数据处理规则 对字段值进行运算后生成新的字段。 当前新字段的类型只能为VARCHAR。 样例 通过“CSV文件输入”算子，生成两个字段A和B。
sha512sum：生成sha512校验值。 类型：表达式输出结果类型，建议选择“VARCHAR”。 时间格式：表达式输出结果格式。 长度：表达式输出结果长度。 map 是 无 数据处理规则 对字段值进行运算后生成新的字段。 当前新字段的类型只能为VARCHAR。 样例 通过“CSV文件输入”算子，生成两个字段A和B。
比如文件系统修复为读写模式、设备拔出、设备被重新格式化等原因），则告警恢复。 告警属性 告警ID 告警级别 可自动清除 12015 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。
阈值时产生该告警。当IoTDBServer进程RPC低于阈值时，告警清除。 告警属性 告警ID 告警级别 是否自动清除 45592 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。
locality.wait.rack 3s 0s 优化shuffle并行度，提升Spark加工效率 所谓的shuffle并发度如下图所示： 集群默认是200，作业可以单独设置。如果发现瓶颈stage（执行时间长），且分配给当前作业的核数大于当前的并发数，说明并发度不足。通过以下配置优化。 场景
在Linux环境中调测Spark应用 在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。 用户需保证worker和drive
password] 表2 参数说明 参数名称 说明 是否必须配置 topic 表示Kafka主题名。 是 bootstrap.server 表示broker集群ip/port列表。 是 security.protocol 运行参数可以配置为PLAINTEXT（可不配置）/SASL_P
Spark SQL默认支持基于规则的优化，但仅仅基于规则优化不能保证Spark选择合适的查询计划。CBO（Cost-Bsed Optimizer）是一种为SQL智能选择查询计划的技术。通过配置开启CBO后，CBO优化器可以基于表和列的统计信息，进行一系列的估算，最终选择出合适的查询计划。
是否已删除。 各类账户的权限是否合理。不同的管理员拥有不同的权限。 对各类账户的登录、操作记录进行检查和审计。 密码维护建议 用户身份验证是应用系统的门户。用户的账户和密码的复杂性、有效期等需根据客户的安全要求进行配置。 对密码的维护建议如下： 专人保管操作系统密码。 密码需要满
使用的块缓存的最大heap（-Xmx setting）的百分比。 当offheap关闭时，默认值为0.25，当offheap开启时，默认值是0.1。 Handler相关参数 表3 Handler相关参数 参数 描述 默认值 hbase.regionserver.handler.count
Integer> person) throws Exception { //根据第二列性别，筛选出是female的记录 Boolean isFemale = person._2().equals("female");
Integer> person) throws Exception { //根据第二列性别，筛选出是female的记录 Boolean isFemale = person._2().equals("female");
Integer> person) throws Exception { //根据第二列性别，筛选出是female的记录 Boolean isFemale = person._2().equals("female");
在Linux环境中调测Spark应用 在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。 用户需保证worker和drive
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
