检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
xecutor的shuffle结果就会报文件找不到。 因此，遇到这样的问题需要确认是否executor异常退出，可以根据spark任务页面的executors便签页查看是否有dead状态的executor，查看各个dead状态的executor日志，确认异常退出的原因（其中可能有
Python3样例工程 操作场景 为了运行MRS产品Hive组件的Python3接口样例代码，需要完成下面的操作。 操作步骤 客户端机器必须安装有Python3，其版本不低于3.6，最高不能超过3.8。 在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3
Spark SQL样例程序（Java） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection： public
Spark SQL样例程序（Java） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection： public
14030 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 对系统的影响 如果服务端打开了HDFS允许写入单副本数据开关，当客户端HDFS配置的副本数为1，则会有单副本数据写入HDFS。单副本数据会存在数据
来源 产生告警的集群名称。 服务名 产生告警的服务名称。 服务目录 产生告警的目录名称。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 向ZooKeeper数据目录空间写入大量数据，导致依赖本目录（详细参见告警定位信息）的上游组件（例
时可以使用宏，在执行作业任务时会自动替换为宏对应的值。 宏定义只在该作业范围内生效。 宏定义支持随作业导入导出，如果作业中有使用宏定义，则导出的作业包括宏定义。导入作业时默认也导入宏定义。 时间宏dataformat中的第一个参数的日期格式定义可参考“java.text.SimpleDateFormat
时可以使用宏，在执行作业任务时会自动替换为宏对应的值。 宏定义只在该作业范围内生效。 宏定义支持随作业导入导出，如果作业中有使用宏定义，则导出的作业包括宏定义。导入作业时默认也导入宏定义。 时间宏dataformat中的第一个参数的日期格式定义可参考“java.text.SimpleDateFormat
描述 table_name 待删除数据的表名，支持database.tablename格式 delete statement select类型的sql语句，用于找出待删除的数据 示例 从mytable表中删除primaryKey < 100 的所有数据： call clean_data(table
通过“AS”关联分布式表和本地表，保证分布式表的字段定义跟本地表一致。 分布式表引擎的参数说明： default_cluster：集群名称。 default：本地表所在库名。 my_table_local：本地表名。 rand()：可选参数，分片键（sharding key），可以是表中一列的原始数据（如did），也可以是函数调用的结果。
toLong)) //配置Streaming的CheckPoint目录。 //由于窗口概念的存在，此参数是必需的。 ssc.checkpoint(checkPointDir) //获取kafka使用的topic列表。 val topicArr
参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 用户无法执行新的Storm任务。 可能原因 集群中Supervisor处于异常状态。
db_name 数据库名。如果未指定，则选择当前数据库。 table_name 表名。 col_name data_type 带数据类型且用逗号分隔的列的名称。列名称包含字母，数字和下划线（_）。 说明： 创建CarbonData表时，不要将列名命名为tupleId，PositionId和P
是否自动清除 45430 重要 否 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 已创建的用户在本节点无操作权限。 可能原因 扩容过程中已有节点停止或故障。 处理步骤 在FusionInsight
db_name 数据库名。若未指定，则选择当前数据库。 table_name 表名。 col_name data_type 带数据类型且用逗号分隔的列的名称。列名称包含字母，数字和下划线（_）。 说明： 创建CarbonData表时，不要将列名命名为tupleId，PositionId和P
当合并SummingMergeTree表的数据片段时，ClickHouse会把所有具有相同主键的行进行汇总，将同一主键的行替换为包含sum后的一行记录。 如果主键的组合方式使得单个键值对应于大量的行，则可以显著地减少存储空间并加快数据查询的速度。 AggregatingMergeTree
要重启的服务，进入服务页面。在“服务状态”页签单击“更多”，选择“重启服务”或“滚动重启服务”。 在FusionInsight Manager界面，选择“集群 > 服务 > 待操作的服务名称”，单击右上角的“更多”，选择“重启服务”或“滚动重启服务”。 升级路径不一样重启的服务不一样，详情见如下表格。
Console，提供了流程查看、流程监控、日志查看等功能。 Oozie应用开发常见概念 流程定义文件 描述业务逻辑的XML文件，包括“workflow.xml”、“coordinator.xml”、“bundle.xml”三类，最终由Oozie引擎解析并执行。 流程属性文件 流程运行期间的参数配置文件，对应文件名为“job
drop partition (dt='2021-10-*') // 删除10月份的分区 注意事项 模糊匹配去删除多分区，仅支持支持*，不支持复杂的正则。 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题： Hudi DML语法说明
store.rdbms.sql.SQLText.toSQL(SQLText.java:339) 原因分析 drop partition的处理逻辑是将找到所有满足条件的分区，将其拼接起来，最后统一删除。由于分区数过多，拼删元数据堆栈较深，出现StackOverFlow异常。 解决办法 分批次删除分区。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
