检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
内存不足或提交作业时未添加Jar包，导致Spark提交的作业任务长时间处于pending状态。 处理步骤 检查提交作业时是否添加Jar包。 是，执行2。 否，添加Jar包，执行作业正常，操作结束。如果执行作业任务长时间处于pending状态，执行2。 登录MRS Console页面
删除文件操作是单线程串行执行的，Hive分区数过多导致在元数据数据库会保存大量元数据信息，在执行删表语句时删除元数据就要用很长时间，最终在超时时间内删除不完，就会导致操作失败。 超时时间可通过登录FusionInsight Manager，选择“集群 > 服务 > Hive > 配置 >全部配置
执行； 场景2：TTL周期由大变小方案： 方案1：新建一张ttl时间为最新需要修改时间TTL属性的表，表结构相同但名不同的表，把原表的数据导入到新表，交换表名字； 方案2：配置加上延迟物化参数，修改表TTL为最新时间，具体步骤如下： 1）在SQL级配置参数并修改TTL：alter
明细账单”，在“统计维度”选择“按资源名称/ID”。 查看指定资源ID的MRS集群服务管理费 在筛选条件中选择“产品类型 > MapReduce服务 MRS”，输入2查询到的集群节点ID，单击图标即可搜索该资源的服务管理费用。 图2 查看指定资源ID的MRS集群服务管理费 查看指定资源ID的IaaS基础设施资源费用（弹性云服务器、云硬盘）
日任意一天或几天生效。 时间范围 资源计划的起始时间和结束时间，精确到分钟，取值范围[00:00, 23:59]。例如资源计划开始于早上8:00，结束于10:00，则配置为8:00-10:00。结束时间必须晚于开始时间至少30分钟。不同资源计划配置的时间段不可交叉。 节点数量范围
字段名：配置输入字段名。 类型：配置字段类型。 数据格式：字段类型为“DATE”或“TIME”或“TIMESTAMP”时，需指定特定时间格式，其他字段类型指定无效。时间格式如：“yyyyMMdd HH:mm:ss”。 长度：配置字段长度，字段值实际长度太长则按配置的长度截取，“类型”为
查看当前生效或者被归档的Hudi time line以及某个指定instant time的详细内容。 命令格式 查看某个表生效的time line列表： call show_active_instant_list(table => '[table_name]'); 查看某个表某个时间戳后的生效的time line列表：
字段名：配置字段名。 类型：配置字段类型。 数据格式：字段类型为“DATE”或“TIM”E或“TIMESTAMP”时，需指定特定时间格式，其他字段类型指定无效。时间格式如：“yyyyMMdd HH:mm:ss”。 长度：配置字段长度，字段值太长则按配置的长度截取，类型为“CHAR”
型。数据完全按照导入文件中的数据进行存储，不会有任何聚合。即使两行数据完全相同，也都会保留。 而在建表语句中指定的DUPLICATE KEY，只是用来指明底层数据按照指定的列进行排序。 数据模型的选择建议 因为数据模型在建表时就已经确定，且无法修改。所以，选择一个合适的数据模型非常重要。
存储策略定义。HDFS文件存储在多种等级的存储介质中，有不同的副本数。本特性可以手工设置HDFS目录的存储策略，或者根据HDSF文件最近访问时间和最近修改时间，自动调整文件存储策略、修改文件副本数、移动文件所在目录、自动删除文件，以便充分利用存储的性能和容量。 MR引擎。用户执行Hive SQL可以选择使用MR引擎执行。
Spark SQL样例程序（Python） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见SparkSQLPythonExample： # -*- coding:utf-8 -*- import sys from
Spark SQL样例程序（Python） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见SparkSQLPythonExample： # -*- coding:utf-8 -*- import sys from
401错误？ 回答 由于UserSync同步用户数据有时间周期，默认是5分钟，因此在Manager上新创建的用户在用户同步成功前无法登录Ranger，因为Ranger的DB里暂时还没有该用户信息，需要等待同步周期所设置的时间后再尝试登录。 未开启Kerberos认证时，由于Ran
Manager首页，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“HDFS”。 单击右上角的编辑按钮设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。
Manager首页，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“Yarn”。 单击右上角的编辑按钮设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。
loader.output.line.separator Loader输出数据的行分隔符。 - - 由于容错率的统计需要时间，为保证使用效果，建议在作业运行时间在2分钟以上时使用“loader.fault.tolerance.rate”参数。 此处参数设置的为Loader全局的默
401错误？ 回答 由于UserSync同步用户数据有时间周期，默认是5分钟，因此在Manager上新创建的用户在用户同步成功前无法登录Ranger，因为Ranger的DB里暂时还没有该用户信息，需要等待同步周期所设置的时间后再尝试登录。 非安全模式下，由于Ranger并不从Ma
的CSV文件。 -td <directory>：用于为导出的CSV文件指定输出路径。 -tf <time-format>：用于指定时间格式，时间格式必须遵守ISO 8601标准。如果想要以时间戳方式来保存时间，需设置为-tf timestamp。例如，-tf yyyy-MM-dd\
401错误？ 回答 由于UserSync同步用户数据有时间周期，默认是5分钟，因此在Manager上新创建的用户在用户同步成功前无法登录Ranger，因为Ranger的DB里暂时还没有该用户信息，需要等待同步周期所设置的时间后再尝试登录。 未开启Kerberos认证时，由于Ran
网络异常。 处理步骤 观察告警是否自动修复。 登录MRS集群详情页面，选择“告警管理”。 在告警列表中单击该告警，从“告警详情”的“产生时间”处获得告警的产生时间，查看告警是否持续超过5分钟。 是，执行2.a。 否，执行1.c。 等待5分钟后检查本告警是否自动恢复。 是，处理完毕。 否，执行2
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
