检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
中可以使用宏,在执行作业任务时会自动替换为宏对应的值。 宏定义只在该作业范围内生效。 宏定义支持随作业导入导出,如果作业中有使用宏定义,则导出的作业包括宏定义。导入作业时默认也导入宏定义。 时间宏dataformat中的第一个参数的日期格式定义可参考“java.text.SimpleDateFormat
中可以使用宏,在执行作业任务时会自动替换为宏对应的值。 宏定义只在该作业范围内生效。 宏定义支持随作业导入导出,如果作业中有使用宏定义,则导出的作业包括宏定义。导入作业时默认也导入宏定义。 时间宏dataformat中的第一个参数的日期格式定义可参考“java.text.SimpleDateFormat
数据库名。若未指定,则选择当前数据库。 table_name 表名。 col_name 表中的列名称。列名称包含字母,数字和下划线(_)。 changed_column_type 所要更改为的新数据类型。 注意事项 仅在没有数据丢失的情况下支持将Decimal数据类型从较低精度更改为较高精度 例如: 无
提前关闭文件,提升写数据性能。但是由于提前关闭了文件,可能在读取数据的时候由于块找不到或者NameNode元数据中记录的数据块信息和DataNode中存储的真实副本不一致而失败。因此该特性不适用于写完数据即读的场景,请结合业务场景谨慎使用该特性。 该功能适用于MRS 3.2.0-LTS
statistics语句时,由于该sql语句会启动MapReduce任务。从YARN的ResourceManager Web UI页面看到,该任务由于资源不足导致任务没有被执行,表现出任务卡住的现象。 图1 ResourceManager Web UI页面 建议用户执行analyze
假定Hive的person表存储用户当天消费的金额信息,HBase的table2表存储用户历史消费的金额信息。 现person表有记录name=1,account=100,表示用户1在当天消费金额为100元。 table2表有记录key=1,cf:cid=1000,表示用户1的历史消息记录金额为1000元。
到右侧的操作界面中并将其连接。 采用SpoolDir Source、Memory Channel和HDFS Sink,如图3所示。 图3 Flume配置工具示例 双击对应的source、channel以及sink,根据实际环境并参考表1设置对应的配置参数。 如果想在之前的“properties
到右侧的操作界面中并将其连接。 采用SpoolDir Source、Memory Channel和HDFS Sink,如图3所示。 图3 Flume配置工具示例 双击对应的source、channel以及sink,根据实际环境并参考表1设置对应的配置参数。 如果想在之前的“properties
ALM-18025 Yarn被终止的任务数超过阈值 告警解释 告警模块按60秒周期检测Yarn root队列上被终止的应用的数量,当root队列上该监控周期内新增的被终止的应用的数量超过50,且连续发生3次以上时,触发该告警。 告警属性 告警ID 告警级别 是否自动清除 18025
Browser”页面。 单击右侧“新建表”按钮,输入表名和列族参数,单击“提交”,完成HBase表创建。 图1 新建表 查询HBase表数据 访问Hue WebUI。 单击HBase,进入“HBase Browser”页面。 单击需要查询的HBase表。可在上方的搜索栏后单击键值,对HBase表进行查询。
具体properties.properties参数配置方法,参考配置Flume非加密传输数据采集任务和配置Flume加密传输数据采集任务对应典型场景中properties.properties文件参数列表的说明。 父主题: Flume常见问题
产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 OBS write接口调用失败数高于阈值,会影响上层大数据计算业务的正常执行,导致某些计算任务的执行失败。
产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Hive执行的HQL的Map数过高,将占用大量Yarn队列资源,可能导致任务耗时较长,并且影响其他使用此队列运行的任务。 可能原因 执行的HQL语句存在可以优化的可能。
才能使保存的角色配置生效。 设置用户在指定Yarn队列提交任务的权限 在“配置资源权限”的表格中选择“待操作集群的名称 > Yarn > 调度队列 > root”。 在指定队列的“权限”列,勾选“提交”。 设置用户在指定Yarn队列管理任务的权限 在“配置资源权限”的表格中选择“待操作集群的名称
不同集群间Hive元数据切换时,MRS当前只对Hive组件自身的元数据数据库中的权限进行同步。这是由于当前MRS上的权限模型是在Manager上维护的,所以不同集群间的Hive元数据切换,不能自动把用户/用户组的权限同步到另一个集群的Manager上。 父主题: 管理MRS集群元数据
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 当前FE实例不可用,无法响应客户端请求。 可能原因 FE实例由于某种原因出现故障或被重启。 处理步骤
datasource.hive_sync.database 要同步给hive的数据库名。 default hoodie.datasource.hive_sync.table 要同步给hive的表名,建议这个值和hoodie.datasource.write.table.name保证一致。
KerberosPrincipal 用于认证的名字,即认证准备Presto应用开发用户中创建的开发用户的用户名。 KerberosConfigPath krb5.conf的路径。 KerberosKeytabPath user.keytab的路径。 presto.preperties样例 user
”为“免密访问”、同时“区域”和“虚拟私有云”需与Flink所在集群相同。 - 数据连接名称 数据连接的名称。 - 集群连接 配置管理里的集群连接名称。 HDFS类型数据连接需配置该参数。 - Kafka broker Kafka Broker实例的连接信息,格式为“IP地址:端口”,多个实例之间通过逗号分隔。
Manager首页,单击“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“Kudu”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除