检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持分发、聚合、选择等工作流程模式。 与Hadoop生态系统各组件紧密结合。 流程变量支持参数化。 支持流程定时触发。 自带一个Web Console,提供了流程查看、流程监控、日志查看等功能。 Oozie应用开发常见概念 流程定义文件 描述业务逻辑的XML文件,包括“workflow.xml”、“coordinator
创建HBase全局二级索引 场景介绍 在用户的表中预先存在大量数据的情况下,可以在某个列上添加索引。 对于未建立索引的用户表,该工具允许用户同时添加和构建索引。 创建HBase全局二级索引 在HBase客户端执行以下命令即可添加或创建索引,执行命令后,指定的索引将被添加到表中: hbase
不要删除用于存储的catalog中存在的物化视图数据表。 创建物化视图时,建议查询中不要包含Order By。 创建物化视图时,查询语句不要包含子查询和子查询join,若包含子查询和子查询join需使用with子查询代替。 例如: hetuengine:tpcds_2gb> create
重启该实例。 等待5分钟,查看告警是否自动清除。 是,操作结束。 否,执行5。 检查是否慢盘故障。 在FusionInsight Manager界面,选择“运维 > 告警 > 告警”,查看此告警的详细信息,记录定位信息中上报告警的“主机名”名称。 查看5上报告警的节点是否存在“慢盘故障”或“磁盘不可用”告警。
重启该实例。 等待5分钟,查看告警是否自动清除。 是,操作结束。 否,执行5。 检查是否慢盘故障。 在FusionInsight Manager界面,选择“运维 > 告警 > 告警”,查看此告警的详细信息,记录定位信息中上报告警的“主机名”名称。 查看5上报告警的节点是否存在“慢盘故障”或“磁盘不可用”告警。
重启该实例。 等待5分钟,查看告警是否自动清除。 是,操作结束。 否,执行5。 检查是否慢盘故障。 在FusionInsight Manager界面,选择“运维 > 告警 > 告警”,查看此告警的详细信息,记录定位信息中上报告警的“主机名”名称。 查看5上报告警的节点是否存在“慢盘故障”或“磁盘不可用”告警。
重启该实例。 等待5分钟,查看告警是否自动清除。 是,操作结束。 否,执行5。 检查是否慢盘故障。 在FusionInsight Manager界面,选择“运维 > 告警 > 告警”,查看此告警的详细信息,记录定位信息中上报告警的“主机名”名称。 查看5上报告警的节点是否存在“慢盘故障”或“磁盘不可用”告警。
<arg> 导出数据SQL设置。从Hive/Spark表读取数据时,设置该参数可自行过滤部分无需同步的数据。 -rc,--rowkey-columns <arg> 指定源表中组成HBase Rowkey的列,如果有多个列,请使用逗号分隔。 SQL错误导致查询异常、查询数据为空、数据重复都会导致Spark
连接会从池中被删除,并重建一个连接重新执行用户的操作。 对于查询操作: 使用SessionPool进行查询时,得到的结果集是SessionDataSet的封装类SessionDataSetWrapper。 若对于一个查询的结果集,用户并没有遍历完且不再想继续遍历时,需要手动调用释
是,执行6。 否,执行4。 联系网络管理员查看是否为网络故障。 是,执行5。 否,执行6。 修复网络故障,查看告警列表中,该告警是否已清除。 是,处理完毕。 否,执行6。 检查节点名配置是否正确。 进入主OMS节点软件安装目录。 cd /opt 查找主备节点的配置文件目录。 find -name
根据实际磁盘IO使用情况,修改告警阈值和平滑次数配置项。 登录FusionInsight Manager,选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 磁盘 > 每个写操作平均所需时间”。 根据实际服务的使用情况,单击“平滑次数”后的编辑按钮,更改告警的平滑次数。
连接会从池中被删除,并重建一个连接重新执行用户的操作。 对于查询操作: 使用SessionPool进行查询时,得到的结果集是SessionDataSet的封装类SessionDataSetWrapper。 若对于一个查询的结果集,用户并没有遍历完且不再想继续遍历时,需要手动调用释
Spark Core调优 数据序列化 配置内存 设置并行度 使用广播变量 使用External Shuffle Service提升性能 Yarn模式下动态资源调度 配置进程参数 设计DAG 经验总结 父主题: Spark应用调优
登录FusionInsight Manager,选择“运维 > 告警 > 告警”,选中“告警ID”为“50230”的告警,查看“定位信息”中的角色名并确定实例的IP地址,查看“附加信息”中的CurrentValue值。 若“CurrentValue”值为“2”,表示获取的AK/SK失效,执行2。
Manager首页,选择“集群 > 服务”,查看Hive、KrbServer是否已停止。 是,启动已停止的服务,执行2。 否,执行3。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,在告警列表中,查看“Impala服务不可用”告警是否清除。 是,操作结束。
Kafka Shell命令介绍 查看当前集群Topic列表。 bin/kafka-topics.sh --list --zookeeper <ZooKeeper集群IP:2181/kafka> bin/kafka-topics.sh --list --bootstrap-server
Kafka Shell命令介绍 查看当前集群Topic列表。 bin/kafka-topics.sh --list --zookeeper <ZooKeeper集群IP:2181/kafka> bin/kafka-topics.sh --list --bootstrap-server
instant_time=>'20220915113127525'); 注意事项 只能依次回滚最新的commit时间戳 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Hudi CALL COMMAND语法说明
单击“启动实例”,根据界面提示启动实例。 等待2分钟,查看告警是否消失。 是,处理完毕。 否,执行8。 查看业务是否存在大SQL任务 在“计算实例”页签,展开对应租户下的实例,单击计算实例“WebUI”列的“LINK”,查看所有任务的运行情况。 在“Sort”列选择“Execution
单击“启动实例”,根据界面提示启动实例。 等待2分钟,查看告警是否消失。 是,处理完毕。 否,执行8。 查看业务是否存在大SQL任务 在“计算实例”页签,展开对应租户下的实例,单击计算实例“WebUI”列的“LINK”,查看所有任务的运行情况。 在“Sort”列选择“Execution