检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Hue提交Oozie HQL脚本 操作场景 该任务指导用户通过Hue界面提交Hive脚本作业。 操作步骤 访问Hue WebUI,请参考访问Hue WebUI界面。 在界面左侧导航栏选择“ > Workflow”,打开Workflow编辑器。 单击“文档”, 在操作列表中选择Hive脚本,将其拖到操作界面中。
HBase应用开发简介 HBase简介 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是解决关系型数据库在处理海量数据时的局限性。 HBase使用场景有如下几个特点: 处理海量数据(TB或PB级别以上)。 具有高吞吐量。 在海量数据中实现高效的随机读取。
HBase应用开发简介 HBase简介 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是解决关系型数据库在处理海量数据时的局限性。 HBase使用场景有如下几个特点: 处理海量数据(TB或PB级别以上)。 具有高吞吐量。 在海量数据中实现高效的随机读取。
HBase应用开发简介 HBase介绍 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是用来解决关系型数据库在处理海量数据时的局限性。 HBase使用场景有如下几个特点: 处理海量数据(TB或PB级别以上)。 具有高吞吐量。 在海量数据中实现高效的随机读取。
HBase应用开发简介 HBase介绍 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是用来解决关系型数据库在处理海量数据时的局限性。 HBase使用场景有如下几个特点: 处理海量数据(TB或PB级别以上)。 具有高吞吐量。 在海量数据中实现高效的随机读取。
splitting任务。如果WAL HLog splitting任务完成,它将初始化表region分配任务。 HMaster通过ZooKeeper协调log splitting任务和有效的RegionServer,并追踪任务的发展。如果主HMaster在log splitting任务期间退出
子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的任务需要使用指定Yarn队列功能,该用户需要已授权有相关Yarn队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 是否第一次从Loader导出数据到关系型数据库?
Hive是一个开源的,建立在Hadoop上的数据仓库框架,提供类似SQL的HQL语言操作结构化数据,其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务,从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下: 通过HQL语言非常容易的完成数据提取、转换和加载(ETL)。
Hive是一个开源的,建立在Hadoop上的数据仓库框架,提供类似SQL的HQL语言操作结构化数据,其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务,从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下: 通过HQL语言非常容易的完成数据提取、转换和加载(ETL)。
不执行恢复任务。 单击“校验”查看恢复任务的配置是否正确。 如果队列名称不正确,校验失败。 如果不存在指定的恢复目录,校验失败。 单击“确定”保存。 在恢复任务列表已创建任务的“操作”列,单击“执行”,开始执行恢复任务。 恢复成功后进度显示为绿色。 恢复成功后此恢复任务不支持再次执行。
直接重启 直接重启期间,不可新提交任务,正在运行Spark、Flink任务有重试机制不受影响。 直接重启耗时约5分钟。 滚动重启 依赖NodeManager的remote shuffle Spark任务受影响,Flink任务有概率失败,Hive任务有概率失败。 滚动重启10节点耗时约25分钟。
于划分Map任务数据输入的范围。此文件在BulkLoad客户端退出时会被自动删除。一般来说当所有Map任务都启动运行以后,退出BulkLoad客户端也不会导致已提交的作业失败。但由于Map任务存在重试机制和推测执行机制;Reduce任务下载一个已运行完成的Map任务的数据失败次数
Doris多租户基于内核Workload Group资源软限制方案实现,Workload Group只是限制组内任务在单个BE节点上的计算资源和内存资源的使用,所以租户没有整体资源池的概念,而是在执行查询任务时,动态的在各个BE节点上进行资源分配。 因此,Doris多租户的监控和告警是节点粒度的,在
e节点进行缩容)任务失败,但是DataNode在任务失败后一直处于退服中的状态。 原因分析 在对HDFS的某个DataNode进行退服(或者对core节点进行缩容)过程中,因为Master节点重启或者nodeagent进程意外退出等情况出现,使得退服(或缩容)任务失败,并且没有进
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Hive执行的HQL的Map数过高,将占用大量Yarn队列资源,可能导致任务耗时较长,并且影响其他使用此队列运行的任务。 可能原因 执行的HQL语句存在可以优化的可能。 处理步骤 检查HQL的Map个数。 在FusionInsight Manager首页,选择“集群
“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间.tar.gz”。 单击“确定”保存。 在恢复任务列表已创建任务的“操作”列,单击“执行”,在弹出窗口上继续单击“确定”,开始执行恢复任务。 恢复成功后进度显示为绿色。 恢复成功后此恢复任务不支持再次执行。
名表时不执行恢复任务。 单击“校验”查看恢复任务的配置是否正确。 如果队列名称不正确,校验失败。 如果不存在指定的命名空间,校验失败。 如果不满足强制覆盖的条件,校验失败。 单击“确定”保存。 在恢复任务列表已创建任务的“操作”列,单击“执行”,开始执行恢复任务。 恢复成功后进度显示为绿色。
直接重启 直接重启期间,不可新提交任务,正在运行Spark、Flink任务有重试机制不受影响。 直接重启耗时约5分钟。 滚动重启 依赖NodeManager的remote shuffle Spark任务受影响,Flink任务有概率失败,Hive任务有概率失败。 滚动重启10节点耗时约25分钟。
击“卸载”,等待补丁卸载成功后,需要按照该章节顺序依次执行相关操作。 当“状态”显示为“卸载失败”时,在“失败任务”中查看错误提示信息,查找相应日志来定位处理。 如果任务失败,选择“重试卸载”,只有当“状态”显示为“可用”时,才能进入下一步操作。 卸载失败或者重试后仍然失败,不能直接再点安装,请联系运维人员。
导入、导出数据的大小。 如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight