检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为什么执行完HIVE任务什么结果都不显示? 可能原因 执行完HIVE任务结果不显示,可能是由于连接方式引起的。 解决方案 清理缓存数据,采用直连方式,数据就可以显示出来了。 父主题: 数据开发
导出”,可以直接导出所有主题。导出完成后,即可通过浏览器下载地址,获取到导出的xlsx文件。 导出主题时,可以直接勾选自己想要导出的主题名称,单击“导出”按钮,系统会递归导出选中的主题及其所有子主题。 导出主题时,可以勾选主题目录树上的主题,如果右侧没有勾选主题名称,单击“导出”按钮,则会按照选中的主题进行递归导出。
对于配置了周期调度或事件触发调度的批处理作业,触发一次运行就会生产一个作业实例。如果实时作业里面包含了配置周期调度或事件触发调度节点,可以通过此接口查询节点所关联的子作业的实例列表,参数jobName格式为[实时作业名称]_[节点名称]。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。
CDM集群已经创建成功后,支持新增、修改及删除CDM集群的标签。使用标签可以标识多种云资源,后续在TMS标签系统或者CDM集群管理列表中可筛选出同一标签的云资源。 一个CDM集群最多可新增10个标签。 前提条件 已创建CDM集群。 操作步骤 登录CDM管理控制台。单击左侧导航上的“集群管理”,进入集群管理界面。
在数据开发主界面,单击左侧导航上的“脚本开发”,进入脚本目录。 单击脚本目录中的,选择“显示复选框”。 勾选需要导出的脚本,单击 > 导出脚本。导出完成后,即可通过浏览器下载地址,获取到导出的zip文件。 图1 选择并导出脚本 在弹出的“导出脚本”界面,选择需要导出的脚本的状态,单击“确定”。
业务指标监控简介 当前,数据架构有完善的指标设计和管理能力,建议您后续使用数据架构的业务指标功能,数据质量的业务指标监控模块即将下线。 业务指标监控模块是对业务指标进行质量管理的工具。 为了进行业务指标监控,您可以先自定义SQL指标,然后通过指标的逻辑表达式定义规则,最后新建并调
Manager的用户名和密码。从HDFS导出目录时,如果需要创建快照,这里配置的用户需要HDFS系统的管理员权限。 如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户
挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。
实时集成作业监控提供了对实时处理集成作业的状态进行监控的能力。 实时处理集成作业处理实时的连续数据,主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的流水线,每个节点配置独立的、节点级别的调度策略,而且节点启动的任务可以永不下线。在实时作业里,带箭头的连线仅代表业务上的关系,而非任务执行流程,更不是数据流。
执行pip命令需要查看服务器安装的版本(有可能是pip3),执行如下命令进行查看: which pip 第二步:在执行任务的服务器上安装Impala客户端(也可以装整个MRS客户端)并上传Impala用户认证凭证 在Manager主页下载的客户端软件包,包含了集群内所有服务(除Flume之外)的客户端。
是 List<String> 依赖的作业名称列表,必须依赖已存在的作业。 dependPeriod 否 String 依赖周期: SAME_PERIOD :依赖被依赖作业的同周期任务的执行结果。 PRE_PERIOD :依赖被依赖作业的前一周期任务的执行结果。 默认值 : SAME_PERIOD
实时作业监控提供了对实时处理作业的状态进行监控的能力。 实时处理作业处理实时的连续数据,主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的流水线,每个节点配置独立的、节点级别的调度策略,而且节点启动的任务可以永不下线。在实时作业里,带箭头的连线仅代表业务上的关系,而非任务执行流程,更不是数据流。
用户、用户组、策略类型、策略状态来搜索相关策略的功能。您只需单击权限报告页面右上角的“高级搜索”即可弹出搜索框。 图1 高级搜索 策略状态过滤: 在服务的策略列表中,策略状态栏提供了过滤功能,您可以单击策略状态栏的来过滤所需要查看的策略。 图2 策略状态过滤 父主题: Ranger权限访问控制
能用于DLI引擎的静态脱敏任务,HDFS样本文件只能用于MRS引擎的静态脱敏任务。静态脱敏场景与引擎之间的对应关系请参考参考:静态脱敏场景介绍。 随机脱敏支持配置“随机算法保持原数据关联性”参数,开启后不同数据库中的相同数据,经过相同的规则脱敏后,脱敏结果是一致的。注意此参数开启
int 50000 DWS单次写入的最大条数,可在目的端配置中设置。 当缓存的数据达到“批写最大数据量”和“定时批写时间间隔”之一的条件时,触发数据写入。 单次写入条数增大可以减少请求DWS的次数,但可能导致单次请求时长增加,同时也可能导致缓存的数据增加进而影响内存使用。请综合考虑DWS规格和负载,
显示数据表的基本信息和存储信息。 字段信息 显示数据表的字段信息。 数据预览 预览数据表的10条记录。 DDL 显示DLI/DWS/MRS Hive数据表的DDL。 删除表:在脚本开发导航栏,选择,展开下方的数据连接至数据表层级,右键单击表名称,选择“删除”后,在弹出的页面中单击“确定”完成删除。
行数或数据库的大小。其中,数据表的行数可以通过SQL命令或数据质量作业获取;数据库大小可以直接在数据目录组件中查看,详情请参考如下操作指导: 统计数据表行数 统计数据库大小 统计数据表行数 对于不同类型的数据源,DataArts Studio提供了多种方式来查看表的行数。 对于DWS、DLI、RDS、MRS
SQL开发。 场景说明 数据开发模块作为一站式大数据开发平台,支持多种大数据工具的开发。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能;可以将SQL语句转换为MapReduce任务进行运行。 环境准备 已开通MapR
基本概念 账号 用户的账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用用户进行日常管理工作。 用户 由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。
过后,码表就下线成功了。 填写数值 在码表列表中,找到所需要的码表,单击其所在行的“更多-填写数值”,可以快速设置各字段的值。 发布历史 在码表列表中,找到所需要的码表,单击其所在行的“更多-发布历史”,可以查看码表的发布历史和变更详情,并支持进行版本对比。 父主题: 标准设计