检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
具备的功能如下所示: 权限自助申请:用户可以选择自己需要权限的数据表,在线上快速发起申请。 权限审计:管理员可以快速方便地查看数据库表权限对应人员,进行审计管理。 权限回收/交还:管理员可以通过用户权限管理及时回收用户权限,用户也可以主动交还不再需要的权限。 权限审批管理:提供
uid,guid是资产的唯一标识符。在调用数据目录或数据地图接口时,部分URI中需要填入guid。 资产guid可通过相应查询接口获取,也可以通过控制台获取,推荐您通过相应查询接口获取。 控制台获取操作相对复杂,如下所示,为您介绍如何通过控制台获取guid资产: 在DataArts
Studio数据目录模块中通过标签搜索相关的数据资产。 单击按钮可以为表添加标签,在弹出框中可以选择一个或多个已有的标签,或者输入一个新的标签名称后按回车键。您也可以前往DataArts Studio数据目录模块的“标签管理”页面添加新的标签,详情请参见管理资产标签,然后再返回此页面,就可以在标签的下拉列表中选择新添加的标签。
CDM未使用数据传输功能时,是否会计费? 已购买包年包月的CDM套餐包,为什么还会产生按需计费的费用? 如何查看套餐包的剩余时长? CDM可以跨账户使用吗? CDM集群是否支持升级操作? CDM迁移性能如何? CDM不同集群规格对应并发的作业数是多少? 是否支持增量迁移? 是否支持字段转换?
是否使用集群配置 您可以通过使用集群配置,简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hive_01 单击“显示高级属性”,然后单击“添加”,您可以添加客户端
Shell节点运行的输出结果不能大于30M,大于30M会报错。 主机连接 是 选择执行Shell脚本的主机。 须知: Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python
归属性:一般来说,特定的数据归属特定的组织或者个人,数据具有归属性。 多源性:同一个数据可以有多个来源(多个父亲)。一个数据可以是多个数据经过加工而生成的,而且这种加工过程可以是多个。 可追溯性:数据的血缘关系,体现了数据的生命周期,体现了数据从产生到消亡的整个过程,具备可追溯性。
表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 服务 是 选择需要开机/关机的服务: ECS CDM 开关机设置 是 选择开关机类型: 开 关 开关机对象 是
type为DLI SQL时,可以通过查看所有数据库接口获取数据库信息。 type为其他类型的时候,需要通过JDBC方式连上集群,查询数据库信息。默认值为空。 queueName 是 String DLI资源队列名称,当type参数值为DLISQL时,才支持此参数。可以通过查询队列列表接口获取队列信息。默认值为空。
的按钮就可以删除该JOIN表。 图4 JOIN条件 字段映射 为来源于当前映射的字段,依次选择一个含义相同的源字段。如果表字段来源于多个模型,您需要新建多个映射,每个映射中,您只需要为来源于当前映射的字段设置源字段,其他字段可以不设置。 在映射区域的右上角,单击按钮,可以删除指定的映射,单击可以收起映射区域。
CDM集群作为管理中心数据连接Agent时,单集群的并发活动线程最大为200。即当多个数据连接共用同一Agent时,通过这些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 数据集成配置 域名 是 表示通
码表模板填写说明: 模板中参数名称前带“*”的参数为必填参数,名称前未带“*”的参数为可选参数。 一个码表可以添加多个字段。 如果要导入多个码表,可以在模板文件中添加多个Sheet页,Sheet页的名称可以是码表名称或码表编码。 如果码表名称已存在,当“更新已有数据”设置为“更新”时,导入时会更新已有的码表。
络互通才可以成功创建MRS连接,为确保两者网络互通,CDM集群必须和MRS集群处于相同的区域、可用区,且使用同一个VPC和子网,安全组规则需允许两者网络互通。 说明: CDM集群作为管理中心数据连接Agent时,单集群无法连接多个MRS安全集群。建议您按照业务情况规划多个Agent与MRS安全集群一一映射。
其他可用区故障的影响。一个区域内可以有多个可用区,不同可用区之间物理隔离,但内网互通,既保障了可用区的独立性,又提供了低价、低时延的网络连接。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。
是否必选 类型 说明 fromJobConfig.inputDirectory 是 String 抽取文件的路径。支持输入多个文件路径(最多50个),默认以“|”分隔,也可以自定义文件分隔符,例如:“FROM/example.csv|FROM/b.txt”。 fromJobConfig.inputFormat
当拥有大量云资源时,您可以按使用者、维护者或用途等各类维度为云资源(包括DataArts Studio实例)添加标签,最后您可以在标签管理服务(简称TMS)通过标签识别、管理多种云资源,使资源管理变得更加轻松。 当拥有多个DataArts Studio实例时,您可以按使用者、维护者或
转移脚本责任人 数据开发模块提供了转移脚本责任人的功能,您可以将责任人A的所有脚本一键转移到责任人B名下。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
当拥有大量云资源时,您可以按使用者、维护者或用途等各类维度为云资源(包括DataArts Studio实例)添加标签,最后您可以在标签管理服务(简称TMS)通过标签识别、管理多种云资源,使资源管理变得更加轻松。 当拥有多个DataArts Studio实例时,您可以按使用者、维护者或
ormation,and Loading)操作。对庞大的数据集查询需要耗费大量的时间去处理,在许多场景下,可以通过建立Hive分区方法减少每一次扫描的总数据量,这种做法可以显著地改善性能。 Hive的分区使用HDFS的子目录功能实现,每一个子目录包含了分区对应的列名和每一列的值。
关于EL表达式的使用,请参见表达式概述。 描述 否 参数说明。 配置完一个环境变量后,您还可以进行新增、修改或删除等操作。 新增:单击“新增”配置新的环境变量。 修改:参数值为常量时,直接在文本框中修改参数值;参数值为EL表达式时,可以单击文本框后方的编辑EL表达式,修改参数值。修改完成后,请“保存”。