检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在脚本目录中,右键单击目录名称,选择新建相应的脚本。 进入脚本开发页面,具体操作请参见开发SQL脚本、开发Shell脚本、开发Python脚本。 当前最多支持创建5个同类型的临时脚本。当关闭了临时未保存的脚本,再次新建同类型的脚本时,会打开上次未保存的临时脚本。 父主题: 脚本开发
属性关联对象的id ref_name_ch String 属性关联对象的中文名 ref_name_en String 属性关联对象的英文名 stand_row_id String 关联的数据标准的ID,ID字符串。 stand_row_name String 关联的数据标准名称,只读。
dli数据连接执行sql所需的队列,数据连接类型为DLI时必须填写。 dw_id 是 String 汇总表所在的数据连接ID,为32位十六进制数字。 db_name 是 String 汇总表所在的数据库名。 schema 否 String 汇总表所在的Schema名,DWS类型必须填写。
在右边的文本框中输入已创建好的公共IAM账号。 单击,完成公共IAM账号的设置。 配置执行用户 配置作业的执行用户 在作业目录处,双击选中已有作业。 单击画布右侧“作业基本信息”页签,展开配置页面,可设置作业的执行用户。 参考:创建委托 登录IAM服务控制台。 选择“委托”,单击“创建委托”。 设置“委托名称”。例如:DGC_agency。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。
Studio数据集成是一种高效、易用的数据集成服务,围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。 数据集成即云数据迁移(Cloud Data Migration,
要配置。 设置通知发送的具体日期。 当调度周期为周时,可设置为一周中星期一至星期日的某一天或某几天。 当调度周期为月时,可设置为一月中每月1号至每月31号的某一天或某几天。 具体时间 是 设置通知发送的具体时间点,可以精确设置到小时和分钟。 选择主题 是 设置通知发送的主题。 选择OBS桶
其他云数据库添加白名单及安全组规则。 其他云数据库需要添加Migration资源组VPC网段(例如100.x.x.x/32)访问数据库的权限。各类型数据库添加白名单的方法不同,具体方法请参考各数据库官方文档进行操作。 数据库若配置了安全组,则还需要增加入方向规则,放通Migration资源组VPC网段(例如100
脚本(分析10大用户关注最多的产品) 关键参数说明: 数据连接:步骤4中创建的DLI数据连接。 数据库:步骤6中创建的数据库。 资源队列:可使用提供的默认资源队列“default”。 当前由于DLI的“default”队列默认Spark组件版本较低,可能会出现无法支持建表语句执行的报错,这种情况
0/19 网络配置流程 其他云数据库添加白名单及安全组规则。 其他云数据库需要添加Migration资源组VPC网段(例如172.16.0.0/19)访问数据库的权限。各类型数据库添加白名单的方法不同,具体方法请参考各数据库官方文档进行操作。 数据库若配置了安全组,则还需要增加入
数据开发调用数据质量算子并且作业运行的时候需要传入质量参数 由于数据质量作业在执行SQL语句时不支持传参,通过数据开发调用数据质量算子,运行的时候可以把数据质量作业的参数传递给数据质量算子作业,实现数据质量的参数传递。 使用场景 数据质量需要传递参数到数据质量算子作业里面并且能够正常运行。
数据迁移作业提交运行后,CDM会根据作业配置中的“抽取并发数”参数,将每个作业拆分为多个Task,即作业分片。 不同源端数据源的作业分片维度有所不同,因此某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数,超出规格的Task排队等待运行。
不自动创建:不自动建表。 不存在时创建:当目的端的数据库没有“表名”参数中指定的表时,CDM会自动创建该表。如果“表名”参数配置的表已存在,则不创建,数据写入到已存在的表中。 说明: Hbase自动建表包含列族与协处理器Coprocessor信息。其他属性按默认值设置,不跟随源端。 不自动创建 Row key拼接分隔符
数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。
查看技术报告数据质量评分 质量评分的满分可设置为5分,10分,100分。默认为5分制,是以表关联的规则为基础进行评分的。而表、数据库等不同维度的评分均基于规则评分,本质上是基于规则评分在不同维度下的加权平均值进行计算的。 您可以查询所创建数据连接下数据库、数据库下的数据表以及数据表所关联规则的评分,具体评分对象的计算公式,请参见表1。
成员是被授予工作空间访问或使用权限的华为账号。在添加工作空间成员时,您需要同时为添加的成员设置相应的角色。 角色是一组操作权限的集合。不同的角色拥有不同的操作权限,把角色授予成员后,成员即具有了角色的所有权限。每位成员至少要拥有一个角色,并且可以同时拥有多种角色。 数据集成集群 一个
在配置实时同步任务前,您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在本地IDC场景下,通过VPN打通网络的方案。 图1 网络示意图 约束限制 资源组为
REJECT: 已驳回 logic_tb_id String 逻辑实体的ID,ID字符串。 biz_catalog_id String 归属的业务分类的id,ID字符串。 catalog_path String 归属的业务分类的路径 {"l1Id":"","l2Id":"","l3Id":""}。
景。 CSV格式 换行符处理方式 指定在写入文本文件表的数据包含换行符,特指(\n|\r|\r\n)的情况下处理换行符的策略。 删除 不处理 替换为其他字符串 删除 换行符替换字符串 当换行符处理方式选择为替换时,指定替换的字符串。 - 高级属性 写入到临时文件 文件格式为二进制格式时显示该参数。