检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
随着大数据和AI的发展,数据湖中数据的价值逐渐水涨船高,价值被重新定义。数据湖能给企业带来多种能力,例如实现数据的集中式管理,帮助企业构建更多优化后的运营模型,也能为企业提供其他能力,如预测分析、推荐模型等,这些模型能刺激企业能力的后续增长。 对于数据仓库与数据湖的不同之处,可以类比为仓
填写待创建的网络连接名称。 只能包含字母、数字和下划线。 资源组 需要和指定VPC进行网络打通的资源组。 如果创建时未选择资源组,可以在网络连接创建好后再绑定资源组。支持绑定多个资源组,可以通过单击“更多” >“绑定资源组”进行选择。 虚拟私有云(VPC) 选择需要和资源组进行网络打通的虚拟私有云。
等。 图21 实例监控 作业运行成功后,您可以在DataArts Studio数据目录中查看汇总表的数据预览,具体操作请参见步骤8:数据资产查看。您也可以在数据开发的“脚本开发”页面新建一个Hive SQL脚本,执行以下命令查询结果,执行成功后返回类似如下的结果: 1 SELECT
目标字段编码。 field_ids 否 String 来源字段ID,多个ID以逗号分隔。 transform_expression 否 String 转换表达式。 field_names 否 Array of strings 来源字段名称列表。 changed 否 Boolean 字段是否发生变化。
须。 schema String DWS类型需要。 extend_info String 扩展信息。 tb_guid String 表物化后的guid,只读。 tb_id String 数据表ID,只读。 logic_tb_name String 逻辑实体名。 logic_tb_guid
批量授权API(专享版) 功能介绍 APP创建成功后,还不能访问API,如果想要访问某个API,需要将该API授权给APP。API主动授权成功后,在有效期内,APP即可访问该API。API授权包含授权和续约两部分功能。 授权:授权会给予APP在有效期内访问API的权利。 续约:续
jobName 是 String 作业名称。 通过DataArts Studio管理控制台 > 数据集成,在批量数据迁移集群列表单击对应的集群管理,进入后在作业管理中获取作业名称。 表20 DISTransferTask节点属性说明 参数名 是否必选 参数类型 说明 streamName 是 String
须。 schema String DWS类型需要。 extend_info String 扩展信息。 tb_guid String 表物化后的guid,只读。 tb_id String 数据表ID,只读。 logic_tb_name String 逻辑实体名。 logic_tb_guid
填写待创建的网络连接名称。 只能包含字母、数字和下划线。 资源组 需要和指定VPC进行网络打通的资源组。 如果创建时未选择资源组,可以在网络连接创建好后再绑定资源组。支持绑定多个资源组,可以通过单击“更多” >“绑定资源组”进行选择。 虚拟私有云(VPC) 选择需要和资源组进行网络打通的虚拟私有云。
参数同步,在任意一处修改即可生效。 CDM通过数据迁移作业,将源端数据迁移到目的端数据源中。其中,主要运行逻辑如下: 数据迁移作业提交运行后,CDM会根据作业配置中的“抽取并发数”参数,将每个作业拆分为多个Task,即作业分片。 不同源端数据源的作业分片维度有所不同,因此某些作业
填写待创建的网络连接名称。 只能包含字母、数字和下划线。 资源组 需要和指定VPC进行网络打通的资源组。 如果创建时未选择资源组,可以在网络连接创建好后再绑定资源组。支持绑定多个资源组,可以通过单击“更多” >“绑定资源组”进行选择。 虚拟私有云(VPC) 选择需要和资源组进行网络打通的虚拟私有云。
须。 schema String DWS类型需要。 extend_info String 扩展信息。 tb_guid String 表物化后的guid,只读。 tb_id String 数据表ID,只读。 logic_tb_name String 逻辑实体名。 logic_tb_guid
须。 schema String DWS类型需要。 extend_info String 扩展信息。 tb_guid String 表物化后的guid,只读。 tb_id String 数据表ID,只读。 logic_tb_name String 逻辑实体名。 logic_tb_guid
目标字段编码。 field_ids 否 String 来源字段ID,多个ID以逗号分隔。 transform_expression 否 String 转换表达式。 field_names 否 Array of strings 来源字段名称列表。 changed 否 Boolean 字段是否发生变化。
ers/bae65496-643e-47ca-84af-948672de7eeb/cdm/link -k -v 创建迁移作业 连接创建成功后,调用指定集群创建作业API创建迁移作业,作业样例如下: 作业名称:mysql2dws。 从MySQL导出数据的数据库名称为default,
OFFLINE: 已下线 REJECT: 已驳回 tb_guid String 表发布后,创建的数据目录技术资产guid,只读,创建和更新时无需填写。 tb_logic_guid String 表发布后,创建的数据目录业务资产guid,只读,创建和更新时无需填写。 dw_type String
可在导出记录中查看导出结果,单击“下载”可以下载数据质量报告。如果导出的报告文件过大,系统也支持直接下载大文件。 图9 导出记录 立即刷新 在质量作业和对账作业运行完毕后,通过立即刷新功能,用户可以立即获得零点到当前时间的数据质量报告临时数据。到第二天凌晨,质量报告的调度任务开始执行,此时生成的数据是前一天的全量数据质量报告。
OFFLINE: 已下线 REJECT: 已驳回 tb_guid String 表发布后,创建的数据目录技术资产guid,只读,创建和更新时无需填写。 tb_logic_guid String 表发布后,创建的数据目录业务资产guid,只读,创建和更新时无需填写。 dw_type String
s/"+CLUSTER_ID+"/cdm/job"); /**此处JSON信息比较复杂,可以先在作业管理界面上创建一个作业,然后单击作业后的“作业JSON定义”,复制其中的JSON内容,格式化为Java字符串语法,然后粘贴到此处。 *JSON消息体中一般只需要替换连接名、导入和
发布API 功能介绍 发布API。API只有发布后,才能够被调用。API发布时,可以将API发送至指定网关。 共享版,必须发送至API网关共享版。 专享版,可以依据自身需要,选择将API发送至API网关专享版、ROMA-APIC、或不发布网关。 发布请求的发起者若非审核人,需要API的审核人完成申请的审核。