检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建API时,有三种认证方式可选,不同认证方式的API支持的调用方式也有所不同,详见表1。 表1 API认证与调用方式说明 认证方式 安全级别 授权与认证机制 支持的调用方式 调用方法示例 使用说明 (推荐)APP认证 高 通过APP应用将API授权给应用后,使用应用的密钥对(AppKey和AppSecret)进行安全认证。
e平台的IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 表3 请求Body参数 参数 是否必选 参数类型 描述 region_id 是 String 通过调用ManageOne平台的IAM服务的“查询区域列表”接口获取响应消息中的区域ID。
入SQL语句,通过SQL语句来实现统计前一天的销售额。 图1 开发脚本 关键说明: 图1中的脚本开发区为临时调试区,关闭脚本页签后,开发区的内容将丢失。您可以通过“提交”来保存并提交脚本版本。 数据连接:创建DWS的数据连接中已创建的连接。 开发DWS SQL作业 DWS SQL脚本开发完成后,我们为DWS
码表和数据标准有什么关系? 问题描述 码表和数据标准的关系是什么。 解决方案 码表由多条表字段的名称+编码+数据类型组成,码表的表字段可以关联到数据标准上,数据标准会应用到某张模型表的字段上。 父主题: 数据架构
、Python脚本等任务的同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 在创建数据连接前,请确保您已具备连接所需的Agent代理(即CDM集群),且待连接的数据湖与CDM集群之间网络互通。 如果数据湖为云下的数据库,则需要通过公网或
页面提示完成用户的创建。 MRS 3.1.0及之后版本集群,所创建的用户至少需具备Manager_viewer的角色权限才能在管理中心创建连接;如果需要对应组件的进行库、表、数据的操作,还需要添加对应组件的用户组权限。 MRS 3.1.0版本之前的集群,所创建的用户需要具备Man
图数据自动化构建与分析 图数据自动化构建与分析场景介绍 操作环境与数据准备 创建数据集成作业 开发并调度Import GES作业 分析图数据
数据集成(CDM作业) CDM与其他数据迁移服务有什么区别,如何选择? CDM有哪些优势? CDM有哪些安全防护? 如何降低CDM使用成本? CDM未使用数据传输功能时,是否会计费? 已购买包年包月的CDM套餐包,为什么还会产生按需计费的费用? 如何查看套餐包的剩余时长? CDM可以跨账户使用吗?
MySQL与MRS Hudi字段类型映射 Migration会根据源端的字段类型按默认规则转换成目的端字段类型,并以此完成自动建表和实时同步。 字段类型映射规则 当源端为MySQL,目的端为Hudi时,支持的字段类型请参见下表,以确保数据完整同步到目的端。 表1 MySQL > Hudi支持的字段类型
TMESTAMP 源端为日期(没有一天中的时间),到目的端类型会变成日期+时间的timestamp。 TIME(M) TIME 一天中的时间(不带日期)。 TIME(M) WITH TIME ZONE TIMETZ 即TIMETZ,一天中的时间(不带日期),带有时区。 TIMESTAMP(M)
高级属性里的可选参数保持默认。 目的连接名称:选择创建DLI连接中的“dlilink”。 资源队列:选择目的表所属的资源队列。 数据库名称:写入数据的数据库名称。 表名:写入数据的目的表。CDM暂不支持在DLI中自动创表,这里的表需要先在DLI中创建好,且该表的字段类型和格式
挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。
用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。
用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。
、Python脚本等任务的同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 数据源认证及其他功能配置 用户名 是 数据库的用户名,创建DWS集群时指定的用户名。 密码 是 数据库的访问密码,创建DWS集群时指定的密码。 元数据采集范围 否
工作空间内的API配额已满,无法新建API怎么解决? DataArts Studio实例下数据服务专享版的API总分配配额默认为5000,如果工作空间内的API配额未达此配额,则您可以为当前工作空间分配更多已分配配额。 登录DataArts Studio管理控制台。 在旧版首页的“空间
删除指定的id的数据密级 功能介绍 删除指定的id的数据密级。 调用方法 请参见如何调用API。 URI DELETE /v1/{project_id}/security/data-classification/secrecy-level/{id} 表1 路径参数 参数 是否必选
建CDM集群。 关键配置如下: CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。 CDM集群所在VPC、子网、安全组,选择与MRS集群所在的网络一致。 CDM集群创建完成后,选择集群操作列的“绑定弹性IP”,CDM通过EIP访问MRS
生成新的元数据xml文件。 生成的元数据xml文件,属性(Property)中的数据复合类型(Cardinality),目前仅支持填写为“single”类型,不支持自定义。 生成元数据功能本身,支持一次生成多对点表和边表的元数据xml文件。但考虑到Import GES节点的“边数
是3个实例。 上游作业B与下游作业A在一天内,都是3个实例,则作业A与作业B一对一依赖。 所以作业A与作业B的依赖情况为: 作业A在3点的实例,依赖作业B在0点的实例;作业A在6点的实例,依赖作业B在8点的实例;作业A在8点的实例,依赖作业B在 16点的实例。 规则二:自然天内,