检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
EIP服务:如果您为数据集成集群开通了公网IP,则会产生弹性公网IP服务费用,收费标准请参见EIP价格详情。 DEW服务:在数据集成或创建管理中心连接时,如果启用了KMS,则会产生密钥管理费用,收费标准请参见DEW价格详情。 在场景开发完成后,如果您不再使用DataArts Studio
当使用AK/SK方式认证时,使用SDK对请求进行签名的过程中会自动填充该字段。 使用AK/SK认证时必选。 20150907T101459Z Host 请求的服务器信息,从服务API的URL中获取。值为hostname[:port]。端口缺省时使用默认的端口,https的默认端口为443。 使用AK/SK认证时必选。
Administrator用户或者数据安全管理员有权限将敏感同步到数据地图组件。 敏感数据同步前,需要在数据目录组件对数据连接成功进行过元数据采集,详见元数据采集任务。否则会导致同步失败,报错“数据连接不存在”。 约束与限制 当前敏感数据同步仅支持同步到数据地图组件。不支持将识别到的敏感数据同步到数据
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
Studio控制台购买的对应实例规格的CDM集群使用。 数据集成CDM集群可用于如下场景: 用于创建并运行数据迁移作业,提供数据上云和数据入湖的集成能力。 作为在管理中心创建连接时的Agent代理,为DataArts Studio实例和数据源直接提供网络通道。 DataArts Studio实例中已经包含一个仅用于
该节点将会再次重试。 失败重试 如果作业执行失败,可选择自动重试三次或者不重试。推荐值:不重试。 建议仅对文件类作业或启用了导入阶段表的数据库作业配置自动重试,避免自动重试重复写入数据导致数据不一致。 说明: 如果通过DataArts Studio数据开发使用参数传递并调度CDM
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
数据集成API 集群管理 作业管理 连接管理 附:公共数据结构
数据源接口 获取数据连接信息 父主题: 数据架构API
新建模型 表2 模型参数说明 参数 说明 *模型名称 定义模型名称。只能包含中文、英文字母、数字和下划线。 数据连接类型 选择数据连接类型。 不限制数据连接 选择数据连接 *数仓分层 如果是在DWI层、SDI层或者自定义关系建模数仓分层,此处支持选择DWI、SDI、自定义数仓分层。
数据开发API(V1) 脚本开发API 资源管理API 作业开发API 连接管理API(待下线)
调度资源。配置优先级后将会在第二天生成的周期实例中生效。 在MRS集群场景中,优先级配置只支持使用MRS API模式的数据连接类型,不支持代理模式的数据连接。 关于优先级约束限制的更多信息,请参见基线运维约束限制。 承诺时间 设置该基线任务运行结束的承诺时间。 基线上的任务承诺最
管理中心API 数据连接管理 购买实例 工作空间管理 实例管理 工作空间用户管理 数据源元数据获取 实例规格变更
主题域分组。 l2 String 主题域。 l3 String 业务对象。 table_name String 数据表对象名,格式为:数据连接.库.模式表/表。 l1_score Double 主题域分组评分。 l2_score Double 主题域评分。 l3_score Double
示例场景说明 本实践通过DataArts Studio服务的数据集成CDM组件、数据开发DLF组件和数据仓库服务(DWS)对电影评分原始数据进行分析,输出评分最高和最活跃Top10电影。您可以学习到数据集成模块的数据迁移和数据开发模块的脚本开发、作业开发、作业调度等功能,以及DWS
EIP服务:如果您为数据集成集群或数据服务专享版集群开通了公网IP,则会产生弹性公网IP服务费用,收费标准请参见EIP价格详情。 DEW服务:在数据集成或创建管理中心连接时,如果启用了KMS,则会产生密钥管理费用,收费标准请参见DEW价格详情。 APIG服务:在使用数据服务共享版发布API到API网关共享版
当发布人具备审核人权限时,可无需审批直接发布API。 如果非审核人权限的用户发布API时,待审核人审核通过后,即可发布完成。 处于待审核状态的API无法修改数据连接,需要具有空间管理员角色的用户审批驳回才可进行修改。 审核人支持管理员、开发者、运维者,访客无法添加为审核人。 工作空间管理员角色的用户,
"totalGetBytes": 0, "totalGetRecords": 0, "totalPutBytes": 0, "totalPutRecords": 0 } ], "status": "NORMAL"
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
移效率与业务稳定性。 需要作为不同的用途或给多个业务部门使用。例如既需要用于数据迁移作业,又需要作为DataArts Studio管理中心连接代理时,建议各配置至少一个CDM集群。 待迁移任务库表较多,迁移量较大。此时可以使用多个CDM集群同时作业,提升迁移效率。 当前CDM集群