检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通用操作 逆向数据库(关系建模) 逆向数据库(维度建模) 导入导出 关联质量规则 查看表 批量修改主题/目录/流程 管理配置中心 审核中心 父主题: 数据架构
数据服务API API管理接口 申请管理接口 消息管理接口 授权管理接口 服务目录管理接口 网关管理接口 应用管理接口 总览接口 集群管理接口
短时间内下发大量作业,可能会导致集群资源耗尽异常等,您调用API时需要注意。 CDM是批量离线迁移工具,不建议客户创建大量小作业场景。 其他组件API更详细的限制请参见具体API的说明。 父主题: 使用前必读
cs-dgc”。 本示例主机选择“CentOS 8.0 64bit with ARM(40GB)”的公共镜像,并且使用ECS自带的Python环境,您可登录主机后使用python命令确认服务器的Python环境。 已开通数据集成增量包,CDM集群名为“cdm-dlfpyhthon
试用产品的续费:用户需要在试用期满后继续使用DataArts Studio的,应当在期满前按标准费用进行续费。 使用免费版 您可以参考购买DataArts Studio基础包,直接购买DataArts Studio免费版。 图2 使用免费版 使用免费版注意事项: 免费版不自带数据集成集群,而是首次购买时赠送36小时cdm
数据安全 为什么运行静态脱敏任务后却没有按照规则脱敏? 审批DWS权限申请时提示“缺少必要的请求参数”怎么办? 启用细粒度认证时,DWS联通性检测报错“FATAL: Invalid username/password,login denied”怎么办? 启用细粒度认证后,在数据开发组件选择数据库时报错“Failed
子作业:选择需要循环执行的作业。 数据集:即不同子任务的参数值的集合。可以是给定的数据集,如“[['1'],['3'],['2']]”;也可以是EL表达式如“#{Job.getNodeOutput('preNodeName')}”,即前一个节点的输出值。 子作业参数:参数名即子作业中定义
查询APP服务使用TopN 功能介绍 查询APP服务使用TopN。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/statistic/apps-top-n 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
补数据作业除了支持SQL脚本,其他节点也支持。 如果SQL脚本的内容有变化,补数据作业运行的是最新版本的脚本。 使用补数据功能时,如SQL中变量是DATE,脚本中就写${DATE},在作业参数中会自动增加脚本参数DATE,脚本参数DATE的值支持使用EL表达式。如果是变量时间的话,需要使用DateU
子作业:选择需要循环执行的作业。 数据集:即不同子任务的参数值的集合。可以是给定的数据集,如“[['1'],['3'],['2']]”;也可以是EL表达式如“#{Job.getNodeOutput('preNodeName')}”,即前一个节点的输出值。 子作业参数:参数名即子作业中定义
业务指标监控(待下线) 业务指标监控简介 新建指标 新建规则 新建业务场景 查看业务场景实例 父主题: 数据质量
源。 使用流程 您可通过图1了解统一权限治理的使用流程。 图1 统一权限治理使用流程图 统一权限治理支持数据权限管控、服务资源管控和Ranger权限管理,流程介绍如下: 数据权限管控流程 授权dlg_agency委托 由于数据安全使用委托时,所需的云服务权限更高。因此在使用数据安
Studio数据集成模块中的CDM集群,执行自动实时监控、告警和通知操作。用户可以实时掌握集群运行中所产生的网络流入速率、网络流出速率、CPU使用率、内存使用率、磁盘利用率、失败作业率等信息。 关于DataArts Studio支持的监控指标,以及如何创建监控告警规则等内容,请参见查看监控指标。
车联网大数据零丢失搬迁入湖 车联网大数搬迁入湖简介场景介绍 迁移准备 CDM迁移近一个月的数据 DES迁移一个月前的历史数据 MRS中恢复HBase表
API概览 数据集成API概览 数据开发API(V1)概览 数据开发API(V2)概览 管理中心API概览 数据架构API概览 数据质量API概览 数据目录API概览 数据服务API概览 数据安全API概览
不需要预付费,可直接创建、使用按需资源。 按照资源使用量或使用时间进行计费。 适用于业务量激增、短期或间断性使用云资源的场景,使用时长不固定,资费较高。 批量数据迁移增量包 数据集成资源组增量包 套餐包(按需资源包) 通过预付费,购买一定时间期限内的云资源使用量配额。 购买后,系统不会自动分配云资源。
补数据作业除了支持SQL脚本,其他节点也支持。 如果SQL脚本的内容有变化,补数据作业运行的是最新版本的脚本。 使用补数据功能时,如SQL中变量是DATE,脚本中就写${DATE},在作业参数中会自动增加脚本参数DATE,脚本参数DATE的值支持使用EL表达式。如果是变量时间的话,需要使用DateU
bytes/s CDM集群实例 1分钟 cpu_usage CPU使用率 该指标用于统计测量对象的CPU使用率。 单位:%。 0%~100% CDM集群实例 1分钟 mem_usage 内存使用率 该指标用于统计测量对象的内存使用率。 单位:%。 0%~100% CDM集群实例 1分钟 pg_pending_job
单击左侧导航栏中的“审核中心”,进入相应页面后,选择“审核人管理”页签,然后单击“新建”按钮。 图1 新建审核人界面 选择审核人(此处的账户列表来自于工作空间成员),输入正确的手机号码和电子邮箱,单击“确认”完成审核人的添加。 根据需要,可以添加多个审核人。 审核API申请 在DataArts Studio控制台首页
如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶? 问题描述 如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶? 解决方案 CDM服务暂不支持该操作,建议通过手动导出MySQL的数据文件,然后在服务器上开启SFTP服务,然后新建CD