检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建并配置简单模式工作空间 创建简单模式工作空间 设置工作空间配额 (可选)修改作业日志存储路径 父主题: 购买并配置DataArts Studio
件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。 其他场景下,CDM会自动匹配源端和目的端数据表字段,需用户检查字段映射关系和时间格式是否正确,例如:源字段类型是否可以转换为目的字段类型。 您可以单击字段映射界面的选择“添加新字段”自定义新增字段
管理数据水印 嵌入数据水印 溯源数据水印 父主题: 敏感数据保护
动态脱敏任务 管理动态脱敏策略 订阅动态脱敏策略 父主题: 敏感数据保护
QL、RDSSQL、ImpalaSQL、PYTHON、SparkPython其中之一时,这个参数是必选的。用户可以通过查询连接列表(待下线)接口获取当前系统中已经存在的连接。默认值为空。 database 否 String 执行SQL语句所关联的数据库,当type参数值为DLIS
QL、RDSSQL、ImpalaSQL、PYTHON、SparkPython其中之一时,这个参数是必选的。用户可以通过查询连接列表(待下线)接口获取当前系统中已经存在的连接。默认值为空。 database 否 String 执行SQL语句所关联的数据库,当type参数值为DLIS
中假设“依赖的作业失败后,当前作业处理策略”参数设置为“继续执行”,作业A不判断作业B的实例运行状态;如果该参数设置为“挂起”或“取消执行”,则作业A还会额外判断作业B的实例中是否存在失败实例。 同周期依赖:即作业A与其依赖作业B为相同调度周期,如分钟依赖分钟、小时依赖小时或天依赖天。
Studio实例ID,获取方法请参见实例ID和工作空间ID。 workspace_id 是 String 工作空间ID ,获取方法请参见实例ID和工作空间ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Tok
单击作业列表上方的“导出”按钮,准备导出连接和作业。 图1 批量导出 在弹出的窗口中,选择“全部作业和连接”,单击“确认”,导出所有作业和连接。 图2 全部导出 导出成功后,通过浏览器下载地址,获取到导出的JSON文件。 新空间导入作业和连接 请您登录控制台首页,选择并进入新工作空间的
管理员id, 管理员类型为用户时, 请传入iam用户id; 管理员类型为用户组时, 请传入iam用户组id manager_name String 管理员名称, 管理员类型为用户时, 请传入iam用户名称; 管理员类型为用户组时, 请传入iam用户组名称 状态码: 400 表5 响应Body参数
租户id,可在IAM侧用户信息中查询账号ID。 instance_id String DataArts Studio实例ID,获取方法请参见实例ID和工作空间ID。 create_time Number 创建时间。 create_user String 创建用户名称。 member_num
OBSUtil内嵌对象 OBSUtil内嵌对象提供了一系列针对OBS的操作方法,例如判断OBS文件或目录是否存在。 方法 表1 方法说明 方法 说明 示例 boolean isExistOBSPath(String obsPath) 判断OBS文件或目录(目录请以“/”结尾)是否
A会在最后一个B作业实例执行完成后执行。 图10 天依赖分钟 如果在配置作业依赖关系时勾选“最近”依赖的按钮,天作业只依赖所选作业最近的一个运行实例,比如A在每天22点开始调度,A依赖B最近的21:30调度的一个运行实例。 天依赖小时 规则:按自然天,天周期作业实例依赖一天内所有小时作业的实例。A
数据血缘方案简介 什么是数据血缘 大数据时代,数据爆发性增长,海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息,通过联姻融合、转换变换、流转流通,又生成新的数据,汇聚成数据的海洋。 数据的产生、加工融合、流转流通,到最终消亡,数据之间自然会形成一种关系。我们借鉴人类社会中
数据质量操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建目录 Category createCategory
cdm_topic 数据格式 解析数据时使用的格式: JSON:以JSON格式解析源数据。 CSV格式:以CSV格式解析源数据。 JSON格式 消费组ID 用户指定消费组ID。 如果是从DMS Kafka导出数据,专享版请任意输入,标准版请输入有效的消费组ID。 sumer-group 消费记录策略
配置CDM作业源端参数 配置OBS源端参数 配置HDFS源端参数 配置HBase/CloudTable源端参数 配置Hive源端参数 配置DLI源端参数 配置FTP/SFTP源端参数 配置HTTP源端参数 配置PostgreSQL/SQL Server源端参数 配置DWS源端参数
管理并查看CDM监控指标 CDM支持的监控指标 设置CDM告警规则 查看CDM监控指标 父主题: 创建并管理CDM集群
数据安全为数据湖提供数据生命周期内统一的数据使用保护能力。通过敏感数据识别、分级分类、隐私保护、资源权限控制、数据加密传输、加密存储、数据风险识别以及合规审计等措施,帮助用户建立安全预警机制,增强整体安全防护能力,让数据可用不可得和安全合规。 功能模块 数据安全包括: 数据密级 对数据进行等级划分,方便数据的管理。
参考:CDM性能实测数据 背景说明 文中提供的性能指标仅用于参考,实际环境会受源或目标数据源性能、网络带宽及时延、数据及业务模型等因素影响。推荐您在正式迁移前,可先用小数据量实测进行速度摸底。 环境信息 CDM集群为xlarge规格,2.9.1 200版本。 性能测试中,表数据规