检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建一个新连接。 - - 查询连接列表(待下线) 查询连接列表。 - - 查询连接详情(待下线) 查询指定连接的配置详情。 - - 修改连接(待下线) 编辑修改连接的配置。 - - 删除连接(待下线) 删除一个连接。 - - 导出连接(待下线) 导出zip压缩包格式的连接文件,包括所有连接的定义。
作业脚本保存下来,仅在需要的时候再重新创建集群和重新导入作业。 批量创建作业任务:可以先手工创建一个作业,导出作业配置(导出的文件为JSON格式),然后参考该作业配置,在JSON文件中批量复制出更多作业,最后导入CDM以实现批量创建作业。 操作步骤 进入CDM主界面,单击左侧导航
数据安全诊断接口 执行数据安全诊断 查询不合理的权限配置 查询数据权限控制模块诊断结果 查询敏感数据保护模块诊断结果 查询未进行静态脱敏任务的表信息 查询数据源防护模块诊断结果 父主题: 数据安全API
action 否 Integer 执行动作。0=立刻执行, 1=定期执行。 time 否 String 使用截止时间。仅定期执行需要此参数,默认服务器当前时间三天后。 响应参数 状态码: 400 表4 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg
在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 在脚本开发导航栏,选择,展开DWS数据连接,选择需配置的数据库,展开目录层级至“schemas”,右键单击“schemas”,选择“新建模式”。 在弹出的“新建模式”页面,配置如表1所示的参数。 表1 新建模式 参数 是否必选 说明 模式名称 是 数据库模式的名称。
当天告警分类统计、当天数据表告警统计、最近7天规则告警分类趋势的统计和最近7天规则数量的趋势。 规则模板 质量规则模板是数据质量的核心功能,是配置规则的主要入口。它主要管理规则配置(内置模板和自定义模板)的相关功能。 质量作业 质量作业可将规则模板或自定义规则应用到表中,进行数据质量监控。 对账作业
dw_name String 数据连接名称。 dw_type String 数据连接类型。 dw_config Object 连接动态变化配置项,每种连接略有区别,建议在界面进行调试。 agent_id String CDM集群ID,获取方法请参见查询集群列表。 agent_name
但需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 前提条件 已将待检测的CSV文件上传至OBS桶中。 已配置数据入湖检测规则,详见配置数据入湖检测规则(高级特性)。 约束与限制 当前仅支持检测OBS桶中CSV文件。 文件敏感数据检测对CSV文件格式要求如下: 文件为UTF-8格式编码
f6:表示cdm.small规格,2核CPU、4G内存的虚拟机。适合PoC验证和开发测试。 fb8fe666-6734-4b11-bc6c-43d11db3c745:表示cdm.medium规格,4核CPU、8G内存的虚拟机适合单张表规模<1000万条的场景。 5ddb1071-
样本时,默认填充分类为左侧选中的分类。 图3 新建样本 在弹出的新建窗口中填写样本信息,参考表1完成配置。配置完成后单击“确定”即可。 图4 新建样本窗口 表1 新建样本参数配置 参数 参数描述 *名称 样本名称,只能包含英文字母、数字、“_”,且长度不能超过64个字符,超出部分将被截断。
流程设计页面。 单击流程列表上方的“导入”按钮导入流程。 在“导入流程”对话框中,根据页面提示配置如下参数,然后先单击“添加文件”后,再单击“上传文件”。 图5 导入流程 表2 导入配置参数说明 参数名 说明 更新已有数据 如果所要导入的流程,在DataArts Studio数据
批量删除数据掩码 datamask batchDeleteDataMask 修改数据掩码 datamask updateDataMask 配置采集任务并运行 bridgetask createBridgeTask 查询采集任务列表 bridgetask getBridgeTask
规范化的数据如何使用? 数据架构支持逆向数据库吗? 数据架构中的指标与数据质量的指标的区别? 为什么关系建模或维度建模修改字段后,数据库中表无变化? 表是否可配置生命周期管理? 当公共维度(如日期/地区/供应商/产品等)被多个主题域共享时,创建维度时应该如何选择主题? 在创建原子指标的时候,只能选择
使用教程 脚本及作业中引用参数使用介绍 作业调度支持每月最后一天 配置作业调度为年调度 补数据场景使用介绍 获取SQL节点的输出结果值 查询SQL获取max值传递给CDM作业 IF条件判断教程 获取Rest Client节点返回值教程 For Each节点使用介绍 引用脚本模板和参数模板的使用介绍
category_path String 分类树路径 create_by String 创建者 create_time Integer 创建时间 update_by String 更新者 update_time Integer 更新时间 project_id String 项目id
数据集成(实时作业) 问题案例总览 数据源和资源组网络不通如何排查? 数据源安全组放通哪些端口可满足Migration访问? 如何配置Hudi Compaction的Spark周期任务? MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办? MySQL到DWS实时同步中
据。 fromJobConfig.schemaName 是 String 数据库模式或表空间,例如:“public”。 说明: 该参数支持配置通配符(*),实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如: SCHEMA*表示导出所有以“SCHEMA”开头的数据库。 *
物理模型、维度模型、数据集市,都是模型,在数仓规划进行统一管理。 数仓规划支持细粒度权限管控,在数据安全模块对数据架构模型目录权限管控策略进行配置。 新建数仓分层 数仓分层支持用户根据实际业务场景进行自定义。具体操作如下: 进入数据架构主页面。 在数据架构控制台,单击左侧导航树中的“模型设计
类型 相关文档 网络打通 数据源和资源组网络不通如何排查? 网络打通 数据源安全组放通哪些端口可满足Migration访问? Hudi 如何配置Hudi Compaction的Spark周期任务? DWS MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办? MySQL到
enable_profile Boolean 是否启用配置。 enable_classification Boolean 是否开启分类。 bridge_status String 桥接状态。 profile_status String 配置状态。 classification_status