检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
首先在数据目录组件完成元数据采集任务,当数据开发作业满足自动血缘解析要求或已手动配置血缘,然后成功完成作业调度后,则可以在数据目录模块可视化查看数据血缘关系。 父主题: 节点数据血缘
invalid. OBS路径不合法。 请检查OBS路径。 400 DLF.0810 The queried task does not exist. 查询的系统任务不存在。 请检查系统任务。 400 DLF.0815 The OBS file fails to be accessed. 读取OBS文件失败。
云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster createCluster 删除集群
getApisTop 查询app 服务使用topN DLMRequestRecord getAppsTop 查询api 统计数据详情 DLMRequestRecord getApisDetail 查询app 统计数据详情 DLMRequestRecord getAppsDetail 查询api 仪表板数据详情
选择“全部”时,将数据库中的所有的表都导入。 选择“部分”时,请选择需要导入的表。 单击“确定”开始执行逆向数据库操作。等待操作执行完成,即可在“上次逆向”中查看结果或者执行重新逆向操作。 父主题: 通用操作
OBS上存储脏数据的目录,只有在配置了脏数据目录的情况下才会记录脏数据。 用户可以进入脏数据目录,查看作业执行过程中处理失败的数据或者被清洗过滤掉的数据,针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 /user/dirtydir 单个分片的最大错误记录数 当“是否写入脏数据”为“是”才显示该参数。
删除规则模板 RuleTemplate deleteTemplate 查询规则模板列表 RuleTemplate getRuleTemplateList 更新规则模板 RuleTemplate updateTemplate 查询规则模板 RuleTemplate getTemplate 获取依赖规则模板的质量作业和对账作业
云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建数据连接 dataWarehouse createDataWarehouse
云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建作业 job createJob(api) 修改作业 job
帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 添加数据掩码 datamask createDataMask 查询数据掩码列表 datamask listDataMask 查询数据掩码 datamask getDataMask
节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 CDM集群名称 是 选择CDM集群。如需查看集群列表,请单击下拉框右侧的。系统最多允许选择16个集群。 CDM作业消息体 是 输入CDM作业消息体,作业消息体内容为JSON格式。 消息体JSON内容获取方法如下:
例如包含Import GES节点的作业,您只需要创建自定义策略,并勾选ges:graph:getDetail(查看图详情),ges:jobs:getDetail(查询任务状态),ges:graph:access(使用图)这三个授权项即可。 当满足如下条件之一时,MRS集群才支持委托方式提交作业。
'2018-09-25' 单击,测试运行作业。 作业测试无问题后,单击,保存作业配置。 更多案例 EL表达式在数据开发过程中被广泛应用,您可以参考最佳实践查看更多应用EL表达式的进阶实践。 父主题: EL表达式参考
在管理员将策略配置好后,可删除此默认策略。 前提条件 已通过敏感数据识别任务,自动或手动将敏感数据同步到数据地图组件,详见发现敏感数据或查看敏感数据分布。 约束与限制 仅DAYU Administrator、Tenant Administrator用户或者数据安全管理员可以创建
校验结果。 脏数据归档 支持将迁移过程中处理失败的、被清洗过滤掉的、不符合字段转换或者不符合清洗规则的数据单独归档到脏数据日志中,便于用户查看。并支持设置脏数据比例阈值,来决定任务是否成功。 CDM迁移原理 用户使用CDM服务时,CDM管理系统在用户VPC中发放全托管的CDM实例。此实例仅提供控制台和Rest
进入CDM主界面,单击左侧导航上的“集群管理”,选择集群后的“作业管理”。 单击“表/文件迁移”显示作业列表,提供以下批量操作: 作业分组 CDM支持对分组进行新增、修改、查找、删除。删除分组时,会将组内的所有作业都删除。 创建作业的任务配置中,如果已经将作业分配到了不同的分组中,则这里可以按分组显示作业、按分组批量启动作业、按分组导出作业等操作。
看到此API。 当前工作空间可见 当前项目可见 当前租户可见 访问日志 勾选,则此API的查询结果将会产生记录并被保留7天,可以在“运营管理 > 访问日志”处通过选择“请求日期”的方式查看对应日期的日志。 最低保留期限 API发布状态预留的最低期限,单位为小时,0表示不设限制。
端口 是 Doris FE通过mysql协议查询连接端口。 MRS Doris获取方法: 登录MRS FusionInsight Manager。 选择“集群 > 服务 > Doris > 配置 > 基础配置”,搜索“query_port”查看端口值。 KMS密钥 是 通过KMS加解
启动数据库及表的CDC能力。 启用数据库CDC。 USE YourDatabaseName; EXEC sys.sp_cdc_enable_db; -- 查看数据库是否启动CDC SELECT is_cdc_enabled, name FROM sys.databases WHERE name =
构、数据质量、数据目录等无法使用此连接。 在数据开发组件不支持通过可视化方式查看与管理该连接下的数据库、数据表和字段。特别的,仅当连接MRS 3.2.1以及之后版本的MRS集群时,支持通过可视化方式查看数据库、数据表和字段,但仍不支持可视化方式管理。 在数据开发组件的SQL编辑器