正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
-java-5.1.48.jar,然后进行上传。 - 单击“保存”回到连接管理界面。 如果保存时出错,一般是由于MySQL数据库的安全设置问题,需要设置允许CDM集群的EIP访问MySQL数据库。 创建DWS连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 >
择。 表1 源端作业参数说明 源端类型 说明 参数配置 OBS 支持以CSV、JSON或二进制格式抽取数据,其中二进制方式不解析文件内容,性能快,适合文件迁移。 参见配置OBS源端参数。 MRS HDFS FusionInsight HDFS Apache HDFS 支持以CSV
单击“同步”。 只有处于“同步成功”状态的策略才能生效。如果策略同步失败,可通过查看策略详情查看策略运行日志,通过日志排查同步失败原因。待问题修复后请重新同步,如果仍同步失败,请联系技术支持人员协助处理。 编辑策略:在行级访问控制页面,单击对应任务操作栏中的“编辑”,即可编辑行级访问控制策略。
、BGP网络品质、资源的操作与配置等方面,中国大陆各个区域间区别不大,如果您或者您的目标用户在中国大陆,可以不用考虑不同区域造成的网络时延问题。 曼谷等其他地区和国家提供国际带宽,主要面向非中国大陆地区的用户。如果您或者您的目标用户在中国大陆,使用这些区域会有较长的访问时延,不建议使用。
并正常执行。 若产生的脏数据超出阈值范围,同步任务将失败退出。 说明: 脏数据认定标准:脏数据是对业务没有意义,格式非法或者同步过程中出现问题的数据;单条数据写入目标数据源过程中发生了异常,则此条数据为脏数据。 因此只要是写入失败的数据均被归类于脏数据。 例如,源端是VARCHA
、BGP网络品质、资源的操作与配置等方面,中国大陆各个区域间区别不大,如果您或者您的目标用户在中国大陆,可以不用考虑不同区域造成的网络时延问题。 曼谷等其他地区和国家提供国际带宽,主要面向非中国大陆地区的用户。如果您或者您的目标用户在中国大陆,使用这些区域会有较长的访问时延,不建议使用。
两种类型作业实例不会抢占并发,所以,作业的周期调度的日期与该作业补数据的业务日期不能重合,周期调度和补数据不能同时运行,避免出现运行异常问题。 调度日历 根据已配置的日历信息,选择所需的调度日历。系统默认不使用调度日历。配置调度日历的操作请参见配置调度日历。 使用按日历进行自定
间内所有组件的操作权限。当为数据运营工程师IAM账号授权工作空间开发者角色后,会导致其拥有数据质量组件之外的其他组件操作权限。 为了解决此问题,项目管理员可以按照如下解决方案进行权限最小化配置,这样既能满足实际业务使用,也避免了权限过大的风险。 为数据运营工程师IAM账号授予DAYU
选择一个或多个需导入的数据表。 图8 逆向配置 逆向数据库的结果会在“上次逆向”页面中显示。如果逆向成功,单击“关闭”。如果逆向失败,您可以查看失败原因,问题解决后,选中失败的表,然后单击“重新逆向”进行重试。 图9 逆向结果 导出码表 Excel导出码表时,码表名称需要限制在32个字符以内。
查看运行实例日志:在敏感数据发现页面,找到需要查看实例的任务,单击展开,即可找到运行实例。随后单击“操作 > 查看日志”,查看运行实例日志。 运行失败可通过日志排查失败原因,问题修正后尝试重新运行。如果仍运行失败,请联系技术支持人员协助处理。 父主题: 敏感数据治理
单击“同步”。 只有处于“同步成功”状态的策略才能生效。如果策略同步失败,可通过查看策略详情查看策略运行日志,通过日志排查同步失败原因。待问题修复后请重新同步,如果仍同步失败,请联系技术支持人员协助处理。 编辑策略:在动态脱敏页面,单击对应任务操作栏中的“编辑”,即可编辑动态脱敏策略。
两种类型作业实例不会抢占并发,所以,作业的周期调度的日期与该作业补数据的业务日期不能重合,周期调度和补数据不能同时运行,避免出现运行异常问题。 是否设置周期补数据 是,补数据时会按照设置的周期进行补数据任务。 第一个值表示具体的值。 第二个值表示按指定周期补数据,例如:分钟、小时、天,周、月。
API的方式提交。历史作业默认是MRS API提交,编辑作业时建议不修改。 代理方式:通过用户名、密码访问的方式提交。新建作业建议选择代理提交,可以避免权限问题导致的作业提交失败。 数据质量当前不支持MRS hive组件的严格模式 。 数据库 选择配置的数据质量规则所应用到的数据库。 说明: 数据库基于已建立的数据连接。
查看运行实例日志:在静态脱敏页面,找到需要查看实例的任务,单击展开,即可找到运行实例。随后单击“查看日志”,查看运行实例日志。 运行失败可通过日志排查失败原因,问题修正后尝试重新运行。如果仍运行失败,请联系技术支持人员协助处理。 参考:授权并绑定委托 登录IAM服务控制台。 选择“委托”,在委托列表中
DDL模板管理、指标编码规则。 配置中心 数据质量 数据质量模块支持对业务指标和数据质量进行监控,数据质量可检验,帮助用户及时发现数据质量问题。 已发布区域:全部 业务指标监控 数据质量监控 业务指标监控 业务指标监控是对业务指标数据进行质量管理的有效工具,可以灵活的创建业务指标
选择全部或部分需导入的数据表。 图10 逆向配置 逆向数据库的结果会在“上次逆向”页面中显示。如果逆向成功,单击“关闭”。如果逆向失败,您可以查看失败原因,问题解决后,选中失败的表,然后单击“重新逆向”进行重试。 图11 逆向结果 导入逻辑实体 导入EXCEL 单击逻辑实体列表上方“导入”中的“导
生效时间为业务日期。 普通模式切换为业务日期模式时,如果存在多个翻牌目录下的作业偏移量不一致,系统不会一起进行校验,只要校验出其中有一个有问题,就会报错提示“由于翻牌单元xxxxx下的作业的偏移量不一致,不能切换调度模式。”。 单击“保存”,对设置的配置项进行保存。 配置周期调度