检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。 当节点运行超时导致的失败不会重试时,您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。 当前节点失败后,后续节点处理策略 是 节点执行失败后的操作: 终止后续节点执行计
首次进入数据治理中心的数据标准页面,会显示制定数据标准模板的页面,在“可选项”中勾选所需要的选项,添加自定义项,完成后单击“确定”。 保存模板后,如需修改,您也可以进入“配置中心 > 标准模板管理”页面修改模板,详情请参见标准模板管理。在新建数据标准时,将需要设置此处模板中选中的选项。 在“数据标准”页面,在目录树上
023-02-27至2023-03-01)。 图4 补数据 表2 参数说明 参数 说明 补数据名称 系统自动生成一个补数据的任务名称,允许修改。 作业名称 系统自动显示需要补数据的作业名称。 业务日期 选择需要补数据的时间段。这个业务日期会传递给作业的计划时间。作业运行时,作业计
023-02-27至2023-03-01)。 图4 补数据 表2 参数说明 参数 说明 补数据名称 系统自动生成一个补数据的任务名称,允许修改。 作业名称 系统自动显示需要补数据的作业名称。 业务日期 选择需要补数据的时间段。这个业务日期会传递给作业的计划时间。作业运行时,作业计
有订阅提醒。非管理员用户只能操作自己的订阅信息,无法查看和操作其他用户订阅提醒信息。 权限到期提醒将在权限过期前7天开始提醒,该时间不支持修改。 有效期到期回收后,已失效权限会保留7天,用于及时审视续期,超期后清理。 配置权限到期提醒需要为dlg_agency委托配置SMN服务操作权限(SMN
选择“数据权限 > 数据表权限”,在“我的权限”页签中,支持如下操作: 操作 > 查看,查看用户已申请的权限详情。 操作 > 编辑,可修改用户已申请的数据表权限。 操作 > 交还,可交还用户已申请的数据表权限。 图2 管理表权限 审计用户权限 管理员可在“用户权限”页面查看同
单击“新建”,在弹出的对话框中,配置相关参数,新建指标。 SQL语句如下: SELECT SUM(fare_amount) FROM sdi_taxi_trip_data; 图4 新建指标 选择“业务指标监控 > 规则管理”。 单击“新建”,在弹出的对话框中,配置相关参数,新建规则。 图5 新建规则
可使用的调优参数具体如下: 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental.snapshot.backfill.skip boolean true 全量阶段是否跳过读取binlog数据,默认为true。跳过读取binlog数据可以有效降低内存使用。需要注意的
状态码: 200 表3 响应Body参数 参数 参数类型 描述 id Long 作业ID。 name String 作业名称。 description String 作业描述。 category_id Long 所属目录ID。 level String 告警级别,SUGGEST表
为实现DWS数据源的数据访问审计,需要满足如下条件: 已开启DWS集群的审计功能开关audit_enabled。 审计功能开关默认开启,如果已关闭则请参考修改数据库参数章节将audit_enabled设置为ON。 已开启需要审计的审计项。 DWS各类审计项及其开启方法,请参考设置数据库审计日志章节。
步失败超过10次,则会终止调度。 由于联邦用户在只有用户组信息,因此联邦用户无法同步。 由于数据源只会同步自身租户的用户信息,因此对于通过IP连接等方式非当前租户的数据源集群无法同步。 当前用户同步仅支持MRS Hive和DWS数据源,DWS数据源必须进行用户同步,MRS数据源可
进入敏感数据分布页面 在敏感数据分布页面,您可以通过如下两种方式之一来查看敏感数据发现结果并进行手工修正。推荐您使用方式1,相比于方式2,方式1支持修改数据密级、分类,无需切换页面即可完成敏感数据查看与修正,并支持批量操作。 (推荐)方式1:在“敏感数据分布”页签,单击展开数据源详情,查看
在页面下方,单击“试运行”按钮,然后在弹出框中单击“试运行”按钮,测试所设置的衍生指标是否可以正常运行。 如果试运行失败,请根据错误提示定位错误原因,将配置修改正确后,再单击“试运行”按钮进行重试。 如果试运行成功,单击“发布”,提交发布审核。 在弹出框中,选择审核人,单击“确认提交”,提交审核。
使用CDM迁移文件的时候,可以使用过滤器来过滤文件。支持通过通配符或时间过滤器来过滤文件。 选择通配符时,CDM只迁移满足过滤条件的目录或文件。 选择时间过滤器时,只有文件的修改时间晚于输入的时间才会被传输。 例如用户的“/table/”目录下存储了很多数据表的目录,并且按天进行了划分DRIVING_BEHAVIO
Studio基础包仅支持包年包月计费方式。 实例名称 DataArts Studio-test 自定义DataArts Studio实例名称。实例名称不支持修改,请提前合理规划。 可用区 可用区1 选择DataArts Studio实例可用区,即数据集成CDM集群所在可用区。DataArts St
殊字符。 MRS Hive授权时,数据库可修改为URL,用于为存算分离场景下的OBS路径授权。存算分离场景下,使用Hive额外所需如下URL权限: 创建库:write 权限创建表/写入数据/删除表:read权限 DWS授权时,数据库可修改为逻辑集群,用于为DWS数据源开启逻辑集群
使用CDM迁移文件的时候,可以使用过滤器来过滤文件。支持通过通配符或时间过滤器来过滤文件。 选择通配符时,CDM只迁移满足过滤条件的目录或文件。 选择时间过滤器时,只有文件的修改时间晚于输入的时间才会被传输。 例如用户的“/table/”目录下存储了很多数据表的目录,并且按天进行了划分DRIVING_BEHAVIO
Studio基础包仅支持包年包月计费方式。 实例名称 DataArts Studio-test 自定义DataArts Studio实例名称。实例名称不支持修改,请提前合理规划。 可用区 可用区1 选择DataArts Studio实例可用区,即数据集成CDM集群所在可用区。DataArts St
4xlarge实例规格CDM集群网卡的基准/最大带宽为36/40 Gbps。 通过公网互通时,网络带宽受到公网带宽的限制。CDM侧公网带宽规格受限于CDM集群所绑定的弹性公网IP,数据源侧受限于其所访问的公网带宽规格。 通过VPN、NAT或专线互通时,网络带宽受到VPN、NAT或专线带宽的限制。 目的端写入性能 取决于目的端数据源的性能。
微批模式为异步分批写入Hoodie,适用于对入库时间SLA要求较为严格的场景,以及对资源消耗较小,对MOR表存储类型在线进行压缩的场景。 说明: 运行-失败重试期间不允许修改此模式。 是 批次数据大小 “全量模式写Hoodie”设置为“否”时,使用微批模式呈现此参数。 用于设置单个批次写Hoodie的数据行数,默认100000行。