检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
输出数据路径 否 选择输出数据存储的路径。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试
选择数据库名称,该数据库已创建好,建议不要使用默认数据库。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试
40 质量作业接口 表4 质量作业接口 API 说明 API流量限制(次/10s) 用户流量限制(次/10s) 获取质量作业列表V1 批量查询数据质量作业,返回质量作业列表。 300 40 获取质量作业列表 获取质量作业列表。 300 40 获取质量作业详情 获取质量作业详情 300
进入CDM主界面,单击左侧导航上的“集群管理”,选择集群后的“作业管理”。 单击“表/文件迁移”显示作业列表,提供以下批量操作: 作业分组 CDM支持对分组进行新增、修改、查找、删除。删除分组时,会将组内的所有作业都删除。 创建作业的任务配置中,如果已经将作业分配到了不同的分组中,则这里可以按分组显示作业、按分组批量启动作业、按分组导出作业等操作。
在管理员将策略配置好后,可删除此默认策略。 前提条件 已通过敏感数据识别任务,自动或手动将敏感数据同步到数据地图组件,详见发现敏感数据或查看敏感数据分布。 约束与限制 仅DAYU Administrator、Tenant Administrator用户或者数据安全管理员可以创建
填写数据库名称,该数据库已创建好,建议不要使用默认数据库。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试
解析您输入SQL语句中携带的参数。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试
例如包含Import GES节点的作业,您只需要创建自定义策略,并勾选ges:graph:getDetail(查看图详情),ges:jobs:getDetail(查询任务状态),ges:graph:access(使用图)这三个授权项即可。 当满足如下条件之一时,MRS集群才支持委托方式提交作业。
location=earth']. 执行Analyze语句 数据全部写入完成后会异步执行ANALYZE TABLE语句,用于优化Hive表查询速度,执行的SQL如下: 非分区表:ANALYZE TABLE tablename COMPUTE STATISTICS 分区表:ANALYZE
数据源多样性:源端和目的端可供选择多种数据源,为用户提供了多种选择。 链路多样性:部分链路支持全量和增量同步,部分链路支持分库分表。 可维护性:支持作业监控和日志查看,方便运维人员进一步定位。 易用性:长界面更易操作,用户只需配置必要信息,学习成本减低。 基本流程 父主题: 实时处理集成作业开发
用作业节点名称同步变化禁用该功能。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试
用作业节点名称同步变化禁用该功能。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试
} ] } 其他参数保持不变,单击“保存并运行”。 作业完成后,查询DWS表中的数据是否和HBase中的数据匹配。如果不匹配,请检查JSON文件中HBase和DWS字段的顺序是否一致。 父主题: 数据集成
源。 计算任务预计完成时间 任务的运行受到资源和上游任务运行情况的影响,可以将任务添加至基线上,系统将计算出该任务的预计完成时间,便于用户查看任务的预计完成时间。 保障任务在承诺时间前运行完成 可以将任务添加至基线上,并设置基线承诺时间,当系统预测到基线上任务无法在承诺时间前完成
一个作业支持配置多个消息主题,当作业运行成功或失败,可同时向多个订阅了消息主题的终端发送通知。 选择主题:选择通知的SMN消息主题。如果缺少合适的主题,则可以单击“查看主题”,进入消息通知服务(SMN)界面创建消息主题信息。 当前仅支持“短信”、“邮件”、“HTTP”这三种协议的订阅终端订阅主题。 开关:是否开启通知,默认开启。
准覆盖率”可以跳转到对应的数仓分层页面。比如,单击DWI数仓分层模型的“数据表”会跳转到“关系建模”页面。 如果数仓模型比较多,可以单击“查看更多”和“收起更多”进行折叠展示。 “未分层”的数仓模型会在页面上方显示。支持编辑和删除。 单击“编辑”,可以修改数仓模型的参数信息,可以
表名称、字段名称、责任人、描述信息、创建时间等 标签的使用场景是什么? 本示例不涉及 标签是相关性很强的关键字,帮助用户对资产进行分类和描述,方便用户进行查询 7 数据安全 需要对哪些数据源进行访问管理? 本示例不涉及 支持DLI、DWS和Hive等数据源 需要支持静态脱敏? 本示例不涉及 支持
用于存储导入图过程中不符合元数据定义的点、边数据集和详细日志。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试
作业每月15号执行一次。A作业的执行依赖B作业上个月15号的运行实例。 周依赖小时 规则:依赖自然天,范围是[前一天的零点,当天的零点),查找前一天的小时任务作业B是否执行完成,然后执行周任务作业A。 举例:A依赖B,A作业每周一调度,B作业每小时第50分钟执行。则A作业会一直等
A作业会在B作业执行完成后执行。 图14 天依赖月 周依赖小时 规则:依赖自然天,范围是[当天的零点零分零秒,当天的23点59分59秒),查找当天的小时任务作业B是否全部执行完成,然后执行周任务作业A。 举例:A依赖B,A作业每周一调度,B作业每小时第50分钟执行。则A作业会一直