检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
您在创建了一个周期调度作业后,用户需要为该任务进行补数据的操作。 在数据开发主界面的左侧导航栏,选择“运维调度 > 作业监控”。 单击“批作业监控”页签,进入批作业的监控页面。在该作业的“操作”列,选择“更多 > 补数据”。进入“补数据”页面。 如果您需要补充2023-02-27至20
同步目录前,请检查当前空间是否有已发布主题。如果没有已发布主题,同步时系统会报错提示。 同步目录时,最多同步五级主题到数据标准目录(目录层级不能超过5层),五级之后的主题不做处理。同步后的目录数量不能超过配额(一般是500),否则系统将报错提示并取消同步操作。每次同步之前系统会自动检测数据标准的目录是否有空目录(
您在创建了一个周期调度作业后,用户需要为该任务进行补数据的操作。 在数据开发主界面的左侧导航栏,选择“运维调度 > 作业监控”。 单击“批作业监控”页签,进入批作业的监控页面。在该作业的“操作”列,选择“更多 > 补数据”。进入“补数据”页面。 如果您需要补充2023-02-27至20
数据库迁移使用DRS;到大数据系统的迁移使用CDM。 对象存储迁移服务 OMS 对象存储迁移 他云对象存储数据迁移到华为云 华为云各Region间的数据迁移 与CDM的区别: OMS用于他云到华为云的数据迁移;CDM主要用于OBS数据迁移到数据湖或其他大数据系统,以便对数据进行开发、清洗、治理等。
量基于基线上任务的运行时长来配置。 基线任务开关 :开启基线任务,系统将会监控基线任务以及其依赖链上游的所有任务。 :关闭基线任务,系统不会监控基线任务以及其依赖链上游的所有任务。 报警开关 :开启报警开关,当系统预测到基线上任务无法在承诺时间前完成,或上游任务有出错或变慢的情况
选择相关作业,您可以选择批作业或实时作业,最多只能选择10个作业。 相关作业参数用于节点运行后,方便跳转到对应作业的监控列表。选择完相关作业,单击“前往监控”在“作业监控”页面选择DIS Client节点时,单击页面下方的“查看相关作业”按钮可以查看相关作业。在“相关作业”页面,单击“查看”能跳转到对应的作业。
作业调度 支持单次调度、周期调度和事件驱动调度,周期调度支持分钟、小时、天、周、月多种调度周期。调度周期配置为小时,系统支持按间隔小时和离散小时配置调度周期。 运维监控 支持对作业进行运行、暂停、恢复、终止等多种操作。 支持查看作业和其内各任务节点的运行详情。 支持配置多种方式报警
查看日志时,系统提示“OBS日志文件不存在,请检查文件是否被删除或者没有OBS写入权限。”怎么办? 问题现象 查看数据开发的节点日志时,系统提示“OBS日志文件不存在,请检查文件是否被删除或者没有OBS写入权限”,如下图所示: 图1 提示信息 原因分析 数据开发的日志存储在OBS
选择Data_Quality_Monitor数据质量监控算子,将该节点拖入空白页面。并配置节点属性参数。 图2 配置Data_Quality_Monitor节点属性 配置调度周期。 图3 配置调度周期 提交版本并执行调度。 在“作业监控”查看作业运行日志。 图4 查看运行日志 父主题:
身份认证及访问控制相关工具平台,主要实现在数据全生命周期各环节中涉及的所有业务系统和管理平台的身份认证和权限管理。 监控审计相关工具平台接入业务系统和管理平台,实现对数据安全风险的实时监控,并能进行统一审计。 日志管理平台收集并分析所有业务系统和管理平台的日志,并统一日志规范以支持后续的风险分析和审计等工作。
方式。一般推荐使用自动血缘解析的方式,无需手动配置即可生成血缘关系,在不支持自动血缘解析的场景下,再手动配置血缘关系。 自动血缘解析,是由系统解析数据开发作业中的数据处理和数据迁移类型节点后自动产生的,无需进行手动配置。支持自动血缘解析的节点类型和场景请参见自动血缘解析。 手动配
速将数据表生成数据API的能力,涵盖API发布、管理、运维的全生命周期管理,帮助您简单、快速、低成本、低风险地实现微服务聚合、前后端分离、系统集成,向合作伙伴、开发者开放功能和数据。 相对于数据共享交换或其他数据开放形式,使用数据服务进行数据开放具备如下优势: 统一接口标准,减少上层应用对接工作量。
打开作业“test”,从左侧节点库中拖拽一个“Create OBS”节点。 在节点属性页签中配置属性。 图3 Create OBS 单击“保存”后,选择“前往监控”页面监控作业的运行情况。 父主题: 配置
整调度周期或停止调度即可。 在数据开发模块控制台的左侧导航栏,选择 “运维调度 > 实例监控”,日期选择当天,查看哪些作业调度较多。 在数据开发主界面的左侧导航栏,选择“运维调度 > 作业监控”,查看调度较多的作业设置的调度周期是否合理。如果调度周期不合理,建议适当调整这些调度周
权限管理。 DataArts Studio基于DAYU系统角色+工作空间角色实现授权的能力。为使IAM用户权限正常,IAM用户所在的用户组需要在IAM控制台中被授予DAYU User或DAYU Administrator的系统角色,另外也必须确保DAYU User角色的IAM用户已在对应的DataArts
通过数据目录查看数据血缘关系 数据血缘方案简介 配置数据血缘 查看数据血缘 父主题: 数据目录典型场景教程
单击主作业画布上方的“测试运行”按钮,测试作业运行情况。主作业运行后,会通过For Each节点自动调用运行子作业。 单击左侧导航栏中的“实例监控”,进入实例监控中查看作业运行结果。 待作业运行完成后,从实例监控中查看子作业foreach的运行结果,如图10所示。可以看到运行结果是符合预期的,当前HIVE SQL执行
云资源的标识与管理可通过标签实现。 使用场景 通常您的业务系统可能使用了华为云的多种云服务,您可以为这些云服务下不同的资源实例分别设置标签(对于DataArts Studio而言,标签作用于其实例上),各服务产生的计费详单中都会体现这些资源实例和实例上设置的标签。如果您的业务系统是由多个不同的应用构成,为同一
单击主作业画布上方的“测试运行”按钮,测试作业运行情况。主作业运行后,会通过For Each节点自动调用运行子作业。 单击左侧导航栏中的“实例监控”,进入实例监控中查看作业运行结果。 待作业运行完成后,从实例监控中查看子作业foreach的运行结果,如图10所示。可以看到运行结果是符合预期的,当前HIVE SQL执行
单击“下一步”,配置调度属性如下图所示。 图2 配置调度属性 单击“提交”,完成采集任务的创建。 单击任务管理列表中的“运行”或“启动调度”,跳转到任务监控页面并查看任务状态。 场景二:更新数据目录中的元数据,添加新元数据 用户的数据库中新增了数据表,采集数据源中指定的所有表。 例如新增table4的情况下: