检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
同步目录前,请检查当前空间是否有已发布主题。如果没有已发布主题,同步时系统会报错提示。 同步目录时,最多同步五级主题到数据标准目录(目录层级不能超过5层),五级之后的主题不做处理。同步后的目录数量不能超过配额(一般是500),否则系统将报错提示并取消同步操作。每次同步之前系统会自动检测数据标准的目录是否有空目录(
在数据开发主界面的左侧导航栏,选择“运维调度 > 通知管理”。 选择“通知管理”页签。 在通知的“开关”列,单击,切换成时,通知为关闭状态。 图3 关闭通知 查看通知记录 用户可以在通知记录中查看所有的通知信息。 在数据开发主界面的左侧导航栏,选择“运维调度 > 通知管理”。 选择“通
在数据质量模块左侧导航栏中,选择“数据质量监控 > 对账作业”。 单击对账作业操作列中的“运行”,运行对账作业。 图12 运行对账作业 在数据质量模块左侧导航栏中,选择“数据质量监控 > 运维管理”,进入运维管理页面。 图13 进入运维管理页面 作业执行完成后,单击“结果&日志”
开发者:开发者拥有工作空间内创建、管理工作项的业务操作权限。建议将任务开发、任务处理的用户设置为开发者。 运维者:运维者具备工作空间内运维调度等业务的操作权限,但无法更改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。 访客:访客可以查看工作空间内的数据,但无法操作业务。建议将只查看空间内容、不进行操作的用户设置为访客。
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
SDI:Source Data Integration,又称贴源数据层。SDI是源系统数据的简单落地。 DWI:Data Warehouse Integration,又称数据整合层。DWI整合多个源系统数据,对源系统进来的数据进行整合、清洗,并基于三范式进行关系建模。 维度建模:在DWR层
SQL语句放置在请求的消息体中:将脚本内容返回给MRS。 补数据优先级设置 运维调度-补数据 设置补数据作业的优先级。当系统资源不充足时,可以优先满足优先级较高的作业的计算资源,数字越大优先级越高,当前只支持对DLI SQL算子设置优先级。 历史作业实例取消策略 运维调度 配置等待运行作业实例的超期天数。当作业
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
签。如需解锁作业标签,请参考锁定与解锁作业标签。 监控某个作业标签下的作业 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 选择“作业标签”,进入“作业标签管理”页面。 单击作业标签名对应的“前往监控”,可进入作业监控界面,该界面展示具有此标签的所有作业。 锁定与解锁作业标签
、验证、发布等阶段)指导用户使用DataArts Studio开展数据治理工作;功能落地是指DataArts Studio平台提供自动化、智能化的工具帮助用户高效完成数据治理工作。 数据治理方法论还有完全版本,详细描述了流程落地和功能落地内容。欢迎您通过《华为数据之道》图书进行深入了解,或进行服务咨询。
如何创建数据库和数据表,数据库对应的是不是数据连接? 为什么执行完HIVE任务什么结果都不显示? 在作业监控页面里的“上次实例状态”只有运行成功、运行失败,这是为什么? 如何创建通知配置对全量作业都进行结果监控? 数据开发的并行执行节点数是多少? DataArts Studio是否支持修改时区?
选择相关作业,您可以选择批作业或实时作业,最多只能选择10个作业。 相关作业参数用于节点运行后,方便跳转到对应作业的监控列表。选择完相关作业,单击“前往监控”在“作业监控”页面选择DIS Client节点时,单击页面下方的“查看相关作业”按钮可以查看相关作业。在“相关作业”页面,单击“查看”能跳转到对应的作业。
索服务(DLI)对某电商商城的用户、商品、评论数据(脱敏后)进行分析,输出用户和商品的各种数据特征,可为营销决策、广告推荐、信用评级、品牌监控、用户行为预测提供高质量的信息。在此期间,您可以学习到数据开发模块脚本编辑、作业编辑、作业调度等功能,以及DLI的SQL基本语法。 本入门示例涉及DataArts
身份认证及访问控制相关工具平台,主要实现在数据全生命周期各环节中涉及的所有业务系统和管理平台的身份认证和权限管理。 监控审计相关工具平台接入业务系统和管理平台,实现对数据安全风险的实时监控,并能进行统一审计。 日志管理平台收集并分析所有业务系统和管理平台的日志,并统一日志规范以支持后续的风险分析和审计等工作。
DES盒子在客户的虚拟机挂载的地址。 //虚拟机IP/huawei 存储管理系统 DES盒子的存储管理系统,与管理IP相关。 https://管理IP:8088/deviceManager/devicemanager/login/login.html 用户名 登录存储管理系统的用户名。 admin 密码 登录密码。
Notification,简称SMN)依据用户的订阅需求主动推送通知消息,用户在作业运行异常或成功时能立即接收到通知。 管理通知 通知周期概览 终端订阅管理 父主题: 运维调度
并对应发布各数据层级的数据标准。各业务对象对应物理实现的IT系统需发布相应的数据字典并进行数据源认证。而对于梳理出来,但没有落IT系统的业务对象,需在后继的开发中进行数字化落地。 数据开发 数据开发是编排、调度和运维的中心,数据开发是一个提供分析、设计、实施、部署及维护一站式数
配置的位点时间早于Kafka消息最早偏移量时,默认会从最早偏移量开始消费。 监控作业。 通过单击作业开发页面导航栏的“前往监控”按钮,可前往作业监控页面查看运行情况、监控日志等信息,并配置对应的告警规则,详情请参见实时集成任务运维。 图7 前往监控 父主题: 数据集成(实时作业)
单击主作业画布上方的“测试运行”按钮,测试作业运行情况。主作业运行后,会通过For Each节点自动调用运行子作业。 单击左侧导航栏中的“实例监控”,进入实例监控中查看作业运行结果。 待作业运行完成后,从实例监控中查看子作业foreach的运行结果,如图10所示。可以看到运行结果是符合预期的,当前HIVE SQL执行
下载关系建模导入模板后,编辑完成后保存至本地。 选择是否更新已有数据。 如果系统中已有的编码和模板中的编码相同,系统则认为是数据重复。 不更新:当数据重复时,不会替换系统中原有的数据。 更新:当数据重复时 系统中的原有数据为草稿状态,则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态,则会生成下展数据。 单