检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置 配置环境变量 配置OBS桶 管理作业标签 配置调度身份 配置节点并发数 配置模板 配置调度日历 配置默认项 配置任务组 配置互斥 父主题: 配置管理
图1 数据架构流程 准备工作: 添加审核人:在数据架构中,业务流程中的步骤都需要经过审批,因此,需要先添加审核人。只有工作空间管理员角色的用户才具有添加审核人的权限。 管理配置中心:数据架构中提供了丰富的自定义选项,统一通过配置中心提供,您需要根据自己的业务需要进行自定义配置。
createBackendLinks]不存在”或“配置项 [throttlingConfig.concurrentSubJobs] 不存在怎么办”? 问题描述 创建数据连接时报错“配置项[linkConfig.createBackendLinks]不存在”或创建作业时报错“配置项 [throttlingConfig
是,则表明当前是每个月的最后一天,执行后续节点。如果不是,则跳过后续的业务节点。 图3 条件表达式 如果用户的作业是每个月的最后一天执行,可以按照上面的方法进行配置。 如果用户的作业是每月7号执行,可以按照下面的方法进行配置。 判断是否为7号,表达式配置方法如下所示。 #{DateUtil
节点状态为成功,为什么日志显示运行失败? 问题描述 节点状态为成功,日志显示运行失败。 解决方案 强制成功操作会更新作业实例(和节点)状态为成功。 父主题: 数据开发
授权用户使用DataArts Studio 创建IAM用户并授予DataArts Studio权限 (可选)自定义工作空间角色 添加工作空间成员和角色
敏感数据保护 隐私数据保护简介 静态脱敏任务 动态脱敏任务 管理数据水印 管理文件水印 管理动态水印策略 父主题: 数据安全
作业监控 批作业监控 实时作业监控 实时集成作业监控 父主题: 运维调度
https://管理IP:8088/deviceManager/devicemanager/login/login.html 用户名 登录存储管理系统的用户名。 admin 密码 登录密码。 - CDH集群 NameNode IP 客户CDH集群的主NameNode IP。 192.168.2.3
数据目录API概览 表1 数据目录API类型 类型 说明 API流量限制 用户流量限制(次/s) 业务资产接口 业务资产接口 对应类型的所有API共享100次/s的API流量限制 对应类型的所有API共享50次/s的用户流量限制 指标资产接口 指标资产接口 统计资产接口 统计资产接口 资产管理接口
开发脚本 开发SQL脚本 开发Shell脚本 开发Python脚本 父主题: 脚本开发
(可选)管理作业 复制作业 复制名称和重命名作业 移动作业/作业目录 导出导入作业 批量配置作业 删除作业 解锁作业 查看作业依赖关系图 转移作业责任人 批量解锁 前往监控 添加通知配置 父主题: 作业开发
网络打通 在配置实时同步任务前,您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。 数据库部署在本地IDC 数据库部署在其他云 数据库部署在华为云 父主题: 数据集成(实时作业)
使用教程 概览 DRS任务切换到实时Migration作业配置 MySQL同步到MRS Hudi作业配置 MySQL同步到DWS作业配置 MySQL同步到Kafka作业配置 DMS Kafka同步到OBS作业配置 Apache Kafka同步到MRS Kafka作业配置 SQLServer同步到MRS
维度建模 新建维度 管理维度表 新建事实表 父主题: 模型设计
查看表 对于关系建模中的表,您可以查看模型视图、表详情、关系图、预览SQL以及发布历史。 查看模型视图 当您在关系模型中完成表的新建后,就可以通过列表视图和模型视图两种形式查看表模型。关系模型页面默认显示为列表视图,您可以切换为模型视图进行查看。 在DataArts Studio
指标开发概述 指标是衡量业务特征的统计数值,用于体现企业某一业务活动的业务状况。指标通常分为原子指标和衍生指标,与指标相关的参数还包括统计维度和时间周期。衍生指标则是由原子指标 + 统计维度 + 时间周期组成。 原子指标用于明确业务的统计口径及计算逻辑。在本示例中,经营面积和销售额。
关联质量规则 当您完成表的新建和发布后,您可以在表中关联质量规则。在“配置中心 > 功能配置”页面中的“模型设计业务流程步骤 > 创建质量作业”勾选的情况下,完成质量规则的关联后,表发布后就会在DataArts Studio数据质量中自动创建质量作业,如果当前表已经发布,则系统会自动更新质量作业。
关键操作指导 增量迁移原理介绍 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导 自动建表原理介绍 父主题: 数据集成(CDM作业)
解析响应消息体中的流 导出作业和导出连接的接口响应消息是一个流,需要转化为一个文件。 您可以参考下面的样例代码: String EXPORT_JOB_URL = "https://{endpoint}/v1/{project_id}/jobs/{job_name}/export";