检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
变化时,您只需在连接管理中编辑修改该数据连接的信息。 新建数据连接 数据开发模块的数据连接,是基于管理中心的数据连接完成的,创建方法请参考配置DataArts Studio数据连接参数。 查看连接引用 当用户需要查看某个连接被引用的情况时,可以参考如下操作查看引用。 参考访问DataArts
复杂的半结构化文本,由于字段值也包含了分隔符,所以无法使用分隔符进行字段分隔,此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置,要求源连接为对象存储或者文件系统,且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时,CDM支持使用
查看数据血缘 首先在数据目录组件完成元数据采集任务,当数据开发作业满足自动血缘解析要求或已手动配置血缘,然后成功完成作业调度后,则可以在数据目录模块可视化查看数据血缘关系。 约束限制 数据血缘关系更新依赖于作业调度,数据血缘关系是基于最新的作业调度实例产生的。 对于同一版本的数据
作业中创建的CDM作业“obs_rds”。 作业编排完成后,单击,测试运行作业。 如果日志运行正常,单击右侧的“调度配置”,配置作业的调度策略。 图12 调度配置 说明: 2018/10/10至2018/11/09,每天2点执行一次作业。 最后我们需要保存作业并提交版本,执行调度作业(单击),实现作业每天自动运行。
Spark_Python”。 图2 新建作业 进入到作业开发页面,拖动“MRS Spark Python”节点到画布中并单击,配置节点的属性。 图3 配置MRS Spark Python节点属性 参数设置说明: --master yarn --deploy-mode cluster
数据迁移进阶实践 增量迁移原理介绍 时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导
分布情况。 可选周期内的告警趋势图、业务场景看板图、指标看板图。 指标管理 指标管理是业务指标监控的核心功能模块,是配置指标的主要入口。 规则管理 规则管理是配置规则的主要入口,支持通过指标的逻辑表达式定义规则。 业务场景管理 业务场景可以认为是业务指标质量作业,将创建的规则组进行调度运行。
当天告警分类统计、当天数据表告警统计、最近7天规则告警分类趋势的统计和最近7天规则数量的趋势。 规则模板 质量规则模板是数据质量的核心功能,是配置规则的主要入口。它主要管理规则配置(内置模板和自定义模板)的相关功能。 质量作业 质量作业可将规则模板或自定义规则应用到表中,进行数据质量监控。 对账作业
专享版数据服务需要购买专享版集群增量包并在集群中管理API。 数据服务共享版当前仅限于华东-上海一、华北-北京四、华南-广州的存量用户调测使用,受限于服务稳定性和生命周期策略,不可用于生产环境。 专享版数据服务常用于企业内部系统解耦,各服务部署在云上的VPC内,服务之间以RESTful
configurationStatus String 节点配置状态: In-Sync:配置已同步。 Applying:配置中。 Sync-Failure:配置失败。 paramsGroupId String 配置ID。 type String 配置服务类型,这里为cdm。 role String
在脚本开发导航栏,选择,展开数据连接层级至“tables”,右键单击“新建数据表”或者单击新建数据表。 在弹出的对话框中,显示“配置基本属性”页面,参见表1配置相关参数。 表1 基本属性 数据连接类型 参数说明 DLI 请见表5的“基本属性”部分 DWS 请见表6的“基本属性”部分 MRS
规范化的数据如何使用? 数据架构支持逆向数据库吗? 数据架构中的指标与数据质量的指标的区别? 为什么关系建模或维度建模修改字段后,数据库中表无变化? 表是否可配置生命周期管理?
上报一条数据,触发作业运行一次。 配置为:DIS 选择要监听的OBS路径,如果该路径下有新增文件,则触发调度;新增的文件的路径名,可以通过变量Job.trigger.obsNewFiles引用。前提条件:该OBS路径已经配置DIS消息通知。 配置为:OBS channel 是 String
键字,然后单击“搜索”,搜索结果以列表方式显示。 勾选需要添加标签的资产,单击右上角“标识”。在添加标识对话框中配置标签。 图1 添加标识 选择标识种类为标签,并配置标签,单击“确定”提交。 此处支持全新添加标签,也支持选择已有标签。已有标签来源于管理标签。 父主题: 查看工作空间数据地图
6000,请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 请求示例 总览页面统计信息。 GET https://{endpoint}/v2/{project_id}/design/definitions/statistic 响应示例 状态码:
6000,请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 请求示例 获取所有目录树。 PUT https://{endpoint}/v2/{project_id}/design/biz/catalogs/tree 响应示例 状态码: 200
error_msg String 错误信息。 data Object 返回的数据信息。 请求示例 根据流程ID,查询流程设计中流程详情。 GET https://{endpoint}/v2/{project_id}/design/biz/catalogs/904051952785162240
质量名称。 alert_conf String 告警配置。 expression String 正则相关校验规则中正则配置。 extend_info String 扩展信息。 from_standard Boolean 是否来源于数据标准质量配置,只读。 result_description
运维者:运维者具备工作空间内运维调度等业务的操作权限,但无法更改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。 访客:访客可以查看工作空间内的数据,但无法操作业务。建议将只查看空间内容、不进行操作的用户设置为访客。 部署者:企业模式独有,具备工作空间内任务包发布的相关操作权限。在企业模式中,开发者提
Studio使用限制一览表 组件 约束限制 公共 DataArts Studio必须基于华为云底座部署。资源隔离场景下,支持以全栈专属云模式部署,另外也支持以华为云Stack和HCS Online混合云模式部署。 关于全栈专属云、华为云Stack和HCS Online的适用场景和差异等更多信息,欢迎通过咨询了解。