检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据治理解决方案 数据治理解决方案概述 数据资产入表 数据管理能力成熟度模型DCMM 数据安全能力成熟度模型DSMM
面统一配置任务组,如果配置了节点级任务组,则优先级高于作业级的任务组。 “KAFKA”触发事件类型的参数 连接名称 选择数据连接,需先在“管理中心”创建kafka数据连接。 Topic 选择需要发往kafka的消息Topic。 事件处理并发数 选择作业并行处理的数量,最大并发数为128。
数据集成(CDM作业) 数据集成概述 约束与限制 支持的数据源 创建并管理CDM集群 在CDM集群中创建连接 在CDM集群中创建作业 时间宏变量使用解析 优化迁移性能 关键操作指导 使用教程 常见错误码参考
有region的通道发送消息。 数据通道连接名称 否 仅当“是否使用DIS数据通道连接”选择为“是”时,需要配置此参数。 配置本参数前需在管理中心中组件创建DIS连接,然后在此处进行选择。 当“是否使用DIS数据通道连接”选择为“否”时,无需配置。 通道所属Region 否 使用DIS
ent-type”。 对于管理员创建IAM用户接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息体 响应消息体通常以结构化格式(如JSON或XML)返回,与响应消息头中Content-Type对应,传递除响应消息头之外的内容。 对于管理员创建IAM用户接口,返回如
如果当前作业需要根据文件或目录是否存在,从而进行不同的处理,则可以根据本节点的执行状态设置IF条件判断,具体请参考IF条件判断教程章节。 源文件或目录 是 OBS桶中需要被管理的OBS文件或所在目录。 目的目录 是 存放待移动或复制OBS文件的新目录。 文件过滤器 否 输入文件过滤的通配符,满足该过滤条件的文件才
不建议使用。 云服务之间的关系 如果多个云服务一起搭配使用,需要注意不同区域的云服务内网不互通。 例如DataArts Studio(包括管理中心、CDM等组件)需要与MRS、OBS等服务互通时,如果DataArts Studio与其他云服务处于不同区域的情况下,需要通过公网或者
对应类型的所有API共享100次/s的API流量限制 对应类型的所有API共享50次/s的用户流量限制 指标资产接口 指标资产接口 统计资产接口 统计资产接口 资产管理接口 资产管理接口 资产分类接口 资产分类接口 资产分级接口 资产分级 资产信息 资产信息接口 血缘信息 血缘信息接口 元数据采集任务接口 元数据采集任务接口
选择执行Python语句的主机。需确认该主机配有用于执行Python脚本的环境。 须知: Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本
数据目录 该模块提供企业级的元数据管理,厘清信息资产。通过数据地图,实现数据资产的数据血缘和数据全景可视,提供数据智能搜索和运营监控。 查看工作空间数据地图 配置数据访问权限(待下线) 配置数据安全策略(待下线) 采集数据源的元数据 数据目录典型场景教程
Shell节点运行的输出结果不能大于30M,大于30M会报错。 主机连接 是 选择执行Shell脚本的主机。 须知: Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本
c的读写权限,即必须属于kafka/kafkaadmin/kafkasuperuser用户组。 说明: Kafka普通用户需要被Kafka管理员用户授予特定Topic的读写权限,才能访问对应Topic。 支持的同步对象范围 在使用Migration进行同步时,不同类型的链路,支持
安装curl库。 apt-get install libcurl4-openssl-dev 获取SDK 登录DataArts Studio控制台。 单击“数据服务”模块。 单击左侧菜单“共享版> SDK”或“专享版 > SDK”。 单击SDK使用引导区域里对应语言的SDK,下载SDK包到本地。
安装curl库。 apt-get install libcurl4-openssl-dev 获取SDK 登录DataArts Studio控制台。 单击“数据服务”模块。 单击左侧菜单“共享版> SDK”或“专享版 > SDK”。 单击SDK使用引导区域里对应语言的SDK,下载SDK包到本地。
用以成本法入表,据此构成数据资源的初始资产价格。 系统建设是数据资产入表的前置条件。企业需要完成基础信息化建设,并对企业数据治理程度和数据管理能力做必要评估。此外还需进行数据资产入表前改造工作,主要涉及数据分类分级工具准备、数据成本计量工具准备、财务系统准备等。 企业在梳理确认好
数据架构支持逆向数据库吗? 数据架构中的指标与数据质量的指标的区别? 为什么关系建模或维度建模修改字段后,数据库中表无变化? 表是否可配置生命周期管理? 当公共维度(如日期/地区/供应商/产品等)被多个主题域共享时,创建维度时应该如何选择主题? 在创建原子指标的时候,只能选择事实表。对于基于维度表创建,如何理解呢?
如果由于数据不离散,导致还是失败请参考2~4,通过增大JDBC超时时间解决。 根据作业找到对应的MySQL连接名称,查找连接信息。 图2 连接信息 单击“连接管理”,在“操作”列中,单击“连接”进行编辑。 图3 连接 打开高级属性,在“连接属性”中建议新增“connectTimeout”与“sock
DLF数据开发V2接口:dayu.{region_id}.myhuaweicloud.com,具体如表2所示。 DataArts Studio其他组件接口(如管理中心、数据架构、数据质量、数据目录、数据服务、数据安全、数据地图等):dayu.{region_id}.myhuaweicloud.com,具体如表3所示。
法获得所有列,此时作业执行完后会造成目的端的数据不全。 这个问题,可以通过以下方法解决: 在CDM的字段映射界面增加字段。 在CDM的作业管理界面直接编辑作业的JSON(修改“fromJobConfig.columns”、“toJobConfig.columnList”这2个参数)。
上表中非云服务的数据源,例如MySQL,既可以支持用户本地数据中心自建的MySQL,也可以是用户在ECS上自建的MySQL,还可以是第三方云的MySQL服务。 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线迁移场景,不适用于在线实时迁移。