检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持从神通(ST)导出数据。 参见配置神通(ST)源端参数。 达梦数据库 DM 支持从达梦数据库 DM导出数据。 参见配置达梦数据库 DM源端参数。 配置目的端作业参数,根据目的端数据类型配置对应的参数,具体如表2所示。 表2 目的端作业参数说明 目的端类型 说明 参数配置 OBS 支持使用C
面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。针对文件到表类迁移的数据,建议配置写入脏数据。 作业运行完是否删除:这里保持默认值“不删除”。根据使用场景,也可配置为“删除”,防止迁移作业堆积。 单击“保存并运行”,回到作业管理界面,在作业管理界面可查看作业执行进度和结果。
C内的子网共享给当前账号,由当前账号在购买DataArts Studio时选择共享VPC子网。通过共享VPC子网功能,可以简化网络配置,帮助您统一配置和运维多个账号下的资源,有助于提升资源的管控效率,降低运维成本。如何共享VPC子网,请参考《共享VPC》。 子网 subnet-1
如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题? 问题描述 CDM从OBS迁移数据到DLI出现迁移中断失败。 解决方案 此类作业问题表现为配置了脏数据写入,但并无脏数据。这种情况下需要调低并发任务数,即可避免此类问题。 父主题: 数据集成(CDM作业)
如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。 创建MySQL连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面,如图2所示。 图2 选择连接器类型 选择“MySQL”后单击“下一步”,配置MySQL连接的参数。
如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。 创建云搜索服务连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图1所示。 图1 选择连接器类型 连接器类型选择“云搜索服务”后单击“下一步”,配置云搜索服务连接参数。
如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题? 如何处理CDM连接器报错“配置项 [linkConfig.iamAuth] 不存在”? 报错“配置项[linkConfig.createBackendLinks]不存在”或“配置项 [throttlingConfig.concurrentSubJobs]
数据架构支持逆向数据库吗? 数据架构中的指标与数据质量的指标的区别? 为什么关系建模或维度建模修改字段后,数据库中表无变化? 表是否可配置生命周期管理? 当公共维度(如日期/地区/供应商/产品等)被多个主题域共享时,创建维度时应该如何选择主题? 在创建原子指标的时候,只能选择事实表。对于基于维度表创建,如何理解呢?
API方式连接不支持通过可视化模式管理数据库,建议通过SQL脚本方式进行创建。 删除数据库时,请确保该数据库未被使用,且没有关联数据表。 新建数据库(可视化模式) 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts S
CDM作业配置管理 CDM作业管理界面的“配置管理”页签,主要操作如下: 最大抽取并发数 定时备份/恢复 作业参数的环境变量 最大抽取并发数 最大抽取并发数即集群最大抽取并发数。 此处的“最大抽取并发数”参数与集群配置处的“最大抽取并发数”参数同步,在任意一处修改即可生效。 CD
更新方式做配置,此选项默认为“不更新”。 配置数据表更新方式操作如下: 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据架构”模块,进入数据架构页面。 在数据架构控制台,单击左侧导航树中的“配置中心”。 单击“功能配置”页签。 配
如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。 创建MySQL连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面,如图2所示。 图2 选择连接器类型 选择“MySQL”后单击“下一步”,配置MySQL连接的参数。
系统会为您计算好所购买的套餐包的价格,您可一键完成整个配置的购买。 计费方式 计费说明 04 使用 指导您快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。 购买并配置DataArts Studio 注册账号并实名认证 购买DataArts
节点名称:默认显示为SQL脚本“dws_sql”的名称,支持修改。 作业编排完成后,单击,测试运行作业。 如果运行成功,单击画布空白处,在右侧的“调度配置”页面,配置作业的调度策略。 图3 配置调度方式 说明: 2021/08/06至2021/08/31,每天2点执行一次作业。 单击“提交”,执行调度作业,实现作业每天自动运行。
审批,因此,需要先添加审核人。只有工作空间管理员角色的用户才具有添加审核人的权限。 管理配置中心:数据架构中提供了丰富的自定义选项,统一通过配置中心提供,您需要根据自己的业务需要进行自定义配置。 数据调研:基于现有业务数据、行业现状进行数据调查、需求梳理、业务调研,输出企业业务流程以及数据主题划分。
CSS) 支持本地存储,仅MRS Hive、MRS Hudi支持存算分离场景。 仅MRS Hive支持Ranger场景。 不支持ZK开启SSL场景。 MRS HDFS建议使用的版本: 2.8.X 3.1.X MRS HBase建议使用的版本: 2.1.X 1.3.X MRS Hive、MRS
消费组。 Kafka源端属性配置 支持设置Kafka的配置项,需要增加 properties. 前缀,作业将自动移除前缀并传入底层Kafka客户端,具体参数可参考Apache Kafka官方文档中的配置说明。 配置目的端参数。 图6 目的端OBS配置 文件存储格式 写入OBS的文
如果选择在目的端自动创建类型,这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容,详细请参见字段转换。 图5 云搜索服务的字段映射 单击“下一步”配置任务参数,一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能: 作业失败重试:如果作业执行
发布任务包 功能介绍 目前支持发布包管理中相关包的发布,支持发布多个任务包。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v2/{project_id}/factory/release-packages/deploy 参数说明
撤销任务包 功能介绍 目前支持发布包管理中相关包的撤销,支持撤销多个任务包。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v2/{project_id}/factory/release-packages/unpack 参数说明