检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持的数据源(2.9.2.200) 数据集成有两种迁移方式,支持的数据源有所不同: 表/文件迁移:适用于数据入湖和数据上云场景下,表或文件级别的数据迁移,请参见表/文件迁移支持的数据源类型。 整库迁移:适用于数据入湖和数据上云场景下,离线或自建数据库整体迁移场景,请参见整库迁移支持的数据源类型
支持的数据源(2.9.3.300) 数据集成有两种迁移方式,支持的数据源有所不同: 表/文件迁移:适用于数据入湖和数据上云场景下,表或文件级别的数据迁移,请参见表/文件迁移支持的数据源类型。 整库迁移:适用于数据入湖和数据上云场景下,离线或自建数据库整体迁移场景,请参见整库迁移支持的数据源类型
DataArts Studio使用流程 数据治理中心DataArts Studio是具有数据全生命周期管理、智能数据管理能力的一站式治理运营平台,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛
您可以将表1数据保存在OBS的CSV文件中,然后通过DLI SQL或DWS SQL创建OBS外表关联这个CSV文件,然后将OBS外表查询的结果作为数据集。DLI创建外表请参见OBS输入流,DWS创建外表请参见创建外表。
“OBS”触发事件类型的参数(当前仅上海二区域支持) 说明: “OBS”触发事件类型的事件驱动调度,依赖于OBS的“事件通知 -> DIS通知”功能,由于OBS该功能在华为云暂未正式上线,因此当前暂时无法使用OBS触发事件类型。 OBS路径 选择要监听的OBS路径。
打开一个已创建好的作业,从左侧节点库中拖拽一个“Create OBS”节点。 在节点属性页签中配置属性。 图2 Create OBS 单击“保存”后,选择“前往监控”页面监控作业的运行情况。 配置作业参数 作业参数中支持定义变量和常量,作业参数的作用范围为当前作业。
CSS 功能 通过CSS节点执行云搜索请求,实现在线分布式搜索功能。 参数 用户可参考表1和表2配置CSS节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128
obs_common_config String obs公共配置。 total_row_count String 总行数。 fields_name Array of strings 文件列表。 table_name String 表名。 sample String 样本。
是否忽略OBS监听 是,补数据场景下,系统会忽略OBS监听。 否,补数据场景下,系统会监听OBS路径。 是否设置运行时间段 设置补数据任务的运行时间段。 是 可以设置补数据任务每天运行的时间段。 否 单击“确定”,开始补数据,并进入“补数据监控”页面。
可以选择DWS,OBS,CSS,HIVE,CUSTOM,CloudTable和DLI类型。 确定 单击“确认”,保存节点输出功能的参数配置。 取消 单击“取消”,取消节点输出功能的参数配置。 编辑 单击,修改节点输出功能的参数配置,修改完成后,请保存。
管理集群标签 操作场景 CDM集群已经创建成功后,支持新增、修改及删除CDM集群的标签。使用标签可以标识多种云资源,后续在TMS标签系统或者CDM集群管理列表中可筛选出同一标签的云资源。 一个CDM集群最多可新增10个标签。 前提条件 已创建CDM集群。 操作步骤 登录CDM管理控制台
是否忽略OBS监听 系统默认为“是”。 是,重跑作业实例场景下,系统会忽略OBS监听。 否,重跑作业实例场景下,系统会监听OBS路径。 说明: 若暂未使用该参数,可忽略。 查看DAG图 您可以查看作业实例之间的依赖关系,并且在DAG图上进行运维操作。
在选择Jar包之前,您需要先将Jar包上传至OBS桶中,并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中,具体操作请参考新建资源。 重跑策略 否 从上一个检查点重跑 重新启动 输入数据路径 否 设置输入数据路径,系统支持从HDFS或OBS的目录路径进行配置。
如何降低CDM使用成本? 如果是迁移公网的数据上云,可以使用NAT网关服务,实现CDM服务与子网中的其他弹性云服务器共享弹性IP,可以更经济、更方便的通过Internet迁移本地数据中心或第三方云上的数据。 具体操作如下: 假设已经创建好了CDM集群(无需为CDM集群绑定专用弹性IP
数据架构操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 资源名称 事件名称 查看主题设计 DAYU_DS dsSubject
数据服务操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建API DLMApi createApi
数据集成操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster createCluster
管理中心操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建数据连接 dataWarehouse createDataWarehouse
数据开发操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建作业 job createJob(api
数据目录操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 添加数据掩码 datamask createDataMask