行数据过滤及在字段映射页面添加新字段的需求,选择HDFS方式即可。 HDFS文件方式读取数据时,性能较好,但不支持使用WHERE条件进行数据过滤及在字段映射页面添加新字段。 JDBC方式读取数据时,支持使用WHERE条件进行数据过滤及在字段映射页面添加新字段。 说明: 源端为Hi
件做数据过滤及在字段映射页面添加新字段的需求,选择HDFS方式即可。 HDFS文件方式读取数据时,性能较好,但不支持使用WHERE条件做数据过滤及在字段映射页面添加新字段。 JDBC方式读取数据时,支持使用WHERE条件做数据过滤及在字段映射页面添加新字段。 HDFS 数据库 输
_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 集群或数据连接 是 选择集群或数据连接。 集群方式不支持开启安全模式的CloudSearch集群,请使用数据连接方式。 CloudSearch集群 是 选择“集群”时,才需要配置。 选择CloudSea
对于数据目录组件中名称相同的元数据采集任务、元数据分类和标签,不支持被重复迁移。 待导入的资源应为通过导出获取的zip文件,导入时系统会进行资源校验。 由于安全原因,导出连接时没有导出连接密码,需要在导入时自行输入。 仅企业版支持数据目录(分类、标签、采集任务)导出,专家版暂不支持。 导入文件时,
还需进行数据资产入表前改造工作,主要涉及数据分类分级工具准备、数据成本计量工具准备、财务系统准备等。 企业在梳理确认好数据资产类型、类别和安全等级后,就可以进入到实施阶段:梳理数据资产构成成本,并对数据资源进行初始计量、后续计量等相关会计处理。 图1 入表形成原始资产 第二步:形成无形资产收入
REBOOT_FAILURE:重启失败。 type String 节点类型,只支持一种类型“cdm”。 id String 节点的虚拟机ID。 name String 节点的虚拟机名称。 isFrozen String 节点是否冻结:0:否。1:是。 components String 组件。 config_status
column的guid直接获取column的信息。 添加或修改资产 添加或修改资产。 删除资产 删除资产。 资产分类接口 表6 资产分类接口 API 说明 批量资产关联分类 批量资产关联分类:只支持对数据表的列和OBS对象添加分类。 资产关联分类 将一个分类关联到一个或多个指定guid的资产上。
myhuaweicloud.com,具体如表2所示。 DataArts Studio其他组件接口(如管理中心、数据架构、数据质量、数据目录、数据服务、数据安全、数据地图等):dayu.{region_id}.myhuaweicloud.com,具体如表3所示。 表1 CDM数据集成Endpoint
填写DLI Flink作业的名称,只能包含英文字母、数字、“_”,且长度为1~64个字符。默认与节点的名称一致。 作业名称添加工作空间前缀 否 设置是否为创建的作业名称添加工作空间前缀。 脚本路径 是 选择需要执行的Flink SQL脚本。如果脚本未创建,请参考新建脚本和开发SQL脚本创建和开发Flink
/FTP迁移数据到DLI的链路场景),则可以单击后选择“添加新字段”来手动增加,确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 支持通过字段映射界面的,可自定义添加常量、变量及表达式。 当作业源端为OBS、迁移CSV文件
vpc_id String 虚拟私有云id,可在当前虚拟私有云列表中获取。 security_group_id String 安全组id,可在当前安全组列表中获取。 eps_id String 企业项目ID,获取方法请参见项目ID和账号ID。 effective_time Number
冻结工作空间 workspace frozenWorkspaces 解冻工作空间 workspace unfrozenWorkspaces 添加工作空间用户 User saveWorkspaceUser 编辑工作空间用户 User updateWorkspaceUser 删除工作空间用户
“tinyInt1isBit”参数,参数值设为“false”。 “mysql.bool.type.transform”参数,参数值设为“false”。 图1 添加连接属性 父主题: 数据集成(CDM作业)
对于数据目录组件中名称相同的元数据采集任务、元数据分类和标签,不支持被重复迁移。 待导入的资源应为通过导出获取的zip文件,导入时系统会进行资源校验。 由于安全原因,导出连接时没有导出连接密码,需要在导入时自行输入。 仅企业版支持数据目录(分类、标签、采集任务)导出,专家版暂不支持。 导入文件时,
96 子网ID CDM所属的子网必须与DWS一致。 63bdc3cb-a4e7-486f-82ee-d9bf208c8f8c 安全组ID CDM所属的安全组必须与DWS一致。 005af77a-cce5-45ac-99c7-2ea50ea8addf Endpoint IAM的Endpoint
编辑工作空间用户或用户组 编辑工作空间用户或用户组。 3000 20 获取工作空间用户信息 获取工作空间用户信息。 3000 20 添加工作空间用户 添加工作空间用户。 3000 20 删除工作空间用户 删除工作空间用户。 3000 20 数据源元数据获取 表7 数据源元数据获取 API
是 String 可用区。 vpc_id 是 String 虚拟网卡Id。 security_group_id 是 String 安全组id,可在当前安全组列表中获取。 net_id 是 String 子网id,可在当前虚拟私有云列表中获取。 instance_name 是 String
可选参数,指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。默认1000。 连接属性 否 可选参数,单击“添加”可增加多个指定数据源的JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。 常见配置举例如下: connectTime
基本参数配置完成后,单击“发布”,在弹出框中,选择审核人,单击“确认提交”,提交审核。等待审核人员审核,审核通过后,时间周期创建完成。 如果当前用户已被添加为审核人,则可以勾选“自助审批”,单击“确认提交”后,状态显示为“已发布”。 管理时间周期 在数据指标控制台,单击左侧导航树中的“指标开发
选择重名策略。当“转储服务类型”配置的转储任务名称出现重名时,DIS Dump将根据重名策略进行下一步操作。 忽略:不添加转储任务,并退出DIS Dump,DIS Dump的状态为“成功”。 覆盖:继续添加转储任务,覆盖已存在的重名转储任务。 转储服务类型 是 选择转储服务类型,目前支持转储至: Cl
您即将访问非华为云网站,请注意账号财产安全