检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。 说明: 当开启数据集成作业特性后,可勾选数据集成组件,勾选后在数据开
字段类型映射关系 MySQL与MRS Hudi字段类型映射 PostgreSQL与DWS字段类型映射 父主题: 数据集成(实时作业)
图1 配置节点并发数 单击“保存”,完成配置。 查看历史节点并发数 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 选择“节点并发数”。 在历史节点并发数界面,选择历史时间段。 单击“确定”。 查看历史节点并发数的时间区间最大为24小时。 父主题: 配置
如何将一个空间的数据开发作业和数据连接迁移到另一空间? 您需要通过导入导出功能,分别将旧空间的数据连接和作业数据导入到新空间内。 数据连接数据,需要在管理中心的资源迁移进行导入导出。具体操作请参考资源迁移。 作业数据,需要在数据开发中将作业导入导出。具体操作请参考导出导入作业。 父主题:
在旧版首页的“空间管理”或新版首页的“实例配置>空间管理”页签,单击“新建”,在空间信息页面请根据页面提示配置参数,参数说明如表1所示。 图1 新建空间 表1 新建空间参数说明 参数名 说明 空间名称 空间名称,只能包含字母、数字、下划线、中划线、中文字符,且长度不超过32个字符。在当前的DataArts
1”,其中“${1_1}”为通过告警参数配置的来源侧表“总行数”,“${2_1}”为通过告警参数配置的目的侧表“总行数”。 告警参数 此参数来源于规则模板的输出结果。您可以单击界面显示的参数从而输入告警表达式中的告警参数,单击后系统会在“告警表达式”输入框给出参数的表达式。 例如“规则模板”为“表行数”时,单击告警
String schema名称,dws需要传这个字段 database_name 否 String 数据库名称 table_name 否 String 表名称 expire_time 否 Long 权限到期时间时间戳,毫秒。 表6 TableProposers 参数 是否必选 参数类型
每一个条件分支都需要填写IF条件,IF条件为通过EL表达式语法填写三元表达式。当三元表达式结果为true的时候,才会执行连线后面的节点,否则后续节点将被跳过。 上面的>5分支,IF条件表达式为:#{${result} > 5 ? "true" : "false"} 中间的=5分支,IF条件表达式为:#{${result}
验。 表3 请求Body参数 参数 是否必选 参数类型 描述 id 否 String 汇总表的唯一系统ID,更新时必填,创建时不须填写,ID字符串。 tb_name 是 String 汇总表英文名称,对应实际的物理表名。 tb_logic_name 是 String 汇总表的中文名,用于展示使用。
Integer 每页查询条数,即查询Y条数据。默认值50,取值范围[1,100]。 offset 否 Integer 查询起始坐标,即跳过X条数据,仅支持0或limit的整数倍,不满足则向下取整,默认值0。 dw_type 否 String 数据连接类型 请求参数 表3 请求Header参数
me object 支持补离散时间任务,参考表5。 表4 SupplementDataRunTime参数说明 参数名 是否必选 参数类型 说明 time_of_day 是 String 每天的可补数据时间段,如:每天的10点15分到23点30分,表示:10:15-23:30。 day_of_week
配置SQLServer目的端参数 表1 SQL Server作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。
CDM迁移数据库整库或数据表失败时,已经导入到目标表中的数据不会自动回滚,对于需要事务模式迁移的用户,可以配置“先导入到阶段表”参数,实现迁移失败时数据回滚。 极端情况下,可能存在创建的阶段表或临时表无法自动删除,也需要用户手工清理(阶段表的表名以“_cdm_stage”结尾,例如:cdmtet_cdm_stage)。
查看指标责任人信息 功能介绍 查看指标责任人信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/biz-metrics/owners 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目
Studio与MRS Hive数据湖的连接 新建DataArts Studio与DWS数据湖的连接 新建DataArts Studio与MySQL数据库的连接 父主题: 管理中心
作业算子id,表关联作业算子列表接口响应体的task_id。 表2 Query参数 参数 是否必选 参数类型 描述 workspace_id 否 String 空间ID,表关联作业算子列表接口响应体的workspace_id。 job_name 是 String 作业算子名称,表关联作业算子列表接口响应体的job_name。
xlarge),综合考虑迁移时间、成本、性能等,这里使用2个CDM超大规格集群并行迁移。CDM集群规格如表1所示。 表1 CDM集群规格 实例类型 核数/内存 最大带宽/基准带宽 并发作业数 适用场景 cdm.large 8核/16G 3/0.8 Gbps 16 单表规模≥1000万条。
原因1:确认作业是否启动调度,如果没有启动,不会进行调度。 原因2:实例查询时间区间过大,如果配置有依赖作业或者自依赖,查看历史作业实例是否因为依赖失败,导致等待运行,没有生成新作业实例。 解决方案 配置作业失败异常告警通知,以及实例超时时间,当等待时间超过实例超时时间,系统将发送告警通知。 父主题: 数据开发
查询敏感数据发现概览结果(以分类和密级为单位) 功能介绍 查询敏感数据发现概览结果(以分类和密级为单位)。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/sensitive-data/result/overview 表1 路径参数
查询所有可用区 功能介绍 查询CDM集群的所有可用区。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/regions/{region_id}/availability_zones 表1 路径参数 参数 是否必选 参数类型 描述 project_id