检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为什么权限同步到DLI中,会提示权限不够? 权限同步到DLI的任务通过云服务委托(dlg_agency)完成,因此需要委托拥有IAM认证服务相关权限,具体所需权限如表1所示。 表1 待授予权限 权限名称 配置目的 是否必选 授权项/系统权限(二者选其一配置即可) IAM权限 系统
创建用于匹配文档的筛选条件,CDM只迁移符合条件的数据。例如: 按表达式对象筛选:例如{'last_name': 'Smith'},表示查找所有“last_name”属性值为“Smith”的文档。 按参数选项筛选:例如{ x : "john" }, { z : 1 },表示查找x=john的所有z字段。
CDM在进行作业分片时,根据源端数据源的差异,分片维度有所不同。详情如表1所示。 表1 不同源端数据源的作业分片维度 数据源分类 源端数据源 作业分片原理 数据仓库 数据仓库服务(DWS) 支持按表字段分片。 不支持按表分区分片。 数据湖探索(DLI) 支持分区表的分区信息分片。 不支持非分区表分片。
数据标准 数据标准管理着重建立统一的数据语言,各级数据层级业务对象的定义是数据标准的载体,并对应发布各数据层级的数据标准。各业务对象对应物理实现的IT系统需发布相应的数据字典并进行数据源认证。而对于梳理出来,但没有落IT系统的业务对象,需在后继的开发中进行数字化落地。 数据开发
页面提示完成用户的创建。 MRS 3.1.0及之后版本集群,所创建的用户至少需具备Manager_viewer的角色权限才能在管理中心创建连接;如果需要对应组件的进行库、表、数据的操作,还需要添加对应组件的用户组权限。 MRS 3.1.0版本之前的集群,所创建的用户需要具备Man
通过工具自动生成JSON格式的消息:单击“生成JSON消息”,在弹出的对话框中填写“消息”和选择“协议”。 模板消息:按模板格式发送的消息,即固定格式的消息,可以通过tag的方式来处理变量的部分。 手动输入模板格式的消息:在“消息内容”直接输入。 通过工具自动生成模板格式的消息:单击“生成模板
数据迁移作业提交运行后,CDM会根据作业配置中的“抽取并发数”参数,将每个作业拆分为多个Task,即作业分片。 不同源端数据源的作业分片维度有所不同,因此某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数,超出规格的Task排队等待运行。
作业时报错“配置项 [throttlingConfig.concurrentSubJobs] 不存在”。 原因分析 当同时存在多个不同版本的集群,先在低版本CDM集群创建数据连接或保存作业时后,再进入高版本CDM集群时,会偶现此类故障。 解决方案 需手动清理浏览器缓存,即可避免此类问题。
偏移量 偏移量的单位为天。 输入偏移量的值。输入值必须在-366到366之间。默认为1。 当工作空间模式为业务日期模式时,偏移量设置为1时,则表示处理的是昨天的业务数据,偏移量设置为-1时,则表示处理的是明天的业务数据,偏移量设置为0时,则表示处理的是今天的业务数据。 业务日
通过不同方式调用API 调用API方式简介 (推荐)通过SDK调用APP认证方式的API 通过API工具调用APP认证方式的API 通过API工具调用IAM认证方式的API 通过API工具调用无认证方式的API 通过浏览器调用无认证方式的API 父主题: 调用数据服务API
如表1所示的参数。 图2 添加订阅 表1 添加订阅参数 参数 是否必选 说明 责任人 是 设置添加订阅的责任人。责任人是创建作业时所配置的责任人信息。 终端协议 是 短信 邮件 电话 终端信息 是 设置订阅的终端信息。 单击“确定”。 终端订阅配置完成后,您可以在通知的“操作”列进行如下操作。
主题管理接口 查找主题列表 删除主题 创建主题 修改主题 获取主题树信息 查找主题列表(新) 删除主题(新) 创建主题(新) 修改主题(新) 父主题: 数据架构API
操作步骤 登录华为云控制台,在左上角的服务列表中选择“数据治理中心DataArts Studio”,进入DataArts Studio实例控制台。 如果当前区域下有多个DataArts Studio实例,则默认进入实例列表。请单击所需实例卡片上的“进入控制台”,进入DataArts
当发布人具备审核人权限时,可无需审批直接发布API。 因此,如果不具备审核人权限的用户需要发布API时,请先添加审核人。只有工作空间管理员角色的用户才具有添加审核人的权限。 审核人支持管理员、开发者、运维者,访客无法添加为审核人。 工作空间管理员角色的用户,无论是否被添加为审核人,都默认具备审核人权限。 操作步骤
版本信息接口 查找版本信息 比较版本信息 父主题: 数据架构API
使用教程 创建MRS Hive连接器 创建MySQL连接器 MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务
数据集成(离线作业) 离线作业概述 支持的数据源 新建离线处理集成作业 配置离线处理集成作业 配置作业源端参数 配置作业目的端参数 字段转换器配置指导 新增字段操作指导
当作业源端为OBS、迁移CSV文件时,并且配置“解析首行为列名”参数的场景下显示列名。 当使用二进制格式进行文件到文件的迁移时,没有字段映射这一步。 自动创表场景下,需在目的端表中提前手动新增字段,再在字段映射里新增字段。 添加完字段后,新增的字段在界面不显示样值,不会影响字段值的传输,CDM会将字段值直接写入目的端。
当作业源端为OBS、迁移CSV文件时,并且配置“解析首行为列名”参数的场景下显示列名。 当使用二进制格式进行文件到文件的迁移时,没有字段映射这一步。 自动创表场景下,需在目的端表中提前手动新增字段,再在字段映射里新增字段。 添加完字段后,新增的字段在界面不显示样值,不会影响字段值的传输,CDM会将字段值直接写入目的端。
当作业源端为OBS、迁移CSV文件时,并且配置“解析首行为列名”参数的场景下显示列名。 当使用二进制格式进行文件到文件的迁移时,没有字段映射这一步。 自动创表场景下,需在目的端表中提前手动新增字段,再在字段映射里新增字段。 添加完字段后,新增的字段在界面不显示样值,不会影响字段值的传输,CDM会将字段值直接写入目的端。