检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
最近一天、一月、一年),这种表通常可以通过数据的创建时间来做分区以保证最佳读写性能。 维度表数据量一般整表数据规模较小,以更新数据为主,新增较少,表数据量比较稳定,且读取时通常需要全量读取做join之类的ETL计算,因此通常使用非分区表性能更好。 确认表内桶数。 使用Hudi B
对于初始启动模式为“增量同步”的作业,暂停加表后恢复作业,新增的表将从暂停前的位点或用户重置的位点开始进行增量同步。 对于初始启动模式为“全量+增量”的作业,暂停加表后恢复作业,将对新增的表先进行全量同步,再从暂停前的位点开始进行增量同步。 父主题: 实时集成任务运维
完成之后,就可以到CDM控制台,通过Internet迁移公网的数据上云了。例如:迁移本地数据中心FTP服务器上的文件到OBS、迁移第三方云上关系型数据库到云服务RDS。 父主题: 数据集成(CDM作业)
如果是作为DataArts Studio服务CDM组件使用,参考创建集群创建CDM集群。 关键配置如下: CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。 CDM集群所在VPC、子网、安全组,选择与MRS集群所在的网络一致。 CDM集
\"dwId\":\"5013aa3f86df4335945131ce9d242b80\",\"dwName\":\"RDS-Mysql\",\"dwType\":\"MYSQL\",\"physicalTable\":\"CREATE_FAILED\",\"devPhysicalTable\":\"NO_NEED\"
权限应用接口 API 说明 API流量限制(次/10s) 用户流量限制(次/10s) 查询数据开发细粒度连接列表 查询数据开发细粒度连接列表(全量)。 3600 40 批量更新数据开发连接细粒度认证状态 批量更新数据开发连接细粒度认证状态。 1800 20 测试数据开发连接细粒度连通性
Redis键前缀 键的前缀,类似关系型数据库的表名。 TABLE 值存储类型 仅支持以下数据格式: STRING:不带列名,如“值1,值2”形式。 HASH:带列名,如“列名1=值1,列名2=值2”的形式。 STRING 高级属性 键分隔符 用来分隔关系型数据库的表和列名。 _ 值分隔符
API_SPECIFIC_TYPE_REGISTER:注册类API API_SPECIFIC_TYPE_ORCHESTRATE:编排类API API_TYPE_CREATE:创建类API(已弃用) API_TYPE_REGISTER:注册类API(已弃用) auth_type 否 String
删除一个连接。 - - 导出连接(待下线) 导出zip压缩包格式的连接文件,包括所有连接的定义。 - - 导入连接(待下线) 将存放在OBS桶的连接文件导入到数据开发模块中,一次可以导入一个或多个连接。 - - 脚本开发 表3 脚本开发 API 说明 API流量限制(次/s) 用户流量限制(次/s)
性将在各个区域(Region)陆续发布,欢迎体验。 2022年4月 序号 功能名称 功能描述 阶段 相关文档 1 数据服务 新增支持API全量导出。 数据服务脚本脚本模式API支持返回别名。 开放数据服务API接口,支持通过API进行数据服务开发。 商用
服务目录管理接口 获取当前目录下的所有类型列表 获取当前目录下的API列表 获取当前目录下的目录列表(全量) 更新服务目录 查询服务目录 创建服务目录 批量删除目录 移动当前目录至新目录 批量移动API至新目录 通过路径获取ID 通过ID获取路径 通过目录ID获取路径对象 查询服务目录API列表
999截断为900,10.7截断为0。 支持配置保留小数点前几位。 日期类型截断 截断日期指定位置。 支持配置日期格式和掩盖范围。 掩码 dws指定列全掩码 dws指定数据列全脱敏。 仅当静态脱敏任务中源端、目标端数据源同为DWS,且执行引擎为DWS时才可以选择此算法。 不支持。 dws字符型掩码 从s
Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 每页显示的条目数量。 offset 否 Integer 偏移量,表示从此偏移量开始查询,该值大于等于0。 permission_type 否 String 权限类型,DENY,ALLOW permission_action
通过API工具调用无认证方式的API 通过浏览器调用无认证方式的API 无认证方式建议仅在测试接口时使用,不推荐正式使用。若调用方为不可信任用户,则存在数据库安全风险(如数据泄露、数据库高并发访问导致宕机、SQL注入等风险)。 父主题: 通过不同方式调用API
DM有较大概率无法获得所有列),则可以单击后选择“添加新字段”来手动增加,确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datetime)。
包括Single模式、Cluster模式、Proxy模式。 若手动参数选择集群名模式时,仅支持Cluster模式。 Redis数据库索引 是 Redis部署方式为Single时的必选项。 类似关系数据库的数据库名称。 例如:0。 配置文件路径 是 认证类型为KERBEROS时显示该参数。 集群配置文件的OBS存放路径。
定义数据分类 当数据密级已经无法满足大数据量下的数据分级分类诉求时,您可以进一步为不同价值的数据定义数据分类,以更好地管理和分组计量自己的数据。 定义识别规则 定义敏感数据识别标准。 定义识别规则组 通过定义敏感数据识别规则及规则组,来有效识别数据库内的敏感数据。 敏感数据发现 创建并运行敏感数据识别任务。
是否必选 参数类型 描述 dw_id 是 String 数据连接ID。 db_type 是 String 数据库类型。 database_name 是 String 数据库名称。 table_name 是 String 表名。 请求参数 表3 请求Header参数 参数 是否必选
offset 否 Integer 偏移量,表示从此偏移量开始查询,该值大于等于0。 name 否 String 动态脱敏策略名称。 cluster_name 否 String 集群名称。 database_name 否 String 数据库名称。 table_name 否 String
数据源元数据获取 获取数据库列表 获取schemas 获取数据源中的表 获取数据源中表的字段 父主题: 管理中心API