检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ret,可参考获取APP和API信息获取。 Method、Url:API的请求方法和调用地址,可参考获取APP和API信息获取。 注意如果入参中包含Path和Query参数,则需要将调用地址中的{path}变量修改为Path参数具体取值,Query参数取值以“?Query参数名=
数据连接”页面,完成数据源的配置。 约束与限制 API生成暂不支持Hive数据源的中文表和中文列场景。 新建API目录 API目录是按一定次序编排记录的API索引,是反映类别、指导使用、检索API的工具,帮助API开发者对API服务进行有效的分类和管理。 参考访问DataArts Studio实例控制台,登录DataArts
CDM集群,请参考创建CDM集群进行创建。 CDM集群作为网络代理,必须和MRS集群网络互通才可以成功创建MRS连接,为确保两者网络互通,CDM集群必须和MRS集群处于相同的区域、可用区,且使用同一个VPC和子网,安全组规则需允许两者网络互通。 说明: 对于多个开启Kerbero
/角色方式为用户授权外,也支持自下而上的用户权限申请、审批流程。 本章主要描述如何配置审批策略,申请者如何申请权限,以及审批者如何审批权限和回收权限。 前提条件 权限申请前,已完成空间权限集的配置,请参考配置空间权限集。 权限申请前,需要在数据目录组件,对数据连接成功进行过元数据采集,详见元数据采集任务。
配置? 解决方案 修改Migration实时集成作业配置。 Migration任务中必须关闭异步compaction动作,同时将clean和archive关闭。具体来说,可以在“Hudi表属性全局配置”或单表的“表属性编辑”中配置下表所示参数。 表1 Hudi表参数 参数名 参数值
rehouses 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 每页显示的条目数量。 offset 否 Integer
文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。 其他场景下,CDM会自动匹配源端和目的端数据表字段,需用户检查字段映射关系和时间格式是否正确,例如:源字段类型是否可以转换为目的字段类型。 自动创表场景下,需在目的端表中提前手动新增字段,再在字段映射里新增字段。
获取API授权应用的AppKey和AppSecret(如已授权多个APP,获取其中一个APP信息即可)。 在左侧导航栏中进入应用管理,找到API授权的应用,并单击应用名称查看APP的完整信息,保存AppKey和AppSecret。 图1 保存AppKey和AppSecret信息 获取
文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。 其他场景下,CDM会自动匹配源端和目的端数据表字段,需用户检查字段映射关系和时间格式是否正确,例如:源字段类型是否可以转换为目的字段类型。 您可以单击字段映射界面的选择“添加新字段”自定义新增字
文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。 其他场景下,CDM会自动匹配源端和目的端数据表字段,需用户检查字段映射关系和时间格式是否正确,例如:源字段类型是否可以转换为目的字段类型。 您可以单击字段映射界面的选择“添加新字段”自定义新增字
文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。 其他场景下,CDM会自动匹配源端和目的端数据表字段,需用户检查字段映射关系和时间格式是否正确,例如:源字段类型是否可以转换为目的字段类型。 您可以单击字段映射界面的选择“添加新字段”自定义新增字
DIS Dump 功能 通过DIS Dump节点配置DIS的数据转储任务。 参数 用户可参考表1和表2配置DIS Dump节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。
参数说明 表1 URI参数说明 参数名 是否必选 参数类型 说明 project_id 是 String 项目编号,获取方法请参见项目ID和账号ID。 start_time 否 Long 告警的开始时间,默认当前时间的前一个小时,13位时间戳。 end_time 否 Long 告
击DWI数仓分层模型的“数据表”会跳转到“关系建模”页面。 如果数仓模型比较多,可以单击“查看更多”和“收起更多”进行折叠展示。 “未分层”的数仓模型会在页面上方显示。支持编辑和删除。 单击“编辑”,可以修改数仓模型的参数信息,可以给未分层的数仓模型配置数仓分层(此处支持选择DW
单位:秒。 10 过滤类型 满足过滤条件的路径或文件会被传输,该参数有“无”、“通配符”和“正则表达式”三种选择。具体使用方法可参见文件增量迁移。 无 目录过滤器 “过滤类型”选择“通配符”和“正则表达式”时,符合过滤器规则的目录,允许进行迁移。支持配置多个路径,中间使用“,”分隔。
单击“确定”,创建应用。 创建应用成功后,在“应用管理”页面的列表中显示新创建的应用和应用ID。 将IAM认证方式的API授权给当前账号 使用IAM认证方式的API,必须将API授权后,才能进行API调用。授权可以分为API开发者主动授权和API调用者申请授权,本文以API开发者主动授权为例进行介绍。
e029 CertUtil: -hashfile 命令成功完成。 对比所下载SDK包的SHA256值和下表中对应语言SDK包的SHA256值。如果一致,则表示下载过程不存在篡改和丢包。 表1 SDK包及对应的SHA256值 不同语言SDK包 SHA256值 Java 77e033
“列表文件”选择为“否”时,才有该参数。 待迁移数据的目录或单个文件路径。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts St
待迁移数据的目录,将迁移目录下的所有文件(包括所有嵌套子目录及其子文件)。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts St
56-GCM算法加密后的文件。 KMS加密 源端解密不支持KMS。 CDM目前只支持导入文件到OBS时,目的端使用KMS加密,表/文件迁移和整库迁移都支持。在“目的端作业配置”的“高级属性”中配置。 KMS密钥需要先在数据加密服务创建,具体操作请参见《数据加密服务 用户指南》。