检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
仅当源端为Hive2.x且数据存储在HDFS、目的端为Hive3.x且数据存在OBS并行文件系统时,才支持文件迁移。 当选择文件迁移时,需保证源端和目的端的表格式和属性需一致才能迁移成功。 记录迁移 文件迁移 分区过滤条件 “读取方式”选择“HDFS”时显示此参数。
obs_bucket String obs桶。 obs_location String 外表路径 configs String 其他配置。 table_type String 表类型,只读。 owner String 负责人。 tb_name String 表名。
权限同步到DLI的任务通过云服务委托(dlg_agency)完成,因此需要委托拥有IAM认证服务相关权限,具体所需权限如表1所示。 表1 待授予权限 权限名称 配置目的 是否必选 授权项/系统权限(二者选其一配置即可) IAM权限 系统获取用户或用户组、创建角色时,需要该权限。
cdc_last_update_date Hudi建表参数 Location 存储在OBS或HDFS上数据库表的文件路径。 - Hudi表类型 Hudi表存储类型。 MOR表:数据先写入avro格式的日志文件,读取时合并到parquet文件。
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String IAM Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值) 使用Token认证时必选。
3600 40 查询权限集中配置的url信息 查询权限集中配置的url信息,例如obs、hdfs等组件中的url路径。 3600 40 查询数据操作信息 查询数据操作信息。
obs-connector:OBS连接。hdfs-connector:HDFS连接。hbase-connector:HBase连接、CloudTable连接。hive-connector:Hive连接。
External:数据存储位置为OBS的表。当“表类型”设置为External时,需设置“OBS路径””参数。OBS路径格式如:/bucket_name/filepath。 DWS模型的表支持以下表类型: DWS_ROW:行存表。行存储是指将表按行存储到硬盘分区上。
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String IAM Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值) 使用Token认证时必选。
GET:请求服务器返回指定资源,推荐使用GET请求。 POST:请求服务器新增资源或执行特殊操作。POST请求当前不支持body体,而是直接透传。 描述 对API进行简要描述。 标签 对API设置标签。用于标记当前API的属性,创建后可以通过标签快速检索定位API。
/云搜索服务 父主题: 附:公共数据结构
该规格是以数据目录中表和OBS文件的数量之和计算的。您可以在新版本模式的DataArts Studio实例卡片上通过“更多 > 配额使用量”查看该配额情况。 当您的技术资产数量接近或达到该规格时,建议购买技术资产数量增量包,以避免资产采集受限。
父主题: 数据服务
后续操作 依赖服务权限最小化:DAYU User系统角色预置的依赖服务相关权限过大,可能导致相关安全风险。您可以参考如何最小化授权IAM用户使用DataArts Studio,手动调整过大的预置依赖服务权限,使依赖服务权限最小化。
在“详情”页签,可查看技术元数据基本属性、编辑描述;可给数据表添加标签和密级;可给数据表的列和OBS对象添加或删除分类、标签和密级。 图1 查看详情 在“权限”页签,可申请数据表权限或给其他用户授权。
obs-connector:OBS连接。hdfs-connector:HDFS连接。hbase-connector:HBase连接、CloudTable连接。hive-connector:Hive连接。
敏感数据治理流程 敏感数据定义 敏感数据主要指未经个人或集团授权被他人使用,有可能给个人或集团带来严重损害的数据。 以《GBT 35273-2020 信息安全技术个人信息安全规范》为例,个人敏感数据有: 个人财产信息 (存款、信贷、消费流水) 个人健康生理信息(体检信息、医疗记录)
[3] 技术资产数量:该规格指的是数据目录中表和OBS文件的数量,可以通过“技术资产数量增量包”进行扩容,如何购买请参考购买技术资产数量增量包。
后续操作 依赖服务权限最小化:DAYU User系统角色预置的依赖服务相关权限过大,可能导致相关安全风险。您可以参考如何最小化授权IAM用户使用DataArts Studio,手动调整过大的预置依赖服务权限,使依赖服务权限最小化。
driverName 是 String 驱动程序名称: com.mysql.jdbc.Driver org.postgresql.Driver driverPath 是 String 驱动在OBS上路径。