检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Token认证 Token的有效期为24小时,需要使用一个Token鉴权时,可以先缓存起来,避免频繁调用。 使用Token前请确保Token离过期有足够的时间,防止调用API的过程中Token过期导致调用API失败。 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代
响应Body参数 参数 参数类型 描述 id String 客户端ID。 name String 客户端名称。 access_mode String 接入模式:SYSTEM、CUSTOM、AUTO。 枚举值: SYSTEM CUSTOM AUTO status String 客户端状态:CREA
String 描述。 enterprise_project_id String 企业项目ID。 shared Boolean 逻辑多租和物理多租的判断。false为物理多租;true为逻辑多租。 default_instance Boolean 是否为默认实例。 create_time
数据湖建设和持续运营:数据湖建设和持续运营,是指数据湖的初始化建设及后续日常的海量元数据及权限管理,因此客户需要便捷高效的建设和管理方式。 多计算引擎共享元数据:多计算引擎共享元数据,是指客户的多种计算引擎(Hive、Spark等)均使用统一的元数据,最大化实现数据的共享,避免不必要的重复数据,更大程度释放业务数据价值。
删除指定数据库,catalog的默认数据库不允许删除。 cascade: 指定为true时,删除数据库下的表;指定为false时,只能删除空的数据库。 delete_data: 指定为true时,级联删除会将表的数据放入回收站;指定为false时,不删除表数据。 删除数据库后不支持恢复数据库下的事务表。
全量发现:再次执行发现操作时,发现数据存储位置下的所有文件。 增量发现:再次执行发现操作时,发现上次任务(运行成功的)开始运行后,数据存储位置下新增的文件。 执行策略 选择当前迁移任务的执行策略。 手动执行:手动触发执行迁移任务。 选择该方式后,需要在任务创建完成后,单击“操作”列的“运行”运行当前迁移任务。
待迁移的权限策略文件在OBS并行文件系统中的存储位置。 权限策略文件名 待迁移权限策略的文件名称。 Catalog ID 填写权限来源的Catalog名称。 “权限策略类型”选择“DLF”时配置该参数。 授权主体转换关系 手动指定对应的权限策略的授权主体的转换关系,前、后缀值会为最终授权主体名称添加对应的前缀、后缀。
建。 必须与所属的Catalog存储路径(即创建Catalog时配置的“选择位置”参数)不同。 如果所属Catalog配置了“数据库存储位置”参数,则此处该参数必须选择为所属Catalog“选择位置”的子路径、或“数据库存储位置”的子路径。 描述 所创建数据库的描述信息。 长度为
socketTimeout为迁移客户端和数据库连接的socket超时时长。 迁移除MRS本地数据库以外的数据源类型时,URL中的IP为数据源绑定的弹性公网IP。 此外还需配置以下参数: 用户名:访问数据源所使用的用户。 密码:访问数据源所使用的用户密码。 如果所使用用户存在密码,则必须填写;如果用户无密码,则为空即可。
is_auto_pay 否 Boolean 购买包周期产品时,也就是charge_mode为prePaid时生效,且为必选值,表示是否自动从客户的账户中支付,此字段不影响自动续订的支付方式。true:为自动支付。false:为手动支付,默认该方式。 响应参数 状态码: 202 表7 响应Header参数
MRS对接LakeFormation仅支持对接LakeFormation实例的数据目录名称为“hive”的Catalog,名称为“default”的数据库。 LakeFormation实例创建成功后,用户可按照业务规划创建相关Catalog及内部的数据库、表等元数据。 例如参考以下步骤,创建Catal
加元数据的分区键,单击“确定”。支持添加多条。 分区键:分区键是一个或多个表列的有序集合。表分区键列中的值用来确定每个表行所属的数据分区。 (可选)单击“表属性”区域中的“添加表属性”。按照需求添加元数据的表属性,单击“确定”。支持添加多条。 表属性:使您能够使用自己的元数据键/值对来标记表定义。
DELETE 删除表的数据。 列 SELECT 查询表内的列数据。 函数 ALL 函数的所有操作权限。 ALTER 修改函数。 DROP 删除函数。 DESCRIBE 查看函数的元数据信息。 EXEC 执行函数。 路径 READ 路径下文件的读权限。 WRITE 路径下文件的写权限。 权
以通过控制台、API实现对数据湖的元数据进行统一的生命周期管理,无需再通过大数据集群的SQL引擎来管理。 您可以使用本文档提供API对LakeFormation进行相关操作,如创建删除LakeFormation实例、元数据库、元数据表等。 支持的主要操作请参见API概览。 父主题:
有实际作用。用户被授予的策略中,一个授权项的作用如果同时存在Allow和Deny,则遵循Deny优先原则。 如果您给用户授予Admin的系统策略,但不希望用户拥有删除LakeFormation的Catalog、数据库、表的权限,您可以创建一条拒绝删除云服务的自定义策略,然后同时将
传输加密(HTTPS) 为保证数据传输的安全性,LakeFormation的API接口为HTTPS协议。 Console或其他云服务需要采用HTTPS协议访问LakeFormation。 数据备份 LakeFormation支持基于其数据备份能力实现LakeFormation实例的数据备份。 父主题:
og下的数据库位置必须选择为该Catalog“数据库存储位置”的子路径、或该Catalog“选择位置”的子路径。 单击“提交”。 创建完成后,即可在“Catalog”页面查看Catalog相关信息。 单击“操作”列的“编辑”可以修改Catalog配置信息。 单击“操作”列的“数据
number_of_buckets Integer 分桶的桶数量。默认值为0。 bucket_columns Array of strings 分桶字段。 sort_columns Array of Order objects 指定表中的每个存储桶的排序顺序的列表。 serde_info SerDeInfo
任务授权 操作场景 LakeFormation支持将外部服务的元数据及其权限全量或增量迁移至当前LakeFormation实例中,对元数据及权限进行统一管理。 进行任务管理操作前,需要为当前用户委托访问LakeFormation的相关权限,用于元数据、权限迁移时写入相关数据。 前提条件
创建元数据存储路径 LakeFormation元数据映射的数据文件和目录存储在OBS并行文件系统中。在创建LakeFormation元数据之前,需要提前创建数据存储使用的OBS并行文件系统。 如果已存在可用的OBS并行文件系统,可跳过该章节操作。 操作步骤 登录管理控制台。 在页面左上角单击,选择“存储