检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户组管理 用户组管理接口,包括获取租户的用户组等接口。 通过这些接口,您可以获取租户的用户组等。 元数据统计 元数据统计接口,包括元数据数量统计等接口。 角色管理 角色管理接口,包括创建 、获取、修改、删除角色等接口。 凭证管理 凭证管理接口,包括获取临时密钥和securityToken等接口。
“obs://lakeformation-test/catalog1”。如果没有合适的并行文件系统,可以单击“前往OBS创建”进行创建。 建议选择未被其他Catalog选中的文件夹。 描述 所创建Catalog的描述信息。 长度为0~4000字节,1个中文字符对应3个字节。 (可
算引擎对接LakeFormation更轻松和高效。 兼容Ranger权限模型:提供兼容Ranger权限模型的接口,具备良好的生态扩展性。 建议搭配服务 MapReduce服务(MRS) 数据仓库服务 GaussDB(DWS) 数据湖探索(DLI) 支持情况请咨询对应服务。 父主题:
单击“立即购买”,确认配置的相关信息并支付。 单击“返回控制台”,在控制台即可查看新创建的LakeFormation实例信息。 创建实例时需要注意配额提醒。当资源配额不足时,建议按照界面提示申请足够的资源,再创建实例。 等待实例状态变为“”表示实例已创建成功。 创建接入客户端 登录管理控制台。 在左上角单击“”,选择“大数据
xml文件中亦可生效,添加时需要去除“spark.hadoop”前缀。 对接LakeFormation元数据 Spark对接LakeFormation有以下两种对接方式,建议根据需要选择其中一种方式进行对接。 使用SparkCatalogPlugin方式对接:SparkCatalogPlugin方式对接基于Spark
必填。 CUSTOM:定制模式,由外部服务自行创建vpcep连接,适用于跨租户场景等。该模式下access_connections必填。不建议使用,使用接入租户相关接口代替。 枚举值: SYSTEM CUSTOM vpc_id 否 String VPC ID,即虚机私有云ID。可以在
String 输入格式。 output_format 否 String 输出格式。 number_of_buckets 否 Integer 分桶的桶数量。默认值为0。 bucket_columns 否 Array of strings 分桶字段。 sort_columns 否 Array of
String 输入格式。 output_format 否 String 输出格式。 number_of_buckets 否 Integer 分桶的桶数量。默认值为0。 bucket_columns 否 Array of strings 分桶字段。 sort_columns 否 Array of
String 输入格式。 output_format String 输出格式。 number_of_buckets Integer 分桶的桶数量。默认值为0。 bucket_columns Array of strings 分桶字段。 sort_columns Array of Order
"catalog.max.limit", "value" : 1, "description" : "catalog最大数量限制。" } ], "page_info" : { "current_count" : 2000, "next_marker"
提供数据湖管理、元数据统计等管理能力。 产品功能 表1列出了湖仓构建LakeFormation提供的常用功能特性。 在使用LakeFormation之前,建议您先了解湖仓构建服务LakeFormation的基本概念,以便更好地理解LakeFormation提供的各项功能。 表1 湖仓构建服务LakeFormation功能概览
String 输入格式。 output_format 否 String 输出格式。 number_of_buckets 否 Integer 分桶的桶数量。默认值为0。 bucket_columns 否 Array of strings 分桶字段。 sort_columns 否 Array of
String 输入格式。 output_format String 输出格式。 number_of_buckets Integer 分桶的桶数量。默认值为0。 bucket_columns Array of strings 分桶字段。 sort_columns Array of Order
String 输入格式。 output_format String 输出格式。 number_of_buckets Integer 分桶的桶数量。默认值为0。 bucket_columns Array of strings 分桶字段。 sort_columns Array of Order
String 输入格式。 output_format String 输出格式。 number_of_buckets Integer 分桶的桶数量。默认值为0。 bucket_columns Array of strings 分桶字段。 sort_columns Array of Order
eFormation服务的细粒度权限策略进行特性权限场景的授权,参见创建LakeFormation自定义IAM策略。当湖内数据资源较多时,建议通过LakeFormation管理控制台对数据湖内的资源进行统一权限管理。 LakeFormation配置权限时需要包含如下要素: 表1 LakeFormation权限要素
值会为最终授权主体名称添加对应的前缀、后缀。 需要分别配置“用户转换对象”、“用户组转换对象”、“角色转换对象”,及其“前缀”和“后缀”。建议非IAM用户、非IAM用户组授权主体转换为角色。 “权限策略类型”为“DLF”时无需配置该参数。 事件通知策略 (当前该功能为公测阶段)
String 输入格式。 output_format 否 String 输出格式。 number_of_buckets 否 Integer 分桶的桶数量。默认值为0。 bucket_columns 否 Array of strings 分桶字段。 sort_columns 否 Array of
String 输入格式。 output_format String 输出格式。 number_of_buckets Integer 分桶的桶数量。默认值为0。 bucket_columns Array of strings 分桶字段。 sort_columns Array of Order
String 输入格式。 output_format String 输出格式。 number_of_buckets Integer 分桶的桶数量。默认值为0。 bucket_columns Array of strings 分桶字段。 sort_columns Array of Order