检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 7-zip 用于解压“*.zip”和“*.rar”文件。 支持7-Zip 16.04版本。 准备依赖信息 准备LakeFormation Java
“接入连接列表”区域可以查看终端节点ID、接入IP等信息。 根据获取的接入IP等信息,完成其他云服务与LakeFormation的对接。 详细操作请参考对应云服务对接LakeFormation的操作指导。例如与MRS对接,则参考配置LakeFormation数据连接章节进行操作。
对象存储服务”,进入对象存储服务页面。 选择“并行文件系统 > 创建并行文件系统”,进入创建页面,配置相关参数后单击“立即创建”。 文件系统名称:根据界面要求设置并行文件系统名称,例如“lakeformation-test”。 其他参数根据实际情况选择。 在并行文件系统页面,单击已创建的文件系统名称,例如“lakeformation-test”。
配置开源Spark组件对接LakeFormation 环境准备 配置Spark对接LakeFormation 对接后二次开发
配置开源Hive组件对接LakeFormation 环境准备 配置Hive对接LakeFormation 对接后二次开发
创建”。 文件系统名称:根据界面要求设置并行文件系统名称,例如“lakeformation-test”。 其他参数根据实际情况选择。 在并行文件系统页面,单击已创建的文件系统名称,例如“lakeformation-test”。 在左侧导航栏选择“文件”,单击“新建文件夹”,填写待
过滤策略存储位置 迁移的自定义元数据过滤策略文件在OBS并行文件系统中的存储位置。 “元数据过滤策略”选择“按自定义规则”时配置该参数。 过滤策略文件名 迁移的自定义元数据过滤策略文件名。 “元数据过滤策略”选择“按自定义规则”时配置该参数。 迁移元数据对象 勾选待迁移的元数据对
在右上角“Catalog”后的下拉框中选择待创建数据库所属的Catalog名称。可以查看当前Catalog中包含的数据库。 单击“创建数据库”,配置相关参数。 在“基本信息”区域配置以下信息。 表1 创建数据库 参数 参数说明 库名称 填写待创建数据库名称。 只能包含中文、字母、数字、下划线,长度为1~128个字符。
"testOwner", "principals" : [ { "principal_type" : "USER", "principal_source" : "IAM", "principal_name" : "user1"
roles/{role_name}/grant-principals [ { "principal_name" : "user1", "principal_source" : "IAM", "principal_type" : "USER" } ] 响应示例 状态码:
oles/{role_name}/revoke-principals [ { "principal_name" : "user1", "principal_source" : "IAM", "principal_type" : "USER" } ] 响应示例 状态码:
以便捷高效地构建数据湖和运营相关业务,加速释放业务数据价值。 LakeFormation产品通过底层资源实现跨AZ部署及高可靠、弹性伸缩、元数据统一管理、元数据与文件目录联动授权、对接多计算引擎等功能,是一个Serverless服务。 LakeFormation架构 LakeFormation服务架构图如图1所示。
例下可以创建多个Catalog,包含名称、描述、位置等信息,支持创建、修改、删除等操作。 其中位置是Catalog所映射的OBS并行文件系统的文件目录。 数据库(Database) LakeFormation实例的数据目录(Catalog)的下级资源,即在一个Catalog下可以
ile_location 否 String 用于获取元数据迁移指定库表的obs文件路径。 migration_preference_file_name 否 String 元数据迁移指定库表文件名,文件名中不得包含 <, >, :, ", /, , |, ?, * 这些特殊字符。 表6
运行迁移任务时,产生的日志存储位置。 权限策略文件存储位置 待迁移的权限策略文件在OBS并行文件系统中的存储位置。 权限策略文件名 待迁移权限策略的文件名称。 Catalog ID 填写权限来源的Catalog名称。 “权限策略类型”选择“DLF”时配置该参数。 授权主体转换关系 手动指定
migration_preference_file_location String 用于获取元数据迁移指定库表的obs文件路径。 migration_preference_file_name String 元数据迁移指定库表文件名,文件名中不得包含 <, >, :, ", /, , |, ?, * 这些特殊字符。 表6
me}/principals 响应示例 状态码: 200 OK { "principals" : [ { "principal_type" : "USER", "principal_source" : "IAM", "principal_name" :
子网不存在。 请检查子网相关配置。 500 00011035 子网网段配置与VPC冲突。 请检查子网网段配置。 500 00011036 DCS不存在或不可用。 请检查DCS相关配置。 500 00011037 数据库不存在或不可用。 请检查数据库相关配置。 500 00011038
Catalog数据存储在OBS并行文件系统中的位置。可选参数。 单击“”,选择位置后,单击“确定”。 如果配置该参数,则所选位置只能以“obs://”开头,且必须包含一个存储对象,例如选择“obs://lakeformation-test/catalog1”。如果没有合适的并行文件系统,可以单击“前往OBS创建”进行创建。
如果数据存储位置下的文件后缀为同一类型,建议选择对应发现类型。 如果数据存储位置下的文件后缀为多种类型,建议选择“自动发现”。 如果数据存储位置下的文件不带后缀,建议选择对应类型。如果选择“自动发现”,则系统默认以Parquet类型文件进行发现,其他类型文件将会发现失败。 日志存储位置 运行元数据