检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
${spark_catalog_name}.lakecat.catalogname.default=${lakeformation_catalog_name} 对接后验证。 对接后可通过spark-shell、spark-submit或spark-sql访问LakeFormation,以下以spark-sql为例:
common_error_code String CBC公共错误码。 solution_msg String 解决方案描述。 请求示例 POST https://{endpoint}/v1/{project_id}/instances { "name" : "lakeformation-instance"
AK。Access Key,是用来标识用户身份的访问密钥。 secret String SK。Secret Key,用来对访问密钥进行加密签名,以验证身份。 security_token String security_token是将所获的AK、SK等信息进行加密后的字符串。 状态码: 400
何调用API,该API获取用户的Token,Token可以用于调用其他API时鉴权。 您还可以通过视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987 。 请求URI 请求URI由如下部分组成。 {URI-scheme}
MySQL)、 MRS_RDS_FOR_PG代表MRS云数据库RDS(for PostgreSQL)、 MRS_LOCAL_GAUSSDB代表MRS本地数据库(GaussDB)。 枚举值: ALIYUN_DLF MRS_RDS_FOR_MYSQL OPEN_FOR_MYSQL MRS_RDS_FOR_PG
MySQL)、 MRS_RDS_FOR_PG代表MRS云数据库RDS(for PostgreSQL)、 MRS_LOCAL_GAUSSDB代表MRS本地数据库(GaussDB)。 枚举值: ALIYUN_DLF MRS_RDS_FOR_MYSQL OPEN_FOR_MYSQL MRS_RDS_FOR_PG
updated_by String 更新者。 validity_schedules Array of ValiditySchedule objects 验证周期。 version Long 版本。 zone_name String 域。 表7 DataMaskPolicyItem 参数 参数类型
updated_by String 更新者。 validity_schedules Array of ValiditySchedule objects 验证周期。 version Long 版本。 zone_name String 域。 表6 PolicyDelta 参数 参数类型 描述 policy
现数据的共享,避免不必要的重复数据,更大程度释放业务数据价值。 本服务的优势 兼容Hive元数据模型:提供兼容Hive元数据模型的SDK客户端,使计算引擎对接LakeFormation更轻松和高效。 兼容Ranger权限模型:提供兼容Ranger权限模型的接口,具备良好的生态扩展性。
MySQL)、 MRS_RDS_FOR_PG代表MRS云数据库RDS(for PostgreSQL)、 MRS_LOCAL_GAUSSDB代表MRS本地数据库(GaussDB)。 枚举值: ALIYUN_DLF MRS_RDS_FOR_MYSQL OPEN_FOR_MYSQL MRS_RDS_FOR_PG
限制。如您最多可以创建多少台弹性云服务器、多少块云硬盘。 如果当前资源配额限制无法满足使用需要,您可以申请扩大配额。 怎样查看我的配额? 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在页面右上角,选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图1 我的配额
配置云服务授权 首次使用LakeFormation服务需要进行服务授权,授权相关云资源的权限。 云服务授权操作 使用注册华为云账号创建的用户登录管理控制台。 在服务列表中选择“大数据 > 湖仓构建 LakeFormation”,进入“服务授权”页面。 IAM ReadOnlyAcc
Hudi表不支持在LakeFormation管理面编辑表的字段,只能通过Hudi客户端增删改表的字段。 Flink读写Hudi场景下同步Hive表,仅支持使用hive_sync.mode=jdbc,不支持hms方式。 Spark使用小权限用户登录客户端创建数据库时,如果用户没有default库的OBS路径
设置默认实例:设置当前实例为默认实例。如果其他服务对接LakeFormation实例时,没有指定具体的实例ID,该操作将会修改服务对接的实例。 变更实例规格 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。 在左侧下拉
OTHER principal_source 是 String 主体来源: IAM-云用户、 SAML-联邦、 LDAP ld-用户、 LOCAL-本地用户、 AGENTTENANT-委托、 OTHER-其它。 枚举值: IAM SAML LDAP LOCAL AGENTTENANT OTHER
查询授权 本章节主要为您说明如何进行查询已有的数据授权信息。 操作步骤 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。 在左侧下拉框中选择待操作的LakeFormation实例,选择“数据权限 >
String 订阅者名称:DATAARTS_STUDIO-数据治理中心 枚举值: DATAARTS_STUDIO 请求示例 POST https://{endpoint}/v1/{project_id}/instances/{instance_id}/metadata-event/subscribers
已创建待添加函数的数据库及其所属Catalog。 如果配置“函数位置”参数,需已参考创建元数据存储路径提前创建了用于存储函数的OBS并行文件系统。 创建函数 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。 在左侧下拉
错误码。 error_msg String 错误描述。 solution_msg String 解决方案描述。 请求示例 DELETE https://{endpoint}/v1/{project_id}/instances/{instance_id}/roles/{role_name}
common_error_code String CBC公共错误码。 solution_msg String 解决方案描述。 请求示例 删除委托 DELETE https://{endpoint}/v1/{project_id}/agency { "agency_type" : "JOB_TRUST"