检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建LakeFormation自定义IAM策略 如果系统预置的LakeFormation权限,不满足您的授权要求,可以创建自定义策略。 目前华为云支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。
配置云服务授权 首次使用LakeFormation服务需要进行服务授权,授权相关云资源的权限。 云服务授权操作 使用注册华为云账号创建的用户登录管理控制台。 在服务列表中选择“大数据 > 湖仓构建 LakeFormation”,进入“服务授权”页面。 IAM ReadOnlyAc
description 否 String 数据库描述信息。由用户创建数据库时输入,最大长度为4000个字符。 location 否 String 数据库路径地址。例如obs://location/uri/。 parameters 否 Map<String,String> 标签信息。 table_location_list
description 否 String 数据库描述信息。由用户创建数据库时输入,最大长度为4000个字符。 location 否 String 数据库路径地址。例如obs://location/uri/。 parameters 否 Map<String,String> 标签信息。 table_location_list
描述 columns 是 Array of Column objects 分区列以外的所有字段。 location 否 String 路径地址。例如obs://location/uri/。 compressed 是 Boolean 是否启用数据压缩。默认为false。 input_format
本次返回的对象个数。最小值为0,最大值为2000。 next_marker String 下一页查询地址。当不存在下一页,则值为null,当值为null时,响应Body无该参数。 previous_marker String 上一页查询地址。当不存在上一页,则值为null,当值为null时,响应Body无该参数。
参数类型 描述 columns Array of Column objects 分区列以外的所有字段。 location String 路径地址。例如obs://location/uri/。 compressed Boolean 是否启用数据压缩。默认为false。 input_format
本次返回的对象个数。最小值为0,最大值为2000。 next_marker String 下一页查询地址。当不存在下一页,则值为null,当值为null时,响应Body无该参数。 previous_marker String 上一页查询地址。当不存在上一页,则值为null,当值为null时,响应Body无该参数。
描述 columns 是 Array of Column objects 分区列以外的所有字段。 location 否 String 路径地址。例如obs://location/uri/。 compressed 是 Boolean 是否启用数据压缩。默认为false。 input_format
catalog_id String catalogID。 description String 描述信息。 location String 路径地址。例如obs://location/uri/。 database_location_list Array of strings 数据库路径
catalog_id String catalogID。 description String 描述信息。 location String 路径地址。例如obs://location/uri/。 database_location_list Array of strings 数据库路径
参数类型 描述 columns Array of Column objects 分区列以外的所有字段。 location String 路径地址。例如obs://location/uri/。 compressed Boolean 是否启用数据压缩。默认为false。 input_format
MySQL数据源类型JDBC URL为:jdbc:mysql://IP地址:端口/数据库名称?useSSL=false&permitMysqlScheme PostgreSQL数据源类型JDBC URL为:jdbc:postgresql://IP地址:端口/数据库名称?socketTimeout=600
描述 columns 是 Array of Column objects 分区列以外的所有字段。 location 否 String 路径地址。例如obs://location/uri/。 compressed 是 Boolean 是否启用数据压缩。默认为false。 input_format
LOCAL AGENTTENANT OTHER description String 数据库描述信息。 location String 数据库路径地址。例如obs://location/uri/。 data_statistic_enable Boolean 数据概况统计开关。默认状态为关
描述 columns 是 Array of Column objects 分区列以外的所有字段。 location 否 String 路径地址。例如obs://location/uri/。 compressed 是 Boolean 是否启用数据压缩。默认为false。 input_format
查看Catalog的元数据信息或切换Catalog。 LIST_DATABASE 查看Catalog下资源列表。 数据库 ALL 数据库的所有操作权限。 ALTER 修改数据库。 DROP 删除数据库。 DESCRIBE 查看数据库的元数据信息或切换数据库。 LIST_TABLE 查看数据库下资源列表。
对接后可通过spark-shell、spark-submit或spark-sql访问LakeFormation,以下以spark-sql为例: 切换数据库(切换时需要指定catalog名称,database_name对应数据库需要在LakeFormation中存在): use spark_catalog_name
参数类型 描述 columns Array of Column objects 分区列以外的所有字段。 location String 路径地址。例如obs://location/uri/。 compressed Boolean 是否启用数据压缩。默认为false。 input_format
资源准备预计时长,单位分钟。 scale_progress Integer 规格变更进度百分比,只有当实例处于规格变更中状态时才会计算并返回该值。 scale_expected_duration Integer 规格变更预计时长,单位分钟。 in_recycle_bin Boolean 是否在回收站。