检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
互通,既保障了可用区的独立性,又提供了低价、低时延的网络连接。 图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。 父主题: 基本概念
ormation-test”。 在并行文件系统页面,单击已创建的文件系统名称,例如“lakeformation-test”。 在左侧导航栏选择“文件”,单击“新建文件夹”,填写待创建的文件夹名称,单击“确定”。继续单击该文件夹名称,单击“新建文件夹”,可以创建其子文件夹。 参考该
首次使用LakeFormation服务需要进行服务授权,授权相关云资源的权限。 云服务授权操作 使用注册华为云账号创建的用户登录管理控制台。 在服务列表中选择“大数据 > 湖仓构建 LakeFormation”,进入“服务授权”页面。 IAM ReadOnlyAccess:实例运行的过程中需要有获取用户的用户组和用户信息的权限。
LakeFormation提供了默认的认证信息获取类,通过从配置文件中获取AKSK生成认证信息。 除LakeFormation提供的默认认证信息获取类外,可选择自行实现默认认证信息获取类。 代码开发。 实现工程参考如下,在Maven工程pom文件中添加lakeformation-lakecat-client依赖:
OTHER type 否 String catalog类型,可选值为DEFAULT(代表默认的元数据类型)、CLICKHOUSE(代表CH类型),不设置时默认为DEFAULT。 创建时指定,不可修改。 枚举值: DEFAULT CLICKHOUSE version_id 否 String
OTHER type 否 String catalog类型,可选值为DEFAULT(代表默认的元数据类型)、CLICKHOUSE(代表CH类型),不设置时默认为DEFAULT。 创建时指定,不可修改。 枚举值: DEFAULT CLICKHOUSE 响应参数 状态码: 201 表4 响应Body参数
且长度为1~256个字符。 表2 Query参数 参数 是否必选 参数类型 描述 column_name 否 String 被删除的列名,不填写则删除表所有统计信息。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 Array of
服务中给用户组授权并生效。如果仅支持IAM项目,不支持企业项目,表示仅能在IAM中给用户组授权并生效,如果在企业管理中授权,则该自定义策略不生效。关于IAM项目与企业项目的区别,详情请参见:IAM与企业管理的区别。 父主题: 权限和授权项
前提条件 给用户组授权之前,可参考LakeFormation服务权限了解用户组可以添加的LakeFormation权限,并结合实际需求进行选择。 如果您需要对除LakeFormation之外的其他服务授权,可参考系统权限查看IAM支持服务的所有策略。 操作流程 图1 给用户授权LakeFormation权限流程
通过IAM,您可以在华为云账号中给员工创建IAM用户,并授权控制其对华为云资源的访问范围。例如您希望其拥有LakeFormation的使用权限,但是不希望其拥有删除数据库等高危操作的权限,那么您可以使用IAM创建用户,通过授予仅能查询LakeFormation实例,但是不允许删除的权限,控制其对云服务资源的使用范围。
OTHER type String catalog类型,可选值为DEFAULT(代表默认的元数据类型)、CLICKHOUSE(代表CH类型),不设置时默认为DEFAULT。 创建时指定,不可修改。 枚举值: DEFAULT CLICKHOUSE update_time String catalog元数据最后一次修改时间。
OTHER type String catalog类型,可选值为DEFAULT(代表默认的元数据类型)、CLICKHOUSE(代表CH类型),不设置时默认为DEFAULT。 创建时指定,不可修改。 枚举值: DEFAULT CLICKHOUSE update_time String catalog元数据最后一次修改时间。
d必填。 CUSTOM:定制模式,由外部服务自行创建vpcep连接,适用于跨租户场景等。该模式下access_connections必填。不建议使用,使用接入租户相关接口代替。 枚举值: SYSTEM CUSTOM vpc_id 否 String VPC ID,即虚机私有云ID。可以在
式访问LakeFormation实例,具体操作请参见API参考。 控制台方式 如果用户已注册公有云,用户可使用管理控制台方式,从服务列表中选择“大数据 > 湖仓构建 LakeFormation”访问LakeFormation。 SDK方式 LakeFormation提供兼容Hiv
mvn clean install -DskipTests=true -P"${HIVE_PROFILE}" “HIVE_PROFILE”:可选择为“hive-2.3”或者“hive-3.1”。 打包完成后可以在“lakeformation-lakecat-client”的targe
tance_id}/default instance_id:1响应信息中的“instance_id”参数值。 调用创建服务接入客户端接口,选择客户端对应的VPC相关信息创建接入客户端,LakeFormation服务将自动为其创建终端节点和DNS内网域名,用于打通网络连接。 请求示例:
查询参数,是可选部分,并不是每个API都有查询参数。查询参数前面需要带一个“?”,形式为“参数名=参数取值”,例如“limit=10”,表示查询不超过10条数据。 例如您需要获取IAM在“华北-北京一”区域的Token,则需使用“华北-北京一”区域的Endpoint(iam.cn-north-1
rk.hadoop”前缀。 对接LakeFormation元数据 Spark对接LakeFormation有以下两种对接方式,建议根据需要选择其中一种方式进行对接。 使用SparkCatalogPlugin方式对接:SparkCatalogPlugin方式对接基于Spark Se
CASADE: 级联删除列,如果为true则会把partition中的列也删除;如果为false则不会 DO_NOT_UPDATE_STATS: 不更新文件级别统计信息。true则不更新;false则更新。 STATS_GENERATED:记录本次更新的发起者。可填:TASK/USET。具体作用未明确。
Map<String,String> 表参数信息,每个键是一个键字符串,不少于 1 个字节或超过 255 个字节 每个值是一个 UTF-8 字符串,不超过 4000 个字节 comments 否 String 表描述信息。由用户创建表时输入,最大长度为4000个字符。 view_expanded_text