-
根据条件分页列举表信息 - 湖仓构建 LakeFormation
Array of Order objects 指定表中的每个存储桶的排序顺序的列表。 serde_info SerDeInfo object 序列化/反序列化信息。 parameters Map<String,String> 存储描述符的参数。 key最小长度为1,最大长度为255。 value最大长度为4000
-
管理数据库 - 湖仓构建 LakeFormation
(可选)单击“数据表存储位置”区域中的“添加数据表存储位置”。单击“”按照需求手动选择数据表存储位置。单击“确定”。 如需添加多条,可以继续单击“”进行配置。如需删除请单击“”。 “数据表存储位置”为可选参数。 “数据表存储位置”可选择为所属Catalog路径及其子路径、或“数据库存储位置”路径及其子路径。
-
管理数据表 - 湖仓构建 LakeFormation
如果所属数据库配置了“数据表存储位置”参数,则此处存储位置必须选择为所属数据库“选择位置”的子路径、或“数据表存储位置”的子路径。 是否压缩 数据表是否压缩。 压缩表能够使表中的数据以压缩格式存储,表压缩能提升性能,减少存储空间。 数据源格式 待创建表的数据源格式,目前支持以下类型: Avro
-
申请接入服务 - 湖仓构建 LakeFormation
"string", "domain" : "string" } ] 响应示例 状态码: 400 Bad Request { "error_code" : "common.01000001", "error_msg" : "failed to read http request
-
认证鉴权 - 湖仓构建 LakeFormation
//用户名 "password": "********", //用户名对应的密码 "domain": { "name": "domainname" //用户名所属的租户 } } } }, "scope":
-
获取服务接入信息 - 湖仓构建 LakeFormation
"domain" : "xxxxxxxxxxxxxxxxxxxxxxxxxxxx.com" } ] } 状态码: 400 Bad Request { "error_code" : "common.01000001", "error_msg" : "failed to
-
查询OBS桶列表 - 湖仓构建 LakeFormation
响应Body参数 参数 参数类型 描述 buckets Array of BucketDetail objects OBS桶列表。 total Integer OBS桶总数。 表6 BucketDetail 参数 参数类型 描述 id String OBS桶ID。 name String
-
获取项目ID - 湖仓构建 LakeFormation
"projects": [ { "domain_id": "65382450e8f64ac0870cd180d14e684b", "is_domain": false, "parent_id": "
-
权限迁移 - 湖仓构建 LakeFormation
Formation,DLF)权限策略 RANGER:MRS集群中Ranger权限策略 日志存储位置 运行迁移任务时,产生的日志存储位置。 权限策略文件存储位置 待迁移的权限策略文件在OBS并行文件系统中的存储位置。 权限策略文件名 待迁移权限策略的文件名称。 Catalog ID 填写权限来源的Catalog名称。
-
元数据发现 - 湖仓构建 LakeFormation
如果数据存储位置下的文件后缀为同一类型,建议选择对应发现类型。 如果数据存储位置下的文件后缀为多种类型,建议选择“自动发现”。 如果数据存储位置下的文件不带后缀,建议选择对应类型。如果选择“自动发现”,则系统默认以Parquet类型文件进行发现,其他类型文件将会发现失败。 日志存储位置
-
修改表信息 - 湖仓构建 LakeFormation
Array of Order objects 指定表中的每个存储桶的排序顺序的列表。 serde_info 是 SerDeInfo object 序列化/反序列化信息。 parameters 是 Map<String,String> 存储描述符的参数。 key最小长度为1,最大长度为255。
-
查询配额 - 湖仓构建 LakeFormation
400 Bad Request { "error_code" : "common.01000001", "error_msg" : "failed to read http request, please check your input, code: 400, reason:
-
如何获取AK/SK - 湖仓构建 LakeFormation
将鼠标移动到右上角用户名,在下拉列表中单击“我的凭证”。 在“我的凭证”页面中选择“访问密钥”。 单击“新增访问密钥”,进入“新增访问密钥”页面。 根据提示输入对应信息,单击“确定”,在弹出的提示页面单击“立即下载”。 下载成功后,打开凭证文件,获取AK/SK信息。 为保证访问密钥的安全,访问密钥仅在初次生成时自
-
什么是项目 - 湖仓构建 LakeFormation
什么是项目 云的每个区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以区域默认单位为项目进行授权,IAM用户可以访问您帐号中该区域的所有资源。 如果您希望进行更加精细的权限控制,可以在区域默认的项目中创建子项目,并在子项目中购买
-
获取Catalog信息 - 湖仓构建 LakeFormation
是否必选 参数类型 描述 branch_name 否 String 分支名称。只能包含字母、数字和下划线,且长度为1~32个字符。默认值为main。 version 否 Long 版本 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是
-
构造请求 - 湖仓构建 LakeFormation
"password": "********", "domain": { "name": "domainname" } }
-
配置Spark对接LakeFormation - 湖仓构建 LakeFormation
基于Spark HiveExternalCatalog机制与Hive MetastoreClient机制,支持Hive大部分SQL语句,但无法同时对接多个Catalog。 使用SparkCatalogPlugin方式对接: 在“spark/conf/spark-defaults.
-
创建委托 - 湖仓构建 LakeFormation
400 Bad Request { "error_code" : "common.01000001", "error_msg" : "failed to read http request, please check your input, code: 400, reason:
-
删除角色 - 湖仓构建 LakeFormation
400 Bad Request { "error_code" : "common.01000001", "error_msg" : "failed to read http request, please check your input, code: 400, reason:
-
列举所有角色名 - 湖仓构建 LakeFormation
400 Bad Request { "error_code" : "common.01000001", "error_msg" : "failed to read http request, please check your input, code: 400, reason: