检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
云审计服务(Cloud Trace Service,简称CTS),是华为云安全解决方案中专业的日志审计服务。 CTS可以提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可用于对LakeFormation实例、元数据等权限的管理。
自定义接入客户端的名称。 虚拟私有云 选择为MRS服务所在的虚拟私有云。 所属子网 选择为MRS服务所在的子网。 单击“操作”列“查看详情”,可以查看终端节点ID、接入IP、接入域名等信息。
“引号字符”、“是否把第一行当做列名”等参数) Avro 说明: 如果数据存储位置下的文件后缀为同一类型,建议选择对应发现类型。 如果数据存储位置下的文件后缀为多种类型,建议选择“自动发现”。 如果数据存储位置下的文件不带后缀,建议选择对应类型。如果选择“自动发现”,则系统默认以
Formation,DLF)权限策略 RANGER:MRS集群中Ranger权限策略 日志存储位置 运行迁移任务时,产生的日志存储位置。 权限策略文件存储位置 待迁移的权限策略文件在OBS并行文件系统中的存储位置。 权限策略文件名 待迁移权限策略的文件名称。 Catalog ID 填写权限来源的Catalog名称。
)执行SQL实现元数据的定义、修改、查询,对用户有一定的技能要求,缺少提升易用性的可视化界面。 一个完整的授权活动,需要针对计算引擎、对象存储执行两次授权操作,对用户操作带来不便,易用性差。 LakeFormation服务优势 一站式可视化湖仓构建:提供数据湖元数据统一定义和授权
什么是项目 云的每个区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以区域默认单位为项目进行授权,IAM用户可以访问您账号中该区域的所有资源。 如果您希望进行更加精细的权限控制,可以在区域默认的项目中创建子项目,并在子项目中购买
定义),数据库内包含两个数据表“table_A”、“table_B”,并进行授权。 创建存储元数据的OBS路径 登录管理控制台。 在页面左上角单击,选择“存储 > 对象存储服务”,进入对象存储服务页面。 选择“并行文件系统 > 创建并行文件系统”,进入创建页面,配置相关参数后单击“立即创建”。
过程中,您需要用到账号、用户和密码等信息。 区域(Region) 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用
建库时路径不能为所在Catalog父路径或相同路径,不能为同一Catalog下其他数据库(除default外)路径的父路径、子路径或相同路径。 创建数据库的存储位置必须在所属Catalog的存储位置之下。 用户自定义创建的Catalog对象及其子元数据对象,暂不支持授权和细粒度权限控制。 LakeFormation
云审计服务记录LakeFormation服务相关的操作事件,方便用户日后的查询、审计和回溯。 对象存储服务(Object Storage Service,OBS) LakeFormation服务的元数据所映射的实际业务数据,存储在OBS并行文件系统的目录和文件。 MapReduce服务(MapReduce
管理元数据 创建元数据存储路径 管理Catalog 管理数据库 管理数据表 管理函数
表10 MetaDataDiscoveryParameter 参数 是否必选 参数类型 描述 data_location 是 String 数据存储路径,由用户选择。 target_catalog 是 String 目标Catalog,发现元数据后要保存至的catalog。 target_database
表10 MetaDataDiscoveryParameter 参数 是否必选 参数类型 描述 data_location 是 String 数据存储路径,由用户选择。 target_catalog 是 String 目标Catalog,发现元数据后要保存至的catalog。 target_database
fs.obs.impl.disable.cache=true Endpoint:不同服务不同区域的Endpoint不同。您可以从地区和终端节点中获取。 将上述配置添加到core-site.xml文件中亦可生效,添加时需要去除“spark.hadoop”前缀。 对接LakeFormation元数据
值,替换路径。 表10 MetaDataDiscoveryParameter 参数 参数类型 描述 data_location String 数据存储路径,由用户选择。 target_catalog String 目标Catalog,发现元数据后要保存至的catalog。 target_database
Array of Order objects 指定表中的每个存储桶的排序顺序的列表。 serde_info 是 SerDeInfo object 序列化/反序列化信息。 parameters 是 Map<String,String> 存储描述符的参数。 key最小长度为1,最大长度为255。
Array of Order objects 指定表中的每个存储桶的排序顺序的列表。 serde_info SerDeInfo object 序列化/反序列化信息。 parameters Map<String,String> 存储描述符的参数。 key最小长度为1,最大长度为255。 value最大长度为4000
如果没有及时地进行续费或充值,将进入宽限期。如宽限期满仍未续费或充值,将进入保留期。在保留期内资源将停止服务。保留期满仍未续费或充值,存储在云服务中的数据将被删除、云服务资源将被释放。详细说明请参考“资源停止服务或逾期释放说明”。宽限期与保留期的具体规则请参考“宽限期保留期”。
Array of Order objects 指定表中的每个存储桶的排序顺序的列表。 serde_info 是 SerDeInfo object 序列化/反序列化信息。 parameters 是 Map<String,String> 存储描述符的参数。 key最小长度为1,最大长度为255。
Array of Order objects 指定表中的每个存储桶的排序顺序的列表。 serde_info SerDeInfo object 序列化/反序列化信息。 parameters Map<String,String> 存储描述符的参数。 key最小长度为1,最大长度为255。 value最大长度为4000