检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLF、 MRS_RDS_FOR_MYSQL代表MRS云数据库RDS(for MySQL)、 OPEN_FOR_MYSQL代表开源HiveMetastore(for MySQL)、 MRS_RDS_FOR_PG代表MRS云数据库RDS(for PostgreSQL)、 MRS_LO
ark-sql为例: 切换数据库(切换时需要指定catalog名称,database_name对应数据库需要在LakeFormation中存在): use spark_catalog_name.database_name; 查看表信息: show tables; 创建数据库(无法
DLF、 MRS_RDS_FOR_MYSQL代表MRS云数据库RDS(for MySQL)、 OPEN_FOR_MYSQL代表开源HiveMetastore(for MySQL)、 MRS_RDS_FOR_PG代表MRS云数据库RDS(for PostgreSQL)、 MRS_LO
配置Hive对接LakeFormation 修改Hive服务端安装环境的“conf”目录的hive-site.xml文件,添加如下内容(部分参数值根据提示进行替换): <property> <name>hive.metastore.session.client.class</name> <value>com
data_statistic_enable 否 Boolean 数据概况统计开关。默认状态为开,修改table开关状态后,还需检查所属database的开关状态。例如:table与所属database开关同时打开,则数据概况统计开启。否则关闭 表4 StorageDescriptor 参数 是否必选 参数类型
DLF:第三方数据湖构建(Data Lake Formation,DLF) MRS云数据库RDS(for MySQL) 开源HiveMetastore(for MySQL) MRS云数据库RDS(for PostgreSQL) MRS本地数据库 JDBC URL 待迁移元数据JDBC链接的UR
resource_name String 要求用点分格式进行分割。 permissions Array of strings 权限列表:ALL、CREATE、ALTER、DROP、DESCRIBE、EXEC、CREATE_DATABASE、LIST_DATABASE、CREATE_TABLE、LIST_
购买LakeFormation实例 参数 参数说明 样例 类型 选择实例类型。 共享:共享型实例之间,通过资源复用换取CCE集群或GaussDB(for MySQL)实例等资源的使用率最大化。 独享:按照每秒查询率(QPS)上限和元数据使用量进行计费。 独享 计费模式 实例的计费模式。 按需收费:按
如果配置该参数,则所选位置只能以“obs://”开头,且必须包含一个存储对象,例如选择“obs://lakeformation-test/catalog1/database1/table1”。如果没有合适的并行文件系统,可以单击“前往OBS创建”进行创建。 必须与所属的Catalog、数据库的存储路径不同。
DLF、 MRS_RDS_FOR_MYSQL代表MRS云数据库RDS(for MySQL)、 OPEN_FOR_MYSQL代表开源HiveMetastore(for MySQL)、 MRS_RDS_FOR_PG代表MRS云数据库RDS(for PostgreSQL)、 MRS_LO
500 00011052 ZooKeeper健康检查失败。 请检查ZooKeeper服务的状态。 500 00011053 MySQL健康检查失败。 请检查MySQL服务的状态。 500 00011054 OBS健康检查失败。 请检查OBS服务的状态。 500 00011055 集群健康检查失败
改、删除以及授权和查看权限等操作。 其中位置是Database所映射的OBS并行文件系统的文件目录。 数据表(Table) LakeFormation实例的数据库(Database)的下级资源,即在一个Database下可以创建多个Table,包含基本信息、格式与序列化信息、字段
改、删除以及授权和查看权限等操作。 其中位置是Database所映射的OBS并行文件系统的文件目录。 数据表(Table) LakeFormation实例的数据库(Database)的下级资源,即在一个Database下可以创建多个Table,包含基本信息、格式与序列化信息、字段
of strings 权限列表:ALL、CREATE、ALTER、DROP、DESCRIBE、EXEC、CREATE_DATABASE、LIST_DATABASE、CREATE_TABLE、LIST_TABLE、CREATE_FUNC、LIST_FUNC、REGISTER_MOD
resource_name String 要求用点分格式进行分割。 permissions Array of strings 权限列表:ALL、CREATE、ALTER、DROP、DESCRIBE、EXEC、CREATE_DATABASE、LIST_DATABASE、CREATE_TABLE、LIST_
"resource" : { "resource_type" : "DATABASE", "catalog" : "hive", "database" : "test_database_name" }, "principal" : [ {
执行以下命令重新编译Hive内核源码。 mvn clean install -DskipTests=true 准备并补充替换Hive内核相关的jar包。 获取以下jar包,并补充或替换到Hive安装环境的lib目录下。 表1 获取Hive环境所需jar包 序号 jar包名称 获取途径 1 spring-web-5
数据上传复制到LakeFormation实例所在Region的OBS并行文件系统的规划路径下。 元数据发现的目标Catalog、目标Database已规划和创建。 操作步骤 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。
PARTIAL_MASK:遮掩部分数据。 REDACT:修订原有列的数据。 HASH:使用哈希算法加密。 NULLIFY:用NULL值替换原值。 UNMASKED:原样显示。 DATA_ONLY_SHOW_YEAR:仅显示日期字符串的年份部分。 CUSTOM:用户自定义脱敏规则。
at-client”的target目录下获取“lakeformation-lakecat-client-1.0.0.jar”。 准备并补充替换Hive内核相关的jar包。 如仅使用SparkCatalogPlugin方式对接,不使用MetastoreClient方式对接,本步骤可省略。