检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在“spark/conf/”文件夹下新增文件hive-site.xml(如果已有该文件则编辑此文件),并在hive-site.xml中补充以下配置: <configuration> <!--固定配置,开启自定义metastore客户端--> <property> <name>hive.metastore.session
LakeFormation实例的数据库(Database)的下级资源,即在一个Database下可以创建多个Table,包含基本信息、格式与序列化信息、字段信息、属性信息,支持创建、修改、删除以及授权和查看权限等操作。 函数(Function) 在SQL查询中使用函数对数据进行特定处理,包括内置函数和用户自定义函数UDF。
LakeCatMetaStoreClient</value> </property> <property> <name>lakeformation.project.id</name> <value>****</value> </property> <property> <name>lakeformation
单击“提交”。 创建完成后,即可在“函数”页面查看函数名称/ID、所属Catalog、所属数据库、类型、函数类名等信息。 单击“操作”列的“编辑”可以修改函数配置信息。 单击“操作”列的“授权”,可以为当前函数进行授权操作。 在“更多”中可以为当前函数进行查看权限等操作。 如果需要删除函数,可以选择“更多
取消授权后则无法恢复,请谨慎操作。 如果需要修改行过滤条件,单击“操作”列中的“更多”按钮,单击“编辑行过滤条件”。仅配置了行过滤条件时支持操作。 如果需要修改列脱敏配置,单击“操作”列中的“更多”按钮,单击“编辑列脱敏参数”。仅配置了列脱敏时支持操作。 为指定资源添加授权 用户可基于数据湖资源
ExampleAuthenticationManager</value> </property> <!--可选参数,是否开启owner指定,开启后创建资源时将使用当前用户作为资源owner,默认为false--> <property> <name>lakeformation.owner.designate</name>
Hudi表创建前,需要先在LakeFormation上添加Hudi表目录的路径授权,赋予OBS读写权限。 Hudi表不支持在LakeFormation管理面编辑表的字段,只能通过Hudi客户端增删改表的字段。 Flink读写Hudi场景下同步Hive表,仅支持使用hive_sync.mode=jdbc,不支持hms方式。
PolicyItem objects 排除的允许策略。 conditions Array of PolicyItemCondition objects 条件属性。 create_time String 创建时间。 created_by String 创建者。 data_mask_policy_items
PolicyItem objects 排除的允许策略。 conditions Array of PolicyItemCondition objects 条件属性。 create_time String 创建时间。 created_by String 创建者。 data_mask_policy_items
talog“选择位置”的子路径。 单击“提交”。 创建完成后,即可在“Catalog”页面查看Catalog相关信息。 单击“操作”列的“编辑”可以修改Catalog配置信息。 单击“操作”列的“数据库”,可以查看当前Catalog下的数据库信息。 在“更多”中可以为当前Catalog进行授权、查看权限等操作。
ExampleAuthenticationManager</value> </property> <!--可选参数,是否开启owner指定,开启后创建资源时将使用当前用户作为资源owner,默认为false--> <property> <name>lakeformation.owner.designate</name>
在运行迁移任务前,需要已对用户进行任务授权,详情请参考任务授权。 如果任务运行失败,在修复故障后可再次单击“操作”列的“运行”进行重试。 单击操作列的“编辑”或“删除”,可以修改或者删除当前任务。 迁移任务成功以后,可以在“数据权限 > 数据授权”页面查看成功迁移的LakeFormation权限策略。
单击“提交”。 创建完成后,即可在“数据库”页面查看库名称/ID、所属Catalog、数据库拥有者、存储位置等信息。 单击“操作”列的“编辑”可以修改数据库配置信息。 单击“操作”列的“数据表”,可以查看当前数据库下的数据表信息。 在“更多”中可以为当前数据库进行授权、查看权限等操作。
单击“查看日志”可以查看任务运行产生的日志。 默认显示最近的50行日志。 可单击日志最下方超链接查看完整日志,具体配置请参考下载对象章节。 单击操作列的“编辑”或“删除”,可以修改或者删除当前任务。 迁移任务运行完成后,可以进入“元数据 > 表”页面,在右上角“Catalog”和“数据库”后的下
运行”进行重试。 迁移任务完成后,可以在对应的元数据界面进行查看。例如进入“元数据 > 数据库”页面查看迁移完成的数据库。 单击操作列的“编辑”或“删除”,可以修改或者删除当前任务。 单击“操作”列“查看日志”可以查看任务运行产生的日志。 默认显示最近的50行日志。 可单击日志最