检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
任务管理 创建任务 根据条件分页列举任务信息 删除任务 获取任务详情 修改任务信息 运行任务 停止任务 查看任务日志 查看历史任务 父主题: Console
在左侧下拉框中选择待操作的LakeFormation实例,在左侧导航栏选择“任务管理 > 任务授权”。 单击“同意授权”,对当前用户授予LakeFormation任务管理权限。 如果需要取消用户的LakeFormation任务管理权限,请单击“取消授权”。 同意授权后,LakeFormati
运行任务 功能介绍 运行任务。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/instances/{instance_i
object 任务参数。 create_time String 任务创建时间戳,根据创建任务时间生成。 last_success_run_time String 任务上一次成功运行时间戳,任务运行成功后根据上次执行时间生成。 start_time String 上次任务执行时间戳,根据上次任务执行时间生成。
object 任务参数。 create_time String 任务创建时间戳,根据创建任务时间生成。 last_success_run_time String 任务上一次成功运行时间戳,任务运行成功后根据上次执行时间生成。 start_time String 上次任务执行时间戳,根据上次任务执行时间生成。
配置开源Spark组件对接LakeFormation 环境准备 配置Spark对接LakeFormation 对接后二次开发
删除任务 功能介绍 删除任务,已提交或者运行中的任务,需要停止后操作删除。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI DELETE /v1/{project_i
停止任务 功能介绍 停止任务。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/instances/{instance_i
查看任务日志 功能介绍 查看任务ID指定的任务日志。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/instances/{
total Integer 任务总数。 jobs Array of JobInfo objects 任务列表。 表5 JobInfo 参数 参数类型 描述 id String 任务Id。 name String 任务名称。 type String 任务类型:METADATA_MI
total Integer 任务总数。 jobs Array of JobInfo objects 任务列表。 表5 JobInfo 参数 参数类型 描述 id String 任务Id。 name String 任务名称。 type String 任务类型:METADATA_MI
object 任务参数。 create_time String 任务创建时间戳,根据创建任务时间生成。 last_success_run_time String 任务上一次成功运行时间戳,任务运行成功后根据上次执行时间生成。 start_time String 上次任务执行时间戳,根据上次任务执行时间生成。
配置开源Hive组件对接LakeFormation 环境准备 配置Hive对接LakeFormation 对接后二次开发
designate</name> <value>true</value> </property> </configuration> 重启Hive服务。 父主题: 配置开源Hive组件对接LakeFormation
designate</name> <value>true</value> </property> </configuration> 父主题: 配置开源Spark组件对接LakeFormation
环境准备 在配置开源Hive组件对接LakeFormation前,需要提前准备以下信息: 准备可用的开源Hive环境,目前支持Hive 2.3以及Hive 3.1两个版本,并安装Git环境。 准备LakeFormation实例,详细操作请参考创建LakeFormation实例。
环境准备 在配置开源Spark组件对接LakeFormation前,需要提前准备以下信息: 准备可用的开源Spark环境、开源Hive环境。并安装Git环境。 目前仅支持对接Spark 3.1.1以及Spark 3.3.1两个版本。对应使用Hive内核版本为2.3。 准备Lake
lakecat.client.obs.LakeFormationObsCredentialProvider # 可选参数,关闭OBS文件系统缓存,长任务需要增加该配置,避免缓存中的临时AKSK失效 spark.hadoop.fs.obs.impl.disable.cache=true En
和securitytoken获取。 重启Hive服务。 进入Hive客户端执行以下命令进行验证。 show tables; 父主题: 配置开源Hive组件对接LakeFormation
创建完成后,单击“操作”列的“运行”即可运行当前迁移任务。 在运行迁移任务前,需要已对用户进行任务授权,详情请参考任务授权。 迁移任务开始运行后,源数据库如果有新增的元数据,则新增的元数据将不会被迁移,需要再次运行迁移任务。也可以使用元数据发现功能,迁移新增的元数据,具体请参考元数据发现。 如果任务运行失败,在修复