检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
系统策略 该角色有依赖,需要在同项目中勾选依赖的角色: 创建跨源连接:VPC ReadOnlyAccess 创建包年/包月资源:BSS Administrator 创建标签:TMS FullAccess、EPS EPS FullAccess 使用OBS存储:OBS OperateAccess
权限策略和授权项 如果您需要对您所拥有的DLI服务进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用DLI服务的其它功能
当第一次开启生命周期时,会扫描表/分区会扫描路径下的表数据文件,更新表/分区的LAST_ACCESS_TIME,耗时与分区数和文件数相关。 约束限制 表生命周期处于公测阶段,如果有需要请联系客服申请开通白名单。
与统一身份认证服务(IAM)的关系 统一身份认证服务(Identity and Access Management)为DLI提供了华为云统一入口鉴权功能。 具体操作请参考《创建用户并授权使用DLI》和《DLI自定义策略》。
故障恢复 系统级故障恢复 DLI系统采用存算分离的架构,计算集群基于K8s资源调度和故障切换机制,在系统故障时,支持自动故障恢复。 作业级故障恢复 Flink、Spark作业支持配置自动重启恢复机制,在开启自动重启功能后,当作业出现异常时将自动重启恢复作业。 父主题: 安全
项目B更新时请务必勾选IAM ReadOnlyAccess,因IAM ReadOnlyAccess授权范围是全局服务资源,如果取消勾选该权限后更新委托,则所有区域和项目的IAM ReadOnlyAccess都将失效。
Spark 3.1.1 依赖包 表1 Spark 3.1.1 依赖包 依赖包名称 accessors-smart-1.2.jar hive-shims-scheduler-3.1.0-h0.cbu.mrs.321.r10.jar metrics-graphite-4.1.1.jar
cluster_name 否 String Serverless Spark队列名称。SQL队列模式下建立的跨源连接,该字段为空。
请求示例 无 响应示例 { "is_success": true, "message": "list partitions succeed", "partitions": { "total_count": 5, "partition_infos
message String 无 请求示例 无 响应示例 { "is_success": true, "message": "Deleted success." } 状态码 状态码 描述 200 OK 错误码 请参见错误码。 父主题: 跨源认证相关API
message String 无 请求示例 无 响应示例 { "is_success": true, "message": "Deleted success." } 状态码 状态码 描述 200 OK 错误码 请参见错误码。 父主题: 跨源认证相关API(废弃)
}, { "is_success": "true", "message": "作业提交请求下发成功" }, { "is_success": "true", "message": "作业提交请求下发成功
CLUSTER BY 功能描述 按字段实现表的分桶及桶内排序。
{ "action": "TRIGGER", "savepoint_path": "obs://bucket-name/dir/savepoint" } 响应示例 { "is_success": true, "message": "{\"is_success\"
{ "action": "scale_out", "cu_count": 16 } 响应示例 “force”为“false” { "is_success": true, "message": "Restart success" } “force”为“
示例 请求样例: { "job_id":"6b29eb77-4c16-4e74-838a-2cf7959e9203" } 成功响应样例: { "is_success":"true", "message": "check upload id success",
" }, { "is_success": "true", "message": "作业提交请求下发成功" }, { "is_success": "true", "message": "作业提交请求下发成功
{ "auth_info_name": "rds3" } 响应示例 { "is_success": true, "message": "Update success." } 状态码 状态码 描述 200 OK 错误码 请参见错误码。
{ "auth_info_name": "test001", "user_name": "root", "password": "********" } 响应示例 { "is_success": true, "message": "Update success
方案2:Spark Jar作业设置获取AK/SK 获取结果为AK/SK时,设置如下: 代码创建SparkContext val sc: SparkContext = new SparkContext() sc.hadoopConfiguration.set("fs.obs.access.key