检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
色,才能正确完成业务。角色并不能满足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如
Management,简称IAM)细粒度鉴权,可以通过在IAM创建策略来管理DLI的权限控制。两种权限控制机制可以共同使用,没有冲突。 发布区域:全部 创建用户并授权使用DLI DLI自定义策略 DLI常用操作与系统权限关系 OBS 2.0支持 弹性资源池和队列 使用DLI提交作业前,您需要为提交作业准备所需的计算资源。
OpenSource SQL编辑页面,自定义配置中配置参数pipeline.global-job-parameters,在UDF代码中获取该参数并使用。如需修改参数值,直接在FlinkOpenSource SQL编辑页面,自定义配置中修改该参数值,即可达到快速修改UDF参数值的目的。
OpenSource SQL编辑页面,自定义配置中配置参数pipeline.global-job-parameters,在UDF代码中获取该参数并使用。如需修改参数值,直接在FlinkOpenSource SQL编辑页面,自定义配置中修改该参数值,即可达到快速修改UDF参数值的目的。
Flink作业性能调优类 Flink作业推荐配置指导 Flink作业性能调优 Flink作业重启后,如何保证不丢失数据? Flink作业运行异常,如何定位 Flink作业重启后,如何判断是否可以从checkpoint恢复 DLI Flink作业提交运行后(已选择保存作业日志到OB
使用root用户登录ECS服务器,执行以下命令安装DLI Livy工具。 执行以下命令创建工具安装路径。 mkdir livy安装路径 例如新建路径/opt/livy:mkdir /opt/livy。后续操作步骤均默认以/opt/livy安装路径演示,请根据实际情况修改。 解压工具压缩包到安装路径。 tar --extract
62版本的huaweicloud-sdk-core。 准备环境 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。 Maven工程的pom.xml文件配置请参考JAVA样例代码中“pom文件配置”说明。 pom文件配置中依赖包 <dependency>
端节点中查询所有服务的终端节点。 数据湖探索的终端节点如下表所示,请您根据业务需要选择对应区域的终端节点。 表1 数据湖探索的终端节点 区域名称 区域 终端节点(Endpoint) 华北-北京四 cn-north-4 dli.cn-north-4.myhuaweicloud.com
SET 功能开启 配置参数: hoodie.schema.evolution.enable=true 命令功能 ALTER TABLE ... SET|UNSET语法用于修改表属性。 命令语法 ALTER TABLE tableName SET|UNSET tblproperties
在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 构造依赖信息,创建SparkSession 导入依赖 涉及到的mvn依赖库 1 2 3
obs_bucket 否 String 当“checkpoint_enabled”为“true”时,该参数是用户授权保存快照的OBS桶名称。 当“log_enabled” 为“true”时,该参数是用户授权保存作业日志的OBS桶名称。 log_enabled 否 Boolean 是否开启作业的日志上
CREATE TABLE命令通过指定带有表属性的字段列表来创建Delta Table。 注意事项 在该命令中,IF EXISTS和db_name是可选配置。 在DLI中delta只支持OBS外表,通过表名创建且未指定location时将会失败。 命令格式 通过表名创建Delta表 CREATE[
} ], "user_name": "scuser1" } 状态码 状态码如表4所示。 表4 状态码 状态码 描述 200 授权成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。
enable配置项,所以不涉及Apache Spark 命令注入漏洞(CVE-2022-33891)。 该漏洞主要影响在启用了ACL(访问控制列表)时,可以通过提供任意用户名来执行命令导致数据安全受到威胁。 DLI在设计时充分考虑了数据安全和数据隔离,因此没有启用相关的配置项,所以不会受到这个漏洞的影响。
并行文件系统的详细介绍和使用说明,请参见《并行文件系统特性指南》。 配置DLI作业桶 在DLI控制台左侧导航栏中单击“全局配置 > 工程配置”。 在“工程配置”页面,选择“DLI作业桶”,单击配置桶信息。 图1 工程配置 单击打开桶列表。 选择用于存放DLI作业临时数据的桶,并单击“确定”。
并行文件系统的详细介绍和使用说明,请参见《并行文件系统特性指南》。 配置DLI作业桶 在DLI控制台左侧导航栏中单击“全局配置 > 工程配置”。 在“工程配置”页面,选择“DLI作业桶”,单击配置桶信息。 图1 工程配置 单击打开桶列表。 选择用于存放DLI作业临时数据的桶,并单击“确定”。
并行文件系统的详细介绍和使用说明,请参见《并行文件系统特性指南》。 配置DLI作业桶 在DLI控制台左侧导航栏中单击“全局配置 > 工程配置”。 在“工程配置”页面,选择“DLI作业桶”,单击配置桶信息。 图1 工程配置 单击打开桶列表。 选择用于存放DLI作业临时数据的桶,并单击“确定”。
String 队列名称。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 address 是 String 测试地址。格式为:IP地址或域名:访问端口。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success 是 Boolean 请求执行是否成功。“true”表示请求执行成功。
在“程序包管理”页面,单击程序包“操作”列中的“权限管理”,进入“用户权限信息”页面。 在单击页面右上角“授权”可对用户进行程序包组/程序包授权,勾选“更新组”权限。 单击“确定”,完成授权。 父主题: DLI权限管理类
endianness' 配置。 INT 采用 big-endian (默认)编码的四个字节。字节序可以通过 'raw.endianness' 配置。 BIGINT 采用 big-endian (默认)编码的八个字节。字节序可以通过 'raw.endianness' 配置。 FLOAT 采用