检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对DLI服务,管理员能够控制IAM用户仅能对某一类云服务器资源进行指定的管理操作。 了解DLI SQL常用操作与系统策略的授权关系,请参考常用操作与系统权限关系。 表1 DLI系统权限 系统角色/策略名称
ordersSource; 示例6:将Kafka(MRS集群)作为源表,Print作为结果表(适用于Kafka已开启SSL场景,MRS未开启Kerberos认证。) MRS集群请不要开启Kerberos认证。 登录MRS集群的Manager,下载用户凭据:“系统设置 > 用户管理”。 单击用户名后的“更多
parallel_number 否 Integer 用户设置的作业并行数目。默认值为“1”。 checkpoint_enabled 否 Boolean 是否开启作业自动快照功能。 开启:true 关闭:false 默认:false checkpoint_mode 否 Integer 快照模式,。两种可选: 1
parallel_number 否 Integer 用户为作业选择的并发量。 log_enabled 否 Boolean 是否开启作业日志。 开启:true 关闭:false 默认:false obs_bucket 否 String 当“log_enabled”为“true”时
Jar写入数据到OBS开发指南 介绍将kafka数据处理后写入到OBS的操作样例。 使用Flink Jar连接开启SASL_SSL认证的Kafka 介绍使用Flink OpenSource SQL连接开启SASL_SSL认证的Kafka。 使用Flink Jar读写DIS开发指南 介绍Flink Jar作业读写DIS数据的操作方法。
否进行日志记录和提示处理。开启按钮时,如果当前规则有变量参数,需同时配置阈值。 拦截:配置系统对SQL请求满足防御规则后是否进行拦截处理。开启按钮时,如果当前规则有变量参数,需同时配置阈值。 熔断:配置系统对SQL请求满足防御规则后是否进行熔断处理。开启按钮时,如果当前规则有变量参数,需同时配置阈值。
定此关键字。 TBLPROPERTIES:TBLPROPERTIES子句允许用户给表添加key/value的属性。 开启数据多版本功能,用于表数据的备份与恢复。开启多版本功能后,在进行删除或修改表数据时(insert overwrite或者truncate操作),系统会自动备份历
定此关键字。 TBLPROPERTIES:TBLPROPERTIES子句允许用户给表添加key/value的属性。 开启数据多版本功能,用于表数据的备份与恢复。开启多版本功能后,在进行删除或修改表数据时(insert overwrite或者truncate操作),系统会自动备份历
显示所有角色和用户的绑定关系 自定义函数相关语法 创建函数 删除函数 显示函数详情 显示所有函数 数据多版本相关语法 创建OBS表时开启数据多版本 修改表时开启或关闭数据多版本 设置多版本备份数据保留周期 查看多版本备份数据 恢复多版本备份数据 配置多版本过期数据回收站 清理多版本数据
Boolean true 代表hbase集群开启了kerberos认证。如果开启了kerberos认证,则必须设置。 properties.connector.kerberos.principal 否 无 String 安全集群的登录用户名。如果开启了kerberos认证,则必须设置。 properties
false } ] } 状态码 状态码如表6所示。 表6 状态码 状态码 描述 200 查询成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: SQL作业相关API
显示所有角色和用户的绑定关系 自定义函数相关语法 创建函数 删除函数 显示函数详情 显示所有函数 数据多版本相关语法 创建OBS表时开启数据多版本 修改表时开启或关闭数据多版本 设置多版本备份数据保留周期 查看多版本备份数据 恢复多版本备份数据 配置多版本过期数据回收站 清理多版本数据
定用户自实现编码类的入参,仅支持一个string类型的参数。 krb_auth 否 创建跨源认证的认证名。开启kerberos认证时,需配置该参数。如果创建的MRS集群未开启kerb认证的集群,请确保在DLI队列host文件中添加MRS集群master节点的“/etc/hosts”信息。
于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对DLI服务,管理员能够控制IAM用户仅能对某一类云服务器资源进行指定的管理操作。DLI支持的API授权项请参见《权限策略和授权项》。 表1 DLI系统权限 系统角色/策略名称 描述 类别 依赖关系
CSS类型跨源认证:适用于“6.5.4”及以上版本的CSS集群且集群已开启安全模式。 Kerberos类型的跨源认证:适用于开启Kerberos认证的MRS安全集群。 Kafka_SSL类型的跨源认证:适用于开启SSL的Kafka。 Password类型的跨源认证:适用于DWS、RDS、DDS、DCS数据源。
fka、Elasticsearch等数据源; 用户无需登录维护集群,在控制台上完成一键提交,无需接触集群。 支持Flink SQL作业快速开启checkpoint。 支持Flink作业日志转储保留,便于作业分析。 需要一定的技术能力完成代码编译、集群搭建、配置、运维。 用户需要自己编写完整代码并进行编译。
定用户自实现编码类的入参,仅支持一个string类型的参数。 krb_auth 否 创建跨源认证的认证名。开启kerberos认证时,需配置该参数。如果创建的MRS集群未开启kerb认证的集群,请确保在DLI队列host文件中添加MRS集群master节点的“/etc/hosts”信息。
获取服务端连接地址 操作场景 DLI支持在互联网环境下连接服务端进行数据查询操作。首先,需要根据如下指导获取连接信息,包括了Endpoint和项目编号。 操作步骤 连接DLI服务的地址格式为:jdbc:dli://<endPoint>/<projectId>。因此您需要获取对应的Endpoint和项目编号。
= '' ); 注意事项 该建表语法的数据输出目录为OBS时,OBS必须为并行文件系统,不能为OBS桶。 使用fileSystem时必须开启checkpoint,保证作业的一致性。 format.type为parquet时,支持的数据类型为string, boolean, tinyint
往Kafka topic的数据量,以及避免发送潜在的tombstone消息。可以通过设置为'0'来禁用它。 默认情况下,该选项是未开启的。如果要开启 sink 缓存,需要同时设置'sink.buffer-flush.max-rows'和'sink.buffer-flush.interval'两个选项为大于零的值。