检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
deserializer' 和 'value.deserializer' 是不允许通过该方式传递参数,因为Flink会重写这些参数的值。 ssl_auth_name 否 无 String DLI侧创建的Kafka_SSL类型的跨源认证名称。Kafka配置SSL时使用该配置。 注意:若仅使用SSL类型,则需要同时配置'properties
SQL作业开发 Flink Jar作业开发基础样例 使用Flink Jar写入数据到OBS开发指南 使用Flink Jar连接开启SASL_SSL认证的Kafka 使用Flink Jar读写DIS开发指南 Flink作业委托场景开发指导
启。 作业模板 内置多个常见Flink SQL通用场景模板,帮助您快速了解和构建作业代码 暂无 企业安全 访问控制 与华为云IAM权限打通,支持多角色的访问控制 暂无 空间隔离 支持租户级和项目级的资源和代码隔离,满足多团队协作需求 暂无 父主题: DLI产品咨询类
请求执行是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 count int 证书个数。 auth_infos List 认证信息列表。详细说明请参考表4。 表4 auth_infos参数说明 名称 参数类型 说明 auth_info_name
请求执行是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 count int 证书个数。 auth_infos List 认证信息列表。详细说明请参考表4。 表4 auth_infos参数说明 名称 参数类型 说明 auth_info_name
certificate_location 否 String 用户安全集群的证书路径,目前只支持OBS路径,cer类型文件。 datasource_type 是 String 数据源类型,目前支持CSS,KRB,passwd,Kafka_SSL。 krb5_conf 否 String krb5配置文件obs路径。
certificate_location 否 String 用户安全集群的证书路径,目前只支持OBS路径,cer类型文件。 datasource_type 是 String 数据源类型,目前支持CSS,KRB,passwd,Kafka_SSL。 krb5_conf 否 String krb5配置文件obs路径。
Jar作业是否支持上传配置文件,要如何操作? Flink Jar作业上传配置文件操作流程 自定义(JAR)作业支持上传配置文件。 将配置文件通过程序包管理上传到DLI; 在Flink jar作业的其他依赖文件参数中,选择创建的DLI程序包; 在代码中通过ClassName.class.getClassLoader()
分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。 前提条件 Kafka是线下集群,需要通过增强型跨源连接功能将Flink作业与Kafka进行对接。且用户可以根据实际所需设置相应安全组规则。 注意事项 对接的Kafka集群不支持开启SASL_SSL。 语法格式 1
分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。 前提条件 Kafka是线下集群,需要通过增强型跨源连接功能将Flink作业与Kafka进行对接。且用户可以根据实际所需设置相应安全组规则。 注意事项 对接的Kafka集群不支持开启SASL_SSL。 语法格式 1
的IP地址: 登录MRS管理控制台,选择“集群名称 > 组件管理 > ClickHouse > 实例”,获取ClickHouseBalancer实例的业务IP。 ClickHouseBalancer端口: 登录MRS管理控制台,选择“集群名称 > 组件管理 > ClickHouse
数据。 es.net.ssl 连接安全CSS集群,默认值为false es.certificate.name 连接安全CSS集群,使用的跨源认证信息名称。跨源认证信息创建方式请参考《数据湖探索用户指南》>《跨源认证》。 batch.size.entries和batch.size.
新的队列。 管理队列 不支持切换队列的计费模式。 队列不支持切换区域。 创建队列时(非弹性资源池模式的队列),仅支持包年包月队列和按需专属队列选择跨AZ双活,且跨AZ的队列价格为单AZ模式下的2倍。 DLI队列不支持访问公网。 队列扩缩容 16CUs队列不支持扩容和缩容。 64CUs队列不支持缩容。
怎样将老版本的Spark队列切换成通用型队列 当前DLI服务包括“SQL队列”和“通用队列”两种队列类型。 其中,“SQL队列”用于运行SQL作业,“通用队列”兼容老版本的Spark队列,用于运行Spark作业和Flink作业。 通过以下步骤,可以将老版本的“Spark队列”转换为新的“通用队列”。
队列权限管理 管理员用户和队列的所有者拥有队列的所有操作权限,且根据业务需求对其他用户分配队列的操作权限,确保用户之间的作业互不影响,保障作业的执行性能。本节操作介绍队列权限管理的相关操作。 操作须知 管理员用户和队列的所有者拥有所有权限,不需要进行权限设置且其他用户无法修改其队列权限。
管理队列 查看队列的基本信息 队列权限管理 分配队列至项目 创建消息通知主题 队列标签管理 队列属性设置 测试地址连通性 删除队列 变更普通队列规格 普通队列弹性扩缩容 设置普通队列的弹性扩缩容定时任务 修改普通队列的网段 父主题: 创建弹性资源池和队列
创建函数 功能描述 DLI支持创建使用UDF和UDTF等自定义函数应用于Spark作业开发当中。 具体使用自定义函数端到端的开发指导可以参考:Spark SQL作业使用UDF和Spark SQL作业使用UDTF。 语法格式 1 2 3 4 5 CREATE FUNCTION [db_name
签策略详情。 以下介绍如何为队列添加标签、修改标签和删除标签。 在DLI管理控制台的左侧导航栏中,单击“资源管理 > 队列管理”。 在对应队列的“操作”列,选择“更多”>“标签”。 进入标签管理页面,显示当前队列的标签信息。 单击“添加/编辑标签”,弹出“添加/编辑标签”对话框,
本节操作介绍如何为数据库和数据表添加标签、修改标签和删除标签。 数据库标签管理 在DLI管理控制台的左侧导航栏中,单击“数据管理> 库表管理”。 在对应数据库的操作列,选择“更多> 标签”。 进入标签管理页面,显示当前数据库的标签信息。 单击“添加/编辑标签”,弹出“添加/编辑标签”对话框,配置参数。
当开启TaskManager配置时,为了优化弹性资源池队列的管理,在您设置“单TM Slot”后,为您自动调整CU数量与实际CU数量一致。 CU数量=实际CU数量=max[管理单元和TaskManager的CPU总和,(管理单元和TaskManager的内存总和/4)] 管理单元和TaskManager的CPU总和=实际TM数