正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
您可以跳过本章节,不影响您使用DLI服务的其它功能。 本章节介绍创建IAM用户并授权使用DLI的方法,操作流程如图1所示。 前提条件 给用户组授权之前,请您先了解用户组可以添加的DLI权限,并结合实际需求进行选择。DLI支持的系统权限,请参见:DLI系统权限。 示例流程 图1 给用户授权DLI权限流程
如何查看Spark内置依赖包的版本? DLI内置依赖包是平台默认提供的依赖包,用户打包Spark或Flink jar作业jar包时,不需要额外上传这些依赖包,以免与平台内置依赖包冲突。 查看Spark内置依赖包的版本请参考内置依赖包。 资源包管理中的包是否能够下载? 资源包仅提供托管服务,不提供下载功能。
使用Flink Jar连接开启SASL_SSL认证的Kafka 概述 本节操作介绍使用Flink Jar连接开启SASL_SSL认证的Kafka的操作方法。 如需使用Flink OpenSource SQL连接开启SASL_SSL认证的Kafka,请参考Flink SQL语法参考-Kafka源表。
全局变量的使用中,一个子账号是否可以使用其他子账号创建的全局变量 全局变量可用于简化复杂参数。例如,可替换长难复杂变量,提升SQL语句可读性。 全局变量的使用具有以下约束限制: 存量敏感变量只有创建用户才能使用,其余普通全局变量同账号同项目下的用户共用。 如果同账号同项目下存在多
projectId 是 - 用户访问的DLI服务使用的项目编号。 region 是 - 对接的DLI服务的Region。 根据Spark应用程序的需要,修改“spark-defaults.conf”中的配置项,配置项兼容开源Spark配置项,参考开源Spark的配置项说明。 使用Spark-submit提交Spark作业
使用API相关问题 如何获取AK/SK? 如何获取项目ID? 提交SQL作业时,返回“unsupported media Type”信息 不同账号的调用API时的项目ID(Project ID)是固定的吗? 创建SQL作业的API执行超过时间限制,运行超时报错 API接口返回的中文字符为乱码,如何解决?
API使用前必读 概述 调用说明 终端节点 约束与限制 基本概念
先依据num对表transactions进行分组,再利用HAVING子句对查询结果进行过滤,price与amount乘积的最大值大于5000的记录将被筛选出来,返回对应的num及price与amount乘积的最大值。 1 2 3 4 SELECT num, max(price*amount) FROM transactions
准备项 说明 操作系统 Windows系统,支持Windows7以上版本。 安装JDK JDK使用1.8版本。 安装和配置IntelliJ IDEA IntelliJ IDEA为进行应用开发的工具,版本要求使用2019.1或其他兼容版本。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。
查看队列的使用者(废弃) 功能介绍 该API用于查询可以使用的指定队列的所有用户名称。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1.0/{project_id}/queues/{queue_name}/users
输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 -
查看表的使用者(废弃) 功能介绍 该API用于查看有权访问指定表或表的列的所有用户。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1.0/{project_id}/databases/{database_n
注册或抓取schema的Confluent Schema Registry的URL。 示例 1. 从kafka中作为source的topic中读取json数据,并以confluent avro的形式写入作为sink的topic中 根据kafka和ecs所在的虚拟私有云和子网创建相应的跨源,并绑
注册或抓取schema的Confluent Schema Registry的URL。 示例 1. 从kafka中作为source的topic中读取json数据,并以confluent avro的形式写入作为sink的topic中 根据kafka和ecs所在的虚拟私有云和子网创建相应的跨源,并绑
Kafka输出流 功能描述 DLI将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。MRS基于Apache Kafka在平台部署并托管了Kafka集群。
使用DLI提交SQL作业 创建并提交SQL作业 导出SQL作业结果 配置SQL防御规则 设置SQL作业优先级 查询SQL作业日志 管理SQL作业 创建并管理SQL作业模板
从kafka中作为source的topic中读取json数据,并以confluent avro的形式写入作为sink的topic中。 根据kafka和ecs所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka和ecs的地址测试队列连通性(通用队列
使用DLI提交Spark作业 创建Spark作业 设置Spark作业优先级 查询Spark作业日志 管理Spark作业管理 Spark模板管理
Flink作业”,在作业列表中选择待操作的Flink OpenSource SQL作业。 单击操作列的“编辑”,进入作业编辑页面。 在右侧的“运行参数”配置区域,选择新的Flink版本。 使用Flink 1.15以上版本的引擎执行作业时,需要在自定义配置中配置委托信息,其中key为"flink.dli.job.agency
使用DLI提交Flink作业 Flink作业概述 创建Flink OpenSource SQL作业 创建Flink Jar作业 查看Flink作业详情 Flink作业权限管理 设置Flink作业优先级 开启Flink作业动态扩缩容 Flink作业标签管理 查询Flink作业日志 管理Flink作业