检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
示例 下面的示例展示了一个经典的业务流水线,维度表来自 Hive,每天通过批处理流水线作业或 Flink 作业更新一次,kafka流来自实时在线业务数据或日志,需要与维度表连接以扩充流。 使用spark sql 创建 hive obs 外表,并插入数据。 CREATE TABLE if
参数类型 说明 is_success 是 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 是 String 系统提示信息,执行成功时,信息可能为空。 table_count 是 Integer 表的总个数。 tables 是 Array of objects
参数类型 说明 is_success 否 Boolean 请求执行是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 job_id 否 String 当“force”为“true”时返回的job_id。 queue_name
nk作业、生成Flink SQL作业的静态流图、创建IEF消息通道、边缘Flink作业状态上报、边缘Flink作业Action回调、IEF系统事件上报。 Flink作业模板相关API 包括新建模板、更新模板、删除模板和查询模板列表。 Spark作业相关API 包括创建批处理作业、
业的状态。 如果作业状态为“规格变更中”,表示弹性资源池规格正在扩容中。等待作业状态变为“已成功”表示当前变更操作完成。 弹性资源池缩容 系统默认最小CU值为16CU,即当弹性资源池的规格为16CU时,不能进行手动缩容。 在DLI管理控制台左侧,选择“资源管理 > 弹性资源池”。
拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 - 使用本地API 使用数据库本地API加速(系统会尝试启用MySQL数据库的local_infile系统变量)。 是 使用Agent Agent功能待下线,无需配置。 - local_infile字符集 MySQL
delta_table1 using delta location 'obs://bucket_name0/db0/delta_table2'; 系统响应 Table创建成功。 父主题: Delta DDL语法说明
还具有以下优势: 表1 Serverless DLI与传统自建Hadoop集群对比的优势 优势 维度 数据湖探索 DLI 自建Hadoop系统 低成本 资金成本 按照实际扫描数据量或者CU时收费,可变成本,成本可节约50%。 长期占用资源,资源浪费严重,成本高。 弹性扩缩容能力
参数类型 描述 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 queues 否 Array of objects 该弹性资源池下所有queue的资源权重信息。详细参数说明请参考表4。
参数 参数类型 说明 is_success Boolean 请求执行是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 执行失败时,用于显示执行失败的原因。 sqls Array of Object 样例模板信息,具体参数说明请参见表3。
is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。示例值:true。 message 否 String 系统提示信息,执行成功时,信息可能为空。示例值:空 请求示例 给用户赋予队列queue1提交作业、删除队列的权限。 { "queue_name":
> |,并且不能以“.”开头和结尾。 导出方式 导出数据的保存方式。 随导出创建指定路径:指定的导出目录必须不存在,如果指定目录已经存在,系统将返回错误信息,无法执行导出操作。 覆盖指定路径:在指定目录下新建文件,会删除已有文件。 表头:无/有 设置导出数据是否含表头。 单击“确定”即可导出数据。
Avro 消息解析为 INSERT / UPDATE / DELETE 消息到 Flink SQL 系统中。在很多情况下,利用这个特性非常的有用,例如: 将增量数据从数据库同步到其他系统 日志审计 数据库的实时物化视图 关联维度数据库的变更历史 Flink 还支持将 Flink SQL
配置样例 计费模式 选择弹性资源池计费模式。 按需计费 区域 选择弹性资源池所在区域。 华东-上海二 项目 每个区域默认对应一个项目,由系统预置。 系统默认项目 名称 弹性资源池名称。 dli_resource_pool 规格 选择弹性资源池规格。 标准版 CU范围 弹性资源池最大最小CU范围。
Boolean 当“job_type”为“DCL”时,为请求执行是否成功。“true”表示请求执行成功。 message 是 String 系统提示信息,执行成功时,信息可能为空。 job_id 是 String 此SQL语句将生成并提交一个新作业,返回此作业的ID,可用于获取作业状态和作业结果。
参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息为空。 connection_id 否 String 连接ID,用于标识跨源连接的UUID。 destination
参数类型 说明 is_success 否 Boolean 请求执行是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 请求示例 为队列创建名为plan_A的扩缩容计划,要求队列在星期一、星期二、星期三、星期日的20:30分开始扩缩容,目标CU为64CUs。
火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域
参数类型 说明 is_success 否 Boolean 请求执行是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 plans 否 Array of Objects 定时扩缩容计划信息。具体请参考表3。 表3 plans参数
catch”异常捕获,否则可能会造成包冲突,导致函数功能异常。 环境准备 在进行UDAF开发前,请准备以下开发环境。 表1 UDAF开发环境 准备项 说明 操作系统 Windows系统,支持Windows7以上版本。 安装JDK JDK使用1.8版本(访问Java官网)。 安装和配置IntelliJ IDEA