检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
容,显著提升扩缩容的成功率和操作效率。 在全天的任意一个时间段内,弹性资源池中所有队列的最小CU数之和必须小于等于弹性资源池的最小CU数。 在全天的任意一个时间段内,弹性资源池中任意一个队列的最大CU必须小于等于弹性资源池的最大CU。 同一队列不同扩缩容策略的时间段区间不能有交集。
删除角色 功能描述 在当前database或指定database中删除角色。 语法格式 1 DROP ROLE [db_name].role_name; 关键字 无。 注意事项 要删除的role_name必须在当前database或指定database中存在,否则会报错。 当未
查看客户作业脚本内容,排查无问题,作业执行成功,出现该问题可能的原因如下: 数据不准确。 数据处理有问题。 处理步骤 在Flink UI查看task日志,发现报错中提到json体,基本确定原因为数据格式问题。 排查客户实际数据,发现客户Kafka数据存在多层嵌套的复杂json体。不支持解析。 有两种方式解决此问题:
为新的“通用队列”。 重新购买“通用队列”。 将在旧的“Spark队列”中的作业迁移到新的“通用型队列”中,即在提交Spark作业时指定新的队列。 释放旧的“Spark队列”,即删除或退订队列。 父主题: DLI弹性资源池和队列类
随机变量的概率分布范围分为几个等份的数值点,常用的有中位数(即二分位数)、四分位数、百分位数等。quantile digest是一个分位数的集合,当需要查询的数据落在某个分位数附近时,就可以用这个分位数做为要查询数据的近似值。它的精度可以调节,但更高精度的结果会带来空间的昂贵开销。
本章节介绍目前DLI所提供的Flink OpenSource SQL1.12语法列表。参数说明,示例等详细信息请参考具体的语法说明。 创建表相关语法 表1 创建表相关语法 语法分类 功能描述 创建源表 DataGen源表 DWS源表 Hbase源表 JDBC源表 Kafka源表 MySQL CDC源表
这两个函数不是SQL标准函数,是常用的扩展。参数中不能有Null值。 greatest(value1, value2, ..., valueN) 返回提供的最大值。 least(value1, value2, ..., valueN) → [same as input] 返回提供的最小值。 批量比较判断:ALL,ANY和SOME
项目编号,用于资源隔离。获取方式请参考获取项目ID。 database_name 是 String 待删除的表所在的数据库名称。 table_name 是 String 待删除的表名称。 表2 query参数 参数名称 是否必选 参数类型 说明 async 否 Boolean 是否异步方式删除数据库,取值为“true
发环境的项目。具体操作请参考方法二:通过在Eclipse中导入JAR文件安装SDK。 获取DLI SDK 在“DLI SDK DOWNLOAD”页面,单击选择所需的SDK链接,即可获取对应的SDK安装包。 表1 目录结构 名称 说明 jars SDK及其依赖的jar包。 maven-install
将写好的自定义函数打成JAR包,并上传到OBS上。 在DLI管理控制台的左侧导航栏中,单击数据管理>“程序包管理”,然后点击创建,并使用OBS中的jar包创建相应的程序包。 在DLI管理控制台的左侧导航栏中,单击作业管理>“Flink作业”,在需要编辑作业对应的“操作”列中,单击“编辑”,进入作业编辑页面。
1.0 0.11.0 如何判断队列支持的计算引擎版本:首先进入DLI的控制台界面,点击左侧菜单栏的”资源管理”-> ”队列管理”。在队列管理的界面筛选并选中需要查询的队列,随后点击窗口底部的窗格,展开隐藏的队列详情页面,在支持版本即可查看可用的计算引擎版本。对于SQL队列,无法切换
15和Spark 3.3.1版本的作业不受更新委托权限的影响,无需自定义委托。 为兼容存量的作业委托权限需求,dli_admin_agency仍为您保留在IAM委托中。 服务授权需要主账号或者用户组admin中的子账号进行操作。 请勿删除系统默认创建的委托。 表1 DLI委托 权限名
DLI是否支持导入其他租户共享OBS桶的数据? DLI支持将同一个租户下子账户共享OBS桶中的数据导入,但是租户级别共享OBS桶中的数据无法导入。 DLI不支持导入其他租户共享的OBS桶中的数据,主要是为了确保数据的安全性和数据隔离。 对于需要跨租户共享和分析数据的场景,建议先将数据脱敏后上
Insert作业执行过程中扫描到的错误记录数。 input_size Long 作业执行过程中扫描文件的大小,单位字节。 result_count Integer 当前作业返回的结果总条数或insert作业插入的总条数。 database_name String 记录其操作的表所在的数据库名称。类型为
超出套餐包额度的使用量怎么收费? 购买了套餐包时,按需使用过程中优先抵扣套餐包的额度,超过额度的使用量按照按需计费。 套餐包需结合重置周期使用,如重置周期为月,且按订购周期重置,即如果用户1月5日订购套餐包资源,之后每个月的5日同一时间重置套餐包资源。 父主题: 计费相关问题
怎样查看套餐包资源的使用情况? 购买套餐包后,随着套餐包的使用您可以随时查看套餐包使用情况,了解套餐包详情。 操作步骤 登录华为云费用中心。 选择“资源包”。在“资源包列表”页签中单击目标资源包名称/ID,查看套餐包的详细信息。 图1 查看套餐包资源使用情况 父主题: 计费相关问题
池ID。响应中的resource_id为弹性资源池ID。 增强型跨源连接ID:在DLI管理控制台的“增强型跨源连接”列表页获取“连接ID”即为增强型跨源连接ID。 数据库ID:添加标签时候传入的数据库ID即数据库名。您可以在DLI控制台的“库表管理”页面查看数据库名称。 Flin
TABLES命令用于显示所有在当前database中的table,或所有指定database的table。 命令格式 SHOW TABLES [IN db_name]; 参数描述 表1 SHOW TABLES参数描述 参数 描述 IN db_name Database名称,仅当需要显示指定Database的所有Table时配置。
是 String 提交作业的用户。 start_time 是 Long 作业开始的时间。是单位为“毫秒”的时间戳。 duration 是 Long 作业执行的时间间隔,单位毫秒。 export_mode 否 String 导出数据或保存查询结果时,指定的导出模式。 范围为“Err
数据库ID:添加标签时候传入的数据库ID即数据库名。您可以在DLI控制台的“库表管理”页面查看数据库名称。 Flink作业ID:在DLI管理控制台的“Flink作业”列表页面单击Flink作业名称,在Flink作业的详情页面即可获取Flink作业ID。 请求参数 表2 请求Body参数 参数 是否必选