检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果在“弹性扩缩容”页面提示“Status of queue xxx is assigning, which is not available”,表示需要等待队列资源分配完毕才可进行扩缩容。 队列资源扩容时,可能会由于物理资源不足导致队列资源无法扩容到设定的目标大小。 队列资源缩容时,系
业结果混乱等问题。 DLI作业要由用户主账户统一设置及修改,子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则,定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改,否则可能会造成历史数据无法查找。 前提条件 配置前,请
Spark作业使用咨询 Spark如何将数据写入到DLI表中 通用队列操作OBS表如何设置AK/SK 如何查看DLI Spark作业的实际资源使用情况 将Spark作业结果存储在MySQL数据库中,缺少pymysql模块,如何使用python脚本访问MySQL数据库? 如何在DLI中运行复杂PySpark程序?
window_interval 表示窗口的持续时长。 格式1:INTERVAL '10' SECOND 表示窗口时间间隔为10秒,请根据实际情况修改该时间值。 格式2:INTERVAL '10' MINUTE 表示窗口时间间隔为10分钟,请根据实际情况修改该时间值。 格式3:INTERVAL
功能描述 本节操作介绍删除分区表的一个或多个分区。 分区表分为两种,OBS表和DLI表。在删除分区时,DLI表和OBS表都支持利用指定条件删除分区表的一个或多个分区。OBS表还支持按指定筛选条件删除分区。 注意事项 所要删除分区的表必须是已经存在的表,否则会出错。 所要删除的分区
在数据库实例界面,单击“新建数据库”,数据库名定义为:testrdsdb,字符集保持默认即可。 在已创建的数据库的操作列,单击“SQL查询”,输入以下创建表语句,创建RDS MySQL表。 CREATE TABLE clicktop ( `range_time` VARCHAR(64) NOT
支持配置小文件合并 使用SQL过程中,生成的小文件过多时,会导致作业执行时间过长,且查询对应表时耗时增大,建议对小文件进行合并。 参考如何合并小文件完成合并小文件。 支持修改非分区表或分区表的列注释 修改非分区表或分区表的列注释。 支持统计SQL作业的CPU消耗 支持在控制台查看“CPU累计使用量”。
window_interval 表示窗口的持续时长。 格式1:INTERVAL '10' SECOND 表示窗口时间间隔为10秒,请根据实际情况修改该时间值。 格式2:INTERVAL '10' MINUTE 表示窗口时间间隔为10分钟,请根据实际情况修改该时间值。 格式3:INTERVAL
分区相关 添加分区(只支持OBS表) 重命名分区(只支持OBS表) 删除分区 指定筛选条件删除分区(只支持OBS表) 修改表分区位置(只支持OBS表) 更新表分区信息(只支持OBS表) REFRESH TABLE刷新表元数据 父主题: 表相关
"message": "" } 状态码 状态码如表4所示。 表4 状态码 状态码 描述 200 删除成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: 表相关API(废弃)
更多创建队列的操作步骤请参考创建弹性资源池并添加队列。 修改企业项目 针对之前已创建的集群,其绑定的企业项目可根据实际情况进行修改。 登录DLI管理控制台, 在左侧导航栏,选择“资源管理 > 弹性资源池”。 在弹性资源池资源列表中,选择待修改企业项目的资源,并单击操作列下“更多 > 分配至项目”。
排查客户实际数据,发现客户Kafka数据存在多层嵌套的复杂json体。不支持解析。 有两种方式解决此问题: 通过udf成jar包的形式 修改配置 修改源数据格式,再次执行作业,无问题。 父主题: Flink SQL作业类
和幅度delta修改date的值。 date:必填。日期值,string类型。 使用的时间格式为yyyy-mm-dd hh:mi:ss,例如2021-08-28 00:00:00。 delta:必填。修改幅度,BIGINT类型。 datepart:必填。指定修改的单位,STRING类型常量。
Opensource SQL使用DEW管理访问凭据 创建HBase源表的列簇必须定义为ROW类型,字段名对应列簇名(column family),嵌套的字段名对应列限定符名(column qualifier)。 用户只需在表结构中声明查询中使用的的列簇和列限定符。除了ROW类型的列,剩
集群未启用Kerberos认证(普通模式) Doris的表名是区分大小写。 使用cloudTable的doris时,'fenodes'字段值的端口请用8030,如'xx:8030'。同时安全组请放开端口8030,8040,9030。 开启HTTPS后,需要在创建表的with子句中添加如下配置参数: 'doris
Doris维表 功能描述 创建Doris维表用于与输入流连接生成宽表。 前提条件 该场景作业需要运行在DLI的独享队列上,因此要与HBase建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。
Opensource SQL使用DEW管理访问凭据 所有 HBase 表的列簇必须定义为ROW类型,字段名对应列簇名(column family),嵌套的字段名对应列限定符名(column qualifier)。用户只需在表结构中声明查询中使用的的列簇和列限定符。除了 ROW 类型的列,
'' ); 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 connector的类型,只能为hbase connector.version 是 该值只能为1.4.3 connector. table-name 是 hbase中的表名 connector
FileSystem源表 功能描述 文件系统连接器可用于将单个文件或整个目录的数据读取到单个表中。 当使用目录作为source路径时,对目录中的文件进行 无序的读取。更多信息参考文件系统 SQL 连接器 语法格式 1 2 3 4 5 6 7 8 9 10 11 CREATE
field -- 否 读取 Doris 表的列名列表,多列之间使用逗号分隔。 doris.filter.query -- 否 过滤读取数据的表达式,此表达式透传给 Doris。Doris 使用此表达式完成源端数据过滤。 示例 该示例是从Doris源表读取数据,并输入到 print connector。