检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"hudi_table5"); 权限需求 由DLI提供的元数据服务 SQL权限: database table 无 SELECT 细粒度权限:dli:table:select 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 系统响应 可以
API以同步模式调用运行时会有两分钟的超时时间限制,如果API调用超过该时间限制则会超时报错。 解决方案 调用“提交SQL作业”API时可以通过设置“dli.sql.sqlasync.enabled”参数为“true”来异步运行该作业。 具体可以参考提交SQL作业API。 父主题:
date,char,array,row,map,struct。其余的类型在数据查询和运算时支持。 通常情况下,大部分非复合数据类型都可以通过字面量加字符串的方式来输入,示例为添加了一个json格式的字符串: select json '{"name": "aa", "sex": "man"}';
COLUMNS。 修改列名后自动同步到列comment中,comment的形式为:rename oldName to newName。 系统响应 通过运行DESCRIBE命令查看表列修改。 父主题: Schema演进语法说明
resource_id 是 String 资源ID。 最小长度:1 最大长度:1000 获取方式: 队列ID:通过调用查询所有队列获队列ID。响应中的queue_id为队列ID。 弹性资源池ID:通过调用查询所有弹性资源池获弹性资源池ID。响应中的resource_id为弹性资源池ID。 增强型
Array of Strings 用户OBS对象路径列表,OBS对象路径为OBS对象URL。 kind 是 String 分组资源文件的类型。 jar:用户jar文件。 pyFile:用户python文件。 file:用户文件。 modelFile:用户AI模型文件。 说明: 上传的
提交SQL作业 提交Spark作业 05 实践 您可以通过以下案例进一步了解DLI的使用场景及操作步骤。 使用DLI进行车联网场景驾驶行为数据分析 详细介绍 使用DLI进行电商BI报表分析 详细介绍 07 API&SDK 通过DLI开放的API和调用示例,您可以使用并管理队列,S
resource_id 是 String 资源ID。 最小长度:1 最大长度:1000 获取方式: 队列ID:通过调用查询所有队列获队列ID。响应中的queue_id为队列ID。 弹性资源池ID:通过调用查询所有弹性资源池获弹性资源池ID。响应中的resource_id为弹性资源池ID。 增强型
*/”强制做broadcastjoin。如果有,则需要去掉该标识。 设置spark.sql.autoBroadcastJoinThreshold=-1,具体操作如下: 登录DLI管理控制台,单击“作业管理 > SQL作业”,在对应报错作业的“操作”列,单击“编辑”进入到SQL编辑器页面。 单击“设置”,在参数设置中选择“spark
BY将表按分区键分区,每个分区是一个窗口,窗口函数作用于各个分区。单表分区数最多允许7000个。 ORDER BY:决定窗口函数求值的顺序。可以用一个或多个键排序。通过ASC或DESC决定升序或降序。窗口由WINDOW子句指定。如果不指定,默认窗口等同于ROWS BETWEEN UNBOUNDED PRECEDING
过滤。 注意事项 所要进行JOIN连接的表必须是已经存在的表,否则会出错。 隐式JOIN的命令中不含有JOIN...ON...关键词,而是通过WHERE子句作为连接条件将两张表连接。 示例 返回courseId匹配的学生姓名及课程名称。 1 2 SELECT student_info
createDLITable(Database database) throws DLIException { //构造表列集合,通过实例化Column对象构建列 List<Column> columns = new ArrayList<Column>();
登录CSS管理控制台,选择“集群管理 > Elasticsearch”。 在集群管理界面,在已创建的CSS集群的“操作”列,单击“Kibana”访问集群。 在Kibana的左侧导航中选择“Dev Tools”,进入到Console界面。 在Console界面,执行如下命令创建索引“shoporders”。
Kafka Sink配置发送失败重试机制 问题描述 用户执行Flink Opensource SQL, 采用Flink 1.10版本。Flink Sink写Kafka报错后作业失败: Caused by: org.apache.kafka.common.errors.NetworkException:
ocation为OBS时填写。 delimiter 否 String 用户自定义数据分隔符。只有CSV类型数据具有该属性。data_location为OBS时填写。 quote_char 否 String 用户自定义引用字符,默认为双引号(即“\"”)。只有CSV类型数据具有该属
city1 6 city2 5 city3 6 示例3:通过distinct去重,计算仓库数量。命令示例如下: select count(distinct warehouseId) from warehouse;
); 数据最终在OBS中的存储目录结构为:obs://obs-sink/car_infos/day=xx/part-x-x。 数据生成后,可通过如下SQL语句建立OBS分区表,用于后续批处理: 创建OBS分区表。 1 2 3 4 5 6 7 8 create table car_infos
NULL ALTER TABLE table1 ALTER COLUMN col_a COMMENT 'new comment' 系统响应 通过运行DESCRIBE命令,可显示修改的列。 父主题: Schema演进语法说明
HAVING:一般与GROUP BY合用,先通过GROUP BY进行分组,再在HAVING子句中进行过滤。 注意事项 如果过滤条件受GROUP BY的查询结果影响,则不能用WHERE子句进行过滤,而要用HAVING子句进行过滤。HAVING与GROUP BY合用,先通过GROUP BY进行分组,再在HAVING子句中进行过滤。
HAVING:一般与GROUP BY合用,先通过GROUP BY进行分组,再在HAVING子句中进行过滤。 注意事项 如果过滤条件受GROUP BY的查询结果影响,则不能用WHERE子句进行过滤,而要用HAVING子句进行过滤。HAVING与GROUP BY合用,先通过GROUP BY进行分组,再在HAVING子句中进行过滤。