检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
更换使用增强型跨源连接。 否则使用经典型跨源连接操作过程中出现的错误,不再提供该功能的任何技术服务支持。 DLI经典型跨源连接停止服务后,可以使用哪个功能替换? 推荐使用增强型跨源连接。 DLI提供的增强型跨源连接功能,通过建立对等连接,实现DLI与数据源的VPC网络互通,为DLI的跨源分析提供了支持。
mp,date,char,array,row,map,struct。其余的类型在数据查询和运算时支持。 通常情况下,大部分非复合数据类型都可以通过字面量加字符串的方式来输入,示例为添加了一个json格式的字符串: select json '{"name": "aa", "sex":
读取过程中,redis集群中的CPU使用率还有提升空间,可以调大该参数。 iterator.grouping.size 每批次插入的数据记录数,默认为100。如果在插入过程中,redis集群中的CPU使用率还有提升空间,可以调大该参数。 timeout 连接redis的超时时间,单位ms,默认值2000(2秒超时)。
COLUMN|COLUMNS cols 参数描述 表1 DROP COLUMN参数描述 参数 描述 tableName 表名。 cols 待删除列,可以指定多个。 示例 ALTER TABLE table1 DROP COLUMN a.b.c ALTER TABLE table1 DROP
User = '{UserName}', Action = 'SELECT'. 解决措施 出现该问题的原因是由于当前用户没有该表的查询权限。 您可以进入“数据管理 > 库表管理”查找对应库表,查看权限管理,是否配置该账号的查询权限。 授权方式请参考资料表权限管理。 父主题: DLI权限管理类
华为云根据客户等级定义了不同客户的宽限期和保留期时长。 处理欠费 欠费后需要及时充值,详细操作请参见账户充值。 若DLI的队列、弹性资源池等资源不再使用,您可以将他们删除,以免继续扣费。 您可以在“费用中心 > 总览”页面设置“可用额度预警”功能,当可用额度、通用代金券和现金券的总额度低于预警阈值时,系统自动发送短信和邮件提醒。
distinct.aggregator.enabled false dli.jobs.sql.resubmit.enable null 通过设置该参数可以控制在driver故障、队列重启时Spark SQL作业是否重新提交。 false:禁用作业重试,所有类型的命令都不重新提交,一旦driv
的计算引擎。 历史创建的队列仍然可以使用Flink 1.10、Flink1.11执行作业,但作业执行过程中出现的错误,不再提供该版本的任何技术服务支持,请您尽快更换至新版本的计算引擎。 Flink 1.10、Flink1.11版本停止服务后,可以使用哪个版本替换? 推荐使用DLI
细粒度权限:dli:table:select 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi CALL COMMAND语法说明
细粒度权限:dli:table:select 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi CALL COMMAND语法说明
此问题的原因是如果不指定列名,则会把SELECT后的内容同时作为列名和插入值,而AVRO格式的表不支持列名为数字,所以会报解析schema异常错误。 您可以通过“CREATE TABLE tb_avro STORED AS AVRO AS SELECT 1 AS colName”指定列名的方式
max函数用于返回最大值。 命令格式 max(col) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 col 是 除BOOLEAN外的任意类型。 列值可以为除BOOLEAN外的任意类型。 返回值说明 返回DOUBLE类型的值。 返回值的类型与col类型相同。返回规则如下: col值为NULL时,该行不参与计算。
细粒度权限:dli:database:displayAllTables 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 系统响应 可以直接在提交任务界面查看任务结果,或者在SQL作业界面,点击对应任务右侧的”更多”->”查看结果”检查任务结果。 父主题: Hudi DDL语法说明
COLUMN|COLUMNS cols 参数描述 表1 DROP COLUMN参数描述 参数 描述 tableName 表名。 cols 待删除列,可以指定多个。 所需权限 SQL权限 表2 ALTER TABLE所需权限列表 权限描述 表的ALTER权限 细粒度权限:dli:table:alter。
用来体验产品功能。当多个用户通过该队列提交作业时,容易发生流控,从而导致作业提交失败。 解决方案 建议不要使用default队列提交作业,可以在DLI控制台新购买SQL队列来提交作业。 了解更多新建队列的操作指导请参考创建弹性资源池并添加队列。 父主题: DLI弹性资源池和队列类
一组有序字段,使用指定的值构造ARRAY数组。可以为任意类型,要求所有字段的数据类型必须相同。 array(<value>,<value>[, ...]) 具体使用示例详见:ARRAY示例。 MAP 一组无序的键/值对,使用给定的Key和Value对生成MAP。键的类型必须是原生数据类型,值的类型可以是原生数据类
实现完成后将该类编译打包在Jar中,通过Flink OpenSource SQL作业编辑页的UDF Jar参数上传。具体Flink OpenSource SQL作业创建指导可以参考https://support.huaweicloud.com/usermanual-dli/dli_01_0498.html。 语法格式
avg(DISTINCT col) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 col 是 所有数据类型 列值支持所有数据类型,可以转换为DOUBLE类型后参与运算。 返回值说明 返回DOUBLE类型的值。 如果col值为NULL时,该列不参与计算。 示例代码 计算所有
min函数用于返回最小值。 命令格式 min(col) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 col 是 除BOOLEAN外的任意类型。 列值可以为除BOOLEAN外的任意类型。 返回值说明 返回DOUBLE类型的值。 返回值的类型与col类型相同。返回规则如下: col值为NULL时,该行不参与计算。
通过点对点的方式实现数据互通。 图1 增强型跨源连接配置流程 配置DLI队列与公网网络连通 通过配置SNAT规则,添加到公网的路由信息,可以实现队列到和公网的网络打通。 图2 配置DLI队列访问公网流程 父主题: 增强型跨源连接类