检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
datasource表谓词下推 。 【SPARK-32461】:shuffle hash join优化。 【SPARK-32272】:添加SQL标准命令SET TIME ZONE。 【SPARK-21492】:修复排序合并加入中的内存泄漏。 【SPARK-27812】:K8S客户端版本提升到4
非分区表 单表数据总条数 = select count(1) from tablename(入湖时需提供); 单条数据大小 = 平均 1KB(华为建议通过select * from tablename limit 100,得出100条数据的大小,再除以100得到单条平均大小) 单表数据量大小(G)
不支持对接Notebook实例。 其他弹性资源池使用相关约束限制请参考弹性资源池使用约束限制。 适用于对资源消耗不高、对资源高可靠性和高可用性要求不高的测试场景。 标准版 64CUs及以上规格 弹性资源池使用相关约束限制请参考弹性资源池使用约束限制。 具备强大的计算能力、高可用性、及灵活的资源管理能力,适
SQL作业适用于使用标准SQL语句进行查询的场景。通常用于结构化数据的查询和分析。 Flink作业 Flink作业专为实时数据流处理设计,适用于低时延、需要快速响应的场景。适用于实时监控、在线分析等场景。 Flink OpenSource作业:提交作业时可以使用DLI提供的标准的连接器(c
CST,所以,最终数据库时区才是 CST。 time_zone 数据库所在服务器的时区,服务器是台主机。 如本地数据库所在计算机的默认时区是中国标准时间,则查出来 'system_time_zone' 是 CST。 问题根因:在Mysql的time_zone是SYSTEM,system
更多版本支持信息请参考DLI计算引擎版本生命周期。 Flink 1.15版本说明 Flink 1.15版本在语法设计上实现了更高的兼容性,与主流开源技术标准保持一致。 Flink 1.15版本新增读写Hive、Hudi等Connector。 Flink 1.15版本数据同步迁移场景,优先推荐使用DataArts的数据集成。
表1 Flink作业授权参数说明 参数名称 描述 用户名 被授权用户的名称。 说明: 该用户名称是已存在的IAM用户名称。并且该用户需要登录过华为云,才能进行授权操作。 权限设置 全选:所有的权限都勾选上。 查看作业详情:查看此作业的作业详情。 更新作业:编辑修改此作业。 删除作业:删除此作业。
SE。 A <> B BOOLEAN 若A与B不相等,则返回TRUE,否则返回FALSE。若A或B为NULL,则返回NULL,该种运算符为标准SQL语法。 A != B BOOLEAN 与<>逻辑操作符相同,该种运算符为SQL Server语法。 A < B BOOLEAN 若A
单击所要查看的数据库名,进入对应的“表管理”页面; 查看对应表的“数据存储位置”是否为DLI。 如果有存储在DLI中的数据,则按照存储计费的标准计费。 计费详情可参考《数据湖探索价格详情》。 如果上述内容排查后均无问题,可提交工单,将会有服务支撑人员在后台为您排查。 父主题: 计费相关问题
不支持切换弹性资源池的计费模式。 当前仅支持包年包月计费模式的弹性资源池进行规格变更。 按需计费的弹性资源池默认勾选专属资源模式,自创建起按自然小时收费。 管理弹性资源池 弹性资源池不支持切换区域。 Flink 1.10及其以上版本的作业支持在弹性资源池运行。 弹性资源池网段设置后不支持更改。
concat(binary1, ..., binaryN) → varbinary 将binary1,binary2,binaryN串联起来。这个函数返回与SQL标准连接符||相同的功能。 select concat(X'32335F',x'00141f'); -- 32 33 5f 00 14 1f to_base64(binary)
可以通过使用DataTypeHint 和FunctionHint 注解相关参数、类或方法来支持提取过程。 代码示例 Table(类似于 SQL 标准)是一种强类型的 API,函数的参数和返回类型都必须映射到 Table API 的数据类型,参见Table API数据类型。 如果需要更高
知功能后,数据库中会同步删除用户的手机号、邮箱信息。 数据传输安全 用户个人敏感数据将通过TLS 1.2、TLS1.3进行传输中加密,所有华为云DLI服务的API调用都支持 HTTPS 来对传输中的数据进行加密。 Spark作业传输通信加密 Spark作业支持通过配置表1中的参数开启通信加密。
NULL TRUE FALSE NULL NULL NULL NULL FALSE TRUE GREATEST和LEAST 这两个函数不是SQL标准函数,是常用的扩展。参数中不能有Null值。 greatest(value1, value2, ..., valueN) 返回提供的最大值。
不支持(推荐使用:VARCHAR) 不支持(推荐使用:TEXT) 不支持(推荐使用:TEXT) STRUCT 推荐使用:表示当前服务没有支持的标准数据类型,可以使用推荐的数据类型来替换使用。 父主题: 迁移外部数据源数据至DLI
融合处理分析服务,支持多种作业类型以满足不同的数据处理需求。 表1 DLI支持的作业类型 作业类型 说明 适用场景 SQL作业 适用于使用标准SQL语句进行查询的场景。通常用于结构化数据的查询和分析。 详细操作请参考创建并提交SQL作业。 适用于数据仓库查询、报表生成、OLAP(在线分析处理)等场景。
可以通过使用DataTypeHint 和FunctionHint 注解相关参数、类或方法来支持提取过程。 代码示例 Table(类似于 SQL 标准)是一种强类型的 API,函数的参数和返回类型都必须映射到 Table API 的数据类型,参见Table API数据类型。 如果需要更高
<key1>=<val1>;<key2>=<val2>… 说明: endpoint指DLI的终端节点,具体请参考地区和终端节点。 projectId指项目编号,从华为云“基本信息>我的凭证”页面获取项目编号。 “?”后面接其他配置项,每个配置项以“key=value”的形式列出,配置项之间以“;”隔开,详见表3
描述:返回所有输入值的总体标准差。 select stddev_pop(x) from (values (1),(2),(3),(4)) as t(x);-- 1.118033988749895 stddev_samp(x) 描述:返回所有输入值的样本标准偏差。 select stddev_samp(x)
ng <json>, string <path>) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 json 是 STRING 标准的JSON格式对象,格式为{Key:Value, Key:Value,...} path 是 STRING 表示在json中的path,以$开头。不同字符的含义如下: