检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
增强型跨源连接概述 为什么要创建增强型跨源连接? DLI跨源分析场景连接外部数据源时,由于数据源的VPC与DLI VPC不同,网络无法连通,导致DLI无法读取数据源数据。DLI提供的增强型跨源连接功能可以实现DLI与数据源的网络连通。 本节操作为您介绍跨VPC的数据源网络连通方案:
用Hive语法创建OBS表。 使用Spark 3.3.1执行jar作业报错 "xxx don`t support dli v1 table."怎么办? 该错误提示信息说明使用Spark 3.3.1执行Jar作业时不支持执行与该表相关的操作,请切换使用Hive语法重构表数据结构,例如使用Hive语法[STORED
提交Spark作业 将写好的python代码文件上传至OBS桶中。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 创建Spark作业完成后,在控制台单击右上角“执行”提交作业,页面显示“批处理作业提交成功”说明Spark作业提交成功,可以在Spark作业管理页面查看提交的作业的状态和日志。
的properties中都需要指定truststore文件的路径。 初始化consumer/producer都是在taskmanager里执行的,所以需要获取到taskmanager对应container下truststore文件的路径,在初始化前将其引入properties中才能生效。
ark作业和Flink作业。 如果您在宽限期内仍未支付欠款,那么就会进入保留期,资源状态变为“已冻结”,您将无法对处于保留期的按需计费资源执行任何操作。 保留期到期后,若您仍未支付账户欠款,那么DLI的按需资源都将被释放,数据无法恢复。 图1 按需计费DLI资源生命周期 华为云根
Grouping sets, Rollup, Cube 功能描述 GROUPING SETS 的 GROUP BY 子句可以生成一个等效于由多个简单 GROUP BY 子句的 UNION ALL 生成的结果集,并且其效率比 GROUP BY 要高。 ROLLUP与CUBE按一定的规
Grouping sets, Rollup, Cube 功能描述 GROUPING SETS 的 GROUP BY 子句可以生成一个等效于由多个简单 GROUP BY 子句的 UNION ALL 生成的结果集,并且其效率比 GROUP BY 要高。 ROLLUP与CUBE按一定的规
Grouping sets, Rollup, Cube 功能描述 GROUPING SETS 的 GROUP BY 子句可以生成一个等效于由多个简单 GROUP BY 子句的 UNION ALL 生成的结果集,并且其效率比 GROUP BY 要高。 ROLLUP与CUBE按一定的规
Parquet Format 功能描述 Apache Parquet格式允许读写 Parquet 数据。更多具体使用可参考开源社区文档:Parquet Format。 支持的Connector FileSystem 参数说明 表1 参数说明 参数 是否必选 默认值 类型 描述 format
新建跨源连接,显示已激活,但使用时提示communication link failure错误怎么办? 根因分析 网络连通性问题,建议用户检查安全组选择是否正确,检查安全组网络(vpc)配置。 解决方案 示列:创建RDS跨源,使用时报“communication link failure”错误。
com/jarname.jar" group_name:资源包所属分组名称。 查询所有资源包 DLI提供查询资源列表接口,您可以使用该接口并选择相应的资源来执行作业。示例代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 def list_resources(dli_client):
TO_DATE(string1[, string2]) 入参说明 参数名 数据类型 参数说明 string1 STRING SQL时间戳形式的字符串。不符合格式的字符串会执行报错。 string2 STRING 字符串格式。如果不指定该参数,则默认为'yyyy-MM-dd' 。 示例 测试语句 SELECT
TO_DATE(string1[, string2]) 入参说明 参数名 数据类型 参数说明 string1 STRING SQL时间戳形式的字符串。不符合格式的字符串会执行报错。 string2 STRING 字符串格式。如果不指定该参数,则默认为'yyyy-MM-dd' 。 示例 测试语句 SELECT
插入数据后: 提交Spark作业 将写好的代码文件生成jar包,上传至OBS桶中。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 如果选择spark版本为2.3.2(即将下线)或2.4.5提交作业时,需要指定Module模块,名称为:sys.datasource
TO_DATE(string1[, string2]) 入参说明 参数名 数据类型 参数说明 string1 STRING SQL时间戳形式的字符串。不符合格式的字符串会执行报错。 string2 STRING 字符串格式。如果不指定该参数,则默认为'yyyy-MM-dd' 。 示例 测试语句 SELECT
Avro Format 功能描述 Avro格式允许基于Avro schema 读取和写入Avro 数据。目前,Avro schema 从表schema 推导。 支持的Connector Kafka Upsert Kafka 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明
Avro Format 功能描述 Avro格式允许基于Avro schema 读取和写入Avro 数据。目前,Avro schema 从表schema 推导。 更多具体使用可参考开源社区文档:Avro Format。 支持的Connector Kafka Upsert Kafka
arName}。 description:资源包描述信息。 查询所有资源包 DLI提供查询资源列表接口,您可以使用该接口并选择相应的资源来执行作业。示例代码如下: 1 2 3 4 5 6 7 8 9 10 11 private static void listA
功能描述 阶段 相关文档 1 支持Flink流作业 DLI上线Flink流作业,完全兼容Apache Flink和Spark API,即时执行Stream SQL或自定义作业,提供实时处理流式大数据的全栈能力。 商用 Flink作业管理概述 2019年10月 序号 功能名称 功能描述
插入数据后: 提交Spark作业 将写好的代码文件生成jar包,上传至OBS桶中。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 如果选择spark版本为2.3.2(即将下线)或2.4.5提交作业时,需要指定Module模块,名称为:sys.datasource