检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据湖探索的终端节点请参考终端节点。 数据湖探索API请参考:数据湖探索API。 DLI自定义的Spark3.1.1镜像,需要把第三方依赖jar放到哪个路径下呢? DLI自定义的Spark3.1.1镜像,建议将第三方依赖jar存放/opt/spark/jars目录。 父主题: Spark作业开发类
ime的时间关联。 Temporal Join The Latest Partition 特性,仅在 Flink STREAMING 模式下支持。 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保
是否必选 参数类型 说明 sql 是 String 新增的SQL模板。 sql_name 是 String 新增SQL模板名称,该名称在当前工程下必须唯一。 description 否 String 新增SQL模板的描述信息,可以为空字符串。 group 否 String SQL模板分组名称。
spark.dli.job.priority=x 登录DLI管理控制台。 单击“作业管理 > Spark作业”。 选择待配置的作业,单击操作列下的编辑。 在“Spark参数”中配置spark.dli.job.priority参数。 图1 Spark作业配置样例 父主题: 使用DLI提交Spark作业
须是并行文件系统,不能是OBS桶。 示例:obs://bucketName/fileName,表示数据输出到obs的bucketName桶下的fileName目录中。 当schema为hdfs时,表示输出到HDFS。 示例:hdfs://node-master1sYAx:9820
返回输入表达式的数据类型的字符串表示形式。默认情况下返回的字符串是一个摘要字符串,可能会为了可读性而省略某些细节。 如果 force_serializable 设置为 TRUE,则字符串表示可以保留在目录中的完整数据类型。请注意, 特别是匿名的内联数据类型没有可序列化的字符串表示。在这种情况下返回 NULL。 CAST语法格式
不同于ROLLUP,GROUPING SETS目前仅支持一种格式。 示例 根据group_id与job两个字段生成交叉表格行,返回每种聚合情况下的salary总和。 1 2 3 SELECT group_id, job, SUM(salary) FROM group_test GROUP
所创建的DLI表对应的OpenTSDB中的指标名称。 tags metric对应的标签,用于归类、过滤、快速检索等操作。可以是1个到8个,以“,”分隔,包括对应metric下所有tagk的值。 注意事项 创建DLI表时,不需要指定timestamp和value字段,系统会根据指定的tags自动构建字段,包含以下字
待执行的SQL语句。 currentdb 否 String SQL语句执行所在的数据库。 说明: 在SQL里面已经包含db_name的情况下可以不选该参数,例如SQL为:select * from db1.t1。 SQL里面不包含db_name时,不选该参数或者选错该参数均会导致语法校验不通过。
及是无条件地还是只有当值本身不是数组时才这样做。 onEmpty和onError分别确定路径表达式为空或引发错误时的行为。默认情况下,在这两种情况下都返回null。其他选择是使用空数组、空对象或引发错误。 -- '{ "b": 1 }' JSON_QUERY('{ "a": { "b":
DecimalTypeInfo(25,5), "test for c11"); 删除表 DLI提供删除表的接口。您可以使用该接口删除数据库下的所有表。示例代码如下: 1 2 3 4 5 6 7 8 9 private static void deleteTables(Database
datasourceV1表和datasourceV2表的中的示例。 默认情况下空的input split不创建partition 说明: Spark2.4.x:默认情况下空的input split将创建partition。 Spark3.3.x:默认情况下空的input split不创建partition。
importJob.setOverWrite(Boolean.TRUE)。 当OBS桶目录下有文件夹和文件同名时,加载数据会优先指向该路径下的文件而非文件夹。建议创建OBS对象时,在同一级中不要出现同名的文件和文件夹。 导入分区数据 DLI提供导入数据的接口。您可以使用该接口将存
scalar.query.enabled false 该参数设置为true: 当子查询中数据不重复的情况下,执行关联子查询,不需要对子查询的结果去重。 当子查询中数据重复的情况下,执行关联子查询,会提示异常,必须对子查询的结果做去重处理,比如max(),min()。 该参数设置为false:
'system_time_zone' 是 CST。 问题根因:在Mysql的time_zone是SYSTEM,system_time_zone是CST的情况下会造成bug。 CST在mysql里被理解为China Standard Time(UTC+8),但在 Java 里被理解为Central Standard
TUMBLE, HOP 和 CUMULATE 上进行窗口聚合。 在流模式下,窗口表值函数的时间属性字段必须是事件时间或处理时间。关于窗口函数更多信息,参见 窗口表值函数(Windowing TVFs)。 在批模式下,窗口表值函数的时间属性字段必须是 TIMESTAMP 或 TIMESTAMP_LTZ
在JupyterLab中编写和调试代码。 进入JupyterLab主页后,可在“Notebook”区域下编辑和调试代码。步骤8:使用Notebook实例编写和调试代码。 约束限制 使用Notebook实例提交DLI作业必须使用弹性资源池下的通用队列。 每一个弹性资源池关联唯一的Notebook实例。 Note
Flink相关依赖作用域请使用provided,即在依赖中添加<scope>provided</scope>。主要包含org.apache.flink组下以flink-开头的非Connector依赖。 Hadoop、Hive、Hudi、Mysql-cdc相关依赖,作用域请使用provided,
请求参数说明详情,请参见创建增强型跨源连接。 请求示例 描述:在项目ID为48cc2c48765f481480c7db940d6409d1下创建名称为test1的增强型跨源连接。 示例URL:POST https://{endpoint}/v2.0/48cc2c48765f481
ASYMMETRIC | SYMMETRIC ] value2 AND value3 BOOLEAN 默认或使用 ASYMMETRIC 关键字的情况下,如果 value1 大于等于 value2 且小于等于 value3 返回 TRUE。 使用 SYMMETRIC 关键字则 value1 在