-
DWS源表 - 数据湖探索 DLI
用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data Warehouse Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供海量数据挖掘和分析服务。DWS的更多信息,请参见《数据仓库服务管理指南》。 前提条件 请务必确保您的账户下
-
DWS源表 - 数据湖探索 DLI
用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data Warehouse Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供海量数据挖掘和分析服务。DWS的更多信息,请参见《数据仓库服务管理指南》。 前提条件 请务必确保您的账户下
-
新建Flink Jar作业 - 数据湖探索 DLI
Flink版本。当用户设置“feature”为“basic”时,该参数生效。用户可通过与“feature”参数配合使用,指定作业运行使用的DLI基础Flink镜像的版本。 image 否 String 自定义镜像。格式为:组织名/镜像名:镜像版本。 当用户设置“feature”为“custom
-
使用CDM迁移数据到DLI,迁移作业日志上报UQUERY - 数据湖探索 DLI
Executors$RunnableAdapter.call(Executors.java:511) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ThreadPoolExecutor.ru
-
创建批处理作业 - 数据湖探索 DLI
3,则在“feature”为“basic”或“ai”时填写。若不填写,则使用默认的Spark组件版本号2.3.2。 image 否 String 自定义镜像。格式为:组织名/镜像名:镜像版本。 当用户设置“feature”为“custom”时,该参数生效。用户可通过与“feature”参数
-
JSON函数 - 数据湖探索 DLI
') -- '[1,2]' JSON_STRING(ARRAY[1, 2]) JSON_VALUE(jsonValue, path [RETURNING <dataType>] [ { NULL | ERROR | DEFAULT <defaultExpr> } ON EMPTY ]
-
在Spark SQL作业中使用UDTF - 数据湖探索 DLI
return; } String input = args[0].toString(); if(StringUtils.isEmpty(input)){ return; }
-
队列相关 - 数据湖探索 DLI
list_queues() except DliException as e: print(e) return for queue in queues: print(queue.name) 完整样例代码和依赖包说明请参考:Python
-
CloudTable OpenTSDB输出流 - 数据湖探索 DLI
"${timestamp_value}", tsdb_values = "${temperature}; ${humidity}", tsdb_tags = "location:${location},signify:temperature; location:${location},signify:humidity"
-
CloudTable OpenTSDB输出流 - 数据湖探索 DLI
"${timestamp_value}", tsdb_values = "${temperature}; ${humidity}", tsdb_tags = "location:${location},signify:temperature; location:${location},signify:humidity"
-
查询作业详情 - 数据湖探索 DLI
自定义镜像。格式为:组织名/镜像名:镜像版本。 当用户设置“feature”为“custom”时,该参数生效。用户可通过与“feature”参数配合使用,指定作业运行使用自定义的Flink镜像。关于如何使用自定义镜像,请参考《数据湖探索用户指南》。 feature 否 String 自定义作业特性。表示用户作业使用的Flink镜像类型。
-
使用DLI进行车联网场景驾驶行为数据分析 - 数据湖探索 DLI
数据免搬迁:DLI支持与多种数据源的对接,直接通过SQL建表就可以完成数据源的映射。 简单易用:直接使用标准SQL编写指标分析逻辑,无需关注背后复杂的分布式计算平台。 按需计费:日志分析按时效性要求按周期进行调度,每次调度之间存在大量空闲期。DLI按需计费只在使用期间收费,有效节约队列成本。 资源和成本规划
-
初始化DLI客户端 - 数据湖探索 DLI
auth_mode, region=region, project_id=project_id,ak=ak, sk=sk) return dli_client 参数说明与获取方式 参数说明 ak:账号 Access Key sk:账号 Secret Access Key
-
查询批处理作业列表 - 数据湖探索 DLI
批处理作业所在队列。 image 否 String 自定义镜像。格式为:组织名/镜像名:镜像版本。 当用户设置“feature”为“custom”时,该参数生效。用户可通过与“feature”参数配合使用,指定作业运行使用自定义的Spark镜像。 req_body 否 String 请求参数详情。
-
pyspark样例代码 - 数据湖探索 DLI
风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 代码实现详解 import相关依赖包 1 2 3 from __future__ import print_function from pyspark.sql.types import StructType, StructField
-
pyspark样例代码 - 数据湖探索 DLI
在配置文件或者环境变量中密文存放,使用时解密,确保安全。 通过DataFrame API 访问 import相关依赖 from __future__ import print_function from pyspark.sql.types import StructType, StructField
-
pyspark样例代码 - 数据湖探索 DLI
者环境变量中密文存放,使用时解密,确保安全。 通过DataFrame API 访问 import相关依赖 1 2 3 from __future__ import print_function from pyspark.sql.types import StructType, StructField
-
查询作业列表 - 数据湖探索 DLI
自定义镜像。格式为:组织名/镜像名:镜像版本。 当用户设置“feature”为“custom”时,该参数生效。用户可通过与“feature”参数配合使用,指定作业运行使用自定义的Flink镜像。关于如何使用自定义镜像,请参考《数据湖探索用户指南》。 feature 否 String 自定义作业特性。表示用户作业使用的Flink镜像类型。
-
自定义函数参数传递 - 数据湖探索 DLI
} LOG.debug(result); return result; } else { return "{}"; } } public static void main(String[]
-
自定义函数参数传递 - 数据湖探索 DLI
} LOG.debug(result); return result; } else { return "{}"; } } public static void main(String[]