-
创建表时指定表的生命周期 - 数据湖探索 DLI
且备份目录应选择在并行文件系统上,备份目录必须和原表目录在同一个桶上,备份目录不能与原表相同目录或者子目录同名。
-
导入数据(废弃) - 数据湖探索 DLI
message 否 String 系统提示信息,执行成功时,信息可能为空。 job_id 否 String 此SQL将生成并提交一个新的作业,返回作业ID。用户可以使用作业ID来查询作业状态和获取作业结果。
-
CREATE TABLE语句 - 数据湖探索 DLI
处理时间属性 可以简单地通过使用了系统函数 PROCTIME() 的 proc AS PROCTIME() 语句进行定义。 另一方面,由于事件时间列可能需要从现有的字段中获得,因此计算列可用于获得事件时间列。
-
新建SQL作业 - 数据湖探索 DLI
udf_jar_url 否 String 用户已上传到DLI资源管理系统的资源包名,用户sql作业的udf jar包通过该参数传入。 manager_cu_number 否 Integer 用户为作业选择的管理单元(jobmanager)CU数量,默认值为“1”。
-
构造请求 - 数据湖探索 DLI
取值为当前系统的GMT时间。 使用AK/SK认证时必选。 20150907T101459Z X-Language 请求语言。
-
JDBC - 数据湖探索 DLI
注意事项 JDBC结果表如果定义了主键,将以upsert模式与外部系统交换UPDATE/DELETE消息;否则,它将以append模式与外部系统交换消息,不支持消费UPDATE/DELETE消息。
-
配置DLI队列与内网数据源的网络联通 - 数据湖探索 DLI
系统default队列不支持创建跨源连接。 步骤1:获取外部数据源的内网IP、端口和安全组 表2 各数据源信息获取 数据源 参数获取 DMS Kafka 在Kafka管理控制台,选择“Kafka专享版”,单击对应的Kafka名称,进入到Kafka的基本信息页面。
-
使用Spark作业访问DLI元数据 - 数据湖探索 DLI
表1 Spark Jar作业开发环境 准备项 说明 操作系统 Windows系统,支持Windows7以上版本。 安装JDK JDK使用1.8版本。 安装和配置IntelliJ IDEA IntelliJ IDEA为进行应用开发的工具,版本要求使用2019.1或其他兼容版本。
-
CREATE TABLE语句 - 数据湖探索 DLI
处理时间属性 可以简单地通过使用了系统函数 PROCTIME() 的 proc AS PROCTIME() 语句进行定义。 另一方面,由于事件时间列可能需要从现有的字段中获得,因此计算列可用于获得事件时间列。
-
使用DLI进行电商BI报表分析 - 数据湖探索 DLI
OBS Browser+提供强大的拖拽上传功能,您可以将本地的一个或多个文件或者文件夹拖拽到对象存储的对象列表或者并行文件系统的对象列表中;同时您也可以将文件或文件夹拖拽到指定的目录上,这样可以上传到指定的目录中。
-
生成Flink SQL作业的静态流图 - 数据湖探索 DLI
message 是 String 系统提示信息,执行成功时,信息可能为空。 error_code 是 String 错误码。 stream_graph 是 String 静态流图的描述信息。 请求示例 生成Flink SQL作业的静态流图,流图的类型为静态流图。
-
使用JDBC提交作业 - 数据湖探索 DLI
= null) { conn.close(); } } } } 开启重试功能 开启JDBC重试功能,执行查询操作失败时系统会进行重试。 为避免重复数据插入等操作,非查询语句不进行重试。
-
创建数据库和表 - 数据湖探索 DLI
具体请参考常用操作与系统权限关系。 创建数据库 创建数据库的入口有两个,分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面创建数据库。 在管理控制台左侧,单击“数据管理”>“库表管理”。 在库表管理页面右上角,单击“创建数据库”可创建数据库。
-
弹性资源池队列管理 - 数据湖探索 DLI
队列扩容成功后,系统开始对扩容的CU进行计费,直到缩容成功停止对扩容的CU计费。因此,要注意如果业务没有需求的情况下,要及时清理释放资源,否则不管CU是否真正的使用,都会一直计费。
-
迁移Kafka数据至DLI - 数据湖探索 DLI
在MRS Manager上,选择“系统 > 权限 > 用户”,单击“添加用户”,在添加用户页面分别配置如下参数。 用户名:自定义的用户名。当前示例输入为:testuser2。 用户类型:当前选择为“人机”。 密码和确认密码:输入当前用户名对应的密码。
-
从Kafka读取数据写入到DWS - 数据湖探索 DLI
队列名称不区分大小写,系统会自动转换为小写。 类型:队列类型选择“通用队列”。“按需计费”时需要勾选“专属资源模式”。 AZ策略、CPU架构、规格:保持默认即可。 企业项目:当前选择为“default”。 高级选项:选择“自定义”。 网段:配置队列网段。
-
从Kafka读取数据写入到Elasticsearch - 数据湖探索 DLI
队列名称不区分大小写,系统会自动转换为小写。 类型:队列类型选择“通用队列”。“按需计费”时需要勾选“专属资源模式”。 AZ策略、CPU架构、规格:保持默认即可。 企业项目:当前选择为“default”。 高级选项:选择“自定义”。 网段:配置队列网段。
-
scala样例代码 - 数据湖探索 DLI
说明: 如果数据库和表不存在,请先创建数据库和表,否则系统会报错并且运行失败。 user RDS数据库用户名。 password RDS数据库用户名对应密码。
-
从MySQL CDC源表读取数据写入到DWS - 数据湖探索 DLI
队列名称不区分大小写,系统会自动转换为小写。 类型:队列类型选择“通用队列”。“按需计费”时需要勾选“专属资源模式”。 AZ策略、CPU架构、规格:保持默认即可。 企业项目:当前选择为“default”。 高级选项:选择“自定义”。 网段:配置队列网段。
-
从Kafka读取数据写入到RDS - 数据湖探索 DLI
队列名称不区分大小写,系统会自动转换为小写。 类型:队列类型选择“通用队列”。“按需计费”时需要勾选“专属资源模式”。 AZ策略、CPU架构、规格:保持默认即可。 企业项目:当前选择为“default”。 高级选项:选择“自定义”。 网段:配置队列网段。