-
跨源连接RDS表中create - 数据湖探索 DLI
跨源连接RDS表中create_date字段类型是datetime,为什么dli中查出来的是时间戳呢? Spark中没有datetime数据类型,其使用的是TIMESTAMP类型。 您可以通过函数进行转换。 例如: select cast(create_date as string)
-
资产识别与管理 - 数据湖探索 DLI
资产识别与管理 DLI 可以通过标签实现资源的标识与管理。 使用场景 通常您的业务系统可能使用了华为云的多种云服务,您可以为这些云服务下不同的资源实例分别设置标签,各服务的计费详单会体现这些资源实例设置的标签。如果您的业务系统是由多个不同的应用构成,为同一种应用拥有的资源实例设置
-
API接口返回的中文字符为乱码,如何解决? - 数据湖探索 DLI
API接口返回的中文字符为乱码,如何解决? DLI接口返回的结果编码格式为“UTF-8”,在调用接口获取返回结果时需要对返回的信息编码转换为“UTF-8”。 例如,参考如下实现对返回的response.content内容做编码格式转换,确保返回的中文格式不会乱码。 print(response
-
SELECT基本语句 - 数据湖探索 DLI
描述 ALL 返回重复的行。为默认选项。其后只能跟*,否则会出错。 DISTINCT 从结果集移除重复的行。 WHERE 指定查询的过滤条件,支持算术运算符、关系运算符和逻辑运算符。 where_condition 过滤条件。 GROUP BY 指定分组的字段,支持单字段及多字段分组。
-
基本语句 - 数据湖探索 DLI
描述 ALL 返回重复的行。为默认选项。其后只能跟*,否则会出错。 DISTINCT 从结果集移除重复的行。 WHERE 指定查询的过滤条件,支持算术运算符、关系运算符和逻辑运算符。 where_condition 过滤条件。 GROUP BY 指定分组的字段,支持单字段及多字段分组。
-
深度学习模型预测 - 数据湖探索 DLI
模型权值存放在OBS上的完整路径。在keras中通过model.save_weights(filepath)可得到模型权值。 word2vec_path 是 word2vec模型存放在OBS上的完整路径。 示例 图片分类预测我们采用Mnist数据集作为流的输入,通过加载预训练的deeple
-
深度学习模型预测 - 数据湖探索 DLI
模型权值存放在OBS上的完整路径。在keras中通过model.save_weights(filepath)可得到模型权值。 word2vec_path 是 word2vec模型存放在OBS上的完整路径。 示例 图片分类预测我们采用Mnist数据集作为流的输入,通过加载预训练的deeple
-
CSV Format - 数据湖探索 DLI
根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列-->找到作业的所属队列-->更多-->测试地址连通性-->输入kafka的地址-->测试)。若能连
-
CSV Format - 数据湖探索 DLI
根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列-->找到作业的所属队列-->更多-->测试地址连通性-->输入kafka的地址-->测试)。若能连
-
快速使用SQL语句查询数据 - 数据湖探索 DLI
登录华为云 单击图片可查看原图 Step2 选择队列 步骤 ① 在“总览”页面,单击左侧导航栏中的“SQL编辑器”或SQL作业简介右上角的“创建作业”,可进入“SQL编辑器”页面。 ② 在SQL编辑器页面,选择默认的队列“default”。 说明 该队列为服务默认的共享队列,队列大
-
创建IAM用户并授权使用DLI - 数据湖探索 DLI
不影响您使用DLI服务的其它功能。 本章节介绍创建IAM用户并授权使用DLI的方法,操作流程如图1所示。 前提条件 给用户组授权之前,请您先了解用户组可以添加的DLI权限,并结合实际需求进行选择。DLI支持的系统权限,请参见:DLI系统权限。 示例流程 图1 给用户授权DLI权限流程
-
CSV Format - 数据湖探索 DLI
根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性 > 输入kafka的地址 > 测试)。如果能
-
使用场景一:创建弹性资源池并运行作业 - 数据湖探索 DLI
表示资源池可以正常使用。 步骤二:添加队列到弹性资源池 在已创建的弹性资源池的“操作”列,单击“添加队列”进入弹性资源池添加的队列的操作界面。 首先配置弹性资源池队列的基本信息,具体参数参考如下。 名称:添加的队列的名称。 类型:根据作业需要选择队列类型。本示例选择为:通用队列。
-
查询DDS表 - 数据湖探索 DLI
SELECT命令用于查询DDS表中的数据。 语法格式 1 SELECT * FROM table_name LIMIT number; 关键字 LIMIT:对查询结果进行限制,number参数仅支持INT类型。 注意事项 如果在建表时没有指定schema信息,则查询出来的结果将会包含"_id"字段用于存放doc中的"_id"。
-
查询Oracle表 - 数据湖探索 DLI
SELECT命令用于查询Oracle表中的数据。 语法格式 1 SELECT * FROM table_name LIMIT number; 关键字 LIMIT:对查询结果进行限制,number参数仅支持INT类型。 注意事项 如果在建表时没有指定schema信息,则查询出来的结果将会包含"_id"字段用于存放doc中的"_id"。
-
查询DDS表 - 数据湖探索 DLI
SELECT命令用于查询DDS表中的数据。 语法格式 1 SELECT * FROM table_name LIMIT number; 关键字 LIMIT:对查询结果进行限制,number参数仅支持INT类型。 注意事项 如果在建表时没有指定schema信息,则查询出来的结果将会包含"_id"字段用于存放doc中的"_id"。
-
查询Oracle表 - 数据湖探索 DLI
SELECT命令用于查询Oracle表中的数据。 语法格式 1 SELECT * FROM table_name LIMIT number; 关键字 LIMIT:对查询结果进行限制,number参数仅支持INT类型。 注意事项 如果在建表时没有指定schema信息,则查询出来的结果将会包含"_id"字段用于存放doc中的"_id"。
-
Ogg Format - 数据湖探索 DLI
使用ogg-json读取kafka中的ogg记录,并输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性
-
DLI细粒度授权 - 数据湖探索 DLI
云资源的访问范围。例如您的员工中有负责软件开发的人员,您希望他们拥有DLI的使用权限,但是不希望他们拥有删除DLI等高危操作的权限,那么您可以使用IAM为开发人员创建用户,通过授予仅能使用DLI,但是不允许删除DLI的权限策略,控制他们对DLI资源的使用范围。 对于新建的用户,需
-
创建视图 - 数据湖探索 DLI
REPLACE:指定该关键字后,若视图已经存在将不报错,并根据select语句更新视图的定义。 注意事项 所要创建的视图必须是当前数据库下不存在的,否则会报错。当视图存在时,可通过增加OR REPLACE关键字来避免报错。 视图中包含的表或视图信息不可被更改,如有更改可能会造成查询失败。