-
快速使用SQL语句查询数据 - 数据湖探索 DLI
语法校验成功后,单击“执行”。在SQL语句编辑区域的下方,显示执行结果。 了解详细步骤 5 执行SQL查询语句 单击图片可查看原图 相关操作指导 视频小图标 Created with Sketch. 数据湖探索产品介绍 视频小图标 Created with Sketch. 数据湖探索快速入门 --使用SQL查询
-
深度学习模型预测 - 数据湖探索 DLI
word2vec_path 是 word2vec模型存放在OBS上的完整路径。 示例 图片分类预测我们采用Mnist数据集作为流的输入,通过加载预训练的deeplearning4j模型或者keras模型,可以实时预测每张图片代表的数字。 1 2 3 4 5 6 CREATE SOURCE STREAM
-
深度学习模型预测 - 数据湖探索 DLI
word2vec_path 是 word2vec模型存放在OBS上的完整路径。 示例 图片分类预测我们采用Mnist数据集作为流的输入,通过加载预训练的deeplearning4j模型或者keras模型,可以实时预测每张图片代表的数字。 1 2 3 4 5 6 CREATE SOURCE STREAM
-
Maxwell Format - 数据湖探索 DLI
String 在序列化地图数据的空键时指定处理模式。当前支持的值为“FAIL”、“DROP”和“LITERAL”:选项“FAIL”将在遇到带有空键的地图时抛出异常。选项“DROP”将删除地图数据的空键条目。选项“LITERAL”将替换空带字符串文字的键。字符串文字由 maxwell-json
-
Maxwell Format - 数据湖探索 DLI
String 在序列化地图数据的空键时指定处理模式。当前支持的值为“FAIL”、“DROP”和“LITERAL”:选项“FAIL”将在遇到带有空键的地图时抛出异常。选项“DROP”将删除地图数据的空键条目。选项“LITERAL”将替换空带字符串文字的键。字符串文字由 maxwell-json
-
SQL模板管理 - 数据湖探索 DLI
在“SQL模板”页面,单击右上角“创建模板”。 输入模板名称、语句和描述信息,详细参数介绍请参见表3。 图2 创建模板 表3 参数说明 参数名称 描述 名称 模板名称。 模板名称只能包含数字、英文字母和下划线,但不能是纯数字,不能以下划线开头,且不能为空。 输入长度不能超过50个字符。 语句
-
库表管理概述 - 数据湖探索 DLI
表的类型。包括以下三种类型: Managed:数据存储位置为DLI的表。 External:数据存储位置为OBS的表。 View:视图。视图只能通过SQL语句创建。 说明: 视图中包含的表或视图信息不可被更改,如有更改可能会造成查询失败。 所有者 创建表的用户。 存储位置 包括DLI、OBS、View、
-
创建Password类型跨源认证 - 数据湖探索 DLI
选择Password。 认证信息名称 所创建的跨源认证信息名称。 名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。 输入长度不能超过128个字符。 用户名称 访问数据源的用户名。 用户密码 访问数据源的密码。 图1 创建认证信息-Password 访问数据源。 跨源认证创建成功
-
创建CSS类型跨源认证 - 数据湖探索 DLI
填写CSS认证信息,详细参数说明请参考表1。 表1 参数说明 参数 参数说明 认证信息名称 所创建的跨源认证信息名称。 名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。 输入长度不能超过128个字符。 建议名称中包含CSS安全集群的名称,便于区分不同集群的安全认证信息。
-
欠费说明 - 数据湖探索 DLI
已购买套餐包,但使用量超出套餐包额度,进而产生按需费用,同时账户中的余额不足以抵扣产生的按需费用。请参考已购买套餐包,为什么仍然产生按需计费?识别产生按需计费的原因,并重新选择正确的套餐包或保证账户中的余额充足。 未购买套餐包,在按需计费模式下账户的余额不足。 欠费影响 包年/包月
-
在Spark SQL作业中使用UDF - 数据湖探索 DLI
IDEA,选择“File > New > Project”。 图2 新建Project 选择Maven,Project SDK选择1.8,单击“Next”。 图3 选择Maven 定义样例工程名和配置样例工程存储路径,单击“Finish”完成工程创建。 图4 创建工程 在pom.xml文件中添加如下配置。
-
创建Kafka - 数据湖探索 DLI
填写Kafka认证信息,详细参数说明请参考表2。 表2 参数说明 参数 参数说明 类型 选择Kafka_SSL。 认证信息名称 所创建的跨源认证信息名称。 名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。 输入长度不能超过128个字符。 Truststore路径 上传SSL Truststore文件的OBS路径。
-
在Spark SQL作业中使用UDTF - 数据湖探索 DLI
IDEA,选择“File > New > Project”。 图2 新建Project 选择Maven,Project SDK选择1.8,单击“Next”。 图3 选择Maven 定义样例工程名和配置样例工程存储路径,单击“Finish”完成工程创建。 图4 创建工程 在pom.xml文件中添加如下配置。
-
创建数据库和表 - 数据湖探索 DLI
在“创建表”页面,填写参数。 当数据位置为DLI时,请参见表2填写相关参数; 图2 创建表-DLI 当数据位置为OBS时,请参见表2和表3填写相关参数。 图3 创建表-OBS 表2 通用参数说明 参数名称 描述 示例 表名称 表名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。 表名称大小写不敏感且不能为空。
-
创建Kerberos跨源认证 - 数据湖探索 DLI
请参考表2。 表2 参数说明 参数 参数说明 类型 选择kerberos。 认证信息名称 所创建的跨源认证信息名称。 名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。 输入长度不能超过128个字符。 建议名称中包含MRS安全集群的名称,便于区分不同集群的安全认证信息。
-
在Spark SQL作业中使用UDAF - 数据湖探索 DLI
Project”。 图2 新建Project 选择Maven,Project SDK选择1.8,单击“Next”。 图3 配置Project SDK 定义样例工程名和配置样例工程存储路径,单击“Create",下一步单击弹窗中的“Finish”完成工程创建。 图4 完成Project创建
-
使用Spark Jar作业读取和查询OBS数据 - 数据湖探索 DLI
New > Project”。 图3 新建Project 选择Maven,Project SDK选择1.8,单击“Next”。 图4 新建Project 定义样例工程名和配置样例工程存储路径,单击“Finish”完成工程创建。 图5 创建工程 如上图所示,本示例创建Maven工程名
-
FineBI工具对接DLI Trino - 数据湖探索 DLI
根据界面提示配置参数。 图6 弹性负载均衡器ELB 获取ELB的服务地址 在ELB控制台下找到“弹性负载均衡 > 负载均衡器”。 图7 负载均衡器 单击进入所创建的负载均衡器的ID,单击“基本信息”查看ELB的信息,记录“IPv4私网IP”的信息。 图8 独享型ELB 创建跨源
-
PowerBI工具对接DLI Trino - 数据湖探索 DLI
点击设置ODBC数据源(64 位)。 图14 设置ODBC数据源 添加驱动程序 在驱动程序中选择“添加 > openLookeng ODBC 1.9 Driver > 确定”。 图15 添加驱动程序 填写数据源信息 参考图16填写名称和描述,单击“Next”。 图16 填写数据源信息 配置相关信息
-
创建表(废弃) - 数据湖探索 DLI
请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 table_name 是 String 新增表名称。 表名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。 表名称大小写不敏感且不能为空。 表名称支持包含“$”符号。例如:$test。 输入长度不能超过128个字符。