检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据类型映射 HBase以字节数组存储所有数据,在读和写过程中要序列化和反序列化数据。 Flink的HBase连接器利用HBase(Hadoop) 的工具类org.apache.hadoop.hbase.util.Bytes进行字节数组和Flink数据类型转换。
创建跨源认证 数据类型映射 HBase以字节数组存储所有数据,在读和写过程中要序列化和反序列化数据。 Flink的HBase连接器利用HBase(Hadoop) 的工具类org.apache.hadoop.hbase.util.Bytes进行字节数组和Flink数据类型转换。
将"dli-sdk-python-<version>.zip"解压到本地目录,目录可自行调整。 安装SDK。 打开Windows操作系统“开始”菜单,输入cmd命令。 在命令行窗口,进入“dli-sdk-python-<version>.zip”解压目录下的windows目录。
Spark jar 如何读取上传文件 Spark可以使用SparkFiles读取 –-file中提交上来的文件的本地路径,即:SparkFiles.get("上传的文件名")。
如果定义精度大于 38 的十进制列,则应将其映射到字符串以避免精度损失。
(可选)配置主机的host文件提高Kyuubi的访问效率 为了提高Kyuubi的访问效率,建议在主机的/etc/hosts 配置Kyuubi主机IP的映射关系。 执行ifconfig查看主机IP地址。 图2 查看主机IP地址 将该IP配置在/etc/hosts文件中。
更多 Flink作业相关问题 怎样将OBS表映射为DLI的分区表?
数据类型映射 表2 数据类型映射 MySQL类型 PostgreSQL类型 Flink SQL类型 TINYINT - TINYINT SMALLINT TINYINT UNSIGNED SMALLINT INT2 SMALLSERIAL SERIAL2 SMALLINT INT
导出作业结果到本地 异步DDL和QUERY语句支持将结果下载到本地。下载到本地默认仅支持下载1000条数据。 具体操作如下: 单击执行成功的异步DDL或QUERY语句“操作”列中的“下载到本地”,在提示窗口单击“确认”。此时,“操作”列中的“下载到本地”将变为“立即下载”。
timecol 是 列描述符,决定数据的哪个时间属性列应该映射到窗口。 slide 是 窗口的滑动步长。 size 是 窗口的大小(时长) offset 否 窗口的偏移量。
如何添加IP域名映射,请参见《数据湖探索用户指南》中增强型跨源连接章节。 该语法不支持安全集群。
数据类型映射 HBase以字节数组存储所有数据。在读和写过程中要序列化和反序列化数据。 Flink的HBase连接器利用HBase(Hadoop) 的工具类 org.apache.hadoop.hbase.util.Bytes 进行字节数组和 Flink 数据类型转换。
创建跨源认证 数据类型映射 HBase以字节数组存储所有数据。在读和写过程中要序列化和反序列化数据。
您只需将本地数据导入OBS即可开始使用DLI进行数据分析。 导入数据的具体操作请参考上传对象。
数据类型映射 HBase以字节数组存储所有数据。在读和写过程中要序列化和反序列化数据。 Flink 的 HBase 连接器利用 HBase(Hadoop) 的工具类org.apache.hadoop.hbase.util.Bytes进行字节数组和Flink 数据类型转换。
图3 在/etc/hosts文件中配置IP地址 步骤2:配置ODBC连接Kyuubi 安装ODBC驱动 根据数据库类型,需要在本地主机上安装相应的ODBC驱动。本例使用Hive数据库类型。 Cloudera Hive ODBC,推荐使用v2.5.12。
图3 在/etc/hosts文件中配置IP地址 步骤2:配置ODBC连接Kyuubi 安装ODBC驱动 根据数据库类型,需要在本地主机上安装相应的ODBC驱动。本例使用Hive数据库类型。 Cloudera Hive ODBC,推荐使用v2.5.12。
OBS Browser+提供强大的拖拽上传功能,您可以将本地的一个或多个文件或者文件夹拖拽到对象存储的对象列表或者并行文件系统的对象列表中;同时您也可以将文件或文件夹拖拽到指定的目录上,这样可以上传到指定的目录中。
DLI支撑本地测试Spark作业吗? DLI暂不支持本地测试Spark作业,您可以安装DLI Livy工具,通过Livy工具提供的交互式会话能力调测Spark作业。 推荐使用使用Livy提交Spark Jar作业。
数据类型映射 HBase以字节数组存储所有数据。在读和写过程中要序列化和反序列化数据。 Flink 的 HBase 连接器利用 HBase(Hadoop) 的工具类org.apache.hadoop.hbase.util.Bytes进行字节数组和Flink 数据类型转换。