检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
注意该字符串的格式必须为"yyyy-MM-dd"格式，否则语义校验会报错。 示例 测试语句 SELECT DATE "2021-08-19" AS `result` FROM testtable; 测试结果 result 2021-08-19 TIME 功能描述 将时间字符串以"HH:mm:ss[
注意该字符串的格式必须为"yyyy-MM-dd"格式，否则语义校验会报错。 示例 测试语句 SELECT DATE "2021-08-19" AS `result` FROM testtable; 测试结果 result 2021-08-19 TIME 功能描述 将时间字符串以"HH:mm:ss[
注意该字符串的格式必须为"yyyy-MM-dd"格式，否则语义校验会报错。 示例 测试语句 SELECT DATE "2021-08-19" AS `result` FROM testtable; 测试结果 result 2021-08-19 DATE_ADD 功能描述 DATE
队列相关API（推荐） 创建队列 删除队列 查询所有队列 查询队列详情 重启/扩容/缩容队列 创建指定地址连通性测试请求 查询指定地址连通性测试详情
源中增加MRS的主机信息。 设置HBase和Kafka的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据HBase和Kafka的地址测试队列连通性。如果能连通，则表示跨源已经绑定成功，否则表示未成功。 参考MRS HBase的使用，通过HBase s
如何查看DLI Spark作业的实际资源使用情况 将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？ 如何在DLI中运行复杂PySpark程序？ 如何通过JDBC设置spark.sql.shuffle.partitions参数提高并行度
单Flink集群仅支持单版本下的作业开发 易用性 即开即用，Serverless架构，跨AZ容灾能力。 用户仅编写SQL代码，无需编译，只需关心业务代码。 支持用户通过编写SQL连接各个数据源，如RDS、DWS、Kafka、Elasticsearch等数据源; 用户无需登录维护集群
SDK基础模块。 examples python样例代码。 pyDLI pyHive的实现接口。 setup.py Python SDK安装脚本。 安装DLI Python SDK 下载并解压SDK安装包。 将"dli-sdk-python-<version>.zip"解压到本地目录，目录可自行调整。
创建并提交SQL作业 SQL编辑器简介 SQL作业编辑器支持使用SQL语句执行数据查询操作。 支持SQL2003，兼容SparkSQL，详细语法描述请参见《数据湖探索SQL语法参考》。 在总览页面，单击左侧导航栏中的“SQL编辑器”或SQL作业简介右上角的“创建作业”，可进入“SQL编辑器”页面。
统按超时取消处理。 用户可以通过dli.sql.job.timeout（单位是秒）参数配置超时时间。 DLI支撑本地测试Spark作业吗? DLI暂不支持本地测试Spark作业，您可以安装DLI Livy工具，通过Livy工具提供的交互式会话能力调测Spark作业。 推荐使用使用Livy提交Spark
TRING”数据类型。建表成功后插入测试数据到“array_test”中。操作如下： 创建表。 CREATE TABLE array_test(name STRING, id ARRAY < INT >) USING PARQUET; 插入测试数据。 INSERT INTO array_test
些平台。 优势 高效的Spark编程模型：使用DLI直接从DIS中获取数据，进行数据清理等预处理操作。只需编写处理逻辑，无需关心多线程模型。 简单易用：直接使用标准SQL编写指标分析逻辑，无需关注背后复杂的分布式计算平台。 按需计费：日志分析按时效性要求按周期进行调度，每次调度之
开发流程说明 序号 阶段 操作界面 说明 1 新建Maven工程，配置pom文件 IntelliJ IDEA 参考操作步骤说明，编写UDAF函数代码。 2 编写UDAF函数代码 3 调试，编译代码并导出Jar包 4 上传Jar包到OBS OBS控制台 将生成的UDAF函数Jar包文件上传到OBS目录下。
对Flink的队列网段放通。参考测试地址连通性根据Kafka的地址测试队列连通性。若能连通，则表示跨源已经绑定成功，否则表示未成功。 参考创建Flink OpenSource作业，创建flink opensource sql作业，输入以下作业脚本，提交运行作业。 注意：创建作业时
增强型跨源创建后状态为“已激活”，但不能说明队列和数据源已连通。建议前往队列管理页面测试数据源网络是否打通。操作步骤如下： 在队列管理页面选择队列。 单击“操作”列中的“更多 > 测试地址连通性”。 输入数据源的“IP:端口”测试网络连通性。 在增强型跨源连接的详情页可以查看对等连接的相关信息。
由信息。 详细操作请参考自定义路由信息。 图8 增强型跨源链接添加测试路由信息 步骤7：测试公网连通性 测试队列到公网的连通性。单击队列操作列下方的“更多 > 测试地址连通性”，输入访问的公网IP地址。 图9 测试地址联通性 父主题： 配置DLI读写外部数据源数据
型跨源，并绑定所要使用的Flink弹性资源池。 设置MySQL的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据MySQL的地址测试队列连通性。如果能连通，则表示跨源已经绑定成功，否则表示未成功。 在MySQL中创建用户test，并授权，SQL语句参考如下：
列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafka的地址测试队列连通性（通用队列-->找到作业的所属队列-->更多-->测试地址连通性-->输入kafka的地址-->测试）。若能连通，则表示跨源已经绑定成功；否则表示未成功。 创建flink opensource
kyuubi-{version}-bin.tar.gz 配置环境变量（可选）： 将Kyuubi的bin目录添加到PATH环境变量中，确保可以在任何位置调用Kyuubi的脚本。 配置Kyuubi连接DLI 在Kyuubi的根目录下添加DLI驱动。 在“DLI SDK DOWNLOAD”页面，单击Kyuubi驱动包链接，下载对应版本的驱动包。
列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafka的地址测试队列连通性（通用队列-->找到作业的所属队列-->更多-->测试地址连通性-->输入kafka的地址-->测试）。若能连通，则表示跨源已经绑定成功；否则表示未成功。 创建flink opensource
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
