检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
默认是Spark作业所在的项目ID。 获取项目ID spark.dli.job.agency.name 是 - String 自定义委托名称。 样例代码 本章节JAVA样例代码演示将DataGen数据处理后写入到OBS，具体参数配置请根据实际环境修改。 创建DLI访问DEW的委托并完成委托授权。 详细步骤请参考自定义DLI委托权限。
SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 样例代码 用户可以使用OBS授权操作的接口，将OBS桶的操作权限授权给DLI, 用于保存用户作业的数据和作业的运行日志等。 示例代码如下： 1 2 3 4 5 6 7 private static void
return print(table) 完整样例代码和依赖包说明请参考：Python SDK概述。 创建OBS表 DLI提供创建OBS表的接口。您可以使用该接口创建数据存储在OBS的表。示例代码如下： 1 2 3 4 5 6 7 8 9 10 11
的能力。本章节JAVA样例代码演示将kafka数据处理后写入到OBS，具体参数配置请根据实际环境修改。 环境准备 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。 Maven工程的pom.xml文件配置请参考JAVA样例代码（Flink 1.12）中“pom文件配置”说明。
这里应该是 'raw'。 raw.charset 否 UTF-8 String 指定字符集来编码文本字符串。 raw.endianness 否 big-endian String 指定字节序来编码数字值的字节。有效值为'big-endian'和'little-endian'。 更多细节可查阅字节序。
下表详细说明了这种格式支持的 SQL 类型，包括用于编码和解码的序列化类和反序列化类的详细信息。 表2 数据类型映射 Flink SQL 类型 值 CHAR / VARCHAR / STRING UTF-8（默认）编码的文本字符串。编码字符集可以通过 'raw.charset' 进行配置。
Spark作业相关 完整样例代码和依赖包说明请参考：Python SDK概述。 提交批处理作业 DLI提供执行批处理作业的接口。您可以使用该接口执行批处理作业。示例代码如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
将测试数据上传到OBS桶下。 3 新建Maven工程，配置pom文件 IntelliJ IDEA 参考样例代码说明，编写程序代码读取OBS数据。 4 编写程序代码 5 调试，编译代码并导出Jar包 6 上传Jar包到OBS和DLI OBS控制台 DLI控制台 将生成的Spark Ja
单位为秒。默认值为3600秒。 flink.dli.job.agency.name 是 - String 自定义委托名称。 样例代码 本章节JAVA样例代码演示将DataGen数据处理后写入到OBS，具体参数配置请根据实际环境修改。 创建DLI访问DEW的委托并完成委托授权。详细步骤请参考自定义DLI委托权限。
warehouse.dir”。 3 新建Maven工程，配置pom文件 IntelliJ IDEA 参考样例代码说明，编写程序代码创建DLI表或OBS表。 4 编写程序代码 5 调试，编译代码并导出Jar包 6 上传Jar包到OBS和DLI OBS控制台 DLI控制台 将生成的Spark
SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 上传资源包 您可以使用DLI提供的接口上传资源包，示例代码如下。完整样例代码和依赖包说明请参考：Python SDK概述。 1 2 3 4 5 6 def upload_resource(dli_client
Teradata函数 以下函数提供Teradata SQL的能力。 字符串函数 char2hexint(string) 描述：返回字符串的UTF-16BE编码的十六进制表示形式。 index(string, substring) 描述：同strpos() 函数。 日期函数 本节中的函数使用与Teradata
故障处理 问题1：将代码直接复制到py文件中后，'\'后出现“unexpected character”问题。 问题 将代码直接复制到py文件中后，'\'后出现“unexpected character”问题。 解决方案 将'\'后面的缩进或是空格全部删除。 父主题： 对接Redis
“default”为内置数据库，不能创建名为“default”的数据库。 完整样例代码和依赖包说明请参考：Python SDK概述。 删除数据库 DLI提供删除数据库的接口。您可以使用该接口删除数据库。示例代码如下： 1 2 3 4 5 6 def delete_db(dli_client
需要一定的技术能力完成代码编译、集群搭建、配置、运维。 用户需要自己编写完整代码并进行编译。 用户需要登录集群使用命令进行提交，且需要维护集群。 用户需要在代码里写入checkpoint才能开启。 作业模板 内置多个常见Flink SQL通用场景模板，帮助您快速了解和构建作业代码 暂无 企业安全
当前使用SDK创建的作业不支持在default队列上运行。 查询所有队列 DLI提供查询队列列表接口，您可以使用该接口并选择相应的队列来执行作业。示例代码如下： 1 2 3 4 5 6 7 8 9 def list_all_queues(dli_client): try:
根因分析 检查网络是否发生闪断，分析集群负载是否很高。 如果频繁出现Full GC, 建议排查代码，确认是否有内存泄漏。 图2 Full GC 处理步骤 如果频繁Full GC, 建议排查代码，是否有内存泄漏。 增加单TM所占的资源。 联系技术支持，修改集群心跳配置参数。 父主题： Flink作业性能调优类
userDefined结果表 功能描述 您可通过编写代码实现将DLI处理之后的数据写入到指定的云生态或者开源生态。 前提条件 已编写代码实现自定义sink类： 自定义sink类需要继承Flink开源类：RichSinkFunction，并指定数据类型为：Tuple2<Boolean
Kafka、HBase、Hive、HDFS，DWS，DCS等数据源的交互。 本章节以通过自定义作业与MRS进行交互为例进行说明。 更多样例代码请通过DLI样例代码获取。 环境准备 登录MRS管理控制台，创建MRS集群，选择“开启kerberos”，勾选“Kafka”, “HBase”, “
10; 或者双击左侧表名“qw”，上述查询语句会自动在作业编辑窗口中输入。 DLI还为您提供了丰富的SQL模板，每种模板都为您提供了使用场景、代码示例和使用指导。您也可以直接使用SQL作业模板快速实现您的业务逻辑。了解模板更多信息请参考创建SQL作业模板。 单击“更多”中的“语法校验”，确认SQL语句书写是否正确。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
