检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用to_timestamp或者to_localtimestamp进行转换。 示例 将amount值转换成字符串，长度为转换后的实际长度，配置的长度无效。 insert into temp select cast(amount as VARCHAR(10)) from source_stream;
使用to_timestamp或者to_localtimestamp进行转换。 示例 将amount值转换成字符串，长度为转换后的实际长度，配置的长度无效。 insert into temp select cast(amount as VARCHAR(10)) from source_stream;
Connector。详细操作请参考Flink OpenSource SQL1.15语法概览。 Flink 1.15需要配置租户面自定义委托，并在作业中配置委托信息。委托的权限需要根据作业具体的业务场景需求进行配置。详情操作请参考DLI自定义委托。 Flink 1.15作业管理凭据的方法： Flink OpenSource
化漏洞（CNVD-2022-40233）等，如发现服务模块涉及漏洞影响，会迅速通过官方解决方案升级现网更新漏洞。 更新配置 DLI云服务通过版本更新升级更新配置。 父主题： 安全
table_name 需要导入数据的DLI表的名称。 以下是可以在导入数据时使用的配置选项： DATA_TYPE: 指定导入的数据类型，当前支持CSV、Parquet、ORC、JSON、Avro类型，默认值为“CSV”。 配置项为OPTIONS('DATA_TYPE'='CSV') 导入CSV和JSON文件时，有三种模式可以选择：
table_name 需要导入数据的DLI表的名称。 以下是可以在导入数据时使用的配置选项： DATA_TYPE: 指定导入的数据类型，当前支持CSV、Parquet、ORC、JSON、Avro类型，默认值为“CSV”。 配置项为OPTIONS('DATA_TYPE'='CSV') 导入CSV和JSON文件时，有三种模式可以选择：
盖了全量数据而不是预期的分区数据，这可能是因为动态分区覆盖功能没有被启用。 如果需要动态覆盖DataSource表指定的分区数据，您需要先配置参数 dli.sql.dynamicPartitionOverwrite.enabled=true，然后通过insert overwrite语句实现。
如何合并小文件 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 设置配置项。 spark.sql.shuffle.partitions = 分区数量（即此场景下最终生成的文件数量） 执行SQL。 INSERT OVERWRITE
on: Message stream modified (41) 解决方案 编辑“krb5.conf” 配置文件，将文件中所有“renew_lifetime = xxx”配置删除。重新创建和提交Spark作业。 父主题： 对接HBase
OpenSource SQL作业。 单击操作列的“编辑”，进入作业编辑页面。 在右侧的“运行参数”配置区域，选择新的Flink版本。 使用Flink 1.15以上版本的引擎执行作业时，需要在自定义配置中配置委托信息，其中key为"flink.dli.job.agency.name"，valu
设置多版本备份数据保留周期 功能描述 在DLI数据多版本功能开启后，备份数据默认保留7天，您可以通过配置系统参数“dli.multi.version.retention.days”调整保留周期。保留周期外的多版本数据后续在执行insert overwrite或者truncate语
设置多版本备份数据保留周期 功能描述 在DLI数据多版本功能开启后，备份数据默认保留7天，您可以通过配置系统参数“dli.multi.version.retention.days”调整保留周期。保留周期外的多版本数据后续在执行insert overwrite或者truncate语
建议使用临时AK/SK，获取方式可参见统一身份认证服务_获取临时AK/SK。 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 表1 DLI获取访问凭据相关开发指南 类型 操作指导 说明 FLink作业场景 Flink
SQL作业或者Flink Jar作业时，可以在作业编辑页面，勾选“保存作业日志”参数，将作业运行时的日志信息保存到OBS。 勾选“保存作业日志”参数后，需配置“OBS桶”参数，选择OBS桶用于保存用户作业日志信息。如果选择的OBS桶是未授权状态，需要单击“OBS授权”。 日志信息的保存路径为：“
projectId指项目编号，从华为云“基本信息>我的凭证”页面获取项目编号。 “？”后面接其他配置项，每个配置项以“key=value”的形式列出，配置项之间以“;”隔开，详见表2 表2 属性配置项 属性项（key） 必须配置 默认值（value） 描述 queuename 是 - DLI服务的队列名称。
Python版本建议使用2.7.10和3.4.0以上版本，需要配置Visual C++编译环境Visual C++ build tools 或者 Visual Studio。 关于Python开发环境的配置请参考Python SDK环境配置。 DLI Python SDK依赖第三方库包括：urllib3
权。 Java SDK 支持 Java JDK 1.8 及其以上版本。关于Java开发环境的配置请参考Java SDK环境配置。 关于Java SDK的获取与安装请参考SDK的获取与安装。 使用SDK工具访问DLI，需要用户初始化DLI客户端。用户可以使用AK/SK(Access
读取数据库中的数据所在的表名。 driver 否 连接数据库所需要的驱动。若未配置，则会自动通过URL提取。 username 否 数据库认证用户名，需要和'password'一起配置。 password 否 数据库认证密码，需要和'username'一起配置。 scan.partition.column 否
检查安全组网络（vpc）配置。 若按照步骤1重建跨源连接后还是报错“communication link failure”，则检查vpc配置。 经典型跨源： 入方向规则：检查本安全组内的入方向网段及端口是否已开放，若没有则添加。 检查网段及端口是否配置。 图2 检查网段及端口是否配置 如果不存在，则进行添加。
Flink作业模板相关 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 新建作业模板 DLI提供新建Flink作业模板的接口。您可以使用该接口新建一个Flink作业模板。示例代码如下： 1 2 3 4
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
