检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置队列的基础配置，具体参数信息如下。 表3 弹性资源池添加队列基础配置 参数名称 参数说明 配置样例 名称 弹性资源池添加的队列名称。 dli_queue_01 类型 选择创建的队列类型。 执行SQL作业请选择SQL队列。 执行Flink或Spark作业请选择通用队列。 _ 执行引擎 SQL队列可以选择队列引擎为Spark或者HetuEngine。
等协议。 端口：允许远端地址访问指定端口，取值范围为：1～65535。 本例中选择TCP协议，端口值不填或者填写为数据源的端口。 类型 IP地址类型。 IPv4 源地址 源地址用于放通来自IP地址或另一安全组内的实例的访问。 本例填写获取的队列网段。 描述 安全组规则的描述信息，非必填项。
SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 数据类型的使用，请参考Format章节。 Hive 方言支持的 DDL 语句，Flink 1.15 当前仅支持使用Hive语法创建OBS表和使用hive语法的DLI
jar获取JDBC驱动，驱动名称：huaweicloud-dli-jdbc-xxx-dependencies.jar。 连接信息： 表1 连接信息 类别 说明 获取方式 DLI AKSK AK/SK认证就是使用AK/SK对请求进行签名，从而通过身份认证。 获取AK/SK DLI Endpoint地址
'connector.password' = '' ); 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 数据源类型，‘jdbc’表示使用JDBC connector，必须为jdbc connector.url 是 数据库的URL connector.table
'format-type' = '' ); 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 数据源类型，“dis”表示数据源为数据接入服务，必须为dis。 connector.region 是 数据所在的DIS区域。 connector.ak
BS桶。 使用fileSystem时必须开启checkpoint，保证作业的一致性。 format.type为parquet时，支持的数据类型为string, boolean, tinyint, smallint, int, bigint, float, double, map<string
Spark作业相关SDK Flink作业相关SDK 02 购买 DLI服务目前支持：SQL作业、Spark作业和Flink作业。您可以根据业务类型以及数据量大小灵活选择DLI的计费方式。 价格说明 计费说明 计费详情和样例 04 使用 您可以详细了解DLI管理控制台的功能，常用SQL
password' = '' ); 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 connector类型，需配置为'gaussdb' connector.url 是 jdbc连接地址，格式为：jdbc:postgresql://${ip}:${port}/${dbName}
'format.type' = '' ); 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 connector类型，对于kafka，需配置为'kafka'。 connector.version 是 Kafka版本，支持：'0.10'、 '0.11'。0
假设Parquet格式文件为原CSV文件大小的1/4，则数据扫描费用为原CSV文件扫描费用的1/4。 计费规则 表1 数据扫描量计费规则 类型 资源 说明 数据扫描 数据扫描量 仅default 队列支持按扫描量计费（DLI预置default队列供用户体验）。 扫描量计费=单价*扫描量数据（GB）。
谓词和一个限制了双方时间的 join 条件。 例如使用两个适当的范围谓词（<, <=, >=, >），一个 BETWEEN 谓词或一个比较两个输入表中相同类型的时间属性（即处理时间和事件时间）的相等谓词 比如，以下谓词是合法的窗口 join 条件： ltime = rtime ltime >= rtime
谓词和一个限制了双方时间的 join 条件。 例如使用两个适当的范围谓词（<, <=, >=, >），一个 BETWEEN 谓词或一个比较两个输入表中相同类型的时间属性（即处理时间和事件时间）的相等谓词 比如，以下谓词是合法的窗口 join 条件： ltime = rtime ltime >= rtime
中自动推导而得的。 支持的Connector Kafka Upsert Kafka Elasticsearch 参数说明 表1 参数 是否必选 默认值 类型 说明 format 是 (none) String 声明使用的格式，这里应为'json'。 json.fail-on-missing-field
谓词和一个限制了双方时间的 join 条件。 例如使用两个适当的范围谓词（<, <=, >=, >），一个 BETWEEN 谓词或一个比较两个输入表中相同类型的时间属性（即处理时间和事件时间）的相等谓词 比如，以下谓词是合法的窗口 join 条件： ltime = rtime ltime >= rtime
是否必选 说明 数据格式 是 选择导出结果的数据格式，当前支持json和csv格式。 队列 是 选择执行导出作业的队列。SQL作业只能在队列类型为“SQL队列”下执行。 压缩格式 否 导出查询结果数据的压缩方式，选择如下压缩方式。 none bzip2 deflate gzip 存储路径
cos cos(DOUBLE a) DOUBLE 返回给定角度a的余弦值。 cot1 cot1(DOUBLE a) DOUBLE或DECIMAL类型 计算number的余切函数，输入为弧度值。 degress degrees(DOUBLE a) DOUBLE 返回弧度所对应的角度。 e
table)\ .option("password", auth)\ .mode("Overwrite")\ .save() 保存类型：Overwrite、Append、ErrorIfExis、Ignore 四种 如果需要指定key，则通过“.option("key.column"
subject 参数来指定。 支持的connector kafka upsert kafka 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 format 是 (none) String 指定使用格式，这里应该是'avro-confluent'。 avro-confluent
projectId'='', 'dew.csms.version'='' ); 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 参数说明 dew.endpoint 是 无 String 指定要使用的DEW服务所在的endpoint信息。 获取地区和终端节点。 配置示例：'dew
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
