检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka是线下集群，需要通过增强型跨源连接功能将Flink作业与Kafka进行对接。且用户可以根据实际所需设置相应安全组规则。 注意事项 对接的Kafka集群不支持开启SASL_SSL。 语法格式 1 2 3 4 5 6 7 8 9 10 11 12 create table kafkaSource(
Kafka是线下集群，需要通过增强型跨源连接功能将Flink作业与Kafka进行对接。且用户可以根据实际所需设置相应安全组规则。 注意事项 对接的Kafka集群不支持开启SASL_SSL。 语法格式 1 2 3 4 5 6 7 8 9 10 11 12 create table kafkaSource(
<col3>) as (<key1>,<key2>,...,<col1>, <col2>) 参数的数据类型 将一行数据转为多行的UDTF，将列中存储的以固定分隔符格式分隔的数组转为多行。 trunc_numeric trunc_numeric(<number>[, bigint<decimal_places>])
obs_bucket String 保存Spark作业的obs桶，需要保存作业时配置该参数。 auto_recovery Boolean 是否开启重试功能，如果开启，可在Spark作业异常失败后自动重试。默认值为“false”。 max_retry_times Integer 最大重试次数。最大值为“100”，默认值为“20”。
TPC组织颁布的TPC-H 标准满足了数据仓库领域的测试需求,并且促使各个厂商以及研究机构将该项技术推向极限。 本示例将演示DLI直接对存储在OBS中的TPC-H数据集进行查询的操作，DLI已经预先生成了100M的TPC-H-2.18的标准数据集，已将数据集上传到了OBS的tp
图1 我的配额 您可以在“服务配额”页面，查看各项资源的总配额及使用情况。 如果当前配额不能满足业务要求，请参考后续操作，申请扩大配额。 如何申请扩大配额？ 登录管理控制台。 在页面右上角，选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图2 我的配额 单击“申请扩大配额”。
图1 我的配额 您可以在“服务配额”页面，查看各项资源的总配额及使用情况。 如果当前配额不能满足业务要求，请参考后续操作，申请扩大配额。 如何申请扩大配额？ 登录管理控制台。 在页面右上角，选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图2 我的配额 单击“申请扩大配额”。
<col3>) as (<key1>,<key2>,...,<col1>, <col2>) 参数的数据类型 将一行数据转为多行的UDTF，将列中存储的以固定分隔符格式分隔的数组转为多行。 trunc_numeric trunc_numeric(<number>[, bigint<decimal_places>])
如果该函数已经存在，则不会进行任何操作。 LANGUAGE JAVA|SCALA Language tag 用于指定 Flink runtime 如何执行这个函数。目前，只支持 JAVA, SCALA，且函数的默认语言为 JAVA。 示例 创建一个名为STRINGBACK的函数。 create
BasicCredentials。 仅支持获取AK、SK、SecurityToken。 获取到AK、SK、SecurityToken后，请参考如何使用凭据管理服务替换硬编码的数据库账号密码查询凭据。 约束限制 仅支持Spark3.3.1版本（Spark通用队列场景）使用委托授权访问临时凭证：
输入kafka的地址 > 测试）。如果能连通，则表示跨源已经绑定成功；否则表示未成功。 创建flink opensource sql作业，开启checkpoint，并提交运行，其代码如下： CREATE TABLE kafkaSource ( order_id string,
CPU核数）} x1 driver所占CUs数=max [（ driver内存÷4）， driver CPU核数] x1 Spark作业未开启高级配置时默认按A类型资源规格配置。 Spark作业中显示计算资源规格的单位为CPU单位，1CU包含1CPU和4GB内存。上述公式中x1代表CPU单位转换为CU单位。
15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据
单击“确定”，下载证书。 下载成功后，在credentials文件中即可获取AK和SK信息。 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放, 使用时解密, 确保安全。 获取Token 当您使用Token认证方式完成认证鉴
DLI经典型跨源连接下线（EOL）公告 公告说明 华为云计划于2024年06月30 00:00（北京时间）将DLI经典型跨源连接的相关功能下线（EOL）。 影响 DLI经典型跨源连接的相关功能下线（EOL）后，不再提供该功能任何技术服务与支持。 如果您正在使用DLI经典型跨源连接
绑定弹性资源池”进行绑定。 虚拟私有云：选择4中获取的RDS的虚拟私有云。 子网：选择4中获取的RDS的子网。 其他参数可以根据需要选择配置。 参数配置完成后，单击“确定”完成增强型跨源配置。单击创建的跨源连接名称，查看跨源连接的连接状态，等待连接状态为：“已激活”后可以进行后续步骤。 单击“资源管理
T(subValue, length) ON TRUE; UDAF UDAF函数需继承AggregateFunction函数。首先需要创建一个用来存储计算结果的Accumulator，如示例里的WeightedAvgAccum。 编写代码示例 public class WeightedAvgAccum
个数） dli.sql.cbo.enabled（是否打开CBO优化策略） dli.sql.cbo.joinReorder.enabled（开启CBO优化时，是否允许重新调整join的顺序） 响应消息 表3 响应参数 参数 是否必选 参数类型 说明 is_success 是 Boolean
输入kafka的地址 > 测试）。如果能连通，则表示跨源已经绑定成功；否则表示未成功。 创建flink opensource sql作业，开启checkpoint，并提交运行，其代码如下： CREATE TABLE kafkaSource ( order_id string,
勾选“作业异常告警”，选择1中创建的“SMN主题”。配置该参数，可以在作业异常情况下，向用户指定邮箱或者手机发送消息通知，方便客户及时感知异常。 图4 作业异常告警 勾选“开启Checkpoint”，依据自身业务情况调整Checkpoint间隔和模式。Flink Checkpoint机制可以保证Flink任务突然
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
