检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
定所要使用的Flink弹性资源池。 设置Redis和Kafka的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据Redis的地址测试队列连通性。若能连通，则表示跨源已经绑定成功，否则表示未成功。 登录Redis客户端，通过如下命令向Redis发送如下数据：
定所要使用的Flink弹性资源池。 设置Redis和Kafka的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据Redis的地址测试队列连通性。如果能连通，则表示跨源已经绑定成功，否则表示未成功。 登录Redis客户端，通过如下命令向Redis发送如下数据：
时长过短，下游flink作业在重启或者异常中断阻塞的情况下，上游增量数据已经Clean掉了，flink需要从parquet文件读增量数据，性能会有下降；如果保留时间过长，会导致log里面的历史数据冗余存储。 具体可以按照下面的计算公式来保留2个小时的历史版本数据： 版本数设置为3
型跨源，并绑定所要使用的Flink弹性资源池。 设置Kafka的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据Kafka的地址测试队列连通性。若能连通，则表示跨源已经绑定成功，否则表示未成功。 参考创建Flink OpenSource作业，创建flink
ng.enabled true 该配置项用于启用或禁用动态分区修剪。在执行SQL查询时，动态分区修剪可以帮助减少需要扫描的数据量，提高查询性能。 配置为true时，代表启用动态分区修剪，SQL会在查询中自动检测并删除那些不满足WHERE子句条件的分区，适用于在处理具有大量分区的表时。
fetchsize 读取数据时，每一批次获取数据的记录数，默认值1000。设置越大性能越好，但占用内存越多，该值设置过大会有内存溢出的风险。 batchsize 写入数据时，每一批次写入数据的记录数，默认值1000。设置越大性能越好，但占用内存越多，该值设置过大会有内存溢出的风险。 truncate
cast(case_timestamp_to_date as date) from kafkaSource; 连接Kafka集群，向Kafka的topic中发送如下测试数据： {"cast_int_to_string":"1", "cast_String_to_int": "1", "case_string_to_timestamp":
所要使用的Flink弹性资源池。 设置PostgreSQL的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据PostgreSQL的地址测试队列连通性。若能连通，则表示跨源已经绑定成功，否则表示未成功。 在PostgreSQL中创建数据库flink，并创建名为test的schema。
型跨源，并绑定所要使用的Flink弹性资源池。 设置Kafka的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据Kafka的地址测试队列连通性。若能连通，则表示跨源已经绑定成功，否则表示未成功。 参考创建Flink OpenSource作业，创建flink
fetchsize 读取数据时，每一批次获取数据的记录数，默认值1000。设置越大性能越好，但占用内存越多，该值设置过大会有内存溢出的风险。 batchsize 写入数据时，每一批次写入数据的记录数，默认值1000。设置越大性能越好，但占用内存越多，该值设置过大会有内存溢出的风险。 truncate
进入云服务器的根目录/bin执行以下命令启动kyuubi。 cd /bin ./kyuubi start restart 连接成功后，可以执行SQL查询来测试Kyuubi与DLI的连接是否正常工作。 （可选）配置主机的host文件提高Kyuubi的访问效率 为了提高Kyuubi的访问效率，建议在主机的/etc/hosts
源连接）。 创建完跨源连接后，可以通过“资源管理 > 队列管理”页面，单击“操作”列“更多”中的“测试地址连通性”，验证队列到外部数据源之间的网络连通是否正常。详细操作可以参考测试地址连通性。 操作步骤 在DLI管理控制台的左侧导航栏中，单击“作业管理”>“Spark作业”，进入“Spark作业”页面。
根据kafka所在的虚拟私有云和子网创建相应的跨源，并绑定所要使用的队列。然后设置安全组入向规则，使其对当前将要使用的队列放开，并根据kafka的地址测试队列连通性。若能连通，则表示跨源已经绑定成功；否则表示未成功 创建flink opensource sql作业，并选择flink版本为1.
进入云服务器的根目录/bin执行以下命令启动kyuubi。 cd /bin ./kyuubi start restart 连接成功后，可以执行SQL查询来测试Kyuubi与DLI的连接是否正常工作。 （可选）配置主机的host文件提高Kyuubi的访问效率 为了提高Kyuubi的访问效率，建议在主机的/etc/hosts
进入云服务器的根目录/bin执行以下命令启动kyuubi。 cd /bin ./kyuubi start restart 连接成功后，可以执行SQL查询来测试Kyuubi与DLI的连接是否正常工作。 （可选）配置主机的host文件提高Kyuubi的访问效率 为了提高Kyuubi的访问效率，建议在主机的/etc/hosts
DLI服务预置了名为default的队列供用户体验。用户在不确定所需队列容量或没有可创建队列空间的情况下，可以使用该队列执行作业。队列资源按需分配，按扫描量计费，适用于测试项目场景，资源消耗不高，按需计费成本更低，无需任何预付款。 约束限制 仅default队列适用按数据扫描量计费。 如果扫描字节数量少于10M，
型跨源，并绑定所要使用的Flink弹性资源池。 设置Kafka的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据Kafka的地址测试队列连通性。若能连通，则表示跨源已经绑定成功，否则表示未成功。 参考创建Flink OpenSource作业，创建flink
上传驱动 添加后驱动类为空，需要单击“找到类”。识别出来的驱动类，需要与“设置”页的“类名”一致。 单击“确定”，驱动设置完成。 步骤2：测试连接数据库 在DBeaver客户端单击“数据库 > 新建数据库连接”，选择步骤1：在DBeaver新建DLI JDBC驱动中创建的数据驱动。
SQL作业相关问题 如何理解DLI分区表的列赋权？ 如何避免字符码不一致导致的乱码？ OBS表压缩率较高 更多 跨源连接相关问题 Flink作业如何进行性能调优？ 更多 Spark作业相关问题 如何查看DLI Spark作业的实际资源使用情况 Spark队列操作OBS表如何设置AK/SK？ 更多
根据kafka所在的虚拟私有云和子网创建相应的跨源，并绑定所要使用的队列。然后设置安全组入向规则，使其对当前将要使用的队列放开，并根据kafka的地址测试队列连通性。如果能连通，则表示跨源已经绑定成功；否则表示未成功 创建flink opensource sql作业，并选择flink版本为1
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
