检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
传输效率。 动态Executor shuffle数据优化 提升资源扩缩容的稳定性,当shuffle文件不需要时清理Executor。 支持配置小文件合并 使用SQL过程中,生成的小文件过多时,会导致作业执行时间过长,且查询对应表时耗时增大,建议对小文件进行合并。 参考如何合并小文件完成合并小文件。
最小化提交,避免依赖包与flink内核中依赖包冲突: 仅Flink 1.15版本支持Flink Jar作业最小化提交,通过在运行优化参数中配置flink.dli.job.jar.minimize-submission.enabled=true可以开启最小化提交。 Flink相关依
>“Flink模板”。 单击页面右上角“创建模板”,弹出“创建模板”页面。 输入“名称”和“描述”。 图1 新建Flink模板 表4 模板配置信息 参数 参数说明 类型 模板类型。 Flink SQL作业模板 Flink OpenSource SQL作业模板 名称 模板名称,只能
口: 登录MRS管理控制台,选择“集群名称 > 组件管理 > ClickHouse > 服务配置”,角色选择“ClickHouseBalancer”,搜索“lb_http_port”配置参数值。默认为:21425。 数据库名为ClickHouse集群创建的数据库名称。 connector
IDEA界面,选择调试的配置文件,单击“Edit Configurations”。 在“Run/Debug Configurations”界面,勾选:include dependencies with "Provided" scope。 单击“OK”完成应用配置。 使用方式 将写好的
图9 队列列表 单击“全局配置 > 服务授权”,选中“VPC Administrator”,单击“更新委托权限”,赋予DLI操作用户VPC资源的权限,用于创建VPC的“对等连接”。 图10 更新委托权限 单击“跨源连接 > 增强型跨源 > 创建”,配置如下连接信息后单击“确定”。
IDEA界面,选择调试的配置文件,单击“Edit Configurations”。 在“Run/Debug Configurations”界面,勾选:include dependencies with "Provided" scope。 单击“OK”完成应用配置。 使用方式 将写好的
); 参数说明 表1 参数说明 参数 是否必选 说明 connector 是 固定为print。 print-identifier 否 配置一个标识符作为输出数据的前缀。 standard-error 否 该值只能为true或false,默认为false。 若为true,则表示
数据库的URL connector.table 是 读取数据库中的数据所在的表名 connector.driver 否 连接数据库所需要的驱动。若未配置,则会自动通过URL提取 connector.username 否 访问数据库所需要的账号 connector.password 否 访问数据库所需要的密码
IDEA界面,选择调试的配置文件,单击“Edit Configurations”。 在“Run/Debug Configurations”界面,勾选:include dependencies with "Provided" scope。 单击“OK”完成应用配置。 使用方式 编写自定
IDEA界面,选择调试的配置文件,单击“Edit Configurations”。 在“Run/Debug Configurations”界面,勾选:include dependencies with "Provided" scope。 单击“OK”完成应用配置。 使用方式 编写自定
依据的DLI分区表。在TBLPROPERTIES中配置dli.multi.version.enable、comment、orc.compress和auto.purge。 dli.multi.version.enable:本例配置为true,即代表开启DLI数据多版本功能,用于表数据的备份与恢复。
数据多版本相关语法 创建OBS表时开启数据多版本 修改表时开启或关闭数据多版本 设置多版本备份数据保留周期 查看多版本备份数据 恢复多版本备份数据 配置多版本过期数据回收站 清理多版本数据
{} @Override public void close() throws Exception {} } 依赖的pom配置文件内容参考如下: <dependency> <groupId>org.apache.flink</groupId> <
数据多版本相关语法 创建OBS表时开启数据多版本 修改表时开启或关闭数据多版本 设置多版本备份数据保留周期 查看多版本备份数据 恢复多版本备份数据 配置多版本过期数据回收站 清理多版本数据 父主题: Spark SQL语法参考(即将下线)
依据的DLI分区表。在TBLPROPERTIES中配置dli.multi.version.enable、comment、orc.compress和auto.purge。 dli.multi.version.enable:本例配置为true,即代表开启DLI数据多版本功能,用于表数据的备份与恢复。
数据库的URL connector.table 是 读取数据库中的数据所在的表名 connector.driver 否 连接数据库所需要的驱动。若未配置,则会自动通过URL提取 connector.username 否 访问数据库所需要的账号 connector.password 否 访问数据库所需要的密码
); 参数说明 表1 参数说明 参数 是否必选 说明 connector 是 固定为print。 print-identifier 否 配置一个标识符作为输出数据的前缀。 standard-error 否 该值只能为true或false,默认为false。 若为true,则表示
{} @Override public void close() throws Exception {} } 依赖的pom配置文件内容参考如下: <dependency> <groupId>org.apache.flink</groupId> <
16:06:06,200.00,180.00,2021-03-24 16:10:06,0001,Alice,330106 读取sink表中配置的obs路径中的orc文件,其数据结果如下 202103251202020001, miniAppShop, 2021-03-25 12:02:02