检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
keytab','principal'='krbtest') "); 与未开启kerberos认证相比,开启了kerberos认证需要多设置三个参数,如表1所示。 表1 参数说明 参数名称与参数值 参数说明 'krb5conf' = './krb5.conf' krb5.conf的地址。
RENAME TABLE 命令功能 ALTER TABLE ... RENAME语法用于修改表名。 命令语法 ALTER TABLE tableName RENAME TO newTableName 参数描述 表1 RENAME参数描述 参数 描述 tableName 表名。 newTableName
partition_specs RENAME TO PARTITION partition_specs; 关键字 PARTITION:分区。 RENAME:重命名。 参数说明 表1 参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 注意事项
"ip":"192.168.0.1", "name":"ecs-97f8-0001" }, { "ip":"192.168.0.2", "name":"ecs-97f8-0002" } ] } 响应示例 { "is_success":
在DLI管理控制台的左侧导航栏中,单击作业管理>“Flink作业”,在需要编辑作业对应的“操作”列中,单击“编辑”,进入作业编辑页面。 在“运行参数设置”页签,“UDF Jar”选择创建的程序包,单击“保存”。 选定JAR包以后,SQL里添加UDF声明语句,就可以像普通函数一样使用了。 1
SHOW_HOODIE_PROPERTIES 命令功能 查看指定hudi表的hoodie.properties文件中的配置。 命令格式 call show_hoodie_properties(table => '[table_name]'); 参数描述 表1 参数描述 参数 描述
cu_number 否 Integer 用户为作业选择的CU数量。默认值为“2”。 parallel_number 否 Integer 用户设置的作业并行数目。默认值为“1”。 checkpoint_enabled 否 Boolean 是否开启作业自动快照功能。 开启:true 关闭:false
在DLI管理控制台的左侧导航栏中,单击作业管理>“Flink作业”,在需要编辑作业对应的“操作”列中,单击“编辑”,进入作业编辑页面。 在“运行参数设置”页签,“UDF Jar”选择创建的程序包,单击“保存”。 选定JAR包以后,SQL里添加UDF声明语句,就可以像普通函数一样使用了。 1
开通自动续费”。 批量资源开通自动续费:选择需要开通自动续费的资源,单击列表左上角的“更多 > 开通自动续费”。 选择续费时长,并根据需要设置自动续费次数,单击“开通”。 图3 开通自动续费 父主题: 续费
登录DLI管理控制台,在左侧导航栏单击“跨源管理”,在跨源管理界面,单击“增强型跨源”,单击“创建”。 在增强型跨源创建界面,配置具体的跨源连接参数。具体参考如下。 连接名称:设置具体的增强型跨源名称。本示例输入为:dli_kafka。 弹性资源池:选择步骤1:创建队列中已经创建的队列。 虚拟私有云:选择Kafka的虚拟私有云。
在DLI管理控制台的左侧导航栏中,单击作业管理>“Flink作业”,在需要编辑作业对应的“操作”列中,单击“编辑”,进入作业编辑页面。 在“运行参数设置”页签,“UDF Jar”选择创建的程序包,单击“保存”。 选定JAR包以后,SQL里添加UDF声明语句,就可以像普通函数一样使用了。 1
DROP COLUMN 命令功能 ALTER TABLE ... DROP COLUMN语法用于删除列。 命令语法 ALTER TABLE tableName DROP COLUMN|COLUMNS cols 参数描述 表1 DROP COLUMN参数描述 参数 描述 tableName
10:10:00 cookie2 2015-04-10 11:00:00 url77 2015-04-10 10:50:01 说明:因为没有设置默认值,当没有上两行时显示为NULL。 示例2: SELECT cookieid, createtime, url, LAG(createtime
Jar作业,您需要在代码中开启Checkpoint,同时如果有自定义的状态需要保存,您还需要实现ListCheckpointed接口,并为每个算子设置唯一ID。然后在作业配置中,勾选“从Checkpoint恢复”,并准确配置Checkpoint路径。 图2 开启Checkpoint Flink
费,小时数按整点计算。队列CU时按需计费的计算费用=单价*CU数*小时数。 VPC VPC丰富的功能帮助您灵活管理云上网络,包括创建子网、设置安全组和网络ACL、管理路由表、申请弹性公网IP和带宽等。 VPC本身不收取费用。 但如有互联网访问需求,您需要购买弹性公网IP。弹性公网
建议为streaming-source.monitor-interval(最新分区作为临时表)或 lookup.join.cache.ttl(所有分区作为临时表)设置一个相对较大的值。否则,作业容易出现性能问题,避免表更新和重新加载过于频繁。 缓存刷新需加载整个Hive表。无法区分新数据和旧数据。 参数说明
登录DLI管理控制台,在左侧导航栏单击“跨源管理”,在跨源管理界面,单击“增强型跨源”,单击“创建”。 在增强型跨源创建界面,配置具体的跨源连接参数。具体参考如下。 连接名称:设置具体的增强型跨源名称。 弹性资源池:选择DLI的队列。(未添加至资源池的队列,请直接选择队列名称。) 虚拟私有云:选择步骤1:获取外部数据
percentage)→array<[same as x]> 描述:按照百分比percentage,返回所有x输入值的近似百分位数。每一项的权重值为w且必须为正数。x设置有效的百分位。percentage的值必须在0到1之间,并且所有输入行必须为常量。 select approx_percentile(x,
将非Connector的Flink依赖项(以flink-开头)和第三方库(如Hadoop、Hive、Hudi、Mysql-cdc)的作用域设置为provided,可以确保这些依赖项不会被包含在Jar作业中,从而实现最小化提交,避免依赖包与flink内核中依赖包冲突: 仅Flink
语法格式 1 2 SHOW PARTITIONS [db_name.]table_name [PARTITION partition_specs]; 关键字 PARTITIONS:表中的分区。 PARTITION:分区。 参数说明 表1 参数描述 参数 描述 db_name Da