检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
列可以使用 cost AS price * quantity 进行定义,这个表达式可以包含物理列、常量、函数或变量的任意组合,但这个表达式不能存在任何子查询。 在 Flink 中计算列一般用于为 CREATE TABLE 语句定义 时间属性。 处理时间属性 可以简单地通过使用了系统函数
管理(如创建集群)时,需要使用成对的AK/SK进行加密签名,确保请求的机密性、完整性和请求双方身份的正确性。获取AK/SK操作步骤如下: 注册并登录华为云管理控制台。 将鼠标移动到右上角用户名上,在下拉列表中单击“我的凭证”。 在左侧导航栏单击“访问密钥”。 单击“新增访问密钥”,进入“新增访问密钥”页面。
表生命周期功能支持Hive、DataSource语法创建表、多版本表,暂不支持跨源表、Carbon表。 生命周期单位为天,取值为正整数。 生命周期只能在表级别设置,不能在分区级设置。为分区表指定的生命周期,适用于该表所有的分区。 语法格式 该语法在表级别禁止或恢复表的生命周期 1 ALTER TABLE table_name
Task重算,引起Spark作业和SQL作业内部自动重试,当作业重试超过限制会导致作业执行失败,需用户重新执行作业。 Spark2.3版本作业需要升级作业版本后才能支持运行中动态缩容功能。 Spark Streaming作业、Flink作业在运行过程中所在节点无法缩容,需要暂停作业或迁移作业至其他弹性资源池后才能完成缩容。
比较高,不受表的数据量限制。Flink和Spark引擎都支持,Flink和Spark引擎可以实现交叉混写同一张表。 缺点:Bucket个数不能动态调整,数据量波动和整表数据量持续上涨会导致单个Bucket数据量过大出现大数据文件。需要结合分区表来进行平衡改善。 Flink状态索引
的时间区域限定为固定的 5 分钟,数据集被分成两个不同的时间窗口:[12:00,12:05) 和 [12:05,12:10)。L2 和 R2 不能 join 在一起是因为它们不在一个窗口中。 语法格式 SELECT ... FROM L [LEFT|RIGHT|FULL OUTER]
DMS Kafka 创建Kafka实例 注意: 创建DMS Kafka实例时,不能开启Kafka SASL_SSL。 CSS 创建CSS集群 MRS 创建MRS集群 绑定跨源的DLI队列网段和其他数据源子网网段不能重合。 系统default队列不支持创建跨源连接。 步骤1:获取外部数据源的内网IP、端口和安全组
志。 若需要获取key的值,则可以通过在Flink中设置主键获取,主键字段即对应Redis的key。 若定义主键,则不能够定义复合主键,即主键只能是一个字段,不能是多个字段。 schema-syntax取值约束: 当schema-syntax为map或array时,非主键字段最多
SQL使用DEW管理访问凭据 如果需要获取key的值,则可以通过在Flink中设置主键获取,主键字段即对应Redis的key。 如果定义主键,则不能够定义复合主键,即主键只能是一个字段,不能是多个字段。 schema-syntax取值约束: 当schema-syntax为map或array时,非主键字段最多
char_matchcount char_matchcount函数用于计算str1中有多少个字符出现在str2中。 命令格式 char_matchcount(string <str1>, string <str2>) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 str1、str2
reverse reverse函数用于返回倒序字符串。 命令格式 reverse(string <str>) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 str 是 STRING 如果输入为BIGINT、DOUBLE、DECIMAL或DATETIME类型,则会隐式转换为STRING类型后参与运算。
后续对J1包中函数实现做了逻辑修改,重新执行创建函数F2,指定类名C1,Jar包名J1。 说明: 注意,如果步骤2继续使用函数名F1,则会因为函数名重复导致创建失败。这时可以考虑使用OR REPLACE,或者替换所有作业中的函数F1为F2。 需要重启Spark SQL队列后新创建的自定义函数F2生效 需要重启Spark
如何获取项目ID? 项目ID是系统所在区域的ID。用户在调用API接口进行云资源管理(如创建集群)时,需要提供项目ID。 查看项目ID步骤如下: 注册并登录华为云管理控制台。 将鼠标移动到右上角用户名上,在下拉列表中单击“我的凭证”。 在“我的凭证”页面的项目列表中查看项目ID。例如pr
CSS集群上创建索引并导入数据中创建的索引“my_test”。 索引名称只能全部小写,不能有大写。 类型 Elasticsearch的类型,类似关系数据库中的表名称。类型名称只能全部小写,不能有大写。当前示例为:“_doc”。 更多其他参数说明可以参考:CDM配置CSS源端参数。
connect.keep.alive,一旦发生拉取Binlog线程与MySQL服务器的连接连接异常,拉取Binlog线程不会尝试自动重连,这可能导致无法正常从源端拉取binlog日志。 语法格式 create table mySqlCdcSource ( attr_name attr_type
regexp_count regexp_count函数用于计算source中从start_position位置开始,匹配指定pattern的子串数。 命令格式 regexp_count(string <source>, string <pattern>[, bigint <start_position>])
删除函数 功能描述 删除函数。 语法格式 1 DROP [TEMPORARY] FUNCTION [IF EXISTS] [db_name.] function_name; 关键字 TEMPORARY:所删除的函数是否为临时函数。 IF EXISTS:所删除的函数不存在时使用,可避免系统报错。
如果function不存在,describe function会执行失败。 Spark2.4.x:DESCRIBE函数仍然可以运行并打印“Function:func_name not found” Spark3.3.x:函数不存在的提示信息变更为失败。 升级引擎版本后是否对作业有影响: 有影响,describe
SQL使用DEW管理访问凭据 如果需要获取key的值,则可以通过在flink中设置主键获取,主键字段即对应redis的key。 如果定义主键,则不能够定义复合主键,即主键只能是一个字段,不能是多个字段。 schema-syntax取值约束: 当schema-syntax为map或array时,非主键字段最多
志。 若需要获取key的值,则可以通过在flink中设置主键获取,主键字段即对应redis的key。 若定义主键,则不能够定义复合主键,即主键只能是一个字段,不能是多个字段。 schema-syntax取值约束: 当schema-syntax为map或array时,非主键字段最多