检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ttr_expr_list的字段内,attr_expr_list中可以使用多个聚合函数,比如count(),sum(),聚合函数中可以包含其他字段。 多列GROUP BY:指GROUP BY子句中不止一列,查询语句将按照GROUP BY的所有字段分组,所有字段都相同的记录将被放在同一组中,同样,GROUP
注意事项 当OBS的目录下有同名文件夹和文件时,创建OBS表指向该路径会优先指向文件而非文件夹。 创建数据库和表时,有权限控制,需要对其他用户授权,其他用户才可查看该用户新建的数据库和表。具体请参考常用操作与系统权限关系。 创建数据库 创建数据库的入口有两个,分别在“数据管理”和“SQL编辑器”页面。
ttr_expr_list的字段内,attr_expr_list中可以使用多个聚合函数,比如count(),sum(),聚合函数中可以包含其他字段。 多列GROUP BY:指GROUP BY子句中不止一列,查询语句将按照GROUP BY的所有字段分组,所有字段都相同的记录将被放在同一组中,同样,GROUP
U范围等配置。 创建弹性资源池并添加队列 调整弹性资源池中队列的扩缩容策略 (可选)步骤三:创建增强型跨源连接 如果运行的作业需要跨源访问其他外部数据源数据,如作业需要访问DWS、RDS等数据时,需要创建跨源连接。 创建的跨源连接需要和弹性资源池进行绑定。 创建增强型跨源连接 步骤四:运行作业
percentile_approx(DOUBLE col, p [, B]) 参数说明 表1 参数说明 参数 是否必选 说明 col 是 数据类型为数值的列。其他类型返回NULL。 p 是 0<=P<=1,否则返回NULL。 B 是 参数B控制近似的精确度,B值越大,近似度越高,默认值为10000。
约束限制 适用场景 基础版 16-64CUs规格 不支持高可靠与高可用。 不支持设置队列属性和作业优先级。 不支持对接Notebook实例。 其他弹性资源池使用相关约束限制请参考弹性资源池使用约束限制。 适用于对资源消耗不高、对资源高可靠性和高可用性要求不高的测试场景。 标准版 64CUs及以上规格
percentile_approx(DOUBLE col, p [, B]) 参数说明 表1 参数说明 参数 是否必选 说明 col 是 数据类型为数值的列。其他类型返回NULL。 p 是 0<=P<=1,否则返回NULL。 B 是 参数B控制近似的精确度,B值越大,近似度越高,默认值为10000。
GRANT_PRIVILEGE(数据库的赋权) REVOKE_PRIVILEGE(数据库权限的回收) SHOW_PRIVILEGES(查看其他用户具备的数据库权限) ALTER_TABLE_ADD_PARTITION(在分区表中添加分区) ALTER_TABLE_DROP_PARTITION(删除分区表的分区)
GRANT_PRIVILEGE(数据库的赋权) REVOKE_PRIVILEGE(数据库权限的回收) SHOW_PRIVILEGES(查看其他用户具备的数据库权限) ALTER_TABLE_ADD_PARTITION(在分区表中添加分区) ALTER_TABLE_DROP_PARTITION(删除分区表的分区)
管理复杂等问题。 具体操作请参考使用DEW管理数据源访问凭证。 使用DEW管理数据源访问凭证时,您还需要创建DLI云服务委托授予DLI访问其他服务(DEW)读取访问凭证。 SQL作业、Flink 1.12版本的跨源访问场景,使用DLI提供的“跨源认证”管理数据源的访问凭证,具体操
hive。您需要先切换到Hive 方言,然后才能使用Hive语法编写。下面介绍如何使用SQL设置方言。 您可以为执行的每个语句动态切换方言。无需重新启动会话即可使用其他方言。 语法格式 SQL 方言可以通过 table.sql-dialect 属性指定 1 set table.sql-dialect=hive;
SQL类型队列:SQL队列支持提交Spark SQL作业。 通用队列:支持Spark程序、Flink SQL、Flink Jar作业。 不支持队列类型切换,如需使用其他队列类型,请重新购买新的队列。 不支持切换队列的计费模式。 队列不支持切换区域。 16CUs队列不支持扩容和缩容。 64CUs队列不支持缩容。
单击“Duration”,可以根据耗时进行排序,排查是否存在单个Task耗时过长导致整体作业时间变长问题。 参考图10可以看到数据倾斜时,单个任务的shuffle数据远大于其他Task的数据,导致该任务耗时时间变长。 图10 数据倾斜示例图 数据倾斜原因和解决: Shuffle的数据倾斜基本是由于join中的key值数量不均衡导致。
网段:配置队列网段。例如,当前配置为10.0.0.0/16。 队列的网段不能和DMS Kafka、RDS MySQL实例的子网网段有重合,否则后续创建跨源连接会失败。 其他参数根据需要选择和配置。 参数配置完成后,单击“立即购买”,确认配置信息无误后,单击“提交”完成队列创建。 步骤2:创建Kafka的Topic
网段:配置队列网段。例如,当前配置为10.0.0.0/16。 队列的网段不能和DMS Kafka、RDS MySQL实例的子网网段有重合,否则后续创建跨源连接会失败。 其他参数根据需要选择和配置。 参数配置完成后,单击“立即购买”,确认配置信息无误后,单击“提交”完成队列创建。 步骤2:创建Kafka的Topic
索第一次出现的位置。 return_option 否 BIGINT BIGINT类型常量。指定返回的位置。值为0或1,不指定时默认值为0,其他类型或不允许的值会返回报错。0表示返回匹配的开始位置,1表示返回匹配的结束位置。 返回值说明 返回BIGINT类型。return_opti
索第一次出现的位置。 return_option 否 BIGINT BIGINT类型常量。指定返回的位置。值为0或1,不指定时默认值为0,其他类型或不允许的值会返回报错。0表示返回匹配的开始位置,1表示返回匹配的结束位置。 返回值说明 返回BIGINT类型。return_opti
由于MAP类型的键不能为NULL,MAP键不支持对插入数据进行可能出现NULL值类型之间的隐式转换,如:STRING类型转换为其他原生类型、FLOAT类型转换为TIMESTAMP类型、其他原生类型转换为DECIMAL类型等。 STRUCT数据类型不支持double,boolean数据类型。 ARRAY示例
由于MAP类型的键不能为NULL,MAP键不支持对插入数据进行可能出现NULL值类型之间的隐式转换,如:STRING类型转换为其他原生类型、FLOAT类型转换为TIMESTAMP类型、其他原生类型转换为DECIMAL类型等。 STRUCT数据类型不支持double,boolean数据类型。 ARRAY示例
对于获取用户Token接口,接口,返回如图1所示的消息头,其中“x-subject-token”就是需要获取的用户Token。有了Token之后,您就可以使用Token认证调用其他API。 图1 获取用户Token响应消息头 响应消息体 响应消息体通常以结构化格式返回,与响应消息头中Content-type对应,传递除响应消息头之外的内容。