检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
队列权限管理 分配队列至项目 创建消息通知主题 队列标签管理 队列属性设置 测试地址连通性 删除队列 变更普通队列规格 普通队列弹性扩缩容 设置普通队列的弹性扩缩容定时任务 修改普通队列的网段 父主题: 创建弹性资源池和队列
目。 企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。 关于如何设置企业项目请参考《企业管理用户指南》。 说明: 只有开通了企业管理服务的用户才显示该参数。 描述 该数据库的描述。 标签 使用标签标识云资源。包括标签键和标
如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 如果使用MRS Doris,请在增强型跨源的主机信息中添加MRS集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 集群未启用Kerberos认证(普通模式) 使用admin用户
快。当不包含更新数据时建议使用该操作,如果存在更新数据使用该操作会出现重复数据。 bulk_insert:该操作会对主键进行排序后直接以写普通parquet表的方式插入Hudi表,该操作性能是最高的,但是无法控制小文件,而upsert和insert操作可以很好的控制小文件。 upsert:
如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 如果使用MRS Doris,请在增强型跨源的主机信息中添加MRS集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 集群未启用Kerberos认证(普通模式)。 使用admin用
分析窗口函数。 user_define_func 用户自定义函数。 general_binary_operator 普通二元操作符。 general_unary_operator 普通一元操作符。 ( 指定子属性表达式开始。 ) 指定子属性表达式结束。 父主题: 标示符
窗口聚合是通过GROUP BY子句定义的,其特征是包含窗口表值函数产生的 “window_start” 和 “window_end” 列。和普通的 GROUP BY 子句一样,窗口聚合对于每个组会计算出一行数据。和其他连续表上的聚合不同,窗口聚合不产生中间结果,只在窗口结束产生一个
如果需要购买其他规格的队列,则可以先创建上述某一规格队列后,通过如下操作实现: “包年/包月”队列:则可以通过变更普通队列规格操作来实现。 “按需计费”队列:则可以通过普通队列弹性扩缩容操作来实现。 购买时长 选择“包年/包月”计费模式时,需要选择“购买时长”。购买时长越长,优惠越多
全局变量可用于简化复杂参数。例如,可替换长难复杂变量,提升SQL语句可读性。 全局变量的使用具有以下约束限制: 存量敏感变量只有创建用户才能使用,其余普通全局变量同账号同项目下的用户共用。 如果同账号同项目下存在多个相同名称的全局变量时,需要将多余相同名称的全局变量删除,保证同账号同项目下唯
窗口去重 功能描述 窗口去重是一种特殊的去重,它根据指定的多个列来删除重复的行,保留每个窗口和分区键的第一个或最后一个数据。 对于流式查询,与普通去重不同,窗口去重只在窗口的最后返回结果数据,不会产生中间结果。它会清除不需要的中间状态。 因此,窗口去重查询在用户不需要更新结果时,性能
该指标仅适用于普通队列。 0~100 队列 5分钟 queue_mem_usage 队列内存使用率 展示用户队列的内存使用率。 该指标仅适用于普通队列。 0~100 队列 5分钟 queue_mem_used 队列内存使用量 展示用户队列的内存使用量。 该指标仅适用于普通队列。 ≥0
DLI使用IAM进行精细的企业级多租户管理。该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全地控制华为云资源的访问。 通过IAM,您可以在华为云账号中给员工创建IAM用户,并使用策略来控制他们对华为云资源的访问范围。例如您的员工中有负责软件开发的人员,您希望他们拥有DLI的使用权限,但是不希
考创建CDM集群。 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 数据源为云上的MRS、DWS时,网络互通需满足如下条件:
考创建CDM集群。 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 数据源为云上的MRS、DWS等服务时,网络互通需满足如下条件:
说明: 如果function不存在,describe function会执行失败。 Spark2.4.x:DESCRIBE函数仍然可以运行并打印“Function:func_name not found” Spark3.3.x:函数不存在的提示信息变更为失败。 升级引擎版本后是否对作业有影响:
页面。 在“运行参数设置”页签,“UDF Jar”选择创建的程序包,单击“保存”。 选定JAR包以后,SQL里添加UDF声明语句,就可以像普通函数一样使用了。 1 CREATE FUNCTION udf_test AS 'com.huaweicompany.udf.UdfScalarFunction';
页面。 在“运行参数设置”页签,“UDF Jar”选择创建的程序包,单击“保存”。 选定JAR包以后,SQL里添加UDF声明语句,就可以像普通函数一样使用了。 1 CREATE FUNCTION udf_test AS 'com.huaweicompany.udf.UdfScalarFunction';
页面。 在“运行参数设置”页签,“UDF Jar”选择创建的程序包,单击“保存”。 选定JAR包以后,SQL里添加UDF声明语句,就可以像普通函数一样使用了。 1 CREATE FUNCTION udf_test AS 'com.huaweicompany.udf.UdfScalarFunction';
values_row 想要插入到表中的值,列与列之间用逗号分隔。 注意事项 表必须已经存在。 如果动态分区不需要指定分区,则将“part_spec”作为普通字段放置SELECT语句中。 被插入的OBS表在建表时只能指定文件夹路径。 源表和目标表的数据类型和列字段个数应该相同,否则插入失败。 不
时,指定字符串以替换null键。 maxwell-json.encode.decimal-as-plain-number 否 false Boolean 将所有小数编码为普通数字,而不是可能的科学计数法。默认情况下,小数可以使用科学计数法书写。例如,0.000000027在默认情况下被编码为2.7E-8,如果将此选项设置为true,则将被写入为0