检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该字段的map的value需要为double类型,表示score,该字段的map的key表示redis的set中的值。 当data-type为sorted-set,且schema-syntax为array-scores时,除主键字段外,只能有两个非主键字段,且这两个字段的类型需要为array。
scan.count 每批次读取的数据记录数,默认为100。如果在读取过程中,redis集群中的CPU使用率还有提升空间,可以调大该参数。 iterator.grouping.size 每批次插入的数据记录数,默认为100。如果在插入过程中,redis集群中的CPU使用率还有提升空间,可以调大该参数。
业,页面显示“批处理作业提交成功”说明Spark作业提交成功,可以在Spark作业管理页面查看提交的作业的状态和日志。 创建Spark作业时选择的“所属队列”为创建跨源连接时所绑定的队列。 如果选择spark版本为2.3.2(即将下线)或2.4.5提交作业时,需要指定Module模块,名称为:sys
南》中的“选择依赖资源参数说明”。 通过API提交作业请参考《数据湖探索API参考》>《创建批处理作业》中“表2-请求参数说明”关于“modules”参数的说明。 完整示例代码 通过DataFrame API访问 认证用的password硬编码到代码中或者明文存储都有很大的安全风
指南》中的“选择依赖资源参数说明”。 通过API提交作业请参考《数据湖探索API参考》>《创建批处理作业》中“表2-请求参数说明”关于“modules”参数的说明。 完整示例代码 通过DataFrame API 访问 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险
重启/扩容/缩容队列 功能介绍 该API用于重新启动队列、扩容队列、缩容队列。 只有SQL类型的队列支持重启,且重启的时候队列的状态必须是可用状态(执行SQL作业成功后队列状态才是可用状态)。 调试 您可以在API Explorer中调试该接口。 URI URI格式: PUT /v1
授权对象,和赋权API中的“object”对应。 "jobs.flink.flink作业ID",查询指定的作业。 "groups.程序包组名",查询指定的程序包组。 "resources.程序包名",查询指定程序包。 说明: 查看分组下的程序包时,“object”的格式为"resources
编写代码(可通过sql或者api两种方式实现)。 1) sql开发示例如下,具体sql语法参考“Delta Sql语法参考”。 public static void main( String[] args ) { SparkSession spark = SparkSession
java样例代码 操作场景 本例提供使用Spark作业访问DWS数据源的java样例代码。 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
INITCAP(string) 返回新形式的 STRING,其中每个单词的第一个字符转换为大写,其余字符转换为小写。这里的单词表示字母数字的字符序列。 CONCAT(string1, string2, ...) 返回连接 string1,string2, … 的字符串。如果有任一参数为 NULL,则返回
Hive兼容表是以Hive兼容的方式存储的,他们的元数据和实际的数据都在分层存储中。因此,通过flink创建的与hive兼容的表,可以通过hive查询。 Hive通用表是特定于Flink的。当使用HiveCatalog创建通用表时,只是使用HMS来持久化元数据。虽然这些表对Hive来说是可见的,但Hi
table_properties; 描述 “ALTER VIEW view_name AS select_statement;”用于改变已存在的视图的定义,语法效果与CREATE OR REPLACE VIEW类似。 “ALTER VIEW view_name SET TBLPROPERTIES
EXTERNAL FUNCTION qualified_function_name; 描述 显示所有内置函数的定义信息。 显示所有JAVA函数的描述信息。 显示给定函数的定义信息。 示例 SHOW functions; --使用LIKE子句 show functions like
scala样例代码 开发说明 支持对接CloudTable的HBase和MRS的HBase。 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
"0”表示default,即默认的企业项目。 说明: 开通了企业管理服务的用户可设置该参数绑定指定的项目。 resource_type 否 String 资源类型。 vm:ecf集群 container:容器化集群(k8s) cu_spec 否 Integer 队列的规格大小。对于包周期队
描述:给定0到1之间的数字分位数,返回分位数摘要中的近似百分位值。 values_at_quantiles(qdigest(T), quantiles) -> array(T) 描述:给定一组0到1之间的数字分位数,从分位数摘要中返回对应的近似百分位值组成的数组。 qdigest_agg(x)
数据湖探索DLI的计费由不同的计费项组成,不同的计费项有不同的计费模式,如图1所示。 图1 DLI的计费组成 计费项 DLI的计费项包括计算计费、存储计费、扫描量计费。DLI的计费详情请参见DLI产品价格详情。您可以通过DLI提供的价格计算器,快速计算出购买资源的参考价格。 表1
String 连接ID,用于标识跨源连接的UUID。 destination 否 String 创建连接时,用户填写的队列的访问地址。 state 否 String 连接状态,具体状态请参见表4。 process 否 Double 正在创建的跨源连接进度,显示0.0至1.0代表0%至100%。
项目、用户组、区域、委托的名称和ID。 domainname:帐号名。 username:用户名 password:用户名密码 regionname:所属区域名称 project_id:项目ID 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件
队列扩缩容计划CU的目标值。 start_hour 是 Integer 队列扩缩容计划起始小时时间。 start_minute 是 Integer 队列扩缩容计划的起始分钟时间。 repeat_day 是 Array of strings 定时扩缩容计划的重复周期,可以选择周一到周日的某一天