检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
每次从数据库拉取数据的行数。默认值为0,表示忽略该提示 connector.lookup.cache.max-rows 否 维表配置,缓存的最大行数,超过该值时,最先添加的数据将被标记为过期。-1表示不使用缓存。 connector.lookup.cache.ttl 否 维表配置,缓存超时时间,超过该时间的数据会被剔除。格式为:{length
ORDER BY count desc; 从图11可以看出,num为1的数量远大于其他值的数量。 图11 示例数据统计演示 考虑在对应key值上添加concat(cast(round(rand() * 999999999) as string)随机数进行打散。 如果确实因为单个key值
选择账号A共享的增强型跨源连接,单击操作列下的“更多 > 绑定弹性资源池”。 选择已创建的弹性资源池,单击“确定”完成资源的绑定。 若无可选弹性资源池,可参考创建弹性资源池并添加队列创建新的弹性资源池。 账号B测试弹性资源池与VPC中资源的网络连通性。 若共享VPC下已有资源,请确保该资源所在的安全组已放通弹性资源池的网段。
SEQUENCEFILE, RCFILE, PARQUET几种格式。创建DLI表时必须指定此关键字。 TBLPROPERTIES:用于为表添加key/value的属性。 在表存储格式为PARQUET时,可以通过指定TBLPROPERTIES(parquet.compression
如果MRS集群开启了Kerberos认证,创建Spark作业时需要将krb5.conf和user.keytab文件添加到作业的其他依赖文件中,未开启Kerberos认证该步骤忽略。如图1所示: 图1 添加依赖文件 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请
MOR表时,建议开启log index特性提升Flink流读性能 Hudi的Mor表可以通过log index提升读写性能, Sink和Source表添加属性 'hoodie.log.index.enabled'='true' 创建Flink OpenSource SQL作业时,在作业编辑界
参考访问MRS Manager登录MRS Manager。 在MRS Manager上,选择“系统 > 权限 > 用户”,单击“添加用户”,在添加用户页面分别配置如下参数。 用户名:自定义的用户名。当前示例输入为:testuser2。 用户类型:当前选择为“人机”。 密码和确认密码:输入当前用户名对应的密码。
每次从数据库拉取数据的行数。默认值为0,表示忽略该提示。 lookup.cache.max-rows 否 维表配置,缓存的最大行数,超过该值时,最先添加的数据将被标记为过期。-1表示不使用缓存。 lookup.cache.ttl 否 维表配置,缓存超时时间,超过该时间的数据会被剔除。格式为:{length
参考增强型跨源连接,根据Kafka所在的虚拟私有云和子网创建相应的增强型跨源,并绑定所要使用的Flink弹性资源池。 设置Kafka的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据Kafka的地址测试队列连通性。如果能连通,则表示跨源已经绑定成功,否则表示未成功。
timepoint) TIMESTAMP/DATE/TIME 将整型interval与timeintervalunit组成的结果添加日期或日期时间到timepoint中,并返回添加后的日期时间 例如:TIMESTAMPADD(WEEK, 1, DATE '2003-01-02') 返回2003-01-09
timepoint) TIMESTAMP/DATE/TIME 将整型interval与timeintervalunit组成的结果添加日期或日期时间到timepoint中,并返回添加后的日期时间 例如:TIMESTAMPADD(WEEK, 1, DATE '2003-01-02') 返回2003-01-09
单击“编辑”,进入作业编辑页面。 在“运行参数设置”页签,“UDF Jar”选择创建的程序包,单击“保存”。 选定JAR包以后,SQL里添加UDF声明语句,就可以像普通函数一样使用了。 1 CREATE FUNCTION udf_test AS 'com.huaweicompany
新建队列所属的弹性资源池名称。 名称只能包含数字、小写英文字母和下划线,但不能是纯数字,且不能以下划线开头。 长度限制:1~128个字符。 说明: 添加队列到资源池,resource_mode必须为专属模式,否则不生效。 表3 tags参数 参数名称 是否必选 参数类型 说明 key 是 String
单击“编辑”,进入作业编辑页面。 在“运行参数设置”页签,“UDF Jar”选择创建的程序包,单击“保存”。 选定JAR包以后,SQL里添加UDF声明语句,就可以像普通函数一样使用了。 1 CREATE FUNCTION udf_test AS 'com.huaweicompany
用户已上传到DLI资源管理系统的资源包名,用户自定义作业的依赖文件。 示例:"myGroup/test.cvs,myGroup/test1.csv"。 通过在应用程序中添加以下内容可访问对应的依赖文件。其中,“fileName”为需要访问的文件名,“ClassName”为需要访问该文件的类名。 ClassName
单击“编辑”,进入作业编辑页面。 在“运行参数设置”页签,“UDF Jar”选择创建的程序包,单击“保存”。 选定JAR包以后,SQL里添加UDF声明语句,就可以像普通函数一样使用了。 1 CREATE FUNCTION udf_test AS 'com.huaweicompany
dli:table:alterTableSetProperties √ × 添加列 POST /v1.0/{project_id}/jobs/submit-job,SQL语句调用 dli:table:alterTableAddColumns √ × 在分区表中添加分区 POST /v1.0/{project_
如您的组织已经设定DLI的相关标签策略,则需按照标签策略规则为资源添加标签。标签如果不符合标签策略的规则,则可能会导致资源创建失败,请联系组织管理员了解标签策略详情。 具体请参考《标签管理服务用户指南》。 说明: 最多支持20个标签。 一个“键”只能添加一个“值”。 每个资源中的键名不能重复。 标签键:在输入框中输入标签键名称。
如果MRS集群开启了Kerberos认证,创建Spark作业时需要将krb5.conf和user.keytab文件添加到作业的其他依赖文件中,未开启Kerberos认证该步骤忽略。如图1所示: 图1 添加依赖文件 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请
X版本中,单个Index将使用“_doc”作为type名,不再支持自定义。若访问ES 7.X版本时,该参数只需要填写index即可。 构造schema,并添加数据 1 2 3 schema = StructType([StructField("id", IntegerType(), False)