检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
cu_number 否 Integer 用户为作业选择的CU数量。默认值为“2”。 parallel_number 否 Integer 用户设置的作业并行数目。默认值为“1”。 checkpoint_enabled 否 Boolean 是否开启作业自动快照功能。 开启:true 关闭:false
10:10:00 cookie2 2015-04-10 11:00:00 url77 2015-04-10 10:50:01 说明:因为没有设置默认值,当没有上两行时显示为NULL。 示例2: SELECT cookieid, createtime, url, LAG(createtime
创建表参数 参数 说明 host OpenTSDB连接地址。 访问CloudTable OpenTSDB,填写OpenTSDB链接地址,具体可以登录CloudTable控制台,单击“集群模式 > 集群名称”,在集群信息获取OpenTSDB链接地址。 访问MRS OpenTSDB,若使用
添加或者修改SQL防御规则时请结合业务场景评估规则的开启、规则阈值是否合理,避免不合理的防御规则对相关SQL请求进行拦截或阻断后,对业务造成影响。 登录DLI管理控制台。 选择“全局配置 > SQL防御”,打开SQL防御页面。 单击“创建规则”,编辑规则信息。 表1 SQL防御规则参数配置
/v1.0/{project_id}/jobs/submit-job,SQL语句调用 dli:table:showPartitions √ × 设置表配置 POST /v1.0/{project_id}/jobs/submit-job,SQL语句调用 dli:table:alterTableSetProperties
Jar作业 提交Spark jar作业的场景需要手动配置由LakeFormation提供元数据服务的Hudi锁实现类,请参照 Hudi锁配置说明。 登录DLI管理控制台,选择“作业管理 > Spark作业”,进入到Spark作业的界面。 提交Hudi相关的Spark jar作业需要选择Spark版本为3
IAM为开发人员创建用户,通过授予仅能使用DLI,但是不允许删除DLI的权限策略,控制他们对DLI资源的使用范围。 对于新建的用户,需要先登录一次DLI,记录元数据,后续才可正常使用。 IAM是华为云提供权限管理的基础服务,无需付费即可使用,您只需要为您账号中的资源进行付费。关于
建议为streaming-source.monitor-interval(最新分区作为临时表)或 lookup.join.cache.ttl(所有分区作为临时表)设置一个相对较大的值。否则,作业容易出现性能问题,避免表更新和重新加载过于频繁。 缓存刷新需加载整个Hive表。无法区分新数据和旧数据。 参数说明
sparkSession.sql("select * from test_dds").show() 操作结果 通过DataFrame API访问 设置连接参数 val url = "192.168.4.62:8635,192.168.5.134:8635/test?authSource=admin"
keytab','principal'='krbtest') "); 与未开启kerberos认证相比,开启了kerberos认证需要多设置三个参数,如表1所示。 表1 参数说明 参数名称与参数值 参数说明 'krb5conf' = './krb5.conf' krb5.conf的地址。
图1 DLI计算资源模式 弹性资源池模式:计算资源的池化管理模式,提供计算资源的动态扩缩容能力,同一弹性资源池中的队列共享计算资源。通过合理设置队列的计算资源分配策略,可以提高计算资源利用率,应对业务高峰期的资源需求。 适用场景:适合业务量有明显波动的场合,如周期性的数据批处理任务或实时数据处理需求。
Overwrite) .save() 表1 redis操作参数 参数 描述 host 需要连接的redis集群的IP。 获取方式为:登录华为云官网,之后搜索redis,进入“分布式缓存服务”,接着选择“缓存管理”,根据主机名称需要的IP,可选择其中任意一个IP进行复制即可(
单个用户感观字符(这是语言书写系统的基本单位),但是函数会将每个代码点视为单独的单位。 lower和upper函数不执行某些语言所需的区域设置相关、上下文相关或一对多映射。 chr(n) → varchar 描述:返回Unicode编码值为n的字符值。 select chr(100);