检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建弹性资源池并添加队列 调整弹性资源池中队列的扩缩容策略 (可选)步骤三:创建增强型跨源连接 如果运行的作业需要跨源访问其他外部数据源数据,如作业需要访问DWS、RDS等数据时,需要创建跨源连接。 创建的跨源连接需要和弹性资源池进行绑定。
方法三:如果是新版本队列,可以通过如下操作查看。 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“日志列表”。 在左上角下拉框选择对应的taskmanager名称,单击taskmanager.out文件查看结果日志。
三大基本功能 SQL作业支持SQL查询功能:可为用户提供标准的SQL语句。具体内容请参考《数据湖探索SQL语法参考》。 Flink作业支持Flink SQL在线分析功能:支持Window、Join等聚合函数,用SQL表达业务逻辑,简便快捷实现业务。
DLI队列类型 DLI分为三种队列类型: default队列、SQL队列、通用队列,您可以根据业务场景和作业特性选择最合适的队列类型。 default队列: DLI服务预置的队列,所有用户共享。
若URI中的过滤条件“with-detail=false”,则tables相关参数中只返回“data_location”,“table_name”,“table_type”三个参数。
表2 逻辑运算符 运算符 返回类型 描述 A OR B BOOLEAN 若A或B为TRUE,则返回TRUE,且支持三值逻辑。 A AND B BOOLEAN 若A和B为TRUE,则返回TRUE,且支持三值逻辑。
表2 逻辑运算符 运算符 返回类型 描述 A OR B BOOLEAN 若A或B为TRUE,则返回TRUE,且支持三值逻辑。 A AND B BOOLEAN 若A和B为TRUE,则返回TRUE,且支持三值逻辑。
示例代码如下: ALTER TABLE student DROP IF EXISTS PARTITION (facultyNo=20, classNo=103); 重新利用第三步中的方法查看表中的分区,可以看到该分区被删除: SHOW partitions student; 示例2
表1 DLI计费项 计费项 说明 计算计费 支持三种计费模式: 按照包年/包月的订购周期计费 根据计算资源使用量(CU时)按需计费。 按预购的套餐包计费。 支持包年包月+按需组合使用(超出包周期规格按需计费);支持套餐包+按需计费组合使用(超出套餐包使用量按需计费)。
select normal_cdf(2, 5, 0.95);-- 0.4168338365175577 三角函数 所有三角函数的参数都是以弧度表示。参考单位转换函数degrees()和radians()。 acos(x) → double 求反余弦值。
/user.keytab',\ 'principal' ='krbtest')") 与未开启kerberos认证相比,开启了kerberos认证需要多设置三个参数,如表1所示。 表1 参数说明 参数名称与参数值 参数说明 'krb5conf' = '.
<mirror> <id>huaweicloud</id> <mirrorOf>*</mirrorOf> <url>https://mirrors.huaweicloud.com/repository/maven/</url> </mirror> 方式三:在
opentsdb options( 'Host'='opentsdb-3xcl8dir15m58z3.cloudtable.com:4242', 'metric'='ct_opentsdb', 'tags'='city,location')") Host、metric、tags三个参数详情讲解可参考表
PARTITIONS (classNo = 101); 执行结果: 表6 执行后数据 facultyNo classNo facultyNo=20 classNo=102 在上述删除条件的框选下,分区记录中第一条数据既满足院系编号,又满足班级编号,第二条数据满足了院系编号,第三条数据满足了班级编号
表2 query参数 参数名称 是否必选 参数类型 说明 queue_type 否 String 队列的类型,有如下三种类型: sql:查询SQL队列类型的队列。 general:查询通用队列类型的队列。 all:查询所有类型的队列。 如果不指定,默认为sql。
region ON nation.name=region.name; SELECT * FROM nation ,region WHERE nation.name=region.name; OUTER JOIN OUTER JOIN返回符合查询条件的行的同时也返回不符合的行,分为以下三类
配置'primary key',支持copy、upsert以及insert三种模式更新写入。 注意:由于dws不支持更新分布列,因而配置的更新主键必须包含dws表中定义的所有分布列。
配置'primary key',支持copy、upsert以及insert三种模式更新写入。 注意:由于dws不支持更新分布列,因而配置的更新主键必须包含dws表中定义的所有分布列。
sql_body 否 String Stream SQL语句,至少包含source, query, sink三个部分。长度限制:0-1024*1024个字符。 run_mode 否 String 作业运行模式: shared_cluster:共享。
进入解压目录,里面有三个子目录bin、conf、lib,分别存放了Spark-submit相关的执行脚本、配置文件和依赖包。 进入配置文件conf目录,修改“client.properties”中的配置项,(具体配置项参考表1)。