检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
怎样查看弹性资源池和作业的资源使用情况？ 在大数据分析的日常工作中，合理分配和管理计算资源，可以提供良好的作业执行环境。 您可以根据作业的计算需求和数据规模分配资源、调整任务执行顺序，调度不同的弹性资源池或队列资源以适应不同的工作负载。待提交作业所需的CUs需小于等于弹性资源池的
Flink作业相关 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化，参考队列相关完成队列创建等操作。 新建SQL作业 DLI提供新建Flink SQL作业的接口。您可以使用该接口新建Flink SQL作业并提交到DLI，示例代码如下：
DISTRIBUTED | VALIDATE | IO } 描述 显示一条语句的逻辑的或者分布式的执行计划，也可以用于校验一条SQL语句，或者是分析IO。 参数TYPE DISTRIBUTED用于显示分片后的计划（fragmented plan）。每一个fragment都会被一个或者多个节点执行。Fragments
<value>[, ...]) 具体使用示例详见：ARRAY示例。 MAP 一组无序的键/值对，使用给定的Key和Value对生成MAP。键的类型必须是原生数据类型，值的类型可以是原生数据类型或复杂数据类型。同一个MAP键的类型必须相同，值的类型也必须相同。 map(K <key1>, V <value1>
into时，会往表中追加数据，而使用insert overwrite时，如果表属性“auto.purge”被设置为“true”，直接删除原表数据，再写入新的数据。 如果对象表是分区表时，insert overwrite会删除对应分区的数据而非所有数据。 insert into后面的table关键字为可选，以兼容hive语法。
否则会创建表失败。 访问PostGre集群填写"模式名.表名" 说明： 模式名即为数据库模式（schema）的名称。数据库中schema是数据库对象集合，包含了表，视图等多种对象。 user （已废弃）RDS用户名。 password （已废弃）RDS用户名密码。 passwdauth
string2, string3]) 使用分隔符将 string1 拆分为键值对后返回一个 map。string2 是 pair 分隔符，默认为 ‘,’。string3 是键值分隔符，默认为 ‘=’。 pair 分隔符与键值分隔符均为正则表达式，当使用特殊字符作为分隔符时请提前进行转义，例如
one 3 | 4 | many 1 | 3 | one 4 | 2 | tow (4 rows) IF IF函数是语言结构，它与下面的CASE表达式功能相同： CASE WHEN condition THEN true_value [ ELSE false_value
弹性资源池权限管理 针对不同用户，管理员可以通过权限设置赋予各用户不同的操作权限，控制各用户弹性资源池的操作范围。 注意事项 管理员用户和弹性资源池的所有者拥有所有权限，不需要进行权限设置且其他用户无法修改其队列权限。 给新用户设置弹性资源池权限时，该用户所在用户组的所属区域需具有Tenant
’分隔HBase表的列族与列名。 注意事项 若所要创建的表已经存在将报错，可以通过添加IF NOT EXISTS参数跳过该错误。 OPTIONS中的所有参数是必选的，参数名称大小写不敏感，但参数值大小写敏感。 OPTIONS中引号内的值前后不能带空格，空格也会被当做有效值。 表名及列名的描述仅支持字符串常量。
scala样例代码 操作场景 本例提供使用Spark作业访问DWS数据源的scala样例代码。 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。
费用账单 您可以在“费用中心 > 账单管理”查看DLI资源的费用账单，以了解该DLI资源在某个时间段的使用量和计费信息。 账单上报周期 包年/包月计费模式的资源完成支付后，会实时上报一条账单到计费系统进行结算。 按需计费模式的资源按照固定周期上报使用量到计费系统进行结算。按需计费
配置Flink作业权限 Flink作业权限操作场景 针对不同用户，可以通过权限设置分配不同的作业，不同用户之间的作业效率互不影响，保障作业性能。 管理员用户和作业的所有者拥有所有权限，不需要进行权限设置且其他用户无法修改其作业权限。 给新用户设置作业权限时，该用户所在用户组的所属区域需具有Tenant
rows) percent_rank()→ double 描述：返回值在一组值中的百分比排名。 结果为（r-1）/（n-1），其中r是该行的rank（），n是窗口分区中的总行数。 SELECT dept,userid,sal, PERCENT_RANK() OVER(ORDER BY sal)
scala样例代码 开发说明 前提条件 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 构造依赖信息，创建SparkSession
getJobParameter("user","user"); context.getJobParameter("password","password"); 代码示例 以下是一个UDF示例：通过pipeline.global-job-parameters传入连接数据库需要的url、user、password等参数
getJobParameter("user","user"); context.getJobParameter("password","password"); 代码示例 以下是一个UDF示例：通过pipeline.global-job-parameters传入连接数据库需要的url、user、password等参数
MERGE INTO 命令功能 通过MERGE INTO命令，根据一张表或子查询的连接条件对另外一张表进行查询，连接条件匹配上的进行UPDATE或DELETE，无法匹配的执行INSERT。这个语法仅需要一次全表扫描就完成了全部同步工作，执行效率要高于INSERT＋UPDATE。 注意事项
scala样例代码 开发说明 支持对接CloudTable的HBase和MRS的HBase。 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。
→ varbinary 计算二进制块的SHA 1哈希值。 sha2(string, integer) → string 安全散列算法2， 是一种密码散列函数算法标准，其输出长度可以取224位，256位， 384位、512位，分别对应SHA-224、SHA-256、SHA-384、SHA512
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
