检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备容器环境。 请参考安装容器引擎文档中的“安装容器引擎”章节。 使用root用户登录1容器镜像环境，执行以下命令获取DLI的基础镜像。 本示例使用Spark基础镜像为例，使用docker pull方式下载基础镜像到1中的容器镜像环境。
CLUSTER BY 功能描述 按字段实现表的分桶及桶内排序。
CLUSTER BY 功能描述 按字段实现表的分桶及桶内排序。
支持容器集群Spark日志跳转查看 需要在容器查看日志。 支持动态加载UDF（公测） 无需重启队列UDF即可生效。 Spark UI支持火焰图 Spark UI支持绘制火焰图。 优化SQL作业NOT IN语句查询性能 NOT IN语句查询性能提升。
{ "action": "scale_out", "cu_count": 16 } 响应示例 “force”为“false” { "is_success": true, "message": "Restart success" } “force”为“
支持容器集群Spark日志跳转查看 需要在容器查看日志。 支持动态加载UDF（公测） 无需重启队列UDF即可生效。 Spark UI支持火焰图 Spark UI支持绘制火焰图。 优化SQL作业NOT IN语句查询性能 NOT IN语句查询性能提升。
发布区域：全部 创建DLI自定义委托 OBS 2.0支持自定义镜像 DLI支持容器部署的集群。在容器集群中，Spark作业和Flink作业相关组件都运行在容器中，通过下载DLI提供的自定义镜像，可以改变Spark作业和Flink作业的容器运行环境。
支持容器集群Spark日志跳转查看 需要在容器查看日志。 支持动态加载UDF（公测） 无需重启队列UDF即可生效。 Spark UI支持火焰图 Spark UI支持绘制火焰图。 优化SQL作业NOT IN语句查询性能 NOT IN语句查询性能提升。
vm：ecf集群 container：容器化集群（k8s） cu_spec 否 Integer 队列的规格大小。对于包周期队列，表示包周期部分的CU值；对于按需队列，表示用户购买队列时的初始值。
创建并提交SQL作业 SQL编辑器简介 SQL作业编辑器支持使用SQL语句执行数据查询操作。 支持SQL2003，兼容SparkSQL，详细语法描述请参见《数据湖探索SQL语法参考》。 在总览页面，单击左侧导航栏中的“SQL编辑器”或SQL作业简介右上角的“创建作业”，可进入“SQL
表1 DLI Flink与MRS Flink功能对比 类型 特点 DLI Flink MRS Flink 特色能力 产品模式 全托管（无需人力运维集群） 半托管（需要人力运维集群） 弹性扩缩容 支持集群容器化部署。
org.apache.hadoop.security.AccessControlException: verifyBucketExists on {{桶名}}: status [403]。
vm：ecf集群 container：容器化集群（k8s） cu_spec 否 Integer 队列的规格大小。对于包周期队列，表示包周期部分的CU值；对于按需队列，表示用户购买队列时的初始值。
弹性扩缩容能力 基于容器化Kubernetes，具有极致的弹性伸缩能力。 无。 免运维 运维成本 即开即用，Serverless架构。 需要较强的技术能力进行搭建、配置、运维。 高可用 具有跨AZ容灾能力。
创建Kerberos跨源认证 操作场景 通过在DLI控制台创建的Kerberos类型的跨源认证，将数据源的认证信息存储到DLI，无需在SQL作业中配置账号密码，安全访问数据源。 MRS Kafka开启Kerberos认证，未开启SSL认证时，创建Kerberos类型的认证。建表时通过
INTERSECT 功能描述 INTERSECT返回多个查询结果的交集。 语法格式 1 select_statement INTERSECT select_statement; 关键字 INTERSECT：返回多个查询结果的交集，且每一个SELECT语句返回的列数必须相同，列的类型和列名不一定要相同
OVER 功能描述 窗口函数与OVER语句一起使用。OVER语句用于对数据进行分组，并对组内元素进行排序。窗口函数用于给组内的值生成序号。 语法格式 1 2 3 4 5 SELECT window_func(args) OVER ([PARTITION BY col_name,
percentile_approx percentile_approx函数用于返回组内数字列近似的第p位百分数（包括浮点数）。 命令格式 percentile_approx(DOUBLE col, p [, B]) 参数说明 表1 参数说明 参数 是否必选 说明 col 是 数据类型为数值的列
percentlie_approx percentile_approx函数用于计算近似百分位数，适用于大数据量。先对指定列升序排列，然后取第p位百分数最靠近的值。 命令格式 percentile_approx (colname,DOUBLE p) 参数说明 表1 参数说明 参数 是否必选
quarter quarter函数用于返回该date所在的季度，范围为1~4。 命令格式 quarter(string date) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 date 是 DATE 或 STRING 代表需要处理的日期。 格式为： yyyy-mm-dd
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
