检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Flink作业进行动态扩缩时后台作业需要停止继而从savepoint恢复，因此未恢复成功前，作业无法处理数据。 因扩缩容过程中需要触发savepoint，因此必须配置obs桶，并保存日志，同时请注意开启checkpoint。 扩缩容检测周期不要设置过小，避免频繁启停作业。 扩缩容作业恢复过程中的时间长短受sa
sparkSession.sparkContext(); sc.addFile("obs://xietest1/lzq/krb5.conf"); sc.addFile("obs://xietest1/lzq/user.keytab"); Thread
OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭
需要为yyyy-MM-dd HH:mm:ss 注意事项 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表，具体建表SQL语法可以参考使用Hive语法创建OBS表。 该命令不会删除当前版本数据。 示例 删除dliTable表在2021-09-25 23:59:59之前生
tore.jks文件传入OBS中。 具体方式请参考客户端SSL加密功能使用说明。 端口请注意使用KafKa服务配置中设置的ssl.port端口，默认值为9093。 with参数中security.protocol请设置为SSL。 MRS集群kafka服务配置中，设置ssl.mode
认即可。 所属队列：选择步骤1：创建队列中创建的队列。 Flink版本：选择1.12。 保存作业日志：勾选。 OBS桶：选择保存作业日志的OBS桶，根据提示进行OBS桶权限授权。 开启Checkpoint：勾选。 Flink作业编辑框中输入具体的作业SQL，本示例作业参考如下。SQL中加粗的参数需要根据实际情况修改。
OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 Upsert Kafka 始终以upsert方式工作，并且需要在DDL中定义主键。在具有相同主键值的消息按序存储在同一个分区的前提下，在
Checkpoint和Savepoint生成机制及格式一致，因而，也可以通过Flink作业列表“操作”列中的“更多”>“导入保存点”，导入OBS中最新成功的Checkpoint，并从中恢复。 图3 停止作业 图4 恢复保存点 父主题： Flink作业性能调优类
OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 语法格式 create table jbdcSource ( attr_name attr_type
详细请参见导出查询结果。 URI URI格式： GET/v1.0/{project_id}/queues/{queue_name}/jobs/{job_id}?page-size=size¤t-page=page_number 参数说明 表1 URI 参数 名称 是否必选
T-Digest函数 概述 T-digest是存储近似百分位信息的数据草图。HetuEngine中用tdigest表示这种数据结构。T-digest可以合并，在存储时可以强转为VARBINARY，检索时再由VARBINARY转换为T-digest 函数 merge(tdigest)→tdigest
左侧导航栏，选择“导出记录”。下载对应的消费明细数据。 步骤2：分析账户消费结构并优化 在DLI上进行消费明细分析。 将1下载的消费明细数据上传到已建好的OBS桶中。 在数据湖探索服务中创建表。 登录DLI控制台，左侧导航栏单击“SQL编辑器”，执行引擎选择“spark”，选择执行的队列和数据库。本次演示队列和数据库选择“default”。
路由ID，因此跨源连接失败。 解决措施：请在服务授权添加DLI Datasource Connections Agency Access授权。 了解DLI更新委托权限。 图4 查看连接日志-2 图5 查看连接日志-3 图6 DLI服务授权 检查对端安全组是否放通队列的网段 创建完
按字段实现表的分桶及桶内排序。 语法格式 1 2 SELECT attr_expr_list FROM table_reference CLUSTER BY col_name [,col_name ,...]; 关键字 CLUSTER BY：根据指定的字段进行分桶，支持单字段及多字段，并在桶内进行排序。
------------------------------------------------------------------------- web obs://bucket/user/hive/warehouse/web.db dli USER (1 row) 父主题： 辅助命令语法
如何呢？其实PySpark本身就已经考虑到这一点了，那就是基于PyFiles来指定依赖，在DLI Spark作业页面中可以直接选取存放在OBS上的Python第三方程序库（支持zip、egg等）。 图1 Spark作业编辑页面 对于依赖的这个Python第三方库的压缩包有一定的结
原生数据类型 DLI支持原生数据类型，请参见表1。 表1 原生数据类型 数据类型 描述 存储空间 范围 OBS表支持情况 DLI表支持情况 INT 有符号整数 4字节 -2147483648～2147483647 是 是 STRING 字符串 - - 是 是 FLOAT 单精度浮点型
out文件中的数据结果： 登录DLI管理控制台，选择“作业管理 > Flink作业”。 单击对应的Flink作业名称，选择“运行日志”，单击“OBS桶”，根据作业运行的日期，找到对应日志的文件夹。 进入对应日期的文件夹后，找到名字中包含“taskmanager”的文件夹进入，下载获取.out文件查看结果日志。
策略》和《统一身份认证服务用户指南》中的创建用户组。 注意事项 如果需要查看管理员或者其他用户账号下的数据库，需要对当前用户授权（显示权限），具体请参考常用操作与系统权限关系。 数据库和表赋权对象具有层级关系，用户赋予上一层级的权限会自动继承到下一层级对象上，层级关系为：数据库>表>列。
认即可。 所属队列：选择步骤1：创建队列中创建的队列。 Flink版本：选择1.12。 保存作业日志：勾选。 OBS桶：选择保存作业日志的OBS桶，根据提示进行OBS桶权限授权。 开启Checkpoint：勾选。 Flink作业编辑框中输入具体的作业SQL，本示例作业参考如下。SQL中加粗的参数需要根据实际情况修改。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
