检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“分组设置”选择“已有分组”或者“创建新分组”时，需要填写分组名称。 单击“确定”，完成模板创建。 在“SQL编辑器”页面创建模板。 在管理控制台左侧，单击“SQL编辑器”。 单击SQL作业编辑窗口右上方的“更多”，选择“设为模板”，可将编辑窗口中的SQL语句设置为模板。 输入模板名称、语句和描述信息，详细介绍请参见表1。
登录DLI管理控制台。 选择“作业管理 > Flink作业”，在作业列表中选择待操作的Flink OpenSource SQL作业。 单击操作列的“编辑”，进入作业编辑页面。 在右侧的“运行参数”配置区域，选择新的Flink版本。 使用Flink 1.15以上版本的引擎执行作业时，需要在自定义配置
在“tpchQuery”下找到适合您业务场景的样例模板，单击操作列的“执行”进入SQL编辑器页面。 在SQL编辑器页面右侧的编辑窗口上方，“执行引擎”选择“spark”，“队列”选择“default”，“数据库”选择“default”，单击“执行”。 SQL作业编辑窗口下方“查看结果”页签查看查询结果。 本示例使用
'connector' = 'kafka', 'topic' = '<yourTopic>', 'properties.bootstrap.servers' = '<yourKafka>:<port>', 'properties.group.id' = '<yourGroupId>'
'connector' = 'kafka', 'topic' = 'kafkaTopic', 'properties.bootstrap.servers' = 'KafkaAddress1:KafkaPort,KafkaAddress2:KafkaPort', 'properties
'connector' = 'kafka', 'topic' = 'kafkaTopic', 'properties.bootstrap.servers' = 'KafkaAddress1:KafkaPort,KafkaAddress2:KafkaPort', 'properties
列。具体可以参考《用户指南》中的“创建队列”章节。 在DLI管理控制台，单击左侧导航栏中的“SQL编辑器”，可进入SQL作业“SQL编辑器”页面。 在“SQL编辑器”页面右侧的编辑窗口中，输入如下创建数据库的SQL语句，单击“执行”。阅读并同意隐私协议，单击“确定”。 若test
'<yourTopic>', 'properties.group.id' = '<yourGroupId>', 'properties.bootstrap.servers' = '<yourKafkaAddress>:<yourKafkaPort>', 'scan.startup
OpenSource SQL”，名称填写为：FlinkKafkaRds。单击“确定”，跳转到Flink作业编辑界面。 在Flink OpenSource SQL作业编辑界面，配置如下参数，其他参数默认即可。 所属队列：选择步骤1：创建队列中创建的队列。 Flink版本：选择1.12。
'connector' = 'kafka', 'topic' = 'kafkaTopic', 'properties.bootstrap.servers' = 'KafkaAddress1:KafkaPort,KafkaAddress2:KafkaPort', 'properties
具体该参数设置步骤如下： 登录DLI管理控制台，单击“作业管理 > SQL作业”，对应SQL作业行的操作列，单击“编辑”按钮，跳转到“SQL编辑器”。 在“SQL编辑器”中，单击“设置”，参考如下图配置添加参数。 图1 设置参数 重新执行作业。 父主题： SQL作业运维类
步骤2：使用DLI将CSV数据转换为Parquet数据 在DLI控制台总览页面左侧，单击“SQL编辑器”，进入SQL作业编辑器页面。 在SQL作业编辑器左侧，选择“数据库”页签，单击创建名字为demo的数据库。 在DLI的SQL编辑窗口，执行引擎选择“spark”，队列选择“default”，数据库选择
注意：创建队列时，队列类型必须要选择为：SQL队列。 前期准备 创建DLI数据库 登录DLI管理控制台，选择“SQL编辑器”，在SQL编辑器中“执行引擎”选择“spark”，“队列”选择已创建的SQL队列。 在SQL编辑器中输入以下语句创建数据库“testdb”。详细的DLI创建数据库的语法可以参考创建DLI数据库。
索、统计、报表。 云搜索服务的更多信息，请参见《云搜索服务用户指南》 前提条件 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 请
Studio数据开发页面，选择左侧导航栏的“数据开发 > 作业开发”。 图6 新建作业 编辑作业信息，本例定义SQL作业名称为 “job_create_tables”。 图7 编辑作业信息 在作业开发页面，拖动DLI SQL节点到画布中，并单击节点编辑属性。 SQL或脚本：本例选择“SQL脚本”。并选择2.b中创建的脚本。
作业优先级的调整需要停止作业进行编辑，并提交运行才能生效。 对于Flink作业，请参考开启Flink作业动态扩缩容设置flink.dli.job.scale.enable=true开启动态扩缩容功能，再设置作业优先级。 调整作业优先级需要停止作业后编辑，并重新提交运行才能生效。 设置Flink
用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。 注意事项 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 创
在管理控制台的左侧，单击“SQL编辑器”。 在“SQL编辑器”页面左侧导航栏选择“数据库”页签，鼠标左键单击需要导入数据的表对应的数据库名，进入“表”区域。 鼠标左键单击对应表右侧的，在列表菜单中选择“导入”，弹出“导入数据”页面。 图2 SQL编辑器-导入数据 在“导入数据”页面，参见表1填写相关信息。
在对应数据库的操作列，选择“更多> 标签”。 进入标签管理页面，显示当前数据库的标签信息。 单击“添加/编辑标签”，弹出“添加/编辑标签”对话框，配置参数。 输入框输入内容后单击'添加'，将标签添加到输入框中。 图1 数据库添加/编辑标签 表1 标签配置参数 参数 参数说明 标签键 您可以选择： 在输入框的下拉列表中选择预定义标签键。
示例 下面的示例展示了一个经典的业务流水线，维度表来自 Hive，每天通过批处理流水线作业或 Flink 作业更新一次，kafka流来自实时在线业务数据或日志，需要与维度表连接以扩充流。 使用spark sql 创建 hive obs 外表，并插入数据。 CREATE TABLE if
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
