检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
e”时,表示导入数据成功。 在DLI上创建数据库和表。 登录DLI管理控制台,选择“SQL编辑器”,在SQL编辑器中“执行引擎”选择“spark”,“队列”选择已创建的SQL队列。 在编辑器中输入以下语句创建数据库,例如当前创建迁移后的DLI数据库testdb。详细的DLI创建数据库的语法可以参考创建DLI数据库。
OBS中的jar包创建相应的程序包。 在DLI管理控制台的左侧导航栏中,单击作业管理>“Flink作业”,在需要编辑作业对应的“操作”列中,单击“编辑”,进入作业编辑页面。 在“运行参数设置”页签,“UDF Jar”选择创建的程序包,单击“保存”。 选定JAR包以后,SQL里添加
如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 数据类型的使用,请参考Format章节。
包类型:PyFile。 OBS路径:选择1.aegg包所在的OBS路径。 分组设置和分组名称根据情况选择。 单击“确定”完成程序包上传。 在报错的Spark作业编辑页面,“依赖python文件”处选择已上传的egg程序包,重新运行Spark作业。 pyspark作业对接MySQL,需要创建跨源链接,打通DLI和RDS之间的网络。
false”时独有。 graph_editor_enabled 否 Boolean 作业的流图是否可编辑。“true”表示作业的流图可以编辑,“false”表示作业的流图不可以编辑。 has_savepoint 否 Boolean 作业是否有保存点。“true”表示作业有保存点,“false”表示作业没有保存点。
OBS中的jar包创建相应的程序包。 在DLI管理控制台的左侧导航栏中,单击作业管理>“Flink作业”,在需要编辑作业对应的“操作”列中,单击“编辑”,进入作业编辑页面。 在“运行参数设置”页签,“UDF Jar”选择创建的程序包,单击“保存”。 选定JAR包以后,SQL里添加
如果需要调整动态扩缩容的配置项,则需要停止作业进行编辑,并提交运行才能生效。 操作步骤 Flink作业动态扩缩容适用于Flink Opensource SQL作业和Flink Jar作业。 登录DLI管理控制台。 单击“作业管理 > Flink作业”。 选择要开启动态扩缩容的作业,单击操作列下的编辑。 Flink Opensource
”。 选择“系统变量”,新建 “JAVA_HOME 变量”,路径配置为JDK安装路径,例如:“D:\Java\jdk1.8.0_45”。 编辑 “Path 变量”,在“变量值”中增加“%JAVA_HOME%\bin;”。 新建 “CLASSPATH 变量”,在“变量值”中填写 “
数中不指定print-identifier。 parallelism == 1 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 语法格式
false”时独有。 graph_editor_enabled 否 Boolean 作业的流图是否可编辑。“true”表示作业的流图可以编辑,“false”表示作业的流图不可以编辑。 has_savepoint 否 Boolean 作业是否有保存点。“true”表示作业有保存点,“false”表示作业没有保存点。
弹性资源池添加队列的用户名。 操作 编辑:重新修改或者添加弹性资源池队列的扩缩容策略。 删除:删除当前弹性资源添加的队列。 图1 弹性资源池队列管理 选择要操作的队列,在“操作”列,单击“编辑”,进入到编辑队列界面。 在编辑队列界面,根据您当前操作场景,分别对应以下操作: 图2 编辑队列界面 新增扩
"Duration":146,"Sign":-1} 在DLI上创建数据库和表。 登录DLI管理控制台,选择“SQL编辑器”,在SQL编辑器中“执行引擎”选择“spark”,“队列”选择已创建的SQL队列。 在编辑器中输入以下语句创建数据库,例如当前创建迁移后的DLI数据库testdb。详细的DLI创建数据库的语法可以参考创建DLI数据库。
SQL脚本,用户没有在DLI控制台上同意隐私协议导致在DataArts Studio运行SQL脚本报错。 解决方案 登录DLI控制台,选择“SQL编辑器”,输入任意执行一个SQL语句,比如“select 1”。 弹出隐私协议后,勾选“同意以上隐私协议”,单击“确定”。 该隐私协议只需要在
委托:请选择步骤4:创建自定义委托允许DLI访问DEW读取凭证创建的委托,用于访问DEW中存储的凭证。 其他参数请参考创建Spark作业中关于Spark作业编辑页面的说明。 单击Spark作业编辑页面右上方“执行”,阅读并同意隐私协议,单击“确定”。提交作业,页面显示“作业提交成功”。 (可选)可到“作业管理”>“
再到具体的DLI上执行。 在DLI上创建数据库和表。 登录DLI管理控制台,选择“SQL编辑器”,在SQL编辑器中“执行引擎”选择“spark”,“队列”选择已创建的SQL队列。 在编辑器中输入以下语句创建数据库,例如当前创建迁移后的DLI数据库testdb。详细的DLI创建数据库的语法可以参考创建DLI数据库。
触发了监控列表中的关键操作,那么CTS会在记录操作日志的同时,向相关订阅者实时发送通知。 DLI的作业日志 在创建DLI作业时,可以在作业编辑页面,通过保存作业日志功能,将作业运行时的日志信息保存到OBS。 查询作业日志信息,参考查看DLI SQL日志。 作业日志为日常的服务运维
Lakeformation元数据可在湖仓构建Lakeformation服务的管理控制台中查看。 相关操作 DLI SQL队列对接DLI元数据方法: 在DLI管理控制台的SQL编辑器页面的“数据目录”中选择“dli”。 在“数据库”选项中选择要对接的DLI元数据中的数据库,即可对接到DLI元数据。 DLI通用队列对接DLI元数据方法:
如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 数据类型的使用,请参考Format章节。
步骤2:配置DBT连接DLI 配置profiles.yml文件用于保存DBT与DLI的连接信息。 在安装DBT的服务器的主目录下找到 .dbt 目录,创建或编辑 profiles.yml 文件。 例如,在Windows系统中,路径可能是 C:\Users\用户名\.dbt\profiles.yml。
系统没有问题,您需要排查确认修改WITH参数是否正确。 前提条件 无 注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 语法格式