检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表示用户作业使用的Spark镜像类型,具体说明如下: 基础型:DLI提供的基础镜像,运行非AI相关作业时选择“基础型”。 自定义镜像:自定义的Spark镜像,需要选择“容器镜像服务”中设置的镜像名称及版本。 依赖jar包(--jars) 运行spark作业依赖的jars。
使用Notebook实例提交DLI作业 Notebook是基于开源JupyterLab进行了深度优化的交互式数据分析挖掘模块,提供在线的开发和调试能力,用于编写和调测模型训练代码。
语法格式 1 WITH cte_name AS (select_statement) sql_containing_cte_name; 关键字 cte_name:公共表达式的名字,不允许重名。 select_statement:完整的SELECT语句。
- Authentication failed 问题原因 因为账号没有在全局配置中配置服务授权,导致该账号在创建跨源连接访问外部数据时因为权限不足而导致跨源访问失败。
建议使用网段: 10.0.0.0~10.255.0.0/8~24 172.16.0.0~172.31.0.0/12~24 192.168.0.0~192.168.0.0/16~24 “队列特性”:运行AI相关SQL作业时选择“AI增强型”队列,运行其他作业时选择“基础型”队列。
-2.34.jar parquet-column-1.12.2.jar commons-lang-2.6.jar jersey-container-servlet-core-2.34.jar parquet-common-1.12.2.jar commons-lang3-3.10.
sql_containing_cte_name 格式 无。 说明 包含了cte_name定义的公共表达式的SQL语句。 父主题: 标示符
`obs://bucket_name/tbl_path` DROP CONSTRAINT constraint_name 参数描述 表1 DROP CONSTRAINT参数描述 参数 描述 database_name Database名称,由字母、数字和下划线(_)组成。
ADD CONSTRAINT 命令功能 ADD CONSTRAINT 命令添加 CHECK 约束。 在将约束添加到表中之前会验证所有现有行是否满足约束。
UQUERY_CONNECTOR_0001:Invoke DLI service api failed, failed reason is %s. at org.apache.sqoop.connector.uquery.intf.impl.UQueryWriter.close
异常日志参考如下: [ERROR] Execute DLI SQL failed. Please contact DLI service.
EXPLAIN 语法 EXPLAIN [ ( option [, ...] ) ] statement 其中选项可以是以下选项之一: FORMAT { TEXT | GRAPHVIZ | JSON } TYPE { LOGICAL | DISTRIBUTED | VALIDATE
新建跨源连接,显示已激活,但使用时提示communication link failure错误怎么办? 根因分析 网络连通性问题,建议用户检查安全组选择是否正确,检查安全组网络(vpc)配置。
Flink SQL作业运行失败,日志中有connect to DIS failed java.lang.IllegalArgumentException: Access key cannot be null错误 问题现象 在DLI上提交Flink SQL作业,作业运行失败,在作业日志中有如下报错信息
Flink Opensource SQL Elasticsearch结果表failure-handler参数填写retry_rejected导致提交失败 问题说明 Flink Opensource SQL Elasticsearch结果表failure-handler参数填写retry_rejected
故障处理 问题1:运行Spark作业,作业运行失败,作业日志中提示java server connection或container启动失败 问题现象 运行Spark作业,作业运行失败,作业日志中提示java server connection或container启动失败。
SHOW_FS_PATH_DETAIL 命令功能 查看指定的FS路径的统计数据 命令格式 call show_fs_path_detail(path=>'[path]', is_sub=>'[is_sub]', sort=>'[sort]'); 参数描述 表1 参数描述 参数 描述
命令格式 call run_clean(table=>'[table]', clean_policy=>'[clean_policy]', retain_commits=>'[retain_commits]', hours_retained=> '[hours_retained]'
SELECT contains('10.0.0.0/8', IPADDRESS '10.255.255.255'); -- true SELECT contains('10.0.0.0/8', IPADDRESS '11.255.255.255'); -- false SELECT
`obs://bucket_name/tbl_path`; 显示表详细信息: DESCRIBE DETAIL [database_name.]table_name|DELTA.