正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
r日志”,显示具体的报错日志信息,根据报错信息定位问题原因。 例如,如下截图信息因为创建Spark Jar作业时主类名没有包含包路径,报找不到类名“SparkDemoObs”。 图17 报错信息 可以在“操作”列,单击“编辑”,修改“主类”参数为正确的:com.huawei.dli
审计与日志 DLI对接云审计服务 云审计服务(Cloud Trace Service,CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可记录的DLI操作列表
根据kafka和ecs所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka和ecs的地址测试队列连通性(通用队列-->找到作业的所属队列-->更多-->测试地址连通性-->输入kafka或ecs的地址-->
根据kafka和ecs所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka和ecs的地址测试队列连通性(通用队列-->找到作业的所属队列-->更多-->测试地址连通性-->输入kafka或ecs的地址-->
ADD [IF NOT EXISTS] PARTITION partition_specs1 [LOCATION 'obs_path1'] PARTITION partition_specs2 [LOCATION 'obs_path2']; 关键字 IF NOT EX
ADD [IF NOT EXISTS] PARTITION partition_specs1 [LOCATION 'obs_path1'] PARTITION partition_specs2 [LOCATION 'obs_path2']; 关键字 IF NOT EX
语法格式 1 2 SHOW PARTITIONS [db_name.]table_name [PARTITION partition_specs]; 关键字 PARTITIONS:表中的分区。 PARTITION:分区。 参数说明 表1 参数描述 参数 描述 db_name Da
语法格式 1 2 SHOW PARTITIONS [db_name.]table_name [PARTITION partition_specs]; 关键字 PARTITIONS:表中的分区。 PARTITION:分区。 参数说明 表1 参数描述 参数 描述 db_name Da
12012, 1.23401) ST_LINE(array[point1...pointN]) 地理线,由多个地理点(ST_POINT)按顺序连接成的折线或直线。 ST_LINE(ARRAY[ST_POINT(1.12, 2.23), ST_POINT(1.13, 2.44), ST_POINT(1
12012, 1.23401) ST_LINE(array[point1...pointN]) 地理线,由多个地理点(ST_POINT)按顺序连接成的折线或直线。 ST_LINE(ARRAY[ST_POINT(1.12, 2.23), ST_POINT(1.13, 2.44), ST_POINT(1
从DLI导入数据到OBS,为什么数据量出现差异? 问题现象 使用DLI插入数据到OBS临时表文件,数据量有差异。 根因分析 出现该问题可能原因如下: 作业执行过程中,读取数据量错误。 验证数据量的方式不正确。 通常在执行插入数据操作后,如需确认插入数据量是否正确,建议通过查询语句进行查询。
non_equi_join_condition number partition_col_name partition_col_value partition_specs property_name property_value regex_expression result_expression select_statement
output_format_classname partition_col_name partition_col_value partition_specs property_name property_value regex_expression result_expression row_format
SERDEPROPERTIES:Serde属性。 参数说明 表1 参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 obs_path OBS存储路径。 注意事项 该命令的主要应用场景是针对分区表,如当手动在OBS上面添加分区目录时,再通过上
SERDEPROPERTIES:Serde属性。 参数说明 表1 参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 obs_path OBS存储路径。 注意事项 该命令的主要应用场景是针对分区表,如当手动在OBS上面添加分区目录时,再通过上
单引号('')包围起来。 partition_specs 分区信息,key=value形式,key为分区字段,value为分区值。若分区字段为多个字段,可以不包含所有的字段,会删除匹配上的所有分区。“partition_specs”中的参数默认带有“( )”,例如:PARTITION
单引号('')包围起来。 partition_specs 分区信息,key=value形式,key为分区字段,value为分区值。若分区字段为多个字段,可以不包含所有的字段,会删除匹配上的所有分区。“partition_specs”中的参数默认带有“( )”,例如:PARTITION
户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮
数据迁移概览 本文为您介绍数据迁移的最佳实践,您可以通过云数据迁移服务CDM轻松的将其他云服务或者业务平台的数据迁移至DLI。 DLI提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务,采用批流融合高扩展性框架,为TB~EB级数据提供了更实时高效的多样性算力,可支撑更丰富的大数据处理需求。
DLI SDK简介 DLI SDK简介 数据湖探索服务软件开发工具包(DLI SDK,Data Lake Insight Software Development Kit)是对DLI服务提供的REST API进行的作业提交的封装,以简化用户的开发工作。用户直接调用DLI SDK提供的接口函数即可实现使用提交DLI