检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理增强型跨源连接 查看增强型跨源连接的基本信息 增强型跨源连接权限管理 增强型跨源连接绑定弹性资源池 增强型跨源连接与弹性资源池解绑 添加增强型跨源连接的路由信息 删除增强型跨源连接的路由信息 修改弹性资源池的主机信息 增强型跨源连接标签管理 删除增强型跨源连接 父主题: 配置DLI读写外部数据源数据
生成compaction计划(op指定为“schedule”),或者执行已经生成的compaction计划(op指定为“run”) 是 table 需要查询表的表名,支持database.tablename格式 table,path须选填其中之一 path 需要查询表的路径 table,path须选填其中之一 timestamp
NULLIF(5, 0)返回5 COALESCE(value1, value2 [, value3 ]* ) 返回从左到右第一个不为null的参数的值 例如:COALESCE(NULL, 5)返回5 IF(condition, true_value, false_value) 若co
NULLIF(5, 0)返回5 COALESCE(value1, value2 [, value3 ]* ) 返回从左到右第一个不为null的参数的值 例如:COALESCE(NULL, 5)返回5 IF(condition, true_value, false_value) 若co
参数类型 说明 auth_info_name 是 String 指定更新的跨源认证名称。 user_name 否 String 用户安全集群的新登录用户名。 password 否 String 用户安全集群的新登录密码。 krb5_conf 否 String krb5配置文件obs路径。
资源标签相关API 批量添加资源标签 批量删除资源标签 查询资源实例数量 查询资源实例列表 查询指定资源类型的标签信息 查询指定资源实例的标签信息
boolExpression] 参数描述 表1 DELETE参数 参数 描述 tableIdentifier 在其中执行删除操作的Hudi表的名称。 boolExpression 删除项的过滤条件 示例 示例1: delete from h0 where column1 = 'country'; 示例2:
创建Hive Catalog Hive方言 Hive源表 Hive结果表 Hive维表 使用Temporal join关联维表的最新分区 使用Temporal join关联维表的最新版本 父主题: Connector列表
各数据类型获取元素的方法: - map:map['key'] - array:array[index] - row:row.key array 的起始下标从 1 开始,即 array[1] 是 array 的第一个元素。 array 的元素必须同类型,row 的元素可以不同类型。
GROUP_ID() 返回唯一标识分组键组合的整数。 GROUPING(expression1 [, expression2]* ) | GROUPING_ID(expression1 [, expression2]* ) 返回给定分组表达式的位向量。 父主题: 内置函数
查询源表数据,发现导致问题产生的记录ctr值为1675,整数位(4位)超出所定义的decimal精度(9 – 6 = 3位),导致double转decimal时overflow产生null值,而对应dws表字段为非空导致插入失败。 处理步骤 修改目的表所定义的decimal精度即可解决。
ined]'); 参数描述 表1 参数描述 参数 描述 是否必填 table 需要查询表的表名,支持database.tablename格式 是 clean_policy 清理老版本数据文件的策略,默认KEEP_LATEST_COMMITS 否 retain_commits 仅对
while trying to read 143805 bytes 问题原因 上述报错可能原因是当前导入的文件数据量较大,同时因为spark.sql.shuffle.partitions参数设置的并行度过大,导致缓存区大小不够而导入数据报错。 解决方案 建议可以尝试调小spark.sql.shuffle
名称 描述 存储空间 取值范围 字面量 DECIMAL 固定精度的十进制数。精度最高支持到38位,但精度小于18位能保障性能最好。 Decimal有两个输入参数: precision:总位数,默认38 scale:小数部分的位数,默认0 说明: 如果小数位为零,即十进制(38,0),则支持最高19位精度。
DLI SDK DLI SDK功能矩阵 DLI SDK与API的对应关系
上传数据相关API(废弃) 对已创建的上传作业进行鉴权(废弃) 父主题: 历史API
auth_info_name String 用户安全集群的登录用户名。 user_name String 用户安全集群的登录密码。 certificate_location String 创建时指定的证书OBS路径。 datasource_type String 数据源的类型。 create_time Int
是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数a的格式包括浮点数格式、整数格式、字符串格式。 参数a非BIGINT类型时,会隐式转换为BIGINT类型后参与运算。 字符串会转为对应的ASCII码。 返回值说明 返回STRING类型。 a值为0时,返回0。 a值为NULL时,返回NULL。
子逻辑判断条件开始。 ) 子逻辑判断条件结束。 condition 逻辑判断条件。 exists 关键字,用于判断是否存在一个不为空的集合,若exists后面跟的为子查询,子查询中须包含逻辑判断条件。 in 关键字,用于判断属性是否在一个集合中。 attrs_value_set_expr
Spark作业开发类 Spark作业使用咨询 Spark如何将数据写入到DLI表中 通用队列操作OBS表如何设置AK/SK 如何查看DLI Spark作业的实际资源使用情况 将Spark作业结果存储在MySQL数据库中,缺少pymysql模块,如何使用python脚本访问MySQL数据库? 如何在DLI中运行复杂PySpark程序?