检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
while trying to read 143805 bytes 问题原因 上述报错可能原因是当前导入的文件数据量较大,同时因为spark.sql.shuffle.partitions参数设置的并行度过大,导致缓存区大小不够而导入数据报错。 解决方案 建议可以尝试调小spark.sql.shuffle
名称 描述 存储空间 取值范围 字面量 DECIMAL 固定精度的十进制数。精度最高支持到38位,但精度小于18位能保障性能最好。 Decimal有两个输入参数: precision:总位数,默认38 scale:小数部分的位数,默认0 说明: 如果小数位为零,即十进制(38,0),则支持最高19位精度。
子逻辑判断条件开始。 ) 子逻辑判断条件结束。 condition 逻辑判断条件。 exists 关键字,用于判断是否存在一个不为空的集合,若exists后面跟的为子查询,子查询中须包含逻辑判断条件。 in 关键字,用于判断属性是否在一个集合中。 attrs_value_set_expr
子逻辑判断条件开始。 ) 子逻辑判断条件结束。 condition 逻辑判断条件。 exists 关键字,用于判断是否存在一个不为空的集合,若exists后面跟的为子查询,子查询中须包含逻辑判断条件。 in 关键字,用于判断属性是否在一个集合中。 attrs_value_set_expr
ined]'); 参数描述 表1 参数描述 参数 描述 是否必填 table 需要查询表的表名,支持database.tablename格式 是 clean_policy 清理老版本数据文件的策略,默认KEEP_LATEST_COMMITS 否 retain_commits 仅对
Spark作业开发类 Spark作业使用咨询 Spark如何将数据写入到DLI表中 通用队列操作OBS表如何设置AK/SK 如何查看DLI Spark作业的实际资源使用情况 将Spark作业结果存储在MySQL数据库中,缺少pymysql模块,如何使用python脚本访问MySQL数据库? 如何在DLI中运行复杂PySpark程序?
auth_info_name String 用户安全集群的登录用户名。 user_name String 用户安全集群的登录密码。 certificate_location String 创建时指定的证书OBS路径。 datasource_type String 数据源的类型。 create_time Int
auth_info_name String 用户安全集群的登录用户名。 user_name String 用户安全集群的登录密码。 certificate_location String 创建时指定的证书OBS路径。 datasource_type String 数据源的类型。 create_time Int
tableName 表名。 col_old_name 待修改的列名。 column_type 目标列类型。 col_comment 列comment。 column_name 位置修改参照列,例如:AFTER column_name的语义是要将待修改列放到参照列column_name之后。
是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数a的格式包括浮点数格式、整数格式、字符串格式。 参数a非BIGINT类型时,会隐式转换为BIGINT类型后参与运算。 字符串会转为对应的ASCII码。 返回值说明 返回STRING类型。 a值为0时,返回0。 a值为NULL时,返回NULL。
是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数a的格式包括浮点数格式、整数格式、字符串格式。 参数a非BIGINT类型时,会隐式转换为BIGINT类型后参与运算。 字符串会转为对应的ASCII码。 返回值说明 返回STRING类型。 a值为0时,返回0。 a值为NULL时,返回NULL。
contain alphabet characters, numbers and _. 解决方案 需要将SQL中表名的“#”字符改成“$”即可。DLI中使用EL表达式的格式为:${expr}。 修改前: t_user_message_input_#{date_format(date_sub(current_date()
DLI SDK DLI SDK功能矩阵 DLI SDK与API的对应关系
上传数据相关API(废弃) 对已创建的上传作业进行鉴权(废弃) 父主题: 历史API
DLI资源配额类 什么是用户配额? 怎样查看我的配额 如何申请扩大配额
15:50:04变更弹性资源池规格为128CU。弹性资源池计费详情请参见数据湖探索价格详情。 价格仅供参考,实际计算请以数据湖探索价格详情中的价格为准。 该示例计费详情如表1所示。 表1 包年/包月弹性资源池+扩缩容场景计费示例 计费模式 计算规则 付费周期 费用计算 包年/包月 弹性资源池64CUs包周期
队列网络联通 配置DLI队列与内网数据源的网络联通 配置DLI 队列与公网网络联通
retention period? 根因分析:RETAIN 保留期过短(少于168小时),需要确认是否能清理该时间前的数据,将无法再回头查看在指定数据保留期之前创建的版本。确认清理可在console页面设置中添加参数spark.databricks.delta.retentionDurationCheck
Java SDK环境配置 Java开发环境配置 SDK的获取与安装 初始化DLI客户端 父主题: Java SDK
是 String Flink作业的作业ID。 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 job_id 是 Long Flink作业的ID。 savepoint_path