检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用default创建DataSource表时引擎版本不低于Spark 3.3.1，如果引擎版本低于Spark 3.3.1则会提示上述错误信息，此时请切换使用Hive语法创建表。详细操作请参考使用Hive语法创建OBS表。 使用Spark 3.3.1执行jar作业报错 "xxx don`t support
DLI作业要由用户主账户统一设置及修改，子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则，定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改，否则可能会造成历史数据无法查找。 前提条件 配置前，请先购买OBS桶或并行文件系统。大数
已经预先支付了资源费用，因此在账户出现欠费的情况下，已有的包年/包月资源仍可正常使用。然而，对于涉及费用的操作，如新购资源、弹性资源池规格变更、续费订单等，用户将无法正常进行。 按需计费 当您的账号因按需DLI资源自动扣费导致欠费后，账号将变成欠费状态。欠费后，资源进入宽限期，不
Flink 数据类型转换。 Flink的HBase连接器将所有数据类型（除字符串外）null 值编码成空字节。对于字符串类型，null 值的字面值由null-string-literal选项值决定。 表2 数据类型映射表 Flink 数据类型 HBase 转换 CHAR / VARCHAR
Flink 数据类型转换。 Flink的HBase连接器将所有数据类型（除字符串外）null 值编码成空字节。对于字符串类型，null 值的字面值由null-string-literal选项值决定。 表2 数据类型映射表 Flink 数据类型 HBase 转换 CHAR / VARCHAR
Bytes进行字节数组和Flink 数据类型转换。 Flink 的 HBase 连接器将所有数据类型（除字符串外）null值编码成空字节。对于字符串类型，null值的字面值由null-string-literal选项值决定。 表2 数据类型映射表 Flink 数据类型 HBase 转换 CHAR / VARCHAR
”。提交作业，页面显示“作业提交成功”。 （可选）可到“作业管理”>“Spark作业”页面查看提交作业的状态及日志。 在DLI管理控制台第一次单击“执行”操作时，需要阅读隐私协议，同意确定后，后续操作将不会再提示。 后续指引 完成Spark Jar作业快速入门操作后，如果您想了解更多关于Spark
DLI作业要由用户主账户统一设置及修改，子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则，定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改，否则可能会造成历史数据无法查找。 Spark日志分割规则： 按大小分割：默认情况下，每个日志文件最大为128MB。
[5, 6, 7] | [25, 36, 49] (3 rows) 利用transform()函数将数组元素转为字符串，无法转换则转为NULL输出，避免报错产生： SELECT transform(prices, n -> TRY_CAST(n AS VARCHAR)
REVOKE_PRIVILEGE：权限回收 SHOW_PRIVILEGES：查看其它用户具备的权限 RESTART：重启队列 SCALE_QUEUE：规格变更 说明： 若需更新的权限列表为空，则表示回收用户在该队列的所有权限。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success
典型场景示例：迁移DWS数据至DLI 数据迁移数据类型映射 将其他云服务或业务平台数据迁移到DLI ，或者将DLI数据迁移到其他云服务或业务平台时，涉及到源和目的端数据类型的转换和映射，根据表2可以获取到源和目的端的数据类型映射关系。 表2 数据类型映射表 MySQL Hive DWS Oracle PostgreSQL
”队列管理”。在队列管理的界面筛选并选中需要查询的队列，随后点击窗口底部的窗格，展开隐藏的队列详情页面，在支持版本即可查看可用的计算引擎版本。对于SQL队列，无法切换版本，查看默认版本即可判断当前使用的计算引擎版本。 父主题： Hudi表概述
存储费用：静态网站文件存储在OBS中产生的存储费用。 请求费用：用户访问OBS中存储的静态网站文件时产生的请求费用。 流量费用：用户使用自定义域名通过公网访问OBS时产生的流量费用。 实际产生的费用与存储的文件大小、用户访问所产生的请求次数和流量大小有关，请根据自己的业务进行预估。 DLI
生数据类型。然而以反射方式提取数据类型并不总是成功的，比如UDTF中常见的Row类型。 由于 Flink 1.11 起引入了新的自定义函数注册接口，使用了新的自定义函数类型推断机制，因此原先1.10 重载 getResultType 声明返回字段类型的方式将不再可用。继续使用会抛出如下异常：
手动续费 在云服务控制台续费 登录管理控制台。 单击左侧导航栏的图标，选择“大数据 > 数据湖探索 DLI”。 在队列或弹性资源池的列表页，选中待续费的包年/包月资源。 单击“操作”列下的“更多 > 续费”。 选择续费时长，判断是否勾选“统一到期日”，将到期时间统一到各个月的某一
Bytes进行字节数组和Flink 数据类型转换。 Flink 的 HBase 连接器将所有数据类型（除字符串外）null值编码成空字节。对于字符串类型，null值的字面值由null-string-literal选项值决定。 表2 数据类型映射表 Flink 数据类型 HBase 转换 CHAR / VARCHAR
Spark作业未开启高级配置时默认按A类型资源规格配置。 Spark作业中显示计算资源规格的单位为CPU单位，1CU包含1CPU和4GB内存。上述公式中x1代表CPU单位转换为CU单位。 请分别使用内存和CPU核数计算所需的CUs，取两者中的最大值作为Executor 或driver所需的CU数。 图2 查看Spark作业所需CUs数
但不能回收该队列所有者的权限。 查看其他用户具备的权限：当前用户可查看其他用户具备的该队列的权限。 重启队列权限：重启此队列的权限。 规格变更：修改队列规格的权限。 为已有权限的用户赋予权限或回收权限。 在对应队列“权限信息”区域的用户列表中，选择需要修改权限的用户，在“操作”列单击“权限设置”。
months_between months_between函数用于返回date1与date2之间的月份差。 命令格式 months_between(string date1, string date2) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 date1 是 DATE
parquet.utc-timezone 否 false Boolean 使用 UTC 时区或本地时区在纪元时间和 LocalDateTime 之间进行转换。Hive 0.x/1.x/2.x 使用本地时区，但 Hive 3.x 使用 UTC 时区。 数据类型映射 目前，Parquet 格式类型映射与
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
