检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
column=detail:user_name, timestamp=2021-12-16T21:30:52.181, value=Bob 常见问题 Q：Flink作业运行失败，作业运行日志中如下报错信息，应该怎么解决？ org.apache.zookeeper.ClientCnxn
字段的顺序也必须对应。否则将出错。 单表分区数最多允许200000个。 2024年1月后新注册使用DLI服务的用户，且使用Spark3.3及以上版本的引擎，在使用DataSource语法创建表时支持使用CTAS创建分区表。 语法格式 1 2 3 4 5 6 7 CREATE TABLE
修改弹性资源池的主机信息 操作场景 主机信息用于配置主机的IP与域名的映射关系，在作业配置时只需使用配置的域名即可访问对应的主机。在跨源连接创建完成后，支持修改主机信息。 常见的访问MRS的HBase集群时需要配置实例的主机名（即域名）与主机对应的IP地址。 约束限制 已获取MR
创建DLI自定义委托权限 使用Flink 1.15和Spark 3.3及以上版本的引擎执行作业时，当您所需的委托没有包含在DLI系统委托dli_management_agency时，您需要在IAM页面创建相关委托，并在作业配置中添加新建的委托信息。dli_management_a
Jar作业访问LakeFormation元数据 参数 说明 配置示例 Spark版本 Spark 3.3.x及以上版本支持对接LakeFormation。 3.3.1 委托 使用Spark 3.3.1及以上版本的引擎执行作业时，需要您先在IAM页面创建相关委托，并在此处添加新建的委托信息。选择该
"order_channel" 14) "webShop" 15) "pay_time" 16) "2021-03-24 10:02:03" 常见问题 Q：当data-type为set时，最终结果数据相比输入数据个数少了是什么原因？ A：这是因为输入数据中有重复数据，导致在Redis的set中会进行排重，因此个数变少了。
REFRESH TABLE刷新表元数据 功能描述 Spark为了提高性能会缓存Parquet的元数据信息。当更新了Parquet表时，缓存的元数据信息未更新，导致Spark SQL查询不到新插入的数据作业执行报错，报错信息参考如下： DLI.0002: FileNotFoundException:
权限策略。 仅支持Spark3.3.1（Spark通用队列场景）及以上版本使用DEW管理访问凭据，在创建作业时，请配置作业使用Spark3.3.1版本、且已在作业中配置允许DLI访问DEW的委托信息。 自定义委托及配置请参考自定义DLI委托权限。 使用该功能，所有涉及OBS的桶，都需要进行配置AKSK。
自定义函数类型推导 操作场景 类型推导包含了验证输入值、派生参数和返回值数据类型。从逻辑角度看，Planner需要知道数据类型、精度和小数位数；从 JVM 角度来看，Planner 在调用自定义函数时需要知道如何将内部数据结构表示为JVM对象。 Flink 自定义函数实现了自动的
自定义函数类型推导 操作场景 类型推导包含了验证输入值、派生参数和返回值数据类型。从逻辑角度看，Planner需要知道数据类型、精度和小数位数；从 JVM 角度来看，Planner 在调用自定义函数时需要知道如何将内部数据结构表示为JVM对象。 Flink 自定义函数实现了自动的
查看taskmanager.out文件中的数据结果，数据结果参考如下： +I(1, xxx, webShop) +I(2, xxx, miniAppShop) 常见问题 无 父主题： Connector列表
文件更新后重新上传。 由于DLI服务端已经内置了Flink的依赖包，并且基于开源社区版本做了安全加固。 为了避免依赖包兼容性问题或日志输出及转储问题，打包时请注意排除以下文件： 系统内置的依赖包，或者在Maven或者Sbt构建工具中将scope设为provided 日志配置文件（例如：“log4j
轻松地将单个数据副本用于批处理和流式处理操作，并提供大规模增量处理。 DLI中Delta的使用限制 仅Spark 3.3.1（3.0.0）及以上版本支持Delta。 DLI支持的Delta版本是Delta 2.3.0。 Spark 3.3.1（3.0.0）版本的SQL仍有部分不支
南》中“安全组”章节。 Flink跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。 注意事项 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1
创建Hudi表时会在元数据仓创建表的相关元数据信息。 Hudi支持对接DLI元数据和Lakeformation元数据（仅Spark 3.3.1及以上版本支持对接Lakeformation元数据），对接方式与Spark一致。 DLI元数据可在数据湖探索管理控制台的“数据管理 > 库表管理”中查看。
“运维调度”，进入实例监控列表页面，您可以在该页面中查看作业的实例信息，并根据需要对实例进行更多操作。 了解更多实例监控。 图19 设置实例监控 常见问题 如果 DataArts 作业失败，且 DataArts 提供的日志不够详细，怎么办？还能从哪里找更具体的日志？您可以可通过 DataArts
"area_county_name":"c3","area_street_name":"d3","region_name":"e1"} 常见问题 如果在windows环境中向redis中写入中文时，会导致写入数据异常，请避免此情况。 父主题： Redis
创建Delta表时会在元数据仓创建表的相关元数据信息。 Delta支持对接DLI元数据和Lakeformation元数据（仅Spark 3.3.1及以上版本支持对接Lakeformation元数据），对接方式与Spark一致。 DLI元数据可在数据湖探索管理控制台的“数据管理 > 库表管理”中查看。
单击管理控制台左上角的，选择区域和项目。 在页面右上角，选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图1 我的配额 您可以在“服务配额”页面，查看各项资源的总配额及使用情况。 如果当前配额不能满足业务要求，请参考后续操作，申请扩大配额。 如何申请扩大配额？ 登录管理控制台。 在页面右上角，选择“资源 >
单击管理控制台左上角的，选择区域和项目。 在页面右上角，选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图1 我的配额 您可以在“服务配额”页面，查看各项资源的总配额及使用情况。 如果当前配额不能满足业务要求，请参考后续操作，申请扩大配额。 如何申请扩大配额？ 登录管理控制台。 在页面右上角，选择“资源 >
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
