检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
resource ‘resources. xxx', User = 'xxx', Action = "UPDATE_RESOURCE'." 解决方案 需要给执行作业的用户赋程序包的操作权限，具体操作参考如下： 在DLI管理控制台左侧，单击“数据管理 > 程序包管理”。 在“程序包管理”
tables/databases. Valid names only contain alphabet characters, numbers and _. 解决方案 需要将SQL中表名的“#”字符改成“$”即可。DLI中使用EL表达式的格式为：${expr}。 修改前： t_user_message_
n denied for resource: databases.xxx,action:SPARK_APP_ACCESS_META) 解决方案 需要给执行作业的用户赋数据库的操作权限，具体操作参考如下： 在DLI管理控制台左侧，单击“数据管理”>“库表管理”。 单击所选数据库“操
S外表后，查询test06表数据内容显示如下： name id classno Jordon 88 aa bb" null null 解决方案 创建OBS外表时，通过multiLine=true来指定列数据包含回车换行符。针对举例的建表语句，可以通过如下示例解决： CREATE TABLE
区值“__HIVE_DEFAULT_PARTITION__”，当前Spark判断分区为空时，则会直接返回null，不返回具体的数据。 解决方案 登录DLI管理控制台，在“SQL编辑器”中，单击“设置”。 在参数设置中，添加参数“spark.sql.forcePartitionPr
上述报错可能原因是当前导入的文件数据量较大，同时因为spark.sql.shuffle.partitions参数设置的并行度过大，导致缓存区大小不够而导入数据报错。 解决方案 建议可以尝试调小spark.sql.shuffle.partitions参数值来解决缓冲区不足问题。具体该参数设置步骤如下： 登录DLI管理控制台，单击“作业管理
15版本的Jar作业开发指导请参考Flink Jar写入数据到OBS开发指南。 配置文件使用方法 方案一：直接在main函数里面加载文件内容到内存，然后广播到各个taskmanager，这种方式适合那种需要提前加载的少量变量。 方案二：在open里面初始化算子的时候加载文件，可以使用相对路径/绝对路径的方式
怎样判断当前DLI队列中的作业是否有积压？ 问题描述 需要查看DLI的队列中作业状态为“提交中”和“运行中”的作业数，判断当前队列中的作业是否有积压。 解决方案 可以通过“云监控服务 CES”来查看DLI队列中不同状态的作业情况，具体操作步骤如下： 在控制台搜索“云监控服务 CES”，进入云监控服务控制台。
问题根因 第一次执行DLI SQL脚本，用户没有在DLI控制台上同意隐私协议导致在DataArts Studio运行SQL脚本报错。 解决方案 登录DLI控制台，选择“SQL编辑器”，输入任意执行一个SQL语句，比如“select 1”。 弹出隐私协议后，勾选“同意以上隐私协议”，单击“确定”。
int，配置了OBS桶保存作业日志和Checkpoint。但是运行该Flink SQL作业的IAM用户没有OBS写入权限导致该问题。 解决方案 登录IAM控制台页面，单击“用户”，在搜索框中选择“用户名”，输入运行作业的IAM用户名。 单击查询到用户名，查看该用户对应的用户组。
该表进行权限赋予。 问题根因 删除表后再重建同名的表，该场景下表权限不会自动继承，需要重新对需要操作该该表的用户或项目进行赋权操作。 解决方案 表删除再创建后，需要重新对需要操作该表的用户或项目进行赋权操作。具体操作如下： 在管理控制台左侧，单击“数据管理”>“库表管理”。 单击
当前访问的DWS数据库连接已经超过了最大连接数。错误信息中，non-active的个数表示空闲连接数，例如，non-active为508，说明当前有大量的空闲连接。 解决方案 出现该问题时建议通过以下操作步骤解决。 登录DWS命令执行窗口，执行以下SQL命令，临时将所有non-active的连接释放掉。 SELECT
确保没有任何策略明确拒绝了DLI服务对桶的访问。IAM策略是优先考虑拒绝（deny）权限的，即使有允许（allow）权限，如果有拒绝权限存在，也会导致授权失败。 排查方案 在OBS管理控制台找到DLI作业桶。 查看所选桶的桶策略。 DLI Flink作业所需要使用的桶授权信息如下，其中domainId和us
最佳实践内容概览 表1 DLI最佳实践 方案 说明 使用DLI分析车联网场景驾驶行为数据 使用DLI进行车联网场景驾驶行为数据分析。 使用DLI将CSV数据转换为Parquet数据 使用DLI将CSV数据转换为Parquet数据的方法。 使用DLI分析电商BI报表 以某商城真实的
on link failure错误怎么办？ 根因分析 网络连通性问题，建议用户检查安全组选择是否正确，检查安全组网络（vpc）配置。 解决方案 示列：创建RDS跨源，使用时报“communication link failure”错误。 将原有跨源连接删除重新创建。再次创建时，必
string) stored as parquet location 'obs://obs-sink/car_infos'; 解决方案 在DLI创建Flink结果表到OBS的作业时，如上述举例中的car_infos_sink表，是否开启了Checkpoint。如果未开启则
在CDM界面创建迁移作业，配置DLI目的连接参数时，“资源队列”参数错误选成了DLI的“通用队列”，应该选择DLI的“SQL队列”。 解决方案 登录DLI管理控制台，选择“队列管理”，在队列管理界面查看是否有“SQL队列”类型的队列。 是，执行3。 否，执行2购买“SQL队列”类型的队列。
getTimeZone(canonicalTimezone) 读取的。也就是说，读取的是CST（UTC+8），但真正设置的时区却是CST（UTC-5）。 解决方案 数据库设置 time_zone 的值为非 SYSTEM，比如 +08:00。 设置jdbcUrl时带上时区。 例如‘jdbc:mysql
EOM后停止队列资源的新购。 短期方案：为了满足部分业务的使用需求，在2024年6月30日 00:00:00（北京时间）前，您可以最大续订1年队列或者变更队列，在2024年6月30日 00:00:00（北京时间）后将无法续订、变更队列， 长期方案：更换使用“弹性资源池”或“def
15版本数据同步迁移场景，优先推荐使用DataArts的数据集成。 Flink 1.15版本支持集成DEW-CSMS凭证管理，提供隐私保护方案。 Flink 1.15版本支持Flink Jar作业最小化提交。 Flink Jar作业最小化提交是指Flink仅提交作业必须的依赖项，
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
