检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
mode' = 'upsert' ); Q:作业运行正常,但是DWS中一直没有数据怎么办? A:请分别排查以下场景: 查看jobmanager和taskmanager的日志是否有错误抛出。日志查看操作步骤如下: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对
cal,并重新启动。具体操作可以参考设置wal_level参数为logical。 PostgreSQL参数修改完成后,需要重启下RDS PostgreSQL实例,使得参数生效。 Q:Flink作业运行失败,作业运行日志中如下报错信息,应该怎么解决? java.lang.IllegalStateException:
cal,并重新启动。具体操作可以参考设置wal_level参数为logical。 PostgreSQL参数修改完成后,需要重启下RDS PostgreSQL实例,使得参数生效。 Q:Flink作业运行失败,作业运行日志中如下报错信息,应该怎么解决? java.lang.IllegalStateException:
使用DataSource语法创建DLI表 使用Hive语法创建DLI表 删除表相关语法 删除表 查看表相关语法 查看所有表 查看建表语句 查看表属性 查看指定表所有列 查看指定表所有分区 查看表统计信息 修改表相关语法 添加列 分区表相关语法 添加分区(只支持OBS表) 重命名分区 删除分区
获取服务端连接地址 操作场景 DLI支持在互联网环境下连接服务端进行数据查询操作。首先,需要根据如下指导获取连接信息,包括了Endpoint和项目编号。 操作步骤 连接DLI服务的地址格式为:jdbc:dli://<endPoint>/<projectId>。因此您需要获取对应的Endpoint和项目编号。
DLI服务所在区域的项目ID。 项目ID表示租户的资源,账号ID对应当前账号,IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM
获取Spark作业委托临时凭证用于访问其他云服务 功能描述 DLI提供了一个通用接口,可用于获取用户在启动Spark作业时设置的委托的临时凭证。该接口将获取到的该作业委托的临时凭证封装到com.huaweicloud.sdk.core.auth.BasicCredentials类中。
Jar作业分析数据。 准备工作 已注册华为账号并开通华为云,且在使用DLI前检查账号状态,账号不能处于欠费或冻结状态。 配置DLI委托访问授权 DLI使用过程中涉及到OBS、VPC、SMN等服务交互,首次使用DLI需要用户配置委托授权,允许访问这些依赖服务。 使用华为云账号登录DLI管理控制台,在左侧导航栏单击“全局配置
下载TPC-H的查询语句,省时省力。 用最小的时间代价体验serverless化的DLI产品,领略数据湖带给我们的全新体验。 注意事项 子账号使用TPC-H测试套件时,需要主账号为子账号赋权OBS访问权限和查看主账号表的权限;如果主账号未登录过DLI服务,子账号除上述权限外,还需要创建数据库和创建表的权限。
Jar作业分析数据。 准备工作 已注册华为账号并开通华为云,且在使用DLI前检查账号状态,账号不能处于欠费或冻结状态。 配置DLI委托访问授权 DLI使用过程中涉及到OBS、VPC、SMN等服务交互,首次使用DLI需要用户配置委托授权,允许访问这些依赖服务。 使用华为云账号登录DLI管理控制台,在左侧导航栏单击“全局配置
failure错误怎么办? 跨源访问MRS HBase,连接超时,日志未打印错误怎么办? DLI跨源连接报错找不到子网怎么办? 跨源RDS表,执行insert overwrite提示Incorrect string value错误怎么办? 创建RDS跨源表提示空指针错误怎么办? 对跨源DWS表执行insert
怎样将一个区域中的DLI表数据同步到另一个区域中? SQL作业如何指定表的部分字段进行表数据的插入 SQL作业运行慢如何定位 怎样查看DLI SQL日志? 怎样查看DLI的执行SQL记录? 执行SQL作业时产生数据倾斜怎么办? SQL作业中存在join操作,因为自动广播导致内存不足,作业一直运行中 为什么SQL作业一直处于“提交中”?
创建消息通知主题 选择队列,单击“确定”。 选择队列时,可以选择单个队列,也可以选择所有队列。 如果单个队列和所有队列的终端不一致,当选择了单个队列,同时选择了所有队列进行订阅时,在所有队列的消息通知中将不包含该队列的消息。 创建消息通知主题后,只有在订阅队列上创建的Spark作业失败时才会收到消息通知。
管理单元 设置管理单元的CU数,支持设置1~4个CU,默认值为1个CU。 并行数 作业中每个算子的最大并行数。 说明: 并行数不能大于计算单元(CU数量-管理单元CU数量)的4倍。 并行数最好大于用户作业里设置的并发数,否则有可能提交失败。 TaskManager配置 用于设置TaskManager资源参数。
获取Flink作业委托临时凭证用于访问其他云服务 功能描述 DLI提供了一个通用接口,可用于获取用户在启动Flink作业时设置的委托的临时凭证。该接口将获取到的该作业委托的临时凭证封装到com.huaweicloud.sdk.core.auth.BasicCredentials类中。
[403] 该报错信息可能是由于OBS桶被设置为了DLI日志桶,而日志桶不能用于DLI的其他业务功能。 您可以按以下操作步骤进行查询: 检查该OBS桶是否被设置为了DLI日志桶。 在DLI管理控制台的“全局配置 > 作业配置” 页查看对应OBS桶是否被设置为了DLI日志桶,日志桶不能用于DLI的其他业务功能中。
实现动态感知? 在Flink SQL作业中创建表使用EL表达式,作业运行提示DLI.0005错误怎么办? Flink作业输出流写入数据到OBS,通过该OBS文件路径创建的DLI表查询无数据 Flink SQL作业运行失败,日志中有connect to DIS failed java
该用户名称是已存在的IAM用户名称。 权限设置 更新:更新该全局变量。 删除:删除该全局变量。 赋权:当前用户可将全局变量的权限赋予其他用户。 回收:当前用户可回收其他用户具备的该全局变量的权限,但不能回收该全局变量所有者的权限。 查看其他用户具备的权限:当前用户可查看其他用户具备的该全局变量的权限。 设置全局变量权限
权。可查看该增强型跨源连接、可将创建的弹性资源池与该增强型跨源连接绑定、可自定义路由等操作。以此实现增强型跨源连接的跨项目应用。本节操作介绍对增强型跨源连接授权或回收权限的操作步骤。 如果被授权的项目属于相同区域(region)的不同用户,则需使用被授权项目所属的用户账号进行登录。
已有文件。 表头:无/有 设置导出数据是否含表头。 单击“确定”即可导出数据。 (可选)您可以在“作业管理”>“SQL作业”页面查看导出作业的“状态”、“执行语句”等信息。 在“作业类型”中选择“EXPORT”,输入导出数据的时间段,即可查询出对应条件下的作业列表。 单击导出作业名称前的,可查看导出作业的详细信息。