检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
跨源访问MRS HBase,连接超时,日志未打印错误怎么办? 用户在跨源连接中没有添加集群主机信息,导致KRB认证失败,故连接超时,日志也未打印错误。 建议您重新配置主机信息后再重试访问MRS HBase。 在“增强型跨源”页面,单击该连接“操作”列中的“修改主机信息”,在弹出的对话框中,填写主机信息。
配置DLI访问其他云服务的委托权限 DLI委托概述 创建DLI自定义委托权限 常见场景的委托权限策略 典型场景DLI委托权限配置示例
有访问OBS对应的桶的权限,但是Spark作业访问时报错 verifyBucketExists on XXXX: status [403] 该报错信息可能是由于OBS桶被设置为了DLI日志桶,而日志桶不能用于DLI的其他业务功能。 您可以按以下操作步骤进行查询: 检查该OBS桶是否被设置为了DLI日志桶。
身份认证与访问控制 身份认证 用户访问DLI的方式主要有两种,包括DLI Console界面、DLI Open API等,其本质都是通过DLI提供的REST API接口进行请求。 DLI的接口均需要通过认证鉴权才能访问,控制台发送的请求与调用API接口的请求均支持Token认证鉴权。
属性访问函数 函数说明 表1 属性访问函数说明 值接入函数 函数说明 tableName.compositeType.field 选择单个字段,通过名称访问Apache Flink复合类型(如Tuple,POJO等)的字段并返回其值。 tableName.compositeType
属性访问函数 函数说明 表1 属性访问函数说明 值接入函数 函数说明 tableName.compositeType.field 选择单个字段,通过名称访问Apache Flink复合类型(如Tuple,POJO等)的字段并返回其值。 tableName.compositeType
属性访问函数 函数说明 表1 属性访问函数说明 值接入函数 函数说明 tableName.compositeType.field 选择单个字段,通过名称访问Apache Flink复合类型(如Tuple,POJO等)的字段并返回其值。 tableName.compositeType
属性访问函数 函数说明 表1 属性访问函数说明 值接入函数 函数说明 tableName.compositeType.field 选择单个字段,通过名称访问Apache Flink复合类型(如Tuple,POJO等)的字段并返回其值。 tableName.compositeType
在“队列管理”页面,选择需要测试地址连通性的队列,单击操作列下的“更多 > 测试地址连通性”。 在“测试地址连通性”页面填写需要测试的地址。支持域名和IP,可指定端口。 数据源地址支持以下输入格式:IPv4地址、IPv4+端口号、域名、域名+端口号。 · IPv4地址:192.168.x.x
使用Spark作业访问sftp中的文件,作业运行失败,日志显示访问目录异常 Spark作业不支持访问sftp,建议将文件数据上传到OBS,再通过Spark作业进行读取和分析。 上传数据到OBS桶:通过OBS管理控制台或者使用命令行工具将存储在sftp中的文件数据上传到OBS桶中。
查看队列对应的VPC的路由表信息。 图11 查看路由表目的地址-1 检查VPC网络是否设置了ACL规则限制了网络访问 网络ACL对子网进行防护,检查对应子网是否配置了ACL,是否设置了ACL规则限制了网络访问。 例如当您设置了安全组放通队列的网段,同时设置的网络ACL规则包含拒绝该地址访问,那么此安全组规则不生效。
议客户将入方向源地址配成0.0.0.0/0,端口8000,表示任意地址都可以访问DWS8000端口。 将入方向源地址配成0.0.0.0/0,端口8000,仍然无法连接,继续排查子网配置。客户的DWS子网关联了网络ACL。网络ACL是一个子网级别的可选安全层,通过与子网关联的出方向
提交作业时提示作业桶权限不足怎么办? 问题描述 已经配置DLI作业桶,且完成Flink桶授权后在提交作业时仍然提示桶未授权怎么办? 根因分析 使用DLI作业桶需要确保已完成DLI作业桶的权限配置。 您需要在OBS管理控制台中检查DLI作业桶的桶策略,确保策略中包含了允许DLI服务进行必要操作的授权信息。
因队列网段IP不足无法分配IP地址导致Flink作业提交失败怎么办? 问题描述 在使用Flink 1.12和Flink 1.15提交作业时,遇到了因队列网段IP地址不足而无法为计算资源分配IP地址的问题,导致Flink 作业提交失败。尽管资源充足,但没有可分配的IP地址。 根因分析 Apache
通过DLI跨源写DWS表,非空字段出现空值异常怎么办? 问题现象 客户在DWS建表,然后在DLI创建跨源连接读写该表,突然出现如下异常,报错信息显示DLI向该表某非空字段写入了空值,因为非空约束存在导致作业出错。 报错信息如下: DLI.0999: PSQLException: ERROR:
概述 DLI支持原生Spark的DataSource能力,并在其基础上进行了扩展,能够通过SQL语句或者Spark作业访问其他数据存储服务并导入、查询、分析处理其中的数据,目前支持的DLI跨源访问服务有:表格存储服务CloudTable,云搜索服务CSS,分布式缓存服务DCS,文档
单击“执行”重新运行该作业即可。 后续指引 如果您想通过Spark Jar作业访问其他数据源,请参考《使用Spark作业跨源访问数据源》。 创建DLI表的语法请参考创建DLI表,创建OBS表的语法请参考创建OBS表。 如果是通过API接口调用提交该作业请参考以下操作说明: 调用创
SQL作业访问报错:DLI.0003: AccessControlException XXX 问题现象 SQL作业访问报错:DLI.0003: AccessControlException XXX。 解决措施 请检查OBS桶权限,确保你的账号有权限访问报错信息中提到的OBS桶。
I自定义委托权限。 常见新建委托场景:允许DLI读写OBS数据、日志转储、Flink checkopoint;允许DLI在访问DEW获取数据访问凭证、允许访问Catalog获取元数据等场景。 委托名称不可与系统默认委托重复,即不可以是dli_admin_agency、dli_ma
SQL作业访问报错:File not Found 问题现象 执行SQL作业访问报错:File not Found。 可能原因 可能由于文件路径错误获文件不存在导致系统无法找指定文件路径或文件。 文件被占用。 解决措施 检查文件路径、文件名。 检查文件的路径是否正确,包括目录名称和文件名。