-
DLI经典型跨源连接下线(EOL)公告 - 数据湖探索 DLI
能替换? 推荐使用增强型跨源连接。 DLI提供的增强型跨源连接功能,通过建立对等连接,实现DLI与数据源的VPC网络互通,为DLI的跨源分析提供了支持。 目前DLI支持跨源访问的数据源请参考跨源分析开发方式。 增强型跨源连接收费吗? 增强型跨源连接不计费。 怎样创建增强型跨源连接?
-
执行SQL查询语句报错:DLI.0003: Permission denied for resource.... - 数据湖探索 DLI
'{UserName}', Action = 'SELECT'. 解决措施 出现该问题的原因是由于当前用户没有该表的查询权限。 您可以进入“数据管理 > 库表管理”查找对应库表,查看权限管理,是否配置该账号的查询权限。 授权方式请参考资料表权限管理。 父主题: 运维指导
-
手动续费 - 数据湖探索 DLI
统一包年/包月资源的到期日 如果您持有多个到期日不同的资源,或者您的队列资源到期日不同,可以将到期日统一设置到一个日期,便于日常管理和续费。 图4展示了用户将两个不同时间到期的资源,同时续费一个月,并设置“统一到期日”后的效果对比。 图4 统一到期日 更多关于统一到期日的规则请参见如何设置统一到期日。
-
用户通过CTAS创建hive表报schema解析异常错误 - 数据湖探索 DLI
用户通过CTAS创建hive表报schema解析异常错误 目前DLI支持hive语法创建TEXTFILE、SEQUENCEFILE、RCFILE、ORC、AVRO、PARQUET文件类型的表,如果用户CTAS建表指定的文件格式为AVRO类型,而且直接使用数字作为查询语句(SELECT)的输入,如“CREATE
-
pyspark样例代码 - 数据湖探索 DLI
ErrorIfExis:如果已经存在数据,则抛出异常。 Overwrite:如果已经存在数据,则覆盖原数据。 Append:如果已经存在数据,则追加保存。 Ignore:如果已经存在数据,则不做操作。这类似于SQL中的“如果不存在则创建表”。 读取CSS上的数据 1 2 jdbcDF = sparkSession
-
Spark作业使用咨询 - 数据湖探索 DLI
例如数据湖管理治理中心DataArts Studio服务进行调度,或者通过API/SDK等方式对作业进行自定义调度 。 使用DataArts Studio服务进行作业开发请参考《数据治理中心用户指南》。 Spark SQL语法创建表时是否支持定义主键 Spark SQL语法不支持定义主键。
-
创建OBS外表,因为OBS文件中的某字段存在回车换行符导致表字段数据错误 - 数据湖探索 DLI
创建OBS外表,因为OBS文件中的某字段存在回车换行符导致表字段数据错误 问题现象 创建OBS外表,因为指定的OBS文件内容中某字段包含回车换行符导致表字段数据错误。 例如,当前创建的OBS外表语句为: CREATE TABLE test06 (name string, id int
-
join表时没有添加on条件,造成笛卡尔积查询,导致队列资源爆满,作业运行失败 - 数据湖探索 DLI
join表时没有添加on条件,造成笛卡尔积查询,导致队列资源爆满,作业运行失败 问题现象 运行的SQL语句中存在join表,但是join没有添加on条件,多表关联造成笛卡尔积查询,最终导致队列资源占满,该队列上的作业运行失败。 例如,如下问题SQL语句,存在三个表的left join,并且没有指定on条件,造成笛卡尔积查询。
-
跨源连接运维报错 - 数据湖探索 DLI
DLI跨源连接报错找不到子网 跨源RDS表,执行insert overwrite报Incorrect string value错误 创建RDS跨源表报空指针错误 对跨源DWS表执行insert overwrite操作,报错:org.postgresql.util.PSQLException: ERROR:
-
执行查询语句报错:The current account does not have permission to perform this operation,the current account was restricted. Restricted for - 数据湖探索 DLI
执行查询语句报错:The current account does not have permission to perform this operation,the current account was restricted. Restricted for no budget
-
怎样查看DLI的数据扫描量? - 数据湖探索 DLI
怎样查看DLI的数据扫描量? 登录DLI管理控制台。 选择“作业管理 > SQL作业”。 筛选执行队列为default队列,查看相应的作业。 单击展开作业,查看已扫描的数据。如图1所示。 图1 查看作业扫描量 父主题: 计费相关问题
-
DLI委托概述 - 数据湖探索 DLI
n_agency(名称固定,权限需自定义)。其他场景需用户自定义委托。委托的详细说明请参考表1。 DLI为了满足细粒度的委托权限需求,升级了系统委托,将原有的dli_admin_agency升级为dli_management_agency,新的委托包含跨源操作、消息通知、用户授权操作所需的权限。更新委托权限。
-
scala样例代码 - 数据湖探索 DLI
column 指定列为key值(非必选)。如果写入数据时指定了key,则查询时必须指定key,否则查询时会异常加载key。 partitions.number 读取数据时,并发task数。 scan.count 每批次读取的数据记录数,默认为100。如果在读取过程中,redis集群中
-
弹性资源池扩缩容历史记录 - 数据湖探索 DLI
/v3/{project_id}/elastic-resource-pools/{elastic_resource_pool_name}/scale-records 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。
-
DLI SDK简介 - 数据湖探索 DLI
DLI SDK简介 DLI SDK简介 数据湖探索服务软件开发工具包(DLI SDK,Data Lake Insight Software Development Kit)是对DLI服务提供的REST API进行的作业提交的封装,以简化用户的开发工作。用户直接调用DLI SDK提供的接口函数即可实现使用提交DLI
-
作业语义检验时提示DIS通道不存在怎么处理? - 数据湖探索 DLI
作业语义检验时提示DIS通道不存在怎么处理? 处理方法如下: 登录到DIS管理控制台,在左侧菜单栏选择“通道管理”。检查Flink作业SQL语句中的DIS通道是否存在。 如果Flink作业中的DIS通道还未创建,请参见《数据接入服务用户指南》中“开通DIS通道”章节。 确保创建的DIS通道和Flink作业处于统一区域。
-
Spark Jar 使用DEW获取访问凭证读写OBS - 数据湖探索 DLI
操作场景 DLI将Spark Jar作业并的输出数据写入到OBS时,需要配置AKSK访问OBS,为了确保AKSK数据安全,您可以用过数据加密服务(Data Encryption Workshop,DEW)、云凭据管理服务(Cloud Secret Management Servi
-
java样例代码 - 数据湖探索 DLI
apache.spark.sql.*; import org.apache.spark.sql.types.DataTypes; import org.apache.spark.sql.types.StructField; import org.apache.spark.sql.types.StructType;
-
java样例代码 - 数据湖探索 DLI
插入数据 1 sparkSession.sql("insert into opentsdb_new_test values('Penglai', 'abc', '2021-06-30 18:00:00', 30.0)"); 查询数据 1 sparkSession.sql("select
-
更新跨源认证(废弃) - 数据湖探索 DLI
请求执行是否成功。“true”表示请求执行成功。 message String 无 请求示例 更新跨源认证的名称为rds3。 { "auth_info_name": "rds3" } 响应示例 { "is_success": true, "message": "Update