检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在default队列执行DLI SQL失败,提示超时异常怎么办? 问题现象 使用default队列提交SQL作业,作业运行异常,排查作业日志显示Execution Timeout异常。异常日志参考如下: [ERROR] Execute DLI SQL failed. Please
SQL作业执行完成后,修改表名导致datasize不正确怎么办? 在执行SQL作业后立即修改表名,可能会导致表的数据大小结果不正确。 这是因为DLI在执行SQL作业时,会对表进行元数据更新,如果在作业执行完成前修改了表名,会和作业的元数据更新过程冲突,从而影响对数据大小的判断。
运行失败。 user RDS数据库用户名。 password RDS数据库用户名对应密码。 driver jdbc驱动类名,访问MySQL集群请填写:"com.mysql.jdbc.Driver",访问PostGre集群请填写:"org.postgresql.Driver"。 partitionColumn
Format 功能描述 Debezium是一个 CDC(Changelog Data Capture,变更数据捕获)的工具,可以把来自 MySQL、PostgreSQL、Oracle、Microsoft SQL Server 和许多其他数据库的更改实时流式传输到 Kafka 中。 Debezium
Flink Opensource SQL场景使用DEW管理和访问凭据的操作指导,将Flink作业的输出数据写入到Mysql或DWS时,在connector中设置账号、密码等属性。 Flink Jar 使用DEW获取访问凭证读写OBS 访问OBS的AKSK为例介绍Flink Jar使
ID/Secret Access Key),表示一组密钥对,用于验证调用API发起请求的访问者身份,与密码的功能相似。用户通过调用API接口进行云资源管理(如创建集群)时,需要使用成对的AK/SK进行加密签名,确保请求的机密性、完整性和请求双方身份的正确性。获取AK/SK操作步骤如下: 注册并登录华为云管理控制台。
在Flink SQL作业中创建表使用EL表达式,作业运行提示DLI.0005错误怎么办? 问题现象 Flink SQL作业创建表时,表名使用EL表达式,运行作业时报如下错误: DLI.0005: AnalysisException: t_user_message_input_#{
创建Password类型跨源认证 操作场景 通过在DLI控制台创建的Password类型的跨源认证,将DWS、RDS、DCS和DDS数据源的密码信息存储到DLI,无需在SQL作业中配置账号密码,安全访问DWS、RDS、DDS、DCS数据源。 Password类型跨源认证支持连接的数据源 Password
DS)数据库用户名。 “pwd”为创建的mongo(DDS)数据库用户名对应的密码。 “host”为创建的mongo(DDS)数据库实例IP。 “db”为创建的mongo(DDS)数据库名称。 mongo(DDS)数据库用户创建详见:创建DDS数据库账户。 database DD
url 是 无 String 数据库的URL。 连接MySQL数据库时,格式为:jdbc:mysql://MySQLAddress:MySQLPort/dbName 。 连接PostgreSQL数据库时,格式为:jdbc:postgresql://PostgreSQLAddr
创建DLI队列时队列类型需要选择为“SQL队列”。 已创建云数据库RDS的MySQL的数据库实例。具体创建RDS集群的操作可以参考创建RDS MySQL数据库实例。 本示例RDS数据库引擎:MySQL 本示例RDS MySQL数据库版本:5.7。 已创建CDM迁移集群。创建CDM集群的操作可以参考创建CDM集群。
appName("datasource-rds").getOrCreate(); 通过SQL API 访问 创建DLI跨源访问RDS的关联表,填写连接参数。 1 2 3 4 5 6 7 sparkSession.sql( "CREATE TABLE IF NOT EXISTS dli_to_rds USING
builder.appName("datasource-rds").getOrCreate() 通过DataFrame API 访问 连接参数配置 1 2 3 4 5 url = "jdbc:mysql://to-rds-1174404952-ZgPo1nNC.datasource
OBS表压缩率较高怎么办? 当您在提交导入数据到DLI表的作业时,如果遇到Parquet/Orc格式的OBS表对应的文件压缩率较高,超过了5倍的压缩率,您可以通过调整配置来优化作业的性能。 具体方法:在submit-job请求体conf字段中配置“dli.sql.files.ma
手动在OBS表的分区目录下添加了数据,但是无法查询到数据怎么办? 问题现象 手动在OBS表的分区目录下上传了分区数据,但是在SQL编辑器中查询该表新增的分区数据时却查询不到。 解决方案 手动添加分区数据后,需要刷新OBS表的元数据信息。具体操作如下: MSCK REPAIR TABLE
用户在控制台上删除填写的手机号、邮箱,并关闭消息通知功能后,数据库中会同步删除用户的手机号、邮箱信息。 数据传输安全 用户个人敏感数据将通过TLS 1.2、TLS1.3进行传输中加密,所有华为云DLI服务的API调用都支持 HTTPS 来对传输中的数据进行加密。 Spark作业传输通信加密 Spark作业支持通过配置表1中的参数开启通信加密。
字符码不一致导致数据乱码怎么办? 在DLI执行作业时,为了避免因字符编码不一致导致的乱码问题,建议您统一数据源的编码格式。 DLI服务只支持UTF-8文本格式,因此在执行创建表和导入操作时,用户的数据需要以UTF-8编码。 在将数据导入DLI之前,确保源数据文件(如CSV、JSO
超出套餐包额度的使用量怎么收费? 购买了套餐包时,按需使用过程中优先抵扣套餐包的额度,超过额度的使用量按照按需计费。 套餐包需结合重置周期使用,如重置周期为月,且按订购周期重置,即如果用户1月5日订购套餐包资源,之后每个月的5日同一时间重置套餐包资源。 父主题: 计费相关问题
提示OBS Bucket没有授权怎么办? DLI更新委托后,将原有的dli_admin_agency升级为dli_management_agency。 dli_management_agency包含跨源操作、消息通知、用户授权操作所需的权限,除此之外的其他委托权限需求,都需自定义DLI委托。
DLI分区内表导入的文件不包含分区列的数据,导致数据导入完成后查询表数据失败怎么办? 问题现象 DLI分区内表导入了CSV文件数据,导入的文件数据没有包含对应分区列的字段数据。分区表查询时需要指定分区字段,导致查询不到表数据。 问题根因 DLI分区内表在导入数据时,如果文件数据没