检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
故障处理 运行Spark作业，作业运行失败，作业日志中提示No respond错误 问题现象 运行Spark作业，作业运行失败，作业日志中提示No respond错误 解决方案 重新创建Spark作业，创建作业时需要在“Spark参数（--conf）”中添加配置：“spark.sql
获取服务端连接地址 操作场景 DLI支持在互联网环境下连接服务端进行数据查询操作。首先，需要根据如下指导获取连接信息，包括了Endpoint和项目编号。 操作步骤 连接DLI服务的地址格式为：jdbc:dli://<endPoint>/<projectId>。因此您需要获取对应的Endpoint和项目编号。
Postgres数据库版本不能低于11。 已创建DWS实例。 具体创建DWS集群的操作可以参考创建DWS集群。 整体作业开发流程 整体作业开发流程参考图1。 图1 作业开发流程 步骤1：创建队列：创建DLI作业运行的队列。 步骤2：创建RDS Postgres数据库：创建RDS Postgres的数据库和表。
新建跨源连接，显示已激活，但使用时提示communication link failure错误怎么办？ 根因分析 网络连通性问题，建议用户检查安全组选择是否正确，检查安全组网络（vpc）配置。 解决方案 示列：创建RDS跨源，使用时报“communication link failure”错误。 将原有跨源连接删除重新
Opensource SQL Elasticsearch结果表failure-handler参数填写retry_rejected导致提交失败 问题说明 Flink Opensource SQL Elasticsearch结果表failure-handler参数填写retry_rejected导致提交失败
DIS failed java.lang.IllegalArgumentException: Access key cannot be null错误 问题现象 在DLI上提交Flink SQL作业，作业运行失败，在作业日志中有如下报错信息： connect to DIS failed
get(“filename”)的方式获取。 SparkFiles.get()方法需要spark初始化以后才能调用。 图1 添加其他依赖文件 代码段如下所示 package main.java import org.apache.spark.SparkFiles import org.apache.spark.sql
common.SqoopException: UQUERY_CONNECTOR_0001:Invoke DLI service api failed, failed reason is %s. at org.apache.sqoop.connector.uquery.intf.impl.UQueryWriter
aArts Studio服务进行调度，或者通过API/SDK等方式对作业进行自定义调度 。 使用DataArts Studio服务进行作业开发请参考《数据治理中心用户指南》。 Spark SQL语法创建表时是否支持定义主键 Spark SQL语法不支持定义主键。 DLI Spark
怎样获取DLI作业样例（Demo） 为了方便用户更好地使用DLI，DLI服务提供了供作业开发的Demo样例，您可以通过DLI样例代码获取。 该样例代码的目录内容介绍如下： dli-flink-demo：开发Flink作业时的样例代码参考。例如，样例代码实现读取Kafka源表数据写入到HD
表(OBS表 / DLI 表 )数据支持删除某行数据吗？ DLI 表(OBS表 / DLI 表 )数据暂不支持删除某行数据。 父主题： SQL作业开发类
TABLE tablename select * FROM tablename distribute by rand() 父主题： SQL作业开发类
在“操作”列中，单击“更多”>“归档日志”>“下载日志到本地”。 图3 归档日志 在所下载的日志中搜索对应jobId，即可查看具体的执行日志。 父主题： SQL作业开发类
apigateway WHERE service_id = 'ecs' DISTRIBUTE BY http_method 父主题： SQL作业开发类
队列剩余CU量=队列CU量 - 队列CU使用量。 当队列剩余CU量小于用户提交的CU量，则需要等待资源，才能提交成功。 父主题： Spark作业开发类
在左侧导航栏单击“作业管理”>“SQL作业”进入SQL作业管理页面。 输入作业ID或者执行的语句可以筛选所要查看的作业。 父主题： SQL作业开发类
往分区导入OBS桶中的数据。 具体语法请参考《数据湖探索SQL语法参考》。 查询数据。 具体语法请参考《数据湖探索SQL语法参考》。 父主题： SQL作业开发类
Flink有什么区别？ DLI Flink是天然的云原生基础架构。在内核引擎上DLI Flink进行了多处核心功能的优化，并且提供了企业级的一站式开发平台，自带开发和运维功能，免除自建集群运维的麻烦；在connector方面除了支持开源connector之外，还可以对接云上Mysql、GaussDB、MRS
a, b: a + b) # write counts.saveAsTextFile(out_file_name) 父主题： Spark作业开发类
Flink作业支持哪些数据格式和数据源？ DLI Flink作业支持如下数据格式： Avro，Avro_merge，BLOB，CSV，EMAIL，JSON，ORC，Parquet，XML。 DLI Flink作业支持如下数据源： CloudTable HBase，CloudTable
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
