检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业语义检验时提示DIS通道不存在怎么处理？ 处理方法如下： 登录到DIS管理控制台，在左侧菜单栏选择“通道管理”。检查Flink作业SQL语句中的DIS通道是否存在。 如果Flink作业中的DIS通道还未创建，请参见《数据接入服务用户指南》中“开通DIS通道”章节。 确保创建的
怎样将OBS表映射为DLI的分区表？ 场景概述 用户使用Flink SQL作业时，需要创建OBS分区表，用于后续进行批处理。 操作步骤 该示例将car_info数据，以day字段为分区字段，parquet为编码格式，转储数据到OBS。更多内容请参考《数据湖探索Flink SQL语法参考》。
用户Jar中checkpoint的储存地址，不同作业路径需要保持不同。 runtime_config 否 String Flink作业运行时自定义优化参数。 job_type 否 String 作业类型。 响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明 is_success
Spark异步任务执行表compaction参数设置规范 写作业未停止情况下，禁止手动执行run schedule命令生成compaction计划。 错误示例： run schedule on dsrTable 如果还有别的任务在写这张表，执行该操作会导致数据丢失。 执行run
y，则查询时必须指定key，否则查询时会异常加载key。 partitions.number 读取数据时，并发task数。 scan.count 每批次读取的数据记录数，默认为100。如果在读取过程中，redis集群中的CPU使用率还有提升空间，可以调大该参数。 iterator
创建SQL作业的API执行超过时间限制，运行超时报错 问题现象 DLI上调用“提交SQL作业”API运行超时，报如下错误信息： There are currently no resources tracked in the state, so there is nothing to
添加队列时配置扩缩容策略 单击“新增”，可以添加不同优先级、时间段、“最小CU”和“最大CU”扩缩容策略。每条扩缩容策略的参数说明如下： 表4 扩缩容策略参数说明 参数名 参数描述 优先级 当前弹性资源池中的优先级数字越大表示优先级越高。当前优先级支持的范围为：1到100。 时间段 时间段设
下载并安装JDBC驱动包 操作场景 JDBC用于连接DLI服务，您可以在Maven获取JDBC安装包，或在DLI管理控制台下载JDBC驱动文件。 本文介绍通过JDBC连接DLI并提交SQL作业。 获取服务端连接地址 连接DLI服务的地址格式为：jdbc:dli://<endPoi
执行SQL查询语句报错：DLI.0003: Permission denied for resource.... 问题现象 执行SQL查询语句，提示没有对应资源查询权限。 报错信息：DLI.0003: Permission denied for resource 'databases
Objects Flink jar作业的标签。具体请参考表3。 runtime_config 否 String Flink作业运行时自定义优化参数。 表3 tags参数 参数名称 是否必选 参数类型 说明 key 是 String 标签的键。 说明： 标签的键的最大长度为128个
如何通过JDBC设置spark.sql.shuffle.partitions参数提高并行度 操作场景 Spark作业在执行shuffle类语句，包括group by、join等场景时，常常会出现数据倾斜的问题，导致作业任务执行缓慢。 该问题可以通过设置spark.sql.shuffle
最小CU数。剩余的CU（弹性资源池最大CU-所有队列的最小CU数之和）则根据配置的优先级顺序分配： 如果队列的优先级不同，根据配置的优先级顺序分配，直到剩余的CU数分配完成。 如果队列的优先级相同，资源会被随机分配到某一队列，如果分配后资源还有剩余会随机分配到剩下的某一队列中，直到剩余的CU数分配完成。
否 String 静态流图资源预估参数，以json的形式展示。 runtime_config 否 String Flink作业运行时自定义优化参数。 real_cu_number 否 Integer 实际使用的CU数。默认值为“0”，表示此时以“cu_number”的值为准。 请求示例
Flink作业高可靠推荐配置指导（异常自动重启） 操作场景 本节操作介绍创建Flink作业时，配置流应用实现高可靠性能的操作方法。 操作步骤 用户在消息通知服务（SMN）中提前创建一个“主题”，并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知，单击链接确认订阅即可。
在default队列执行DLI SQL失败，提示超时异常怎么办？ 问题现象 使用default队列提交SQL作业，作业运行异常，排查作业日志显示Execution Timeout异常。异常日志参考如下： [ERROR] Execute DLI SQL failed. Please
Flink jobmanager日志一直报Timeout expired while fetching topic metadata怎么办？ Flink JobManager提示 "Timeout expired while fetching topic metadata" ，说
getOrCreate() 通过DataFrame API访问数据源 连接参数配置 1 2 3 4 5 url = "jdbc:postgresql://to-dws-1174404951-W8W4cW8I.datasource.com:8000/postgres" dbtable
com:9200" resource为指定在CSS关联的资源名。格式可以用"/index/type"指定资源位置（可简单理解index为database，type为table，但绝不等同）。 ES 6.X版本中，单个Index只支持唯一type，type名可以自定义。 ES 7.X版
Spark作业使用咨询 DLI Spark作业是否支持定时周期任务作业 DLI Spark不支持作业调度，用户可以通过其他服务，例如数据湖管理治理中心DataArts Studio服务进行调度，或者通过API/SDK等方式对作业进行自定义调度 。 使用DataArts Studi
Kafka开启SASL认证。 MRS Kafka开启SSL认证。 Password DWS、RDS、CSS、Redis - 维表 Kerberos HBase MRS安全集群已开启Kerberos认证。 Password DWS、RDS、Redis - 父主题： 使用DLI的跨源认证管理数据源访问凭证
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
