检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
若需要指定Redis中的key，则需要在flink的Redis结果表中定义主键，该主键的值即为key。 Redis结果表若定义主键，则不能够定义复合主键，即主键只能是一个字段，不能是多个字段。 schema-syntax取值约束： 当schema-syntax为map或array时，非主键字段最多
目的连接名称：选择已创建的DLI连接“dlilink”。 模式或表空间：选择导入到DLI的哪个模式。 自动创表：这里选择“不存在时创建”，当下面“表名”参数中配置的表不存在时，CDM会自动在DLI中创建该表。 表名：选择导入到DLI的哪张表。 高级属性参数-“扩大字符字段长度”：这里选择“
db_name 否 Database名称。 由字母、数字和下划线（_）组成。不能是纯数字，且不能以数字和下划线开头。 table_name 是 Database中的表名。 由字母、数字和下划线（_）组成。不能是纯数字，且不能以数字和下划线开头。匹配规则为：^(?!_)(?![0-9]+$)[A-Za-z0-9_$]*$。
global_temp数据库是Spark3.x默认内置的数据库，是Spark的全局临时视图。 通常在Spark作业执行注册viewManager时，会校验该数据库在metastore是否存在，如果该数据库存在则会导致Spark作业执行失败。 因此当Spark3.x的作业日志中如果出现一条访问catalog查询该数据库
类型请参见订单数据。 图4 创建订单表 将OBS数据导入到order_records表，单击“数据管理 > 库表管理”，单击demo数据库，进入“表管理”页面，单击order_records表对应“操作”列中的“更多”>“导入”，数据格式选择“CSV”，数据源路径为“obs://
60.0,2021-03-25 12:03:00,0002,Bob,330110) 常见问题 Q：Flink作业运行失败，作业运行日志中如下报错信息，应该怎么解决？ Caused by: org.apache.flink.client.program.ProgramInvocationException:
“testdb”。 表名 选择DLI下已创建的表名。当前示例为在DLI上创建数据库和表创建的表名，即为“tabletest”。 导入前清空数据 选择导入前是否清空目的表的数据。当前示例选择为“否”。 如果设置为是，任务启动前会清除目标表中数据。 详细的参数配置可以参考：CDM配置DLI目的端参数。
60.0,2021-03-25 12:03:00,0002,Bob,330110) 常见问题 Q：Flink作业运行失败，作业运行日志中如下报错信息，应该怎么解决？ Caused by: org.apache.flink.client.program.ProgramInvocationException:
Flink作业如何保存作业日志？ Flink作业管理界面对用户进行授权时提示用户不存在怎么办？ 手动停止了Flink作业，再次启动时怎样从指定Checkpoint恢复？ DLI使用SMN主题，提示SMN主题不存在，怎么处理？ 父主题： Flink作业类
访问元数据 是否通过Spark作业访问元数据。具体请参考《数据湖探索开发指南》 是否重试 作业失败后是否进行重试。 选择“是”需要配置以下参数： “最大重试次数”：设置作业失败重试次数，最大值为“100”。 高级配置 暂不配置 现在配置：包括以下两项参数 选择依赖资源：具体参数请参考表3。
略进行分时弹性扩缩容，满足不同的业务需求。 DLI存储资源 DLI存储资源是DLI服务内部存储的资源，用于存储数据库和DLI表，是向DLI导入数据的必备条件，体现用户数据存储在DLI中的数据量。 弹性资源池的实际CUs、已使用CUs、CU范围、规格（包周期CU） 实际CUs：弹性资源池当前分配的可用CUs。
您可以通过“CREATE TABLE tb_avro STORED AS AVRO AS SELECT 1 AS colName”指定列名的方式解决该问题，或者将存储格式指定为除AVRO以外的其它格式。 父主题： SQL作业运维类
当前接口已废弃，不推荐使用。 作业包含以下类型：DDL、DCL、IMPORT、EXPORT、QUERY和INSERT。其中，IMPORT和EXPORT分别与导入数据（废弃）和与导出数据（废弃）的功能一致，区别仅在于实现方式不同。 另外，用户可使用其他API来对作业进行查询和管理。具体操作有： 查询作业状态
概述 DLI支持原生Spark的DataSource能力，并在其基础上进行了扩展，能够通过SQL语句或者Spark作业访问其他数据存储服务并导入、查询、分析处理其中的数据，目前支持的DLI跨源访问服务有：表格存储服务CloudTable，云搜索服务CSS，分布式缓存服务DCS，文档
Jar作业设置backend为OBS，报错不支持OBS文件系统 问题现象 客户执行Flink Jar作业，通过设置checkpoint存储在OBS桶中，作业一直提交失败，并伴有报错提交日志，提示OBS桶名不合法。 原因分析 确认OBS桶名是否正确。 确认所用AKSK是否有权限。 设置依赖关系provided防止Jar包冲突。
link Checkpoint和Savepoint生成机制及格式一致，因而，也可以通过Flink作业列表“操作”列中的“更多”>“导入保存点”，导入OBS中最新成功的Checkpoint，并从中恢复。 图3 停止作业 图4 恢复保存点 父主题： Flink作业性能调优类
into ordersSink select * from ordersSource; 常见问题 Flink作业运行失败，作业运行日志中如下报错信息，应该怎么解决？ org.apache.kafka.common.errors.TimeoutException: Timeout expired
DLI如何访问OBS桶中的数据 创建OBS表。 具体语法请参考《数据湖探索SQL语法参考》。 添加分区。 具体语法请参考《数据湖探索SQL语法参考》。 往分区导入OBS桶中的数据。 具体语法请参考《数据湖探索SQL语法参考》。 查询数据。 具体语法请参考《数据湖探索SQL语法参考》。 父主题： SQL作业开发类
删除系统默认创建的dli_management_agency委托，否则会导致委托包含的权限自动取消，系统将无法正常获取IAM用户相关信息、或影响访问跨源所需的网络资源、无法访问SMN服务发送通知消息。 约束限制 服务授权需要主账号或者用户组admin中的子账号进行操作。 DLI服
行数为计算单元2倍为宜。 勾选“保存作业日志”，选择一个OBS桶。如果该桶未授权，需要单击“立即授权”进行授权。配置该参数，可以在作业异常失败后，将作业日志保存到用户的OBS桶下，方便用户定位故障原因。 图3 保存作业日志 勾选“作业异常告警”，选择1中创建的“SMN主题”。配置
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
