检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Key ID/Secret Access Key)或Token两种认证方式初始化客户端,示例代码如下: 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 AK/SK认证方式样例代码 代码样例 1 2 3 4
新建跨源连接,显示已激活,但使用时提示communication link failure错误怎么办? 跨源访问MRS HBase,连接超时,日志未打印错误怎么办? DLI跨源连接报错找不到子网怎么办? 跨源RDS表,执行insert overwrite提示Incorrect string
调整或者增加并行数 不支持 该操作修改了作业的并行数,即修改了作业的运行逻辑。 修改Flink SQL语句、Flink Jar作业等操作 不支持 该操作修改了作业对资源的算法逻辑。 例如原有的算法的语句是执行加减运算,当前需要恢复的状态将算法的语句修改成为乘除取余的运算,是无法从checkpoint直接恢复的。
以节省存储费用。 存储套餐的额度每个小时会重置。 判断套餐包额度是否超出 如果当月使用量超出已购买套餐包的额度,超出部分将自动转为按需计费。怎样查看套餐包资源的使用情况? 如果套餐包额度已超出,产生按需计费为正常现象;如果套餐包额度未超出,请继续排查判断是否产生了套餐包未涵盖的计费项。
列字段名称。col_name必须是已存在的列。 col_type 是 列数据类型。本语法不支持修改列数据类型,这里指定的是创建表时指定的列数据类型。 col_comment 是 修改后的列注释信息。注释内容为长度不超过1024字节的有效字符串。 示例 修改表t1中的c1列的注释信息为“the
ReadOnlyAccess),表示“DLI ReadOnlyAccess”已生效。 在“服务列表”中选择除数据湖探索外(假设当前策略仅包含DLI ReadOnlyAccess)的任一服务,如果提示权限不足,表示“DLI ReadOnlyAccess”已生效。 更多操作 创建子用户请参考《如何创建子用户》。
列。 修改队列网段步骤 目前只支持计费模式为“包年包月”和“按需/专属资源模式”的队列修改网段。 在DLI管理控制台左侧,选择“资源管理 > 队列管理”。 选择待修改的队列,单击“操作”列“更多”中的“修改网段”。 图1 修改网段 填写需要的网段后,单击“确定”。队列修改网段成功
列字段名称。col_name必须是已存在的列。 col_type 是 列数据类型。本语法不支持修改列数据类型,这里指定的是创建表时指定的列数据类型。 col_comment 是 修改后的列注释信息。注释内容为长度不超过1024字节的有效字符串。 示例 修改表t1中的c1列的注释信息为“the
单击“语义校验”,确保语义校验成功。 只有语义校验成功后,才可以执行“启动”作业的操作。 如果校验成功,提示“SQL语义校验成功”。 如果校验失败,会在错误的SQL语句前面显示红色的“X”记号,鼠标移动到“X”号上可查看详细错误,请根据错误提示修改SQL语句。 Flink 1.15不支持语法校验功能。 设置作业运行参数。
com:8080 图1 测试地址连通性 单击“测试”。 如果测试地址可连通,页面上将提示地址可达。 如果测试地址不可连通,页面上将提示地址不可达,请检查网络配置后重试。检查网络配置即检查所测试的VPC对等连接或跨源连接是否处于已激活状态。 相关操作 创建跨源成功但测试网络连通性失败怎么办? 父主题:
更新SQL作业 功能介绍 该API用于修改Flink SQL作业。 调试 您可以在API Explorer中调试该接口。 URI URI格式 PUT /v1.0/{project_id}/streaming/sql-jobs/{job_id} 参数说明 表1 URI参数说明 参数名称
运行中 已成功 已取消 已失败 规格变更中 执行语句 作业的具体SQL语句以及导出、建表的操作,此处展示操作的描述。 单击可复制对应的语句。 运行时长 作业的运行时长。 创建时间 每个作业的创建时间,可按创建时间顺序或倒序显示作业列表。 操作 编辑:重新编辑修改该作业。 终止:
打开管理控制台的Spark作业或者Flink作业编辑页面,在自定义镜像列表中选择已上传并共享的镜像,运行作业,即可使用自定义镜像运行作业。 如果选择的镜像不是共享镜像,自定义镜像处会提示该镜像未授权,则需要授权后才可以使用。具体可以参考图3,提示处单击“立即授权”即可,填写其他作业执行参数后,再执行作业。
Flink作业怎样设置“异常自动重启”? Flink作业如何保存作业日志? Flink作业管理界面对用户进行授权时提示用户不存在怎么办? 手动停止了Flink作业,再次启动时怎样从指定Checkpoint恢复? DLI使用SMN主题,提示SMN主题不存在,怎么处理? 父主题: Flink作业类
查询经典型跨源连接列表 功能介绍 该API用于查询该用户已创建的经典型跨源连接列表。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v2.0/{project_id}/datasource-connection 参数说明
删除经典型跨源连接 功能介绍 该API用于删除已创建的经典型跨源连接。创建中的连接,无法删除。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 DELETE /v2.0/{project_id}/datasource-con
Java SDK操作指导请参考Java SDK Python SDK操作指导请参考Python SDK DLI SDK调用接口使用https进行访问,有服务端使用证书。
Opensource SQL, 采用Flink 1.10版本。初期Flink作业规划的Kafka的分区数partition设置过小或过大,后期需要更改Kafka区分数。 解决方案 在SQL语句中添加如下参数: connector.properties.flink.partition-discovery
DLI支持四种类型的跨源认证,不同的数据源按需选择相应的认证类型。 CSS类型跨源认证:适用于“6.5.4”及以上版本的CSS集群且集群已开启安全模式。配置时需指定集群的用户名、密码、认证证书,通过跨源认证将以上信息存储到DLI服务中,便于DLI安全访问CSS数据源。详细操作请参考创建CSS类型跨源认证。
Format 功能描述 Debezium是一个 CDC(Changelog Data Capture,变更数据捕获)的工具,可以把其他数据库的更改实时流式传输到 Kafka 中。 Debezium 为变更日志提供了统一的格式结构,并支持使用 JSON消息。 Flink 支持将 Debezium