检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
0014 服务认证错误。 400 DLI.0015 Token解析错误。 400 DLI.0016 身份角色错误。 400 DLI.0018 数据转换错误。 400 DLI.0019 任务超时。 400 DLI.0100 结果过期。 404 DLI.0023 找不到对应资源。 400 DLI
[自定义组织名称]/[自定义镜像名称]:[自定义镜像版本] --build-arg BASE_IMG=[DLI基础镜像地址] -f Dockerfile . DLI基础镜像地址为获取DLI基础镜像中的镜像地址。 示例： docker build -t mydli/spark:2.4 --build-arg
TABLE关键字描述 参数 描述 host OpenTSDB连接地址。 获取OpenTSDB连接地址需要先创建跨源连接，管理控制台操作请参考增强型跨源连接。 访问CloudTable OpenTSDB，填写OpenTSDB链接地址。 访问MRS OpenTSDB，若使用增强型跨源连接，填
DLI作业要由用户主账户统一设置及修改，子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则，定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改，否则可能会造成历史数据无法查找。 前提条件 配置前，请先购买OBS桶或并行文件系统。大数
P”、“ICMP”和“GRE”等协议。 端口：允许远端地址访问指定端口，取值范围为：1～65535。 本例中选择TCP协议，端口值不填或者填写为数据源的端口。 类型 IP地址类型。 IPv4 源地址 源地址用于放通来自IP地址或另一安全组内的实例的访问。 本例填写获取的队列网段。
然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafka和ecs的地址测试队列连通性（通用队列-->找到作业的所属队列-->更多-->测试地址连通性-->输入kafka或ecs的地址-->测试）。若能连通，则表示跨源已经绑定成功；否则表示未成功。 购买ecs集群，并下载5
TABLE关键字说明 参数 描述 url RDS的连接地址，需要先创建跨源连接，管理控制台操作请参考增强型跨源连接。 创建经典型跨源连接后，使用经典型跨源连接中返回的连接地址。 创建增强型跨源连接后，使用RDS提供的"内网域名"或者内网地址和数据库端口访问，MySQL格式为"协议头://
DLI作业要由用户主账户统一设置及修改，子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则，定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改，否则可能会造成历史数据无法查找。 Spark日志分割规则： 按大小分割：默认情况下，每个日志文件最大为128MB。
TABLE关键字说明 参数 描述 url DWS的连接地址，需要先创建跨源连接，管理控制台操作请参考增强型跨源连接。 创建经典型跨源连接后，使用经典型跨源连接中返回的连接地址。 创建增强型跨源连接后，可以使用DWS提供的"JDBC连接字符串（内网）"，或者内网地址和内网端口访问，格式为"协议头://
[5, 6, 7] | [25, 36, 49] (3 rows) 利用transform()函数将数组元素转为字符串，无法转换则转为NULL输出，避免报错产生： SELECT transform(prices, n -> TRY_CAST(n AS VARCHAR)
添加规则”，优先级设置为“1”，协议选择“TCP”，端口选择RDS数据库实例端口，源地址填写DLI队列的网段。单击“确定”完成配置。 图7 安全组规则 检查增强型跨源连接对应的对等连接的路由信息 检查增强型跨源连接对应的对等连接的路由表，该路由表的本端路由地址网段是否和别的网段有重合，如果重合，路由可能转发错误。
一身份认证服务（Identity and Access Management，简称IAM），具体IAM使用场景可以参考权限管理概述。 如果华为云账号已经能满足您的要求，不需要创建独立的IAM用户，您可以跳过本章节，不影响您使用DLI服务的其它功能。 本章节介绍创建IAM用户并授权使用DLI的方法，操作流程如图1所示。
TABLE关键字说明 参数 描述 es.nodes CSS的连接地址，需要先创建跨源连接，管理控制台操作请参考增强型跨源连接。 创建经典型跨源连接后，使用经典型跨源连接中返回的连接地址。 创建增强型跨源连接后，使用CSS提供的"内网访问地址"，格式为"IP1:PORT1,IP2:PORT2"。
接信息”>“内网地址”，即可获取RDS内网地址。查看“连接信息”>“数据库端口”，获取RDS数据库实例端口。 在DLI管理控制台，单击“资源管理 > 队列管理”。 选择增强型跨源所绑定的资源池下的队列，单击操作列“更多 > 测试地址连通性”。 输入数据源连接地址和端口，测试网络连通性。
None 服务介绍 数据湖探索 DLI 介绍什么是数据湖探索 02:47 数据湖探索DLI产品介绍 功能介绍 数据湖探索 DLI 熟悉数据湖探索控制台 03:10 数据湖探索控制台介绍 操作指导 数据湖探索 DLI 介绍怎样创建提交SQL作业 07:36 数据湖探索SQL作业入门指导
测试队列与RDS、DMS实例连通性。 单击“队列管理”，选择您所使用的队列，单击“操作”列中的“更多”>“测试地址连通性”。 图14 检测地址连通性 输入DMS Kafka实例连接地址和步RDS MySQL实例内网地址，进行网络连通性测试。 测试结果显示可达，则DLI队列与Kafka、MySQL实例的网络已经联通。
使用的队列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafka的地址测试队列连通性（通用队列-->找到作业的所属队列-->更多-->测试地址连通性-->输入kafka的地址-->测试）。若能连通，则表示跨源已经绑定成功；否则表示未成功。 创建flink opensource
使用的队列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafka的地址测试队列连通性（通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性 > 输入kafka的地址 > 测试）。如果能连通，则表示跨源已经绑定成功；否则表示未成功。 创建flink opensource
查询参数名和值中： 字母字符不会被编码。 字符 ., -, * 和 _不会被编码。 ASCII 空格字符会被编码为+ 。 所有其他字符都将转换为UTF-8，并且字节被编码为字符串％XX，其中XX是UTF-8字节的大写十六进制值。 select url_encode('http://www
典型场景示例：迁移DWS数据至DLI 数据迁移数据类型映射 将其他云服务或业务平台数据迁移到DLI ，或者将DLI数据迁移到其他云服务或业务平台时，涉及到源和目的端数据类型的转换和映射，根据表2可以获取到源和目的端的数据类型映射关系。 表2 数据类型映射表 MySQL Hive DWS Oracle PostgreSQL
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
