检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
None 服务介绍 数据湖探索 DLI 介绍什么是数据湖探索 02:47 数据湖探索DLI产品介绍 功能介绍 数据湖探索 DLI 熟悉数据湖探索控制台 03:10 数据湖探索控制台介绍 操作指导 数据湖探索 DLI 介绍怎样创建提交SQL作业 07:36 数据湖探索SQL作业入门指导
定所要使用的Flink弹性资源池。 设置Redis和Kafka的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据Redis的地址测试队列连通性。若能连通,则表示跨源已经绑定成功,否则表示未成功。 登录Redis客户端,通过如下命令向Redis发送如下数据:
定所要使用的Flink弹性资源池。 设置Redis和Kafka的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据Redis的地址测试队列连通性。如果能连通,则表示跨源已经绑定成功,否则表示未成功。 登录Redis客户端,通过如下命令向Redis发送如下数据:
EXTERNAL TABLE. 新增支持解析“+Infinity”、“+INF”和“-INF”类型字符串的值 说明: Spark2.4.x:当从定义为FloatType 或 DoubleType的JSON属性读取值时,Spark2.4.x仅支持解析“Infinity”和“-Infinity”。
IS_ALPHA(string) 如果字符串中的所有字符都是字母,则返回 true,否则返回 false。 IS_DECIMAL(string) 如果 string 可以解析为有效数字,则返回 true,否则返回 false。 IS_DIGIT(string) 如果字符串中的所有字符都是数字,则返回 true,否则返回
json_path) 表2 参数说明 参数 数据类型 说明 json_string STRING 需要解析的JSON对象,使用字符串表示。 json_path STRING 解析JSON的路径表达式,使用字符串表示。 目前path支持如下表达式参考下表表3。 表3 json_path参数支持的表达式
例如:控制台入输入的参数 --bootstrap.server 192.168.168.xxx:9092 通过ParameterTool解析后的参数如下所示: 图5 解析后的参数 怎样查看作业日志? 在FLink作业列表中单击作业名称,进入作业详情页面。 单击“运行日志”,即可在控制台查看作业日志。
json_path) 表2 参数说明 参数 数据类型 说明 json_string STRING 需要解析的JSON对象,使用字符串表示。 json_path STRING 解析JSON的路径表达式,使用字符串表示。 目前path支持如下表达式参考下表表3。 表3 json_path参数支持的表达式
视图相关 创建视图 删除视图
队列相关API(推荐) 创建队列 删除队列 查询所有队列 查询队列详情 重启/扩容/缩容队列 创建指定地址连通性测试请求 查询指定地址连通性测试详情
议所有网段开放)。 客户安全组入方向和出方向配置的都是DLI队列的子网。建议客户将入方向源地址配成0.0.0.0/0,端口8000,表示任意地址都可以访问DWS8000端口。 将入方向源地址配成0.0.0.0/0,端口8000,仍然无法连接,继续排查子网配置。客户的DWS子网关联
DWS集群连接地址 -U dbadmin -p 8000 -W password -r gaussdb:DWS集群默认数据库。 DWS集群连接地址:请参见获取集群连接地址进行获取。如果通过公网地址连接,请指定为集群“公网访问地址”或“公网访问域名”,如果通过内网地址连接,请指定为
[自定义组织名称]/[自定义镜像名称]:[自定义镜像版本] --build-arg BASE_IMG=[DLI基础镜像地址] -f Dockerfile . DLI基础镜像地址为获取DLI基础镜像中的镜像地址。 示例: docker build -t mydli/spark:2.4 --build-arg
测试队列与RDS、DMS实例连通性。 单击“队列管理”,选择您所使用的队列,单击“操作”列中的“更多”>“测试地址连通性”。 图14 检测地址连通性 输入DMS Kafka实例连接地址和步RDS MySQL实例内网地址,进行网络连通性测试。 测试结果显示可达,则DLI队列与Kafka、MySQL实例的网络已经联通。
E”等协议。 端口:允许远端地址访问指定端口,取值范围为:1~65535。 本例中选择TCP协议,端口值不填或者填写为步骤1:获取外部数据源的内网IP、端口和安全组获取的数据源的端口。 类型 IP地址类型。 IPv4 源地址 源地址用于放通来自IP地址或另一安全组内的实例的访问。
DWS集群连接地址 -U dbadmin -p 8000 -W password -r gaussdb:DWS集群默认数据库。 DWS集群连接地址:请参见获取集群连接地址进行获取。如果通过公网地址连接,请指定为集群“公网访问地址”或“公网访问域名”,如果通过内网地址连接,请指定为
P”、“ICMP”和“GRE”等协议。 端口:允许远端地址访问指定端口,取值范围为:1~65535。 本例中选择TCP协议,端口值不填或者填写为数据源的端口。 类型 IP地址类型。 IPv4 源地址 源地址用于放通来自IP地址或另一安全组内的实例的访问。 本例填写获取的队列网段。
TABLE关键字描述 参数 描述 host OpenTSDB连接地址。 获取OpenTSDB连接地址需要先创建跨源连接,管理控制台操作请参考增强型跨源连接。 访问CloudTable OpenTSDB,填写OpenTSDB链接地址。 访问MRS OpenTSDB,若使用增强型跨源连接,填
TABLE关键字说明 参数 描述 url RDS的连接地址,需要先创建跨源连接,管理控制台操作请参考增强型跨源连接。 创建经典型跨源连接后,使用经典型跨源连接中返回的连接地址。 创建增强型跨源连接后,使用RDS提供的"内网域名"或者内网地址和数据库端口访问,MySQL格式为"协议头://
DWS集群连接地址 -U dbadmin -p 8000 -W password -r gaussdb:DWS集群默认数据库。 DWS集群连接地址:请参见获取集群连接地址进行获取。如果通过公网地址连接,请指定为集群“公网访问地址”或“公网访问域名”,如果通过内网地址连接,请指定为