检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String 队列名称。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 address 是 String 测试地址。格式为:IP地址或域名:访问端口。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success 是 Boolean 请求执行是否成功。“true”表示请求执行成功。
每个作业的创建时间,可按创建时间顺序或倒序显示作业列表。 最后修改时间 作业运行完成的时间。 操作 编辑:可修改当前作业配置,重新执行作业。 SparkUI:单击后,将跳转至Spark任务运行情况界面。 说明: 状态为“启动中”的作业不能查看SparkUI界面。 目前DLI配置SparkUI只展示最新的100条作业信息。
AK/SK认证就是使用AK/SK对请求进行签名,从而通过身份认证。 获取AK/SK DLI Endpoint地址 地区与终端节点,即云服务在不同Region有不同的访问域名。 获取EndPoint DLI所在的项目ID 项目编号,用于资源隔离。 获取项目ID DLI区域信息 DLI所属区域信息 地区和终端节点
您选择的子网是开启IPv6的,则您创建的增强型跨源连接也是支持IPv6的。 主机信息:访问MRS的HBase集群时需要配置实例的主机名(即域名)与主机对应的IP地址。详细信息请参考修改弹性资源池的主机信息。 父主题: 管理增强型跨源连接
DLI完成数据分析做准备。 OBS的使用涉及以下几项费用: 存储费用:静态网站文件存储在OBS中产生的存储费用。 请求费用:用户访问OBS中存储的静态网站文件时产生的请求费用。 流量费用:用户使用自定义域名通过公网访问OBS时产生的流量费用。 实际产生的费用与存储的文件大小、用户
管理SQL作业 在SQL作业列表页面查看作业的基本信息 DLI SQL作业管理页面显示所有SQL作业,作业数量较多时,系统分页显示,可根据需要跳转至指定页面。您可以查看任何状态下的作业。作业列表默认按创建时间降序排列。 表1 作业管理参数 参数 参数说明 队列 作业所属队列的名称。 执行引擎
如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 获取MRS集群全部节点的ip和域名映射,在DLI跨源连接修改主机信息中配置host映射。 如何添加IP域名映射,请参见《数据湖探索用户指南》中“修改主机信息”章节。 Kafka服务端的端口如果监听在hostname上,则需要将Kafka
建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。DIS的更多信息,请参见《数据接入服务用户指南》。 语法格式 create table
function ,需要指定一个 identifier ,可指定 language tag 。 若catalog 中,已经有同名的函数注册了,则无法注册。如果 language tag 是 JAVA 或者 SCALA ,则 identifier 是 UDF 实现类的全限定名。 如果您
file:用户文件 modelfile:用户AI模型文件 paths:对应资源包的OBS路径,参数构成为:{bucketName}.{obs域名}/{jarPath}/{jarName}。 description:资源包描述信息。 查询所有资源包 DLI提供查询资源列表接口,您可以
提交作业并检查Flink UI和日志: 直接点击界面右上角的”提交”,在跳转界面再次确认参数无误后,点击底部”立即启动”。完成提交后自动跳转至Flink作业界面,此处可以筛选刚才提交的Flink作业并检查执行状态。 点击作业的名称,可以跳转至作业界面,此处可以点击”提交日志”或”运行日志”,检查
file:用户文件 modelfile:用户AI模型文件 obs_jar_paths:对应资源包的OBS路径,参数构成为:{bucketName}.{obs域名}/{jarPath}/{jarName}。 例如:"https://bucketname.obs.cn-north-1.myhuaweicloud
DWS集群连接地址:请参见获取集群连接地址进行获取。如果通过公网地址连接,请指定为集群“公网访问地址”或“公网访问域名”,如果通过内网地址连接,请指定为集群“内网访问地址”或“内网访问域名”。如果通过弹性负载均衡连接,请指定为“弹性负载均衡地址”。 dbadmin:创建集群时设置的默认管理员用户名。
name=xxx&age=25#teacher');--teacher url_extract_host(url)→ varchar 描述:返回url中的主机域名。 select url_extract_host('http://www.example.com:80/stu/index.html?
DWS集群连接地址:请参见获取集群连接地址进行获取。如果通过公网地址连接,请指定为集群“公网访问地址”或“公网访问域名”,如果通过内网地址连接,请指定为集群“内网访问地址”或“内网访问域名”。如果通过弹性负载均衡连接,请指定为“弹性负载均衡地址”。 dbadmin:创建集群时设置的默认管理员用户名。
jdbc:dli://<endPoint>/projectId? <key1>=<val1>;<key2>=<val2>… endpoint指DLI的域名。projectId指项目ID。 在地区和终端节点获取DLI对应的Endpoint,从华为云“用户名”>“我的凭证”页面获取项目编号。 “
点击执行后会跳转到”Spark作业”界面,此处可以看到作业的执行状态。点击对应作业右侧的更多,可以在下拉菜单中跳转日志选单: 归档日志:跳转OBS界面,可以看到该作业的全部日志归档地址,包含提交日志,Driver日志和Executor日志,在此处可以下载日志。 提交日志:跳转到提交日
的条数上限,则停止存储数据,以batch.size.entries为准,提交该批次的数据。 es.nodes.wan.only 是否仅通过域名访问es节点,默认为false。使用经典型跨源的连接地址作为es.nodes时,该参数需要配置为true;使用css服务提供的原始内网IP地址作为es
如果配置为false,输出为default的格式。 否 true false kyuubi.engine.dli.jdbc.connection.region DLI的区域名称和服务名称。 是 regionname=ap-southeast-2 kyuubi.engine.dli.jdbc.connection
obs/logs/作业id开头的目录”为固定格式。 在作业列表中,单击对应的作业名称,然后在“运行日志”页签,可以单击页面提供的OBS链接跳转至对应的路径下。 关于如何创建Flink SQL作业或者Flink Jar作业,请参考《数据湖探索用户指南》。 父主题: Flink作业咨询类