检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI将Flink作业的输出数据输出到云搜索服务CSS的Elasticsearch中。Elasticsearch是基于Lucene的当前流行的企业级搜索服务器,具备分布式多用户的能力。其主要功能包括全文检索、结构化搜索、分析、聚合、高亮显示等。能为用户提供实时搜索、稳定可靠的服务。适用于日志分析、站内搜索等场景。
ClickHouseBalancer实例的IP地址: 登录MRS管理控制台,选择“集群名称 > 组件管理 > ClickHouse > 实例”,获取ClickHouseBalancer实例的业务IP。 ClickHouseBalancer实例的http端口: 登录MRS管理控制台,选择“集群名称 > 组件管理 >
致。 DLI元数据可在数据湖探索管理控制台的“数据管理 > 库表管理”中查看。 Lakeformation元数据可在湖仓构建Lakeformation服务的管理控制台中查看。 相关操作 DLI SQL队列对接DLI元数据方法: 在DLI管理控制台的SQL编辑器页面的“数据目录”中选择“dli”。
调试,编译代码并导出Jar包 4 上传Jar包到OBS OBS控制台 将生成的UDF函数Jar包文件上传到OBS目录下。 5 创建DLI的UDF函数 DLI控制台 在DLI控制台的SQL作业管理界面创建使用的UDF函数。 6 验证和使用DLI的UDF函数 DLI控制台 在DLI作业中使用创建的UDF函数。
在费用中心账单中获取DLI资源ID。 并根据账单中资源ID查看资源名称。 根据资源名称在DLI云服务的控制台查找资源。 删除资源将资源停止计费。 详细操作步骤如下: 在费用中心账单中获取资源ID。 登录管理控制台,在顶部菜单栏中选择“费用与成本 > 费用账单”。 进入费用账单页面。 选择“流水和明细账单
即弹性资源池下仅支持添加同一企业项目的队列资源。 前提条件 在绑定企业项目前,您已在“企业项目管理控制台”创建创建企业项目。 绑定企业项目 在创建弹性资源池资源时,可以在“企业项目”绑定已创建的企业项目。 您还可以单击“新建企业项目”,前往企业项目管理控制台,新建企业项目和查看已有的企业项目。 更多创建队列的操作步骤请参考创建弹性资源池并添加队列。
metheus基础监控指标 打开AOM仪表盘即可查看监控指标,您可以按需选择以下任一种方法跳转至AOM控制台。 方式1:在DLI管理控制台跳转至AOM仪表盘 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击作业名称进入作业详情页面。 在作业详情页面单击“更多 >
4 上传Jar包到OBS OBS控制台 将生成的UDAF函数Jar包文件上传到OBS目录下。 5 创建DLI程序包 DLI控制台 选择刚上传到OBS的UDAF函数的Jar文件,由DLI进行纳管。 6 创建DLI的UDAF函数 DLI控制台 在DLI控制台的SQL作业管理界面创建使用的UDAF函数。
"ACTIVE" } ] } 状态码 状态码如表9所示。 表9 状态码 状态码 描述 200 查询成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: 增强型跨源连接相关API
服务。用户不需要管理任何服务器,即开即用。支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。
数据湖探索 DLI 介绍什么是数据湖探索 02:47 数据湖探索DLI产品介绍 功能介绍 数据湖探索 DLI 熟悉数据湖探索控制台 03:10 数据湖探索控制台介绍 操作指导 数据湖探索 DLI 介绍怎样创建提交SQL作业 07:36 数据湖探索SQL作业入门指导 数据湖探索 DLI
手动续费 在云服务控制台续费 登录管理控制台。 单击左侧导航栏的图标,选择“大数据 > 数据湖探索 DLI”。 在队列或弹性资源池的列表页,选中待续费的包年/包月资源。 单击“操作”列下的“更多 > 续费”。 选择续费时长,判断是否勾选“统一到期日”,将到期时间统一到各个月的某一
当前仅支持对未加入弹性资源池的队列资源修改企业项目。 前提条件 在绑定企业项目前,您已在“企业项目管理控制台”创建创建企业项目。 修改企业项目 针对之前已创建的队列,其绑定的企业项目可根据实际情况进行修改。 登录DLI管理控制台。 在左侧导航栏,选择“资源管理 > 队列管理”。 在队列资源列表中,选择待
使用DLI进行跨源分析,需要先建立跨源连接,打通DLI和数据源的网络,再开发不同的作业访问数据源。 图1 跨源分析流程 相关链接 创建方式 增强型跨源连接 管理控制台操作 创建增强型跨源连接 API接口 《增强型跨源连接相关API》 父主题: 配置DLI与数据源网络连通(增强型跨源连接)
给用户授权DLI权限流程 创建用户组并授权 在IAM控制台创建用户组,并授予DLI服务普通用户权限“DLI ReadOnlyAccess”。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。 用户登录并验证权限 使用新创建的用户登录控制台,切换至授权区域,验证权限: 在“
上传Jar包到OBS和DLI OBS控制台 DLI控制台 将生成的Spark Jar包文件上传到OBS目录下和DLI程序包中。 7 创建Spark Jar作业 DLI控制台 在DLI控制台创建Spark Jar作业并提交运行作业。 8 查看作业运行结果 DLI控制台 查看作业运行状态和作业运行日志。
调试,编译代码并导出Jar包 4 上传Jar包到OBS OBS控制台 将生成的UDTF函数Jar包文件上传到OBS目录下。 5 创建DLI的UDTF函数 DLI控制台 在DLI控制台的SQL作业管理界面创建使用的UDTF函数。 6 验证和使用DLI的UDTF函数 DLI控制台 在DLI作业中使用创建的UDTF函数。
启停作业、导入/导出作业等。 编辑作业 用户可以对已经创建的作业进行编辑,如修改SQL语句、作业名称和描述、作业配置信息等。 在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入Flink作业管理页面。 在需要编辑作业对应的“操作”列中,单击“编辑”,进入作业编辑页面。
SQL作业不支持配置引擎版本,需要您重新新建队列执行SQL作业,新创建的队列会默认使用新版本的Spark引擎。 Flink OpenSource SQL作业: 登录DLI管理控制台。 选择“作业管理 > Flink作业”,在作业列表中选择待操作的Flink OpenSource SQL作业。 单击操作列的“编辑”,进入作业编辑页面。
OBS中。 登录OBS管理控制台,进入OBS管理控制台页面。 创建桶,本例桶名以“obs1”为例。 单击页面右上角“创建桶”。 进入“创建桶”页面,选择“区域”,输入“桶名称”。其他参数保持默认值或根据需要选择。 创建OBS桶时,需要选择与DLI管理控制台相同的区域,不可跨区域执行操作。