正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"user_id":"0002", "user_name":"Bob", "area_id":"330110"} 用户可按下述操作查看输出结果: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。
注意事项 创建作业提交任务前,建议先开通云审计服务,用于记录与DLI服务相关的操作事件,便于日后的查询、审计和回溯。云审计服务支持的DLI操作列表详见使用CTS审计DLI服务。 关于如何开通云审计服务以及如何查看追踪事件,请参考《云审计服务快速入门》。 创建Flink OpenSource
在MRS Manager上,选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 实例”,获取ZooKeeper角色实例的IP地址。 在MRS Manager上,选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 配置 > 全部配置”,搜索参数“
PlainLoginModule required username=\"xx\" password=\"xx\";', -- 创建kafka集群时设置的账号和密码 "format" = "json" ); CREATE TABLE ordersSink ( order_id string
手动续费 在云服务控制台续费 登录管理控制台。 单击左侧导航栏的图标,选择“大数据 > 数据湖探索 DLI”。 在队列或弹性资源池的列表页,选中待续费的包年/包月资源。 单击“操作”列下的“更多 > 续费”。 选择续费时长,判断是否勾选“统一到期日”,将到期时间统一到各个月的某一
Guest权限。 关于Tenant Guest权限的介绍和开通方法,详细参见《权限策略》和《统一身份认证服务用户指南》中的创建用户组。 跨源认证用户授权 登录DLI管理控制台。 单击“跨源管理 > 跨源认证”。 选择要进行授权的跨源认证,单击操作列“权限管理”进入开源认证的用户权限信息页面。 单
在DLI管理控制台的左侧导航栏中,单击“资源管理 > 队列管理”。 在对应队列的“操作”列,选择“更多”>“标签”。 进入标签管理页面,显示当前队列的标签信息。 单击“添加/编辑标签”,弹出“添加/编辑标签”对话框,配置参数。配置完成一个标签,单击“添加”将标签添加到输入框中。
批处理作业的状态,请参见创建批处理作业中的表7。 kind 否 String 批处理作业类型,只支持spark类型参数。 log 否 Array of Strings 显示当前批处理作业的最后10条记录。 sc_type 否 String 计算资源类型。用户自定义时返回CUSTOMIZED。 cluster_name
FileSink 作为输出,需要了解生成的输出文件的命名和生命周期。 Part 文件可以处于以下三种状态中的任意一种: In-progress:当前正在写入的 Part 文件处于 in-progress 状态 Pending:由于指定的滚动策略)关闭 in-progress 状态文件,并且等待提交
FileSink 作为输出,需要了解生成的输出文件的命名和生命周期。 Part 文件可以处于以下三种状态中的任意一种: In-progress:当前正在写入的 Part 文件处于 in-progress 状态 Pending:由于指定的滚动策略)关闭 in-progress 状态文件,并且等待提交
jar”。 图10 生成Jar包 登录OBS控制台,将生成的Jar包文件上传到OBS路径下。 Jar包文件上传的OBS桶所在的区域需与DLI的队列区域相同,不可跨区域执行操作。 (可选)可以将Jar包文件上传到DLI的程序包管理中,方便后续统一管理。 登录DLI管理控制台,单击“数据管理
auth_infos参数说明 名称 参数类型 说明 auth_info_name String 用户安全集群的登录用户名。 user_name String 用户安全集群的登录密码。 certificate_location String 创建时指定的证书OBS路径。 datasource_type
environment 中的 catalog 且数据库会被命名为 “db_name”;对于 table_name, 数据表将会被注册到当前正在运行的catalog和数据库中。 注意: 使用 CREATE TABLE 语句注册的表均可用作 table source 和 table sink。
再设置作业优先级。 调整作业优先级需要停止作业后编辑,并重新提交运行才能生效。 设置Flink Opensource SQL作业优先级 登录DLI管理控制台。 单击“作业管理 > Flink作业”。 选择要待配置的作业,单击操作列下的编辑。 单击“自定义配置”。 在“自定义配置
一致,因而,也可以通过Flink作业列表“操作”列中的“更多 > 导入保存点”,导入OBS中最新成功的Checkpoint,并从中恢复。 登录DLI管理控制台,选择“作业管理 > Flink作业”。 在对应Flink作业所在行,选择“操作 > 导入保存点”。 在导入保存点界面选择
gz,后续版本变化请根据实际情况修改。 单击下载链接,获取DLI Livy工具压缩包。 使用WinSCP工具,将获取的工具压缩包上传到准备好的ECS服务器目录下。 使用root用户登录ECS服务器,执行以下命令安装DLI Livy工具。 执行以下命令创建工具安装路径。 mkdir livy安装路径 例如新建路径/opt/livy:mkdir
、cu_asc(CU数升序)、cu_desc(CU数降序)四种排序。 tags 否 String 查询根据标签进行过滤。 请求消息 无请求参数。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 请求执行是否成功。“true”表示请求执行成功。
Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。MRS基于Apache Kafka在平台部署并托管了Kafka集群。 前提条件 Kafka服务端的端口如果监听在hostname上,则需要将Kafka
String 批处理作业的状态。 appId 否 String 批处理作业的后台app id。 log 否 Array of Strings 显示当前批处理作业的最后10条记录。 sc_type 否 String 计算资源类型。用户自定义时返回CUSTOMIZED。 cluster_name
Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。 前提条件 Kafka服务端的端口如果监听在hostname上,则需要将Kafka Broker节点的hos