检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
环境准备 已在DLI控制台购买了通用队列。 已购买了DIS通道。开通DIS通道。
登录管理控制台。 鼠标指向界面右上角的登录用户名,在下拉列表中单击“我的凭证”。 在左侧导航栏中选择“访问密钥”,单击“新增访问密钥”。根据提示输入对应信息,单击“确定”。 在弹出的提示页面单击“立即下载”。下载成功后,打开凭证文件,获取AK/SK信息。
支持用户通过编写SQL连接各个数据源,如RDS、DWS、Kafka、Elasticsearch等数据源; 用户无需登录维护集群,在控制台上完成一键提交,无需接触集群。 支持Flink SQL作业快速开启checkpoint。 支持Flink作业日志转储保留,便于作业分析。
ClickHouseBalancer实例的http端口: 登录MRS管理控制台,选择“集群名称 > 组件管理 > ClickHouse > 服务配置”,角色选择“ClickHouseBalancer”,搜索“lb_http_port”配置参数值。默认为:21425。
系统响应 Table创建成功,创建的Hudi表可以进入DLI控制台,在左侧菜单栏选择”数据管理”->”库表管理”,随后筛选数据库并点击名称,进入表列表查询。 父主题: Hudi DDL语法说明
图1 跨源分析流程 相关链接 创建方式 增强型跨源连接 管理控制台操作 创建增强型跨源连接 API接口 《增强型跨源连接相关API》 父主题: 配置DLI与数据源网络连通(增强型跨源连接)
登录DLI管理控制台。 单击“作业管理 > Flink作业”。 选择要开启动态扩缩容的作业,单击操作列下的编辑。 Flink Opensource SQL作业单击“自定义配置”,配置动态扩缩容参数。 Flink Jar作业单击“优化参数”框,配置动态扩缩容参数。
(Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36" "2.75" 按照如下方式查看taskmanager.out文件中的数据结果: 登录DLI管理控制台
Flink作业权限相关操作步骤 在DLI管理控制台的左侧,选择“作业管理”>“Flink作业”。 选择待设置的作业,单击其“操作”列中的“更多”>“权限管理”。“用户权限信息”区域展示了当前具备此作业权限的用户列表。
登录DEW管理控制台 选择“凭据管理”,进入“凭据管理”页面。 单击“创建凭据”,配置凭据基本信息 凭据名称:待创建凭据的名称。本例名称为secretInfo。 凭据值:配置RDS实例的用户名和密码。 第一行凭据值的键为MySQLUsername,值为RDS实例的用户名。
real_pay":180.0,"pay_time":"2021-03-24 16:10:06","user_id":"0001","user_name":"Alice","area_id":"330106"} 按照如下方式查看taskmanager.out文件中的数据结果: 登录DLI管理控制台
202103241606060001,appShop,2021-03-24 16:06:06,200.00,180.00,2021-03-24 16:10:06,0001,Alice,330106 按照如下方式查看taskmanager.out文件中的数据结果: 登录DLI管理控制台
步骤2:使用DLI将CSV数据转换为Parquet数据 在DLI控制台总览页面左侧,单击“SQL编辑器”,进入SQL作业编辑器页面。 在SQL作业编辑器左侧,选择“数据库”页签,单击创建名字为demo的数据库。
华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。
其他作业类型支持查看的详细信息请以控制台信息为准。
登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。
登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。
您需支付按需资源在宽限期内产生的费用,相关费用可在“管理控制台 > 费用中心 > 总览”的“欠费金额”查看,华为云将在您充值时自动扣取欠费金额。 如果您在宽限期内仍未支付欠款,那么就会进入保留期,资源状态变为“已冻结”,您将无法对处于保留期的按需计费资源执行任何操作。
登录DEW管理控制台 选择“凭据管理”,进入“凭据管理”页面。 单击“创建凭据”。配置凭据基本信息 DLI Spark jar作业编辑界面设置作业参数。
real_pay":180.0,"pay_time":"2021-03-24 16:10:06","user_id":"0001","user_name":"Alice","area_id":"330106"} 按照如下方式查看taskmanager.out文件中的数据结果: 登录DLI管理控制台