检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
jar log4j-over-slf4j-1.7.26.jar deeplearning4j-core-0.9.1.jar flink-python_2.11-1.10.0.jar logback-classic-1.2.3.jar deeplearning4j-nlp-0.9.1
可能会造成查询失败。 如果创建表和创建视图使用的计算引擎不一致,可能会因为varchar类型不兼容,导致视图查询失败。 例如:使用Spark 3.x版本创建的表,建议您使用Spark 2.x创建相应的视图。 示例 先通过对student表中的id和name数据进行查询,并以该查询结果创建视图student_view。
请参见《数据湖探索SQL语法参考》。 标签:以“key/value”的形式设置SQL作业的标签。 创建数据库和表。 您可以参考在DLI控制台创建数据库和表提前创建数据库和表。例如本例创建表,表名为“qw”。 在SQL作业编辑窗口输入表“qw”的SQL查询语句: 1 SELECT *
用户名:自定义的用户名。当前示例输入为:hivetestusr。 用户类型:当前选择为“人机”。 密码和确认密码:输入当前用户名对应的密码。 用户组和主组:选择supergroup 角色:同时选择2中创建的角色和Manager_viewer角色。 图2 MRS Manager上创建Hive用户 参
测试连通性如下所示。 图1 测试地址连通性 检查是否连接的是对端VPC和子网 创建增强型跨源连接时需要填写对端的VPC和子网。 例如,测试队列与指定RDS实例连通性,创建连接时需要填写RDS的VPC和子网信息。 图2 创建连接 检查队列的网段是否与数据源网段是否重合 绑定跨源的DLI队列网段和数据源网段不能重合。
用户名:自定义的用户名。当前示例输入为:hivetestusr。 用户类型:当前选择为“人机”。 密码和确认密码:输入当前用户名对应的密码。 用户组和主组:选择supergroup 角色:同时选择2中创建的角色和Manager_viewer角色。 图2 MRS Manager上创建Hive用户 参
FROM/IN:指定数据库名,显示特定数据库下的表及视图。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。 regex_expression 数据库下的表名称。 注意事项 无。 示例 参考创建OBS表或者创建DLI表中的示例描述创建对应的表。
FROM/IN:指定数据库名,显示特定数据库下的表及视图。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。 regex_expression 数据库下的表名称。 注意事项 无。 示例 参考创建OBS表或者创建DLI表中的示例描述创建对应的表。
单击需要查看的作业名称,进入“作业详情”页面。 在“运行日志”页签,可以查看运行中作业的JobManager和TaskManager信息。 图4 Flink作业运行日志 JobManager和TaskManager信息每分钟刷新一次,默认展示最近一分钟的运行日志。 如果作业配置了保存作业日
面临市场新的竞争压力及出行服务不断变革,车企通过构建车联云平台和车机OS,将互联网应用与用车场景打通,完成车企数字化服务转型,从而为车主提供更好的智联出行体验,增加车企竞争力,促进销量增长。例如:通过对车辆日常指标数据(电池、发动机,轮胎胎压、安全气囊等健康状态)的采集和分析,及时将维保建议回馈给车主。 优势
VPC丰富的功能帮助您灵活管理云上网络,包括创建子网、设置安全组和网络ACL、管理路由表、申请弹性公网IP和带宽等。 VPC本身不收取费用。 但如有互联网访问需求,您需要购买弹性公网IP。弹性公网IP提供“包年/包月”和“按需计费”两种计费模式。 了解VPC计费说明。 DMS Kafka
CSS集群管理 单击“安全模式”中的“下载证书”下载安全证书。 使用keytool工具生成keystore和truststore文件。 使用keytool工具生成keystore和truststore文件,其中需要使用到安全集群的安全证书(CloudSearchService.cer
施。 资源和成本规划 表1 资源和成本规划 资源 资源说明 成本说明 DLI 数据湖探索(DLI)作为华为云大数据分析平台,其计费项包括存储费用与计算费用两项,计费类型包括包周期(包年包月),套餐包和按需计费三种。 DLI目前支持三种作业:SQL作业,Flink作业和Spark作业。
Access授权范围是指定区域项目资源: 仅在勾选该权限且更新DLI委托权限后的项目生效。未勾选该权限的项目不具备跨源场景所需权限、和SMN发送通知消息的权限。 示例1和示例2给出了同一个区域的不同项目更新DLI委托带来的委托权限差异。 单击选择dli_management_agency需要包含的权限,并单击“更新委托权限”。
作业删除后不可恢复,请谨慎操作。 名称和描述修改:修改作业名称和描述。 导入保存点:导入原实时流计算服务作业导出的数据。 触发保存点:“运行中”的作业可以“触发保存点”,保存作业的状态信息。 权限管理:查看作业对应的用户权限信息以及对其他用户授权。 运行时配置:支持作业在运行时配置作业异常告警和异常自动重启。
可查看作业执行进度和结果。 图7 迁移作业进度和结果查询 步骤三:结果查询 CDM迁移作业运行完成后,再登录到DLI管理控制台,选择“SQL编辑器”,在SQL编辑器中“执行引擎”选择“spark”,“队列”选择已创建的SQL队列,数据库选择在DLI上创建数据库和表中已创建的数据库
可查看作业执行进度和结果。 图7 迁移作业进度和结果查询 步骤三:结果查询 CDM迁移作业运行完成后,再登录到DLI管理控制台,选择“SQL编辑器”,在SQL编辑器中“执行引擎”选择“spark”,“队列”选择已创建的SQL队列,数据库选择在DLI上创建数据库和表中已创建的数据库
初步认识华为云数据湖探索,了解数据湖探索的基本功能、应用场景、基本概念和使用限制,有助于您更准确地匹配实际业务。 产品介绍 什么是DLI 应用场景 使用限制 与其他云服务的关系 03 入门 购买DLI队列后,您可以运行SQL作业和Spark作业,开启您的数据湖探索使用之旅。 使用前须知 准备工作
本示例CDM集群的虚拟私有云、子网以及安全组和RDS MySQL实例保持一致。 步骤一:数据准备 RDS的MySQL的数据库实例上创建数据库和表。 登录RDS管理控制台,在“实例管理”界面,选择已创建的MySQL实例,选择操作列的“更多 > 登录”,进入数据管理服务实例登录界面。 输入实例登录的用户名和密码。单击
跨源认证简介及操作方法请参考跨源认证简介。 MySQL已开启了Binlog,并且binlog_row_image设置为FULL。 已创建MySQL用户,并授予了SELECT、 SHOW DATABASES 、REPLICATION SLAVE和REPLICATION CLIENT权限。 注意事项 创建Flink OpenSource