检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
count 成功的任务数。 Failed count 失败的任务数。 Skip count 增量上传/下载/复制、同步上传/下载/复制跳过的任务数。 说明: 跳过的任务数也会记录到成功的任务数中。 Warning count 执行完成但包含警告的任务数。 说明: 产生警告的任务可能是失败
创建DDM实例 本章节介绍创建DDM实例,作为迁移任务目标库。 登录华为云控制台。 单击管理控制台左上角的,选择区域。 单击左侧的服务列表图标,选择“数据库 > 分布式数据库中间件 DDM”,进入DDM管理控制台。 在实例管理页面,单击页面右上方的“购买数据库中间件实例”。 按需设置实例相关信息和规格。
在AppStage业务控制台右上角选择“产品与服务 > 产品管理”。 在左侧导航栏选择“产品视图”,在产品视图列表中,可依次展开根部门下的各子部门、产品、服务、微服务的层级结构,如产品视图所示,在“操作”列可执行的操作,如表1所示。 图1 产品视图 表1 产品视图列表支持的操作 分类 支持的操作 说明
oms:task:list 授予查询任务列表权限 list task - oms:task:create 授予创建任务权限 write task - oms:task:get 授予查询指定任务权限 read task - oms:task:delete 授予删除任务权限 write task
Spark结构 Spark的结构如图1所示,各模块的说明如表 基本概念说明所示。 图1 Spark结构 表1 基本概念说明 模块 说明 Cluster Manager 集群管理器,管理集群中的资源。Spark支持多种集群管理器,Spark自带的Standalone集群管理器、Mesos或YARN,系统默认采用YARN模式。
控。 图5 数据质量 数据资产管理:360度全链路数据资产可视化 DataArts Studio提供企业级的元数据管理,厘清信息资产。数据资产管理可视,支持钻取、溯源等。通过数据地图,实现数据资产的数据血缘和数据全景可视,提供数据智能搜索和运营监控。 元数据管理 元数据管理模块是
在作业参数配置页面,选取左侧“kafka”图标拖入右侧编辑区域,然后双击此图标进入Kafka作业参数配置窗口。参考表4进行参数配置。 表4 Kafka作业参数 参数名称 示例 Link kafkalink 单击“确定”,完成Kafka作业参数配置。 作业参数配置完成后,拖拽图标将作业进行关联,然后单击“保存”,作业配置完成。
名称由中文、英文字母、数字、下划线(_)、中划线(-)、点(.)组成。 企业项目 必选参数。 企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。 参数名称 参数说明 带宽类型 必选参数。 全域互联带宽根据连接范围大小,分为不同类型,包括城域
查询作业列表 功能介绍 该接口用于查询作业列表。 可支持查询作业的类型包括:组合作业、召回作业、过滤作业、特征工程作业、排序作业、近线作业和效果评估任务。 URI GET/v1/{project_id}/jobs?type={type}¤t-page={current-page
setPassword(String password) 设置用户密码。 参数为创建所需数据订阅任务的IAM主账号或子账号密码。 setIp(String ip) 设置订阅通道的IP。 在数据订阅页面,选择指定订阅任务,单击任务名称,在基本信息页签下,获取订阅实例信息的内部IP即可。 ClusterClient接口定义
Flink常用的CLI如下所示: yarn-session.sh 可以使用yarn-session.sh启动一个常驻的Flink集群,接受来自客户端提交的任务。启动一个有3个TaskManager实例的Flink集群示例如下: bin/yarn-session.sh yarn-session.sh的其他参数可以通过以下命令获取:
周期性执行Workflow类型任务的流程定义文件。 参数解释 “coordinator.xml”中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 frequency 流程定时执行的时间间隔 start 定时流程任务启动时间 end 定时流程任务终止时间 workflowAppUri
原因 导致GeminiDB Redis节点CPU冲高的原因有很多,比如业务侧原因:业务流量突增、执行大Key操作、网络抖动,以及服务端后台任务如数据备份、垃圾回收等,如果仅为偶发现象,不用过于关注。若非QPS增高等业务侧原因造成,也可以通过工单进行咨询。 父主题: 数据库使用
周期性执行workflow类型任务的流程定义文件。 参数解释 “coordinator.xml”中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 frequency 流程定时执行的时间间隔 start 定时流程任务启动时间 end 定时流程任务终止时间 workflowAppUri
周期性执行workflow类型任务的流程定义文件。 参数解释 “coordinator.xml”中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 frequency 流程定时执行的时间间隔 start 定时流程任务启动时间 end 定时流程任务终止时间 workflowAppUri
Flink常用的CLI如下所示: yarn-session.sh 可以使用yarn-session.sh启动一个常驻的Flink集群,接受来自客户端提交的任务。启动一个有3个TaskManager实例的Flink集群示例如下: bin/yarn-session.sh yarn-session.sh的其他参数可以通过以下命令获取:
Flink常用的CLI如下所示: yarn-session.sh 可以使用yarn-session.sh启动一个常驻的Flink集群,接受来自客户端提交的任务。启动一个有3个TaskManager实例的Flink集群示例如下: bin/yarn-session.sh yarn-session.sh的其他参数可以通过以下命令获取:
使用Hue提交Oozie Sub workflow作业 操作场景 该任务指导用户通过Hue界面提交Sub Workflow类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“子Workflow”按钮,将其拖到操作区中。 在弹出的“Sub
partitions参数提高并行度 操作场景 Spark作业在执行shuffle类语句,包括group by、join等场景时,常常会出现数据倾斜的问题,导致作业任务执行缓慢。 该问题可以通过设置spark.sql.shuffle.partitions提高shuffle read task的并行度来进行解决。
使用Hue提交Oozie Sub workflow作业 操作场景 该任务指导用户通过Hue界面提交Sub Workflow类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“子Workflow”按钮,将其拖到操作区中。 在弹出的“Sub