检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群,请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 127.0.0.1 认证类型 访问MRS的认证类型: SIMPLE:非安全模式选择Simple鉴权。
终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。 终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。 继续执行下一节点:忽略当前节点失败,当前作业实例状态显示为“忽略失败”。 挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以
参见新建实时集成作业创建一个实时集成作业并进入作业配置界面。 选择数据连接类型:源端选MongoDB,目的端选DWS。 图1 选择数据连接类型 选择集成作业类型:同步类型默认为实时,同步场景包含整库和分库分表场景。 图2 选择集成作业类型 同步场景相关介绍请参见同步场景。 配置网络资源:选择已创
参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dms_link 服务类型 选择DMS Kafka版本,目前只有专享版。 专享版 Kafka Broker Kafka专享版实例的地址,格式为 host:port。 - Kafka SASL_SSL
查询脚本实例执行结果 功能介绍 该接口用以获取脚本实例的执行状态和结果。 查询时,需要指定脚本名称和脚本实例ID。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/scripts/{script
用户、操作对象、操作类型等信息。通过这些日志,可以快速进行数据操作审计,更好地做到数据安全管控。 前提条件 为实现MRS Hive数据源的数据访问审计,需要满足如下条件: MRS Hive数据连接中选择Agent代理的CDM集群为2.10.0.300及以上版本。 MRS Hive
种任务类型,通过任务间依赖完成复杂数据分析处理。 支持多种作业调度方式。 支持导入和导出作业。 支持作业状态运维监控和作业结果通知。 提供编辑锁定能力,支持多人协同开发场景。 支持作业的版本管理能力,支持生成保存版本和提交版本。 保存版本时,一分钟内多次保存只记录一次版本。对于中
URI参数说明 参数名 是否必选 参数类型 说明 project_id 是 String 项目编号,获取方法请参见项目ID和账号ID。 script_name 是 String 脚本名称。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String
SQL和Flink JAR类型的单任务作业,相比于先新建脚本再在作业中以节点引用脚本的开发方式,单任务作业可以直接在SQL编辑器中调测脚本并进行调度配置。 说明: 单任务Flink SQL目前支持的MRS集群版本是MRS 3.2.0-LTS.1及以上版本。 选择目录 选择作业所属的目录,默认为根目录。
启动调度”,运行或调度任务。 您可以通过调度周期区分该任务是单次调度还是周期调度任务。 查看运行实例日志:在数据水印嵌入页面,找到需要查看实例的任务,单击展开,即可找到运行实例。随后单击“查看日志”,查看运行实例日志。 运行失败可通过日志排查失败原因,问题修正后尝试重新运行。如果仍运行失败,请联系技术支持人员协助处理。
表1 调试API 参数名称 说明 API版本 仅专享版支持指定API版本调试。 当未指定API版本时,默认调试的是未发布的API。 参数配置 Query的参数与参数值。 集群配置 仅专享版支持,选择调试API所依托的实例。 不同类型的请求,调试界面展现的信息项有差异。 添加请求参数后,单击“开始测试”。
自动匹配创建作业时配置的作业优先级,此处支持修改。 实例超时时间 配置作业实例的超时时间,设置为0或不配置时,该配置项不生效。如果您为作业设置了异常通知,当作业实例执行时间超过超时时间,将触发异常通知,发送消息给用户,作业不会中断,继续运行。 实例超时是否忽略等待时间 配置实例超时是否忽略等待时间。 如果
否 String 服务类型。目前支持HDFS和HBase。 linkConfig.runMode 否 枚举 “HBase_2_X”版本支持该参数。支持以下模式: EMBEDDED:连接实例与CDM运行在一起,该模式性能较好。 STANDALONE:连接实例运行在独立进程。如果CD
配置数据集成的增量包 参数 说明 增量包类型 选择数据集成资源组增量包。 计费方式 选择按需计费。 名称 自定义数据集成资源组名称。 描述 可以自定义对当前数据集成资源组的描述。 规格 选择资源组的规格类型,即CU值、适用环境、创建作业的最大数量。 不同规格的资源组支持迁移的任务数或创建作
CDM可以跨账户使用吗? CDM集群是否支持升级操作? CDM迁移性能如何? CDM不同集群规格对应并发的作业数是多少? 是否支持增量迁移? 是否支持字段转换? Hadoop类型的数据源进行数据迁移时,建议使用的组件版本有哪些? 数据源为Hive时支持哪些数据格式? 是否支持同步作业到其他集群?
Studio所支持的数据库、云服务等)。 在创建DWS类型的数据连接前,您需要先在DWS服务中创建集群,并且具有KMS密钥的查看权限。 在创建MRS HBase、MRS Hive等MRS类型的数据连接前,需确保您已购买MRS集群,集群的“Kerberos加密类型”应为“aes256-sha1,ae
管理中心API类型 类型 说明 数据连接管理 数据连接管理类型接口。 购买实例 购买实例类型接口。 工作空间管理 工作空间管理类型接口。 实例管理 实例管理类型接口。 工作空间用户管理 工作空间用户管理类型接口。 数据源元数据获取 数据源元数据获取类型接口。 实例规格变更 实例规格变更类型接口。
任务实例接口 批量停止实例 父主题: 数据质量API
Studio所支持的数据库、云服务等)。 在创建DWS类型的数据连接前,您需要先在DWS服务中创建集群,并且具有KMS密钥的查看权限。 在创建MRS HBase、MRS Hive等MRS类型的数据连接前,需确保您已购买MRS集群,集群的“Kerberos加密类型”应为“aes256-sha1,ae
终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。 终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。 继续执行下一节点:忽略当前节点失败,当前作业实例状态显示为“忽略失败”。 挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以