检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI约束限制: DLI提供的设置作业优先级功能,当资源不充足时,可以优先满足优先级较高的作业的计算资源。DLI优先级功能包含DLI Flink Job、DLI SQL和DLI Spark三个作业算子。 只有运行在弹性资源池上的作业支持设置作业优先级。 弹性资源池上的SQL作业支持作业优先级。
过滤及在字段映射页面添加新字段。 说明: 源端为Hive数据源且使用JDBC方式读取数据时,CDM不支持多并发,即后续操作中抽取并发数只能设置为1。 HDFS 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“
Studio数据质量页面,请参考新建数据质量规则新建规则。 图4 添加规则 添加规则完成后,将返回“关联质量规则”对话框,在“规则名称”列表中,选中一条规则,然后设置告警条件,设置完所有规则的告警条件后单击“确定”。 在“告警条件”输入框中,请输入告警条件表达式,在质量作业运行时,系统将计算出告警条件表达式的结
请求消息体 是 填写Json格式的请求消息体。当“HTTP方法”为“POST”、“PUT”时,显示该配置项。 是否需要判断返回值 否 设置是否判断返回消息的值和预期的一致。当“HTTP方法”为“GET”时,显示该配置项。 YES:检查返回消息中的值是否和预期的一致。 NO:不
Hive。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件
Redis数据库索引 Redis分库的索引标识。 Redis的分库,相当于关系型数据库中的database。分库总数可以在Redis配置文件中设置,默认是16个,分库名称是一个整数(0~15),不是一个字符串。 0 认证类型 访问MRS的认证类型: SIMPLE:非安全模式选择Simple鉴权。
Elasticsearch整库迁移到云搜索服务 操作场景 云搜索服务(Cloud Search Service)为用户提供结构化、非结构化文本的多条件检索、统计、报表,本章节介绍如何通过CDM将本地Elasticsearch整库迁移到云搜索服务中,流程如下: 创建CDM集群并绑定EIP
个映射。在每个映射中,您只需要为来源于当前映射的字段设置源字段,其他字段可以不设置。 如果表中的字段数据来源于同一个关系模型中的多个表,您可以新建一个映射。在该映射的“源表”中,您可以将多个表设置Join,然后再为表中的字段设置源字段。 本示例只需要新建一个映射。单击“新建”,新建一个映射,如图30。
1:9200;192.168.0.2:9200 安全模式认证 是否开启安全模式认证。 如果所需连接的CSS集群在创建时开启了“安全模式”,该参数需设置为“是”,否则设置为“否”。 是 用户名 CSS集群开启安全认证模式时显示此参数。该参数表示连接云搜索服务的用户名。 admin 密码 CSS集群开
连接名称 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 表3 Connection参数说明
时间限定 在下拉框中选择所需要的时间限定,并选择关联的字段。系统预置了一些时间限定,如果不能满足需求,请参考新建时间限定进行创建。 通用限定 如需设置通用限定,可以单击“新建”按钮新建一个或多个通用限定。只能包含中文、英文字母、数字和下划线,且只能以中文或英文字母开头。 如图2所示,在新
等信息。在节点监控页签,可以查看实时作业的运行日志。 同时,您可以查看当前作业版本、作业运行状态、启动、重跑、作业开发、是否显示指标监控、设置作业刷新频率等。 实时作业监控:禁用节点后恢复 您可以对实时作业中某个节点配置“禁用”后恢复运行,恢复运行时可以重新选择运行位置。 参考访问DataArts
如果导入的作业名有重复,系统会按后面一列来识别,标签标识按照该行来处理。 添加方式:支持追加和覆盖两种。 追加:若该作业已设置了作业标签,新添加的标签不会覆盖原来的标签。 覆盖:若该作业已设置了作业标签,新添加的标签将会直接覆盖原来的标签。 单击“确定”,完成导入。 导出作业标签 在数据开发主界面的左侧导航栏,选择“配置管理
Redis连接 介绍 通过Redis连接,可以对Redis服务器抽取或加载数据。 连接样例 { "links": [ { "link-config-values": { "configs": [
MongoDB连接 介绍 通过MongoDB连接,可以对MongoDB服务器抽取、加载数据。 连接样例 { "links": [ { "link-config-values": { "configs":
Elasticsearch/云搜索服务(CSS)连接 介绍 通过Elasticsearch连接,可以对Elasticsearch服务器或云搜索服务抽取、加载数据。 连接样例 { "links": [ { "link-config-values": {
数据开发概述 数据开发是一个一站式的大数据协同开发平台,提供全托管的大数据调度能力。它可管理多种大数据服务,极大降低用户使用大数据的门槛,帮助您快速构建大数据处理中心。 数据开发模块曾被称为数据湖工厂(Data Lake Factory,后简称DLF)服务,因此在本文中,“数据湖
Administrator的系统角色,另外也必须确保DAYU User角色的IAM用户已在对应的DataArts Studio工作空间中被设置为对应的工作空间角色。 如果您只给用户配置了DAYU User系统角色,未配置工作空间角色,则会出现无法查看工作空间的报错。 解决方案 请
MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办? 问题描述 1. 运行migration mysql2dws链路的实时同步作业,DDL同步中对增加列操作设置为“正常处理”。 2. 在目的端DWS表有数据的场景下,源端MySQL执行DDL语句,添加带非空约束的列,默认值为空字符串,如:alter
登录FusionInsight Manager。 MRS 3.x及之后版本:选择“系统 > 权限 > 用户”。 MRS 3.x之前版本:选择“系统设置 > 权限配置 > 用户管理”。 在需导出文件的用户所在行,选择“更多 > 下载认证凭据”,待文件自动生成后指定保存位置,并妥善保管该文件。