检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 服务器列表 是 一个或多个通过逗号分割的服务器列表(服务器域名或IP地址:服务器端口)。 例如: 192.168.0.1:27017,192.168.0.2:27017。 KMS密钥 是 通过KMS加解密数
pending_item_id 否 String 发布任务ID。 pending_version 否 integer 当前节点版本。 script_id 否 String 脚本ID。 task_id 否 String 作业ID。 start_job_status 否 integer
勾选需要导出的作业,单击 > 导出作业,可选择“只导出作业”或“导出作业及其依赖脚本和资源定义”。导出完成后,即可通过浏览器下载地址,获取到导出的zip文件。 图1 选择并导出作业 在弹出的“导出作业”界面,选择需要导出的作业范围和状态,单击“确定”,可以在下载中心查看导入结果。 图2 导出作业
Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,MRS集群可以访问公网且防火墙规则已开放连接端口。 DataArts Studio实例(指DataArts Studio实例中的CDM集
MYSQL https://downloads.mysql.com/archives/c-j/ 5.1.48版本,获取mysql-connector-java-5.1.48.jar Oracle ORACLE_6 ORACLE_7 ORACLE_8 驱动包下载地址:https://www
String> 连接的配置项,不同类型的连接配置项不同。DLI类型的连接不需要配置。config参数,其他类型的连接请参考连接配置项说明。 description 否 String 描述,长度不能超过255个字符。 请求示例 查询连接列表。 GET /v1/b384b9e9ab9b4ee89
目标数据库中的库名、表名、字段名仅支持数字、字母和下划线,且字段名必须以字母或下划线开头,建议尽量使用常规字符避免任务失败。 使用限制 通用: 实时同步过程中,不支持IP、端口、账号、密码修改。 不允许源数据库进行恢复操作。 建议MySQL Binlog保留3天以上,不支持强制清理Binlog。 异常/暂停
Hive数据湖中的出租车出行数据进行数据模型设计。 数据库demo_sdi_db中已具备出租车出行原始数据表sdi_taxi_trip_data。 原始数据表sdi_taxi_trip_data的数据字段介绍如下: 数据说明如下: 表1 出租车行程数据 序号 字段名称 字段描述 1 VendorID
在解决方案目录中,右键单击解决方案名称,选择“编辑”,修改名称和作业。 导出解决方案 在解决方案目录中,右键单击解决方案名称,选择“导出”,导出zip格式的解决方案文件至本地。 导入解决方案 导入解决方案功能依赖于OBS服务,如无OBS服务,可从本地导入。 在解决方案目录中,右键单击根目
"lastUpdate": 1544777083000, "name": "从路径[obs://aaaaa/job_batch.zip]导入作业。", "projectId": "b384b9e9ab9b4ee8994c8633aabc9505", "startTime":
连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 adb_link 连接器 默认为关系数据库,不可更改。 - 数据库服务器 配置为要连接的数据库的IP地址或域名,多个值以;分隔。 192.168.0.1;192.168.0.2 端口 配置为要连接的数据库的端口。 3306 数据库名称 配置为要连接的数据库名称。
数据时,系统会直接返回由数据源动态脱敏后的数据,保护敏感数据不被泄露。 数据水印 数据安全支持将水印标记嵌入到原始数据,保证数据的可用性。加入水印后的数据具有透明性、可用性、隐蔽性,不易被外部发现破解。数据泄漏后能够溯源水印标识,从而对安全事件精准定位追责。通过数据水印嵌入后的敏
error_msg String 错误信息。 data Object 返回的数据信息。 请求示例 根据业务指标ID,查询业务指标详情。 GET https://{endpoint}/v2/{project_id}/design/biz-metrics/1231249989901135872
Drama;Romance;War Back to the Future,1985,Comedy;Sci-Fi The Talented Mr. Ripley,1999,Drama;Mystery;Thriller Life Is Beautiful (La vita ии bella),1997
单击“新建”,在弹出的对话框中,配置相关参数,新建指标。 SQL语句如下: SELECT SUM(fare_amount) FROM sdi_taxi_trip_data; 图4 新建指标 选择“业务指标监控 > 规则管理”。 单击“新建”,在弹出的对话框中,配置相关参数,新建规则。 图5 新建规则
目的端数据库中的对象名需要满足约束:长度不超过63个字符,以字母或下划线开头,中间字符可以是字母、数字、下划线、$。 使用限制 通用: 实时同步过程中,不支持IP、端口、账号、密码修改。 Oracle归档日志建议保留3天以上。 禁止对Oracle源库做resetlogs操作,否则会导致数据无法同步且任务无法恢复。
可使用的调优参数具体如下: 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental.snapshot.backfill.skip boolean true 全量阶段是否跳过读取binlog数据,默认为true。跳过读取binlog数据可以有效降低内存使用。需要注意的
响应参数 状态码:200 表3 响应Body参数 参数 参数类型 描述 id Long 作业ID。 name String 作业名称。 description String 作业描述。 category_id Long 所属目录ID。 level String 告警级别,SUGGEST表
error_msg String 错误信息。 data Object 返回的数据信息。 请求示例 查询前十条业务指标数据,返回业务指标集合。 GET https://{endpoint}/v2/{project_id}/design/biz-metrics?offset=1&limit=10 响应示例
每一个节点可以独立调度,支持单次调度、周期调度、事件驱动调度三种调度方式。具体请参见配置节点调度任务(实时作业)。 前提条件 已完成开发Pipeline作业或开发批处理单任务SQL作业。 当前用户已锁定该作业,否则需要通过“抢锁”锁定作业后才能继续开发作业。新建或导入作业后默认被当前用户锁定,详情参见编辑锁定功能。