检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
需要先在kibana中创建管道ID,这里才可以选择,该参数用于数据传到云搜索服务/Elasticsearch后,通过Elasticsearch的数据转换pipeline进行数据格式变换。 toJobConfig.createIndexStrategy 否 枚举 对于持续写入数据到Elast
集群描述信息。 external_address String 公网IP地址。 intranet_address String 内网IPv4地址。 intranet_address_ipv6 String 内网IPv6地址。 public_zone_id String 公网域名ID。 public_zone_name
linkConfig.zookeeperQuorum 是 String 连接“CloudTable”时必选,表示CloudTable的ZooKeeper链接地址。 linkConfig.iamAuth 是 Boolean 当选择IAM统一身份认证时,需要输入用户名、AK和SK。 linkConfig
策略 类型 协议端口 源地址 1 允许 IPv4 全部协议 IP地址:资源组网段 各数据源所用端口不尽相同,可参考数据源安全组应放通哪些端口可满足Mig
要访问其他项目或企业项目的MRS集群,则需要获取MRS Manager的浮动IP地址并手动输入,并确保已打通本连接Agent(即CDM集群)和MRS租户面集群之间的网络。Manager的浮动IP地址可通过登录MRS集群主Master节点获取,执行ifconfig命令,回显中eth0:wsom的IP就是MRS
集群描述信息。 external_address String 公网IP地址。 intranet_address String 内网IPv4地址。 intranet_address_ipv6 String 内网IPv6地址。 public_zone_id String 公网域名ID。 public_zone_name
分库指的是同时连接多个后端数据源,该连接可作为作业源端,将多个数据源的数据合一迁移到其他数据源上。连接参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 分库连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源
单击作业目录中的,选择“显示复选框”。 勾选需要导出的作业,单击 > 导出作业,可选择“只导出作业”或“导出作业及其依赖脚本和资源定义”。导出完成后,即可通过浏览器下载地址,获取到导出的zip文件。 图1 选择并导出作业 在弹出的“导出作业”界面,选择需要导出的作业范围和状态,单击“确定”,可以在下载中心查看导入结果。
不建议直接抢锁处于他人锁定状态的脚本/作业,这会导致他人的修改丢失。如果您有修改需求,请先联系锁定人将脚本/作业解锁,然后再抢锁。 图1 锁定状态转换图 前提条件 已完成脚本开发任务。 解锁脚本 提交脚本会将当前开发态的最新脚本保存并提交为版本,并覆盖之前的脚本版本。为了便于后续其他开发
使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 服务器列表 是 一个或多个通过逗号分割的服务器列表(服务器域名或IP地址:服务器端口)。 例如: 192.168.0.1:27017,192.168.0.2:27017。 KMS密钥 是 通过KMS加解密数据源认证信息,选择KMS中已创建的密钥。
求添加x-Authorization头,值与Authorization头相同。 1 2 3 4 5 6 signer.createSignature(request); for (auto header : *request->getHeaders()) { if( strcmp(header
curl_easy_cleanup(curl); curl_global_cleanup(); //free signature params sig_params_free(¶ms); return 0; } 运行make命令编译,得
"partition_col" : false } ], "total_count" : 7, "table_id" : "NativeTable-9b18c0ad6ef5404caef4e6cbaccdae6f-postgres-dm_autotest-QQQQQQQstudents_infoweq"
离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 主机名或IP 是 服务器的IP地址或者主机名。 例如:sftp.apache.org或192.168.0.1。 端口 是 主机的SSH端口号。 数据传输超时时间 是 数据传输过程中连接服务器超时时间,单位毫秒。
不建议直接抢锁处于他人锁定状态的脚本/作业,这会导致他人的修改丢失。如果您有修改需求,请先联系锁定人将脚本/作业解锁,然后再抢锁。 图1 锁定状态转换图 前提条件 已完成作业开发任务。 解锁作业 “提交”会将当前开发态的最新作业保存并提交为版本,并覆盖之前的作业版本。为了便于后续其他开发
图1 批量导出 在弹出的窗口中,选择“全部作业和连接”,单击“确认”,导出所有作业和连接。 图2 全部导出 导出成功后,通过浏览器下载地址,获取到导出的JSON文件。 新空间导入作业和连接 请您登录控制台首页,选择并进入新工作空间的“数据集成”模块,然后执行如下操作进行批量导入。
说明: CDM集群和OBS桶不在同一个Region时,不支持跨Region访问OBS桶。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 obs.myregion.mycloud.com 端口 数据传输协议端口,https是443,http是80。
连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 adb_link 连接器 默认为关系数据库,不可更改。 - 数据库服务器 配置为要连接的数据库的IP地址或域名,多个值以;分隔。 192.168.0.1;192.168.0.2 端口 配置为要连接的数据库的端口。 3306 数据库名称 配置为要连接的数据库名称。
_cluster”,为Spark作业提供运行所需的物理资源。 获取Spark作业代码 本示例使用的Spark作业代码来自maven库(下载地址:https://repo.maven.apache.org/maven2/org/apache/spark/spark-examples_2
响应Body参数 参数 参数类型 描述 describe String 描述 permission_center_url String 审批页面地址 workspace_id String 工作空间id 状态码: 400 表8 响应Body参数 参数 参数类型 描述 error_code