检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
源端为Kafka JSON样例 "from-config-values": { "configs": [ { "inputs": [ {
jobmanager的处理内存,直接影响堆内存大小。 说明: 该配置会占用总体资源,影响新增其他作业,非必要不配置。 taskmanager.memory.process.size int 3686MB taskmanager的处理内存,直接影响堆内存大小。 说明: 该配置会占用
选择是否开启HBase的预写日志机制(WAL,Write Ahead Log)。 是:开启后如果出现HBase服务器宕机,则可以从WAL中回放执行之前没有完成的操作。 否:关闭时能提升写入性能,但如果HBase服务器宕机可能会造成数据丢失。 toJobConfig.transType 否 Boolean
server 是 String FTP或SFTP服务器的地址。 linkConfig.port 是 String FTP或SFTP服务器端口号。 linkConfig.username 是 String 登录FTP或SFTP服务器的用户名。 linkConfig.password
创建API时提示代理调用失败,怎么办? 可能原因 数据连接中的CDM代理异常,例如内存占用过高等。 解决方案 短期内建议您在空余时间对CDM集群进行重启,长期措施需降低CDM集群的工作负载。 父主题: 数据服务
可以比安全位点时间更早一点(建议30min左右),避免丢数。 例如,查询到的DRS安全位点时间戳为2024-11-29 12:00:00,启动Migration作业时可以将位点配置为2024-11-29 11:30:00。 图5 设置Migration启动位点 Migration
件,默认为|。 fromJobConfig.useQuery 否 Boolean 该参数设置为“true”时,上传到OBS的对象使用的对象名,为去掉query参数后的字符。 该参数设置为“false”时,上传到OBS的对象使用的对象名,包含query参数。 fromJobConfig
目的端为DIS JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig
数据表的场景。 BINARY_FILE:二进制格式,不解析文件内容直接传输,不要求文件格式必须为二进制。适用于文件到文件的原样复制。 当选择“BINARY_FILE”时,目的端也必须为文件系统。 fromJobConfig.lineSeparator 否 String 文件中的换
目的端为Hive JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig
outputFormat”(文件格式)为“CSV_FILE”时此参数有效,默认值为:“\r\n”。 toJobConfig.writeFileSize 否 String 源端为数据库时该参数有效,支持按大小分成多个文件存储,避免导出的文件过大,单位为MB。 toJobConfig.duplicateFileOpType
写入文件后,选择对文件的压缩格式。支持以下压缩格式: NONE:不压缩。 DEFLATE:压缩为DEFLATE格式。 GZIP:压缩为GZIP格式。 BZIP2:压缩为BZIP2格式。 LZ4:压缩为LZ4格式。 SNAPPY:压缩为SNAPPY格式。 toJobConfig.appendMode 是 Boolean
目的端为DDS JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig
目的端为DLI JSON样例 "to-config-values": { "configs": [ { "inputs": [
Failed 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。
Boolean 是否为整库迁移。 fromJobConfig.filters 否 String 创建用于匹配文档的筛选条件,CDM只迁移符合条件的数据。例如: 按表达式对象筛选:例如{'last_name': 'Smith'},表示查找所有“last_name”属性值为“Smith”的文档。
结果始终为不匹配,那么节点的状态将置为失败。当“是否需要判断返回值”为“YES”时,显示该配置项。 响应消息体解析为传递参数定义 否 设置作业变量与Json属性路径的对应关系,参数间以换行符分隔。 例如:var4=inner.inner.param4 其中,“var4”为作业变量
如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶? 解决方案 CDM服务暂不支持该操作,建议通过手动导出MySQL的数据文件,然后在服务器上开启SFTP服务,然后新建CDM作业,源端是SFTP协议,目的端是OBS,将文件传过去。 父主题: 数据集成(CDM作业)
源端为关系数据库 JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig
DataArts Studio实例中的CDM没有计费是什么原因? 购买非免费版的DataArts Studio实例时,系统会赠送一个4核CPU、8G内存规格CDM集群,不会产生费用。 注意,DataArts Studio实例赠送的CDM集群,推荐作为DataArts Studio管理中心数