检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建数据连接需要注意哪些事项? DWS/Hive/HBase数据连接无法获取数据库或表的信息怎么办? 为什么在创建数据连接的界面上MRS Hive/HBase集群不显示? DWS数据连接开启SSL时测试连接失败怎么办? 一个空间可以创建同一数据源的多个连接吗? 连接方式应该选择API连接还是代理连接? 如
值分隔符 以STRING方式存储,列之间的分隔符。 存储类型为列表时字串分割成数组的字符。 ; 字段相同 “值存储类型”选择“HASH”时,显示该参数,是否允许哈希键内有相同的字段。 否 父主题: 配置作业源端参数
当“失败重试”配置为“是”才显示“超时重试”。 当前节点失败后,后续节点处理策略 是 节点执行失败后的操作: 终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。 终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。 继续执行下一节点:
当“失败重试”配置为“是”才显示“超时重试”。 当前节点失败后,后续节点处理策略 是 节点执行失败后的操作: 终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。 终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。 继续执行下一节点:
为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 是 table 整表迁移 源端和目的端都为HBase时显示该参数。 整表迁移通过二进制传输数据,表的所有信息都会传递。HBase->HBase整表迁移会传递列的timestamp信息,非整表迁移只传递列的value值。
使用Agent Agent功能待下线,无需配置。 - Agent Agent功能待下线,无需配置。 - 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 连接属性
单位:分钟。 60 等待时间 当配置为60时,如果消费者60s内从Kafka拉取数据返回一直为空(一般是已经读完主题中的全部数据,也可能是网络或者Kafka集群可用性原因),则立即停止任务,否则持续重试读取数据。单位:秒。 60 消费组ID 用户指定消费组ID。 如果是从DMS
在左侧目录上方,单击解决方案图标,显示解决方案目录。 单击解决方案目录上方的,弹出“新建解决方案”页面,配置如表1所示的参数。 图1 新建解决方案 表1 解决方案参数 参数 说明 名称 自定义解决方案的名称。 选择作业 选择解决方案包含的作业。 单击“确定”,新建的解决方案将在左侧目录中显示。 编辑解决方案
参考对应数据库的产品文档进行配置。 ' 驱动版本 不同类型的关系数据库,需要适配不同的驱动。 - 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 连接属性
168.3.0:3306:cdm|192.168.2.2:3306:cdm:user:password 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 连接属性
执行完fixMeta命令后,报错显示“xx inconsistent”: fixMeta命令是校验HDFS和HBase元数据一致性,出现这个提示是正常情况,继续执行fixAssignments命令即可。 执行完fixAssignments命令后,报错显示“xx inconsistent”:
当“失败重试”配置为“是”才显示“超时重试”。 当前节点失败后,后续节点处理策略 是 节点执行失败后的操作: 终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。 终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。 继续执行下一节点:
压缩格式非无时,显示该参数。 该参数需要解压缩的文件后缀名。当一批文件中以该值为后缀时,才会执行解压缩操作,否则保持原样传输。当输入*或为空时,所有文件都会被解压。 * 文件分隔符 传输多个文件时,CDM使用这里配置的文件分隔符来区分各个文件,默认为|。列表文件选择“是”时,不显示该参数。
在弹出的“删除作业”页面,单击“确定”,删除作业。 批量删除 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 在作业目录顶部,单击,选择“显示复选框”,在作业目录前出现复选框。 选择需要删除的作业,再次单击,选择“删除作业”。 图2 批量删除作业 在弹出的“删除作业”页面,单击“确定”,批量删除作业。
is_owner 否 Boolean 是否显示拥有者。 is_authorized 否 Boolean 是否显示已被授权。 is_update_recently 否 Boolean 是否显示最近更新。 is_release_recently 否 Boolean 是否显示最近发布。 is_hot_recently
为自定义目录。 ${dateformat(yyyy/MM/dd, -1, DAY)} 加密方式 “文件格式”选择“二进制格式”时,该参数才显示。 选择是否对写入的数据进行加密: 无:不加密,直接写入数据。 AES-256-GCM:使用长度为256byte的AES对称加密算法,目前
在弹出框中,选择审核人,单击“确认提交”,提交审核。 如果当前用户已被添加为审核人,则可以勾选“自助审批”,单击“确认提交”后,状态显示为“已发布”。 选择审核人时,系统支持选择多个审核人,全部审批通过后,状态才会显示为已发布。如果有任意一个人驳回,则状态为已驳回。 等待审核人员审核。 审核通过后,复合指标创建完成。
为保证访问密钥的安全,访问密钥仅在初次生成时自动下载,后续不可再次通过管理控制台界面获取。请在生成后妥善保管。 - 密钥(SK) - 连接属性 可选参数,单击“显示高级属性”后显示。 自定义连接属性,单击“添加”可增加多个属性。 只支持配置connectionTimeout,socketTimeout和idleConnectionTime。
Agent Agent功能待下线,无需配置。 - 单次请求行数 指定每次请求获取的行数。 1000 单次提交行数 可选参数,单击“显示高级属性”后显示。 指定每次批量提交的行数,根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 连接属性
句,再次尝试继续创建作业。 select id,name from sqoop.user; 模式或表空间 “使用SQL语句”选择“否”时,显示该参数,表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。 如果选择界面没有待