检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据源为Hive时支持哪些数据格式? 问题描述 云数据迁移服务,数据源为Hive时支持的数据格式有哪些? 解决方案 云数据迁移服务支持从Hive数据源读写的数据格式包括SequenceFile、TextFile、ORC、Parquet。 父主题: 数据集成(CDM作业)
CDM是否支持集群关机功能? 问题描述 CDM是否支持集群关机功能? 解决方案 不支持。 从2022年4月开始,CDM已不再支持集群关机功能。当集群关机时,其底层资源可能会被占用,导致集群可能无法正常开机使用。 父主题: 数据集成(CDM作业)
M和DLI类型。 确定 单击“确认”,保存节点输入功能的参数配置。 取消 单击“取消”,取消节点输入功能的参数配置。 编辑 单击,修改节点输入功能的参数配置,修改完成后,请保存。 删除 单击,删除节点输入功能的参数配置。 查看表详情 单击,查看节点输入血缘关系创建数据表的详细信息。
C a376573fe8aa3a636a6d123926ddc3dca11748b289b8c2c16a5056830a095acb Android c19175d736f05b1945dab4675df19311834ede0d9b1978b11b50c86687baf85c 完成请求消息入参准备。
文件格式:同源端相同,选择“二进制格式”。 其它可选参数保持默认即可。 单击“下一步”进行任务配置,其中抽取并发数默认为3,适当增加可以增加迁移速率,本例中设置为8,其它参数保持默认即可。 重复上述步骤创建其它迁移目录的作业,参数配置都相同。2个CDM集群的作业个数平均分配,并发执行。 作业执行完成后,
、按分组导出作业等操作。 是否定时执行:如果需要配置作业定时自动执行,可打开此配置。这里保持默认值“否”。 抽取并发数:设置同时执行的抽取任务数。可适当调大参数,提升迁移效率。 是否写入脏数据:表到表的迁移容易出现脏数据,建议配置脏数据归档。 作业运行完是否删除:这里保持默认值“不删除”。
如果选择在目的端自动创建类型,这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容,详细请参见字段转换。 图5 云搜索服务的字段映射 单击“下一步”配置任务参数,一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能: 作业失败重试:如果作业执行
数据治理评分卡 各业务及IT部门 数据治理工作组与各业务及IT部门共同打分 季度 两个层面的数据治理度量评估工具 通过年度的整体数据治理成熟度评估,了解各维度数据治理现状,并制定可操作性目标,分析差距,制定切实可行的计划,在推进落实计划的过程中,利用季度性实施的数据治理评分卡,针对性
如果选择在目的端自动创建类型,这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容,详细请参见字段转换。 图7 云搜索服务的字段映射 单击“下一步”配置任务参数,一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能: 作业失败重试:如果作业执行
在弹出的创建任务页面中填写任务名称和描述,单击“下一步”。 图2 基本信息配置 进行脱敏任务源、目标端配置。参数配置参考表1。 图3 配置脱敏任务 脱敏任务参数配置说明: 表1 脱敏任务参数配置 参数名 参数描述 源端配置 *数据源类型 目前支持数据湖探索(DLI)、数据仓库服务(DWS)和MapReduce服务(MRS
请求示例 将标签ddd从ID为1217123755210469378的表上移除。 DELETE https://{endpoint}/v2/{project_id}/design/1217123755210469378/tags?tag=ddd 将标签ccc从ID为12171237
的record到达结束时间,则终止抽取任务。起止时间范围左闭右开:[起始时间,结束时间)。可配合调度任务使用。 最早:表示从开始点位消费数据。 最新:表示从最后点位消费数据。已提交:拉取已提交的数据。起止时间策略,等待时间,最大抽取时间相互独立。只要有任意一个条件符合,则kafka抽取结束。
2版本,获取sqljdbc42.jar 达梦数据库 DM DM DM JDBC驱动jar包请从DM安装目录/dmdbms/drivers/jdbc中获取DmJdbcDriver18.jar。 请从对应版本的安装目录中获取DmJdbcDriver18.jar POSTGRESQL_KINGBASE
移动作业/作业目录 您可以通过移动功能把作业文件或作业目录从当前目录移动到另一个目录。 前提条件 已完成作业开发。如何开发作业,请参见开发Pipeline作业。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。本服务的Endpoint您可以从终端节点Endpoint获取。 创建Shell脚本 如下示例是创建shell脚本的配置。 { "name":"echoTimeShell", "type":"Shell", "content":"echo
C a376573fe8aa3a636a6d123926ddc3dca11748b289b8c2c16a5056830a095acb Android c19175d736f05b1945dab4675df19311834ede0d9b1978b11b50c86687baf85c 获
数据集成配置 数据库名称 是 要连接的数据库。 单次请求行数 否 指定单次请求获取的行数。默认1000。 连接属性 否 可选参数。单击“添加”可增加多个指定数据源的JDBC连接器的属性(属性名称和值),参考对应数据库的JDBC连接器说明文档进行配置。 引用符号 否 配置引用符号,例如"。
、环境变量、资源导入导出功能。 约束与限制 已完成管理中心数据搬迁。 数据开发中的通知配置、备份管理、作业标签、委托配置、默认项等数据不支持导入导出,如有涉及,请您进行手动配置同步。 导入脚本、作业、环境变量、资源功能部分依赖于OBS服务。 旧空间导出数据 请您登录控制台首页,选
数据路径 数据在json中的位置,默认为根路径,不填则取默认。 student 数据总数 数据总数,支持填写固定值,也支持从接口中获取。 固定值,例如:100000。 支持从返回的结果中,获取数据总量。例如:page.pageCount。 说明: 如果接口不是分页接口,将数据总数的值设置
或通过咨询了解。 购买并配置DataArts Studio 如果您是第一次使用DataArts Studio,需要先完成注册华为账号、购买DataArts Studio实例、创建工作空间等一系列操作。 购买并配置DataArts Studio 购买并配置DataArts Studio