检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
事件类型,当前只支持监听DIS通道的新上报数据事件,每上报一条数据,触发作业运行一次。 配置为:DIS 选择要监听的OBS路径,如果该路径下有新增文件,则触发调度;新增的文件的路径名,可以通过变量Job.trigger.obsNewFiles引用。前提条件:该OBS路径已经配置DIS消息通知。 配置为:OBS
更新:当数据重复时 系统中的原有数据为草稿状态,则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态,则会生成下展数据。 单击“添加文件”,选择编辑完成的导入模板。 单击“上传文件”,上传完成后,自动跳转到“上次导入”页签,查看已导入的数据。 单击“关闭”。 导出 可通过导出的方式将汇总表导出到本地。
API请求协议类型。 PROTOCOL_TYPE_HTTP:HTTP协议请求 PROTOCOL_TYPE_HTTPS:HTTPS协议请求 host 否 String 后端HOST。 timeout 否 Integer 后端超时时间。 path 否 String 后端请求PATH。 backend_paras
"sourceType" : "dws", "name" : "dws_4autotest1_nomodify", "host" : "", "id" : "f9338475eb8c4cbda61b85c05908a432", "projectId"
Header; import org.apache.http.HttpEntity; import org.apache.http.HttpHost; import org.apache.http.auth.AuthScope; import org.apache.http.auth
度。 字段值:目的端DWS表新增字段的取值来源。 表9 附加字段取值方式 类型 示例 常量 任意字符。 内置变量 源端host ip地址:source.host。 源端schema名称:mgr.source.schema。 源端table名称:mgr.source.table。 目的端schema名称:mgr
Array of links objects 连接列表,请参见links数据结构说明。 fromTo-unMapping String 表/文件迁移不支持哪些数据源迁移到哪些数据源。 batchFromTo-mapping String 整库迁移支持哪些数据源迁移到哪些数据源。 表4
数据连接唯一标识名称。 obs_folder_count Integer obs目录数。 obs_file_count Integer obs文件数。 css_index_count Integer css索引数。 css_index_field_count Integer css 索引字段数目。
withName("tag1") ); WorkspaceVO modelbody = new WorkspaceVO(); modelbody.withId("1208730797675311104") .withName("xingneng2")
的OBS数据会同时被删除。 数据架构 数据架构当前支持关系建模、维度建模(仅支持星形模型)和数据集市这三种建模方式。 数据架构支持最大导入文件大小为4Mb;支持最大导入指标个数为3000个;支持一次最大导出500张表。 数据架构对各类对象进行批量操作时,单次最多操作200个对象。
MySQL到DMS Kafka参数调优 源端优化 MySQL抽取优化。 可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下: 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental
"sourceType" : "dws", "name" : "dws_4autotest1_nomodify", "host" : "", "id" : "f9338475eb8c4cbda61b85c05908a432", "projectId"
事件类型,当前只支持监听DIS通道的新上报数据事件,每上报一条数据,触发作业运行一次。 配置为:DIS 选择要监听的OBS路径,如果该路径下有新增文件,则触发调度;新增的文件的路径名,可以通过变量Job.trigger.obsNewFiles引用。前提条件:该OBS路径已经配置DIS消息通知。 配置为:OBS
事件类型,当前只支持监听DIS通道的新上报数据事件,每上报一条数据,触发作业运行一次。 配置为:DIS 选择要监听的OBS路径,如果该路径下有新增文件,则触发调度;新增的文件的路径名,可以通过变量Job.trigger.obsNewFiles引用。前提条件:该OBS路径已经配置DIS消息通知。 配置为:OBS
3c777ad4d619b89eeac4f3cce87", "name" : "dws_test", "host" : null, "description" : null, "id" : "8a94806e79e6
您可以通过使用集群配置,简化Hadoop连接参数配置。 否 创建样例作业 单击CDM集群“操作”列的“作业管理”,进入作业管理界面。 进入“表/文件迁移”页签,单击“新建作业”创建MySQL第一个分表mail001到MRS Hive目标表mail的数据集成作业,具体如下图所示。 图2 新建作业
"sourceType" : "dws", "name" : "dws_4autotest1_nomodify", "host" : "", "id" : "f9338475eb8c4cbda61b85c05908a432", "projectId"
集群对象,请参见cluster参数说明。 auto_remind 否 Boolean 选择是否开启消息通知。开启后,支持配置20个手机号码或邮箱,作业(目前仅支持表/文件迁移的作业)失败时、EIP异常时会发送短信或邮件通知用。 phone_num 否 String 接收消息通知的手机号码。 email 否 String
”和“显示当前作业及其直接上下游”。 视图右上角支持按节点名称进行搜索,搜索出来的作业节点高亮显示。 单击下载按钮,可以下载作业的依赖关系文件。 鼠标滚轮可放大、缩小关系图。 鼠标按住空白处,可自由拖拽用以查看完整关系图。 鼠标光标悬停在作业节点上,该作业节点会被标记为绿色,上游
新建维度时,通过码表维度发布的码表。 汇总表引用维度字段命名规则:设置汇总表在新建、编辑、导入和生成时的命名规则,可选“维度表名_维度属性名”和“维度属性名”。 导出文件类型:数据架构导出功能支持“xlsx”和“et”两种格式。逻辑模型、物理模型、维度(表)、事实表、汇总表以及其他导出均支持两种格式。 生成