检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置LTS源端参数 表1 LTS作为源端时的作业参数 参数名 说明 取值样例 源连接名称 对应关系数据库的表名。 TABLENAME 单次查询数据条数 一次从日志服务查询的数据条数。 128 日志分组 日志组是云日志服务进行日志管理的基本单位。 _ 日志流 日志流是日志读写的基本单位。 - 数据消费开始时间
Oracle数据源如何开通归档日志、查询权限和日志解析权限? 问题描述 Oracle数据源默认权限无法正常执行实时处理集成作业。 原因分析 Oracle库需要开启归档日志,归档日志建议至少保留三天。 Oracle表没有表查询权限和日志解析权限。 解决方案 开启归档日志。 以sysdba身份登录Oracle数据库。
public_zone_id String 公网域名ID。 public_zone_name String 公网域名名称。 private_zone_id String 内网域名ID。 private_zone_name String 内网域名名称。 enterprise_project_id
n。 单击“查看编辑”,设置批量映射关系。 字段映射关系:支持批量转换,添加字段,行移动等功能。 批量转换器:批量转换源字段名。 勾选需要转换的字段名,单击“批量转换器”,在弹出的转换器列表对话框中根据提示新建转换器。 批量移除字段:源端配置使用SQL语句为是时不显示该参数,勾选
now()}”用来标识当前日期字符串。 新建转换器 CDM支持字段内容转换,如果需要可单击操作列下,进入转换器列表界面,再单击“新建转换器”。 图2 新建转换器 CDM可以在迁移过程中对字段进行转换,目前支持以下字段转换器: 脱敏 隐藏字符串中的关键信息,例如要将“12345678910”转换为“123****8910”,则配置如下:
连接参数 参数 是否必选 类型 说明 linkConfig.host 是 String 配置为Elasticsearch服务器的IP地址或域名,包括端口号,格式为“ip:port”,多个地址之间使用分号(;)分隔,例如:192.168.0.1:9200;192.168.0.2:9200。
数据服务简介 DataArts Studio数据服务旨在为企业搭建统一的数据服务总线,帮助企业统一管理对内对外的API服务。数据服务为您提供快速将数据表生成数据API的能力,涵盖API发布、管理、运维的全生命周期管理,帮助您简单、快速、低成本、低风险地实现微服务聚合、前后端分离、
历史作业。 分组作业:选择备份某一个或多个分组下的作业。 所有作业 备份周期 选择备份周期: 日:每天零点执行一次。 周:每周一零点执行一次。 月:每月1号零点执行一次。 日 备份写入OBS连接 CDM通过该连接,将作业备份到OBS,需要用户提前在“连接管理”界面创建好OBS连接。
KMS密钥 否 使用集群配置为是时,是必选项。 通过KMS加解密数据源认证信息,选择KMS中的任一默认密钥或自定义密钥即可。 说明: 第一次通过DataArts Studio或KPS使用KMS加密时,会自动生成默认密钥dlf/default或kps/default。关于默认密钥的更多信息,请参见什么是默认密钥。
支持作业状态运维监控和作业结果通知。 提供编辑锁定能力,支持多人协同开发场景。 支持作业的版本管理能力,支持生成保存版本和提交版本。 保存版本时,一分钟内多次保存只记录一次版本。对于中间数据比较重要时,可以通过“新增版本”按钮手动增加保存版本。 支持单击右键,可快速复制作业名称,同时可以快速的关闭已打开的作业页签。
入导出。如有涉及,请您在其他数据迁移前,先进行手动配置同步。 数据架构支持最大导入文件大小为4Mb;支持最大导入指标个数为3000个;支持一次最大导出500张表。 导入表到逻辑模型 在DataArts Studio数据架构控制台,单击左侧导航栏的“逻辑模型”进入逻辑模型页面。 在
作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 table 高级属性 单次写入行数 指定单次批量写入的行数(注意:一次事务提交100个批量的数据)。 10000 导入前准备语句 执行任务之前率先执行的SQL语句。目前向导模式仅允许执行一条SQL语句。 create
运维者操作 操作 说明 作业监控 包含对批作业、实时作业的监控。 具体请参见作业监控。 实例监控 对作业实例进行监控,作业每次运行,都会对应产生一次作业实例记录。 具体请参见实例监控。 补数据监控 对补数据作业运行情况进行监控。可以通过补数据,修正历史中出现数据错误的作业实例,或者构建更多的作业记录以便调试程序等。
public_zone_id String 公网域名ID。 public_zone_name String 公网域名名称。 private_zone_id String 内网域名ID。 private_zone_name String 内网域名名称。 enterprise_project_id
k”。 索引:单击输入框后面的按钮,可选择本地Elasticsearch数据库中的一个索引,也可以手动输入索引名称,名称只能全部小写。需要一次迁移多个索引时,这里可配置为通配符,CDM会迁移所有符合通配符条件的索引。例如这里配置为cdm*时,CDM将迁移所有名称为cdm开头的索引
支持查看通过条件筛选出来的实例总数,以及运行成功的实例总数及运行成功百分比。 图1 运行状态 任务完成情况 只统计运行成功的实例,每小时统计一次今天的数据,任务表示作业中的算子。 支持查看昨天/今天/7天历史平均的运行成功的作业的全部节点算子的任务完成情况的曲线图。 支持查看昨天/
public_zone_id String 公网域名ID。 public_zone_name String 公网域名名称。 private_zone_id String 内网域名ID。 private_zone_name String 内网域名名称。 enterprise_project_id
支持从返回的结果中,获取数据总量。例如:page.pageCount。 说明: 如果接口不是分页接口,将数据总数的值设置为小于或者等于每次拉取的数据,则接口只会调用一次,否则调用多次可能导致数据重复。 100000 父主题: 配置作业源端参数
原子指标的计算逻辑修改生效后,会直接更新应用于相关的衍生指标。 原子指标删除英文名,需要校验下游是否有衍生指标使用,如果有,则无法删除。 目前原子指标在被下游使用的情况下,支持变更英文名。 原子指标的更改会影响下游衍生指标。 约束与限制 单工作空间允许创建的原子指标个数最多5000个。 前提条件 您已创建并发布事实表
不会同步FI Manager上的用户/用户组/角色,因此需要切换用户同步策略。操作步骤如下所示: MRS安全集群Ranger组件默认同步LDAP用户,默认情况下无需额外操作。如果默认配置被修改,也可以参考本章节切换用户同步策略。 使用admin账户登录MRS服务的Manager页面。