检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置元数据实时同步的数据库和数据表范围,不填写默认不筛选。 可填写为如下两种形式之一: database_name:筛选数据库名包含“database_name”的数据库 database_name.table_name:筛选数据库名包含“database_name”的数据库,在匹配到的数据库中再匹配表名包含“table_name”的数据表
"value" : [ "test" ] } ] } 加密交互方式 仅当接口类型为加密时,需要填写。 包含行存加密和列存加密两种方式,加密交互方式不影响最终结果。 *接口认证方式 当前仅支持用户名密码认证。 *数据连接 选择RestClient类型的数据连接,
云搜索服务(CSS)连接参数说明 华为云的云搜索服务(CSS)是一个基于Elasticsearch且完全托管的在线分布式搜索服务,CSS连接适用于将各类日志文件、数据库记录迁移到CSS,Elasticsearch引擎进行搜索和分析的场景。 导入数据到CSS推荐使用Logstash,请参见使用Logstas
API编排使得业务流程的设计和优化变得更加直观和高效,同时也为二次开发提供了更便捷的方式。您可以在如下场景中可以使用API编排,简化开发工作: 对返回消息进行映射或格式转换:通过API编排的方式能够灵活实现消息映射及格式转换。 数据请求依赖多个数据API:使用API编排后,可以降
制分别为20。 免费版仅用于试用场景,在业务负荷大的场景下,无法保证免费版实例上业务的正常运行。 免费版不支持通过API调用的方式使用,仅支持控制台方式使用。 免费版受成本、资源等因素限制,提供的总数量有限。当全网免费版数量超过限额时,将无法继续创建免费版实例。 免费版支持升级到
已开启DWS集群的审计功能开关audit_enabled。 审计功能开关默认开启,如果已关闭则请参考修改数据库参数章节将audit_enabled设置为ON。 已开启需要审计的审计项。 DWS各类审计项及其开启方法,请参考设置数据库审计日志章节。 对于DWS数据源,未开启三权分立时,默认拥有SYSADMIN
不同Hadoop类型的集群配置文件和Keytab文件获取方式有所不同,请参见表1获取相应Hadoop集群配置文件和Keytab文件。 表1 集群配置文件和Keytab文件获取方式 Hadoop类型连接 集群配置文件获取方式 Keytab文件获取方式 MRS集群 MRS HDFS MRS HBase
解决方案 每日执行节点个数超过上限,一般是由于作业调度过于频繁导致的。为您推荐两种处理方式: 一. 购买作业节点调度次数/天增量包用于增加配额,详情请参见购买作业节点调度次数/天增量包。 二. 您可通过如下方式排查哪些作业调度节点次数较高,然后适当调整调度周期或停止调度即可。 在数据开发模块控制台的左侧导航栏,选择
通用操作 逆向数据库(关系建模) 逆向数据库(维度建模) 导入导出 关联质量规则 查看表 批量修改主题/目录/流程 管理配置中心 审核中心 父主题: 数据架构
调用数据服务API 申请API授权 通过不同方式调用API 父主题: 数据服务
集任务后,单击“下一步”。 图2 新建采集任务-基本配置 图3 新建采集任务-元数据采集 根据需要配置调度方式,配置完成后单击“提交”,完成采集任务的创建。 图4 调度方式 在采集任务列表中,找到刚才新建的采集任务,单击其所在行的“启动调度”按钮,启动周期采集任务。 图5 启动调度
服务器列表 MongoDB服务器地址列表,输入格式为“数据库服务器域名或IP地址:端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 数据库名称 要连接的MongoDB数据库名称。 DB_mongodb 用户名 连接MongoDB的用户名。
在“未来表权限 ”页面,在数据连接区域选择需要配置未来表权限的DWS数据连接,并单击已选择的数据连接后的添加数据库。 图1 选择DWS数据连接 图2 添加数据库 单击待配置的数据库,在schema视图下单击“新建”,创建未来表配置。 图3 创建未来表配置 在弹出的窗口中,为指定Sch
买按需计费的批量数据迁移增量包来进行创建。 按需计费 套餐包(按需资源包) 批量数据迁移增量包支持按需计费和套餐包计费两种计费方式。 按需计费:计费方式灵活,可以即开即停,按实际使用时长计费。 创建按需计费的增量包后,会自动创建一个数据集成CDM集群。 套餐包(按需资源包):建立
否 String project_id,项目编号。获取方法请参见项目ID和账号ID, 多project场景采用AK/SK认证的接口请求,则该字段必选。 表3 请求Body参数 参数 是否必选 参数类型 描述 retry_location 是 String 重跑开始位置,取值有fir
补数据作业实例恢复时也不发送恢复通知。 作业运行失败时,重跑作业并且作业运行成功后,会发送作业实例恢复通知。 通知方式 是 按主题 按责任人 选择主题 是 通知方式选择“按主题”时才需配置。 选择通知的消息主题。 单击“查看主题”,可以进入消息通知服务(SMN)界面查看消息主题信息。
16", "databases" : [ { "database_name" : "dlcatalog_2fe5", "description" : null }, { "database_name" : "dlcatalog_3e24",
超时时间,可前往默认项设置 > 实例超时是否忽略等待时间修改此策略。 如果未选上,表示实例运行时等待时间会被计入超时时间。 自定义字段 配置自定义字段的参数名称和参数值。 作业标签 配置作业的标签,用以分类管理作业。 单击“新增”,可给作业重新添加一个标签。也可选择管理作业标签中已配置的标签。
警通知。 说明: 最大通知次数可设置为1~50。默认为1时,最小通知间隔不显示。 最小通知间隔可设置为5~60。 通知方式 按主题 按责任人 主题 当“通知方式”选择“按主题”时才需配置。 选择通知的消息主题。该主题是指SMN消息通知服务的主题。 单击“添加”,弹出一个选择主题的
响应Body参数 参数 参数类型 描述 count Integer 查询采集任务数量。 total_records Integer 同一projectId下已创建采集任务数量。 max_records Integer 同一projectId下允许创建采集任务数量。 resources Array