检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
消费Kafka时服务器将返回的每个分区的最大字节数。Kafka单条消息大的场景,可以适当调高每次获取的数据量,以提高性能。 properties.max.poll.records int 500 消费者每次poll时返回的最大消息条数。Kafka单条消息大的场景,可以适当调高每次获取的数据量,以提高性能。 目的端优化
job [XXX] is not running or pause。 原因分析 该问题是由于上游依赖作业不在运行状态而造成。 解决方案 查看上游依赖作业,如果上游依赖的作业不在运行状态中,将这些作业重新执行调度即可。 父主题: 数据开发
单击任务管理列表中的“运行”或“启动调度”,跳转到任务监控页面并查看任务状态。 场景四:更新数据目录中的元数据,添加新元数据 ,并从数据目录中删除元数据 用户的数据库中数据表有删除的情况,采集任务能够删除数据目录中对应的数据表。 例如数据库删除table1的情况下: 采集前的数据表元数据:table1,table2,table3
运维者:运维者具备工作空间内运维调度等业务的操作权限,但无法更改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。 访客:访客可以查看工作空间内的数据,但无法操作业务。建议将只查看空间内容、不进行操作的用户设置为访客。 部署者:企业模式独有,具备工作空间内任务包发布的相关操作权限。在企业模式中,
价值的数据定义数据分类,以更好地管理和分组计量自己的数据。 定义识别规则 定义敏感数据识别标准。 定义识别规则组 通过定义敏感数据识别规则及规则组,来有效识别数据库内的敏感数据。 敏感数据发现 创建并运行敏感数据识别任务。 敏感数据分布 查看敏感数据识别任务识别出的敏感数据。 父主题:
质量作业或对账作业运行阻塞,不清楚如何确认阻塞。 解决方案 作业运行状态长时间处于运行中时,选择“运维管理”,单击操作栏中的“结果&日志”并选择查看“运行日志”,当“运行日志”不再更新,表示作业已经阻塞。 图1 作业运行日志 父主题: 数据质量
配置OBS桶 脚本、作业或节点的历史运行记录依赖于OBS桶,如果未配置测试运行历史OBS桶,则无法查看历史运行的详细信息。请参考本节操作配置OBS桶。 约束限制 OBS路径仅支持OBS桶,不支持并行文件系统。 配置方法 参考访问DataArts Studio实例控制台,登录DataArts
Ranger数据连接参数说明 MRS Presto数据连接参数说明 Doris数据连接参数说明 OpenSource ClickHouse数据连接参数说明 RDS数据连接参数说明 ORACLE数据连接参数说明 DIS数据连接参数说明 主机连接参数说明 OBS数据连接参数说明 Apache HDFS数据连接参数说明
API管理”页面,在API列表操作列中,单击API名称进入API详情页面。 在API详情页面,单击“版本管理”,可查看当前保存的版本记录(最多保留最近10条)。 您可以查看对应版本API的详细内容,也可以删除或发布对应版本。当勾选两个版本时,您也可以通过“版本对比”,对比两个版本之间的差异情况。
通知配置完成后,您可以在通知的“操作”列进行如下操作。 单击“编辑”,打开“通知配置”页面,可以重新编辑通知。编辑完成后选择“确定”,保存修改。 单击“记录”,打开“查看记录”页面,可以查看作业的调度情况。 单击“删除”,打开“删除通知”页面,选择“确定”,删除通知。 父主题: 通知管理
行购买,且不建议同时作为数据连接Agent代理和运行数据迁移作业使用。 按需计费 套餐包 数据集成资源组增量包 数据集成资源组增量包对应数据集成实时作业所需的资源组。数据集成资源组提供数据上云和数据入湖出湖的集成能力,全向导式配置和管理,支持单表、整库、分库分表、全量及增量、实时数据集成。
在已审核页面,可以查看当前工作空间下所有已审核对象。 单击对象名称或者“操作 > 查看”,可以跳转到指标定义的详情页面查看已审核的对象的详细信息。 可以通过“审核时间”进行筛选,查看所选时间段内已审核的对象。 可以通过“对象”、“创建人”或“审核人”进行筛选,查看已审核的对象。系统支持模糊搜索。
8123 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限,以及对元数据的读取权限。 cdm 密码 用户名密码。 - SSL加密 可选参数,支持通过SSL加密方式连接数据库,暂不支持自建的数据库。 否 引用符号
主动授权和API调用者申请授权,本文以API调用者申请授权为例进行介绍。 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。 单击“调用API > 服务目录”,可查看到所有已发布的API信息。
API管理”页面,进入API管理页面。 勾选待同步的API所在行,在API列表上方,选择并单击“更多 > 同步至数据地图”。 图2 同步至数据地图 在同步结果页面,查看同步状态和详情,确认API同步结果。 图3 同步结果 仅已发布状态的API支持同步至数据地图。 仅以下数据源的API支持同步:DLI、DWS、HBase、Clickhouse。
下载CDM集群日志 操作场景 本章节指导用户获取集群的日志。集群的日志可用于查看作业运行记录,定位作业失败原因等。 前提条件 已创建CDM集群。 操作步骤 登录CDM管理控制台。单击左侧导航上的“集群管理”,进入集群管理界面。 或参考访问DataArts Studio实例控制台,登录DataArts
维度接口 查找维度 新建维度 更新维度 删除维度 查看维度详情 查看维度颗粒度 查看逆向维度表任务 父主题: 数据架构API
80000 400 图1 配置节点并发数 单击“保存”,完成配置。 查看历史节点并发数 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 选择“节点并发数”。 在历史节点并发数界面,选择历史时间段。 单击“确定”。 查看历史节点并发数的时间区间最大为24小时。 父主题: 数据开发
实时集成任务运维 查看监控指标 查看同步日志 配置告警规则 动态修改任务配置 父主题: 数据集成(实时作业)
任务。您可以通过“查看详情”操作,查看当前任务相比上一版本的修改点。 如有问题,可以通过“撤销”驳回发布任务。由开发者修改后重新提交发布任务,再度进行审批。 确认发布任务没有问题后,请通过“发布”操作,将任务审批通过。 图1 审批发布 成功发布之后,您可以查看任务的发布状态。任务