检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka抽取优化。 可通过在源端配置中单击“Kafka源端属性配置”来添加Kafka优化配置。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 properties.fetch.max.bytes int 57671680 消费Kaf
含空间权限集、权限集和角色）或权限申请和审批流程所获取的权限。在权限结果中，支持筛选不同的数据源类型，并通过集群名称、库名、schema、表名或列名检索。 图2 查看用户权限 父主题： 数据安全运营
配置MongoDB源端参数 表1 MongoDB作为源端时的作业参数 参数类型 参数名 说明 是否必须填 取值样例 基本参数 数据库 输入或选择数据库名称，单击输入框后面的按钮可进入集合的选择界面。 是 default 集合名 输入或选择集合名，单击输入框后面的按钮可进入集合的选择界面。
在数据开发主界面的左侧导航栏，选择“运维调度 > 作业监控”。 选择“实时集成作业监控”页签，单击作业名称。 在详情页面，选择“日志信息”，在左侧日志列表中单击具体日志文件，即可实时查看作业的运行日志。 图1 日志信息1 图2 日志信息2 支持作业日志主题更换。 作业日志默认实时滚动更新，可在右上角去掉勾选“日志滚动”选项。
Dashboard tab page!”。 解决方案 此类问题一般是由于用户不具备MRS集群操作权限导致的。 对于租户下新增的用户，需要在MRS集群列表的界面找到对应的MRS集群实例，手动单击同步。 操作如下： 进入MRS控制台，查看现有集群，单击对应的集群名称进入概览页。 图1 MRS集群实例
的作业仅支持查看7天内的监控指标。 实时集成作业已正常运行一段时间（约10分钟）。 支持的监控指标 实时处理集成作业支持的监控指标如表1所示。 表1 实时处理集成作业支持的监控指标 指标名称 指标含义 取值范围 测量对象 监控周期（原始指标） 源库WAL抽取时延 该指标用于统计当前从源库抽取WAL的时延
配置作业日志的桶目录的步骤操作如下： 登录DataArts Studio管理控制台。 在旧版首页的“空间管理”或新版首页的“实例配置 > 空间管理”页签，单击列表中相应工作空间后的“编辑”，弹出“空间信息”弹窗。 在“空间信息”中，单击“作业日志OBS路径”后的“请选择”按钮，选择日志存储路径，可选择某个具体的目录。
s Studio管理控制台。在DataArts Studio控制台首页，选择对应工作空间的“数据集成”模块，进入CDM首页。 图1 集群列表 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 选择集群操作列中的“更多 > 重启”，进入重启集群确认界面。
单击左侧导航栏中的“审核中心”，进入相应页面后，选择“审核人管理”页签，然后单击“新建”按钮。 图1 新建审核人界面 选择审核人（此处的账户列表来自于工作空间成员），输入正确的手机号码和电子邮箱，单击“确认”完成审核人的添加。 根据需要，可以添加多个审核人。 父主题： 开发数据服务API
Studio实例控制台，登录DataArts Studio管理控制台。 在旧版首页的“空间管理”或新版首页的“实例配置>空间管理”页签，单击列表中相应工作空间后的“编辑”，弹出“空间信息”弹窗。 图1 空间信息 在“空间信息”中，单击“作业日志OBS路径”和“DLI脏数据OBS路径”
} 参数说明 参数 是否必选 类型 说明 fromJobConfig.topicsList 是 String Kafka topic列表，可以为多个topic，以“,”作为分隔符。 fromJobConfig.kafkaConsumerStrategy 是 枚举 从Kafka拉取数据时的初始偏移量设置：
型，维度建模和指标。 数据开发组件：作业，作业目录，脚本，脚本目录和资源。 数据质量组件：质量作业和对账作业。 数据目录组件：技术资产中的表（Table）和文件（File）类型资产，以及元数据采集任务。 数据服务组件：数据服务集群，API和APP。 数据安全组件：敏感数据发现任务
框。 由于数据安全使用委托时，所需的云服务权限更高。因此在使用数据安全前，需要提前为dlg_agency委托授予相关权限，所需权限如表1所示。 表1 待授予权限合集 权限名称 配置目的 是否必选 授权项/系统权限（二者选其一配置即可） IAM权限 系统获取用户或用户组、创建角色时，需要该权限。
Kafka抽取优化。 可通过在源端配置中单击“Kafka源端属性配置”来添加Kafka优化配置。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 properties.fetch.max.bytes int 57671680 消费Kaf
停用时间必须选择在API发布后的最低保留期限时间之后。选择停用时间后，停用操作会通知已授权用户。如果所有已授权用户均完成审核中心通知列表消息处理，或在应用中解绑与API的绑定关系，API就会直接停用；否则会以待停用状态，等待达到停用时间，再强制停用。 恢复API 在DataArts
原子指标用于明确业务的统计口径及计算逻辑。在本示例中，经营面积和销售额。 衍生指标由原子指标、统计维度、时间周期三大要素构成，用于统计目标指标在具体时间、维度、业务条件下的数值表现，反映企业某一业务活动的业务状况。例如，统计地区销售额和地区经营面积两个衍生指标数据。 统计维度用于观察和分析业务数据的视角，支撑对数据进
Studio实例控制台，登录DataArts Studio管理控制台。 在旧版首页的“空间管理”或新版首页的“实例配置>空间管理”页签，单击列表中相应工作空间后的“编辑”，弹出“空间信息”弹窗。 图1 空间信息 在“空间信息”中，单击“作业日志OBS路径”和“DLI脏数据OBS路径”
配置Rest Client源端参数 表1 Rest Client作为源端时的作业参数 参数 说明 取值样例 数据请求地址 数据请求的地址。 /data/query 请求方法 请求方法，GET/POST。 GET 请求体 请求方法为POST时显示该参数。 请求体，json格式。 是
在用户同步任务页面，单击“新建”，新建用户同步任务。 图1 新建用户同步任务 新建用户同步任务参数配置请参考表1，参数配置完成单击“确定”，即可新建用户同步任务。 图2 配置用户同步任务 表1 配置用户同步任务参数说明 配置 说明 *选择集群 选择DWS或Ranger数据连接中已连接的DWS或MRS集群。
配置MongoDB目的端参数 表1 MongoDB作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 数据库 输入或选择数据库名称。单击输入框后面的按钮可以进入数据库的选择界面。 default 集合名 写入数据的集合名，单击输入框后面的按钮可进入集合的选择界面。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
