检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。 父主题: 节点参考
生指标页面。 在左侧的主题目录中选中一个主题,然后单击“新建”按钮,开始新建衍生指标。 在新建衍生指标页面,根据页面提示配置参数。 图1 新建衍生指标 表1 新建衍生指标参数说明 参数名称 说明 *数据表 在下拉列表中选择即可。 *所属主题 显示所属的主题信息。 *原子指标 选择原子指标。
Kafka,Kafka数据连接中的账户要具备kafkaadmin用户组的权限。 *topic主题 选择第三方平台的动态脱敏策略发布Kafka消息的Topic主题。同一个MRS集群的一个Topic主题只能对应一个订阅任务。 调度配置 调度时间 选择每天调度生效的时间段。 建议消息量
查看权限报告 通过全面的权限报告,查看资源配置权限策略及其详情。 数据权限管控说明 当前数据权限管控为白名单机制,是在待授权用户原有权限的基础上增加允许操作条件,不会影响用户的原有权限。如果仅需要当前数据权限管控所赋予的权限生效,则需要您手动去除待授权用户的原有权限。默认情况下,DataArts
使得用户可以每天获取到最新的数据分析结果。 服务退订,如果不再使用DataArts Studio相关服务,请及时进行退订和资源删除。 父主题: 免费版:基于DLI的电商BI报表数据开发流程
得到签名消息头后,将其分别以Authorization和x-Authorization参数增加到原始HTTP请求头内容中,请求将被发送给API网关,由API网关完成身份认证。身份认证通过后,该请求才会发送给后端服务进行业务处理。 父主题: 使用APP认证调用API
该任务没有在承诺时间节点完成 破线加剧 执行变慢导致破线加剧报警触发需满足以下两个条件: 任务所在链路已发送首次“基线破线”报警 任务运行耗时相较于预测运行耗时有所增加,具体来说: 保障任务预警时间未完成 基线预警时间到达(承诺时间-预警余量),检查基线所有保障任务是否完成运行,若有保障任务未运行完成,则触发报警。相同保障任务只报一次。
CDM的作业数据量太多,会造成数据库压力,建议定时清理不需要的作业。 短时间内下发大量作业,可能会导致集群资源耗尽异常等,您调用API时需要注意。 CDM是批量离线迁移工具,不建议客户创建大量小作业场景。 其他组件API更详细的限制请参见具体API的说明。 父主题: 使用前必读
配置LTS源端参数 表1 LTS作为源端时的作业参数 参数名 说明 取值样例 源连接名称 对应关系数据库的表名。 TABLENAME 单次查询数据条数 一次从日志服务查询的数据条数。 128 日志分组 日志组是云日志服务进行日志管理的基本单位。 _ 日志流 日志流是日志读写的基本单位。
objects 层级属性,只读。 l1 String 主题域分组,只读。 l2 String 主题域,只读。 l3 String 业务对象,只读。 l1_id String 主题域分组ID,只读,ID字符串。 l2_id String 主题域ID。 l3_id String 业务对象ID,只读,ID字符串。
从“数仓规划”选择一个物理模型单击进入,在主题目录中选中一个主题,右侧的列表中将显示该主题下所有的表。 在列表中,找到所需要的表,然后在表所在行,单击“更多 > 发布历史”,查看表的发布历史、版本对比和发布日志。 图4 发布历史 父主题: 通用操作
符串写入。 该功能作用是:降低存储占用空间,存储更高效;特定场景下rowkey分布更均匀。 false:源端数据库中所有类型的数据,都会按照字符串写入HBase。 父主题: 目的端作业参数说明
业务场景可以认为是业务指标质量作业,将创建的规则组进行调度运行。 运维管理 运维管理用于查看业务场景运行状态,处理运维问题。其中我的订阅中显示了所有订阅的任务运行情况。 父主题: 业务指标监控(待下线)
是否写WAL,不写WAL能提升性能,但如果HBase服务宕机可能会造成数据丢失。 是 匹配数据类型 是否匹配类型,例如数据库的int类型列数据按照int类型转换为二进制写入HBase。 否 父主题: 配置作业目的端参数
实例监控”界面,查看依赖作业的运行状态。如果作业有自依赖,扩大搜索时间窗口,查看是否当前作业历史实例失败,导致作业在等待运行,而没有生成新作业实例。 父主题: 数据开发
Ranger数据连接参数说明 MRS Presto数据连接参数说明 Doris数据连接参数说明 OpenSource ClickHouse数据连接参数说明 RDS数据连接参数说明 ORACLE数据连接参数说明 DIS数据连接参数说明 主机连接参数说明 OBS数据连接参数说明 Apache HDFS数据连接参数说明
用于将数据库的表迁移到文件系统的场景。 选择“是”时,如果源端数据表中的某一个字段内容包含字段分隔符或换行符,写入目的端时CDM会使用双引号(")作为包围符将该字段内容括起来,作为一个整体存储,避免其中的字段分隔符误将一个字段分隔成两个,或者换行符误将字段换行。例如:数据库中某字段为hello
见《企业管理用户指南》。 如果已经创建了企业项目,这里才可以选择。当DataArts Studio实例需连接云上服务(如DWS、MRS、RDS等),还必须确保DataArts Studio工作空间的企业项目与该云服务实例的企业项目相同。 一个企业项目下只能购买一个DataArts
最小通知间隔可设置为5~60。 通知方式 按主题 按责任人 主题 当“通知方式”选择“按主题”时才需配置。 选择通知的消息主题。该主题是指SMN消息通知服务的主题。 单击“添加”,弹出一个选择主题的框,单击该框进入选择主题的界面,可以通过搜索关键字快速的选择所需要的主题名称。 说明: 当前仅支持“
对数据进行等级划分,方便数据的管理。 数据分类 基于数据密级,可以进行数据分类,来有效识别数据库内的敏感数据。 脱敏策略 基于数据分类,可以通过创建脱敏策略,实现数据资产的脱敏和隐私保护。 父主题: 配置数据安全策略(待下线)