检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单个分区的错误记录超过设置的最大错误记录数则任务自动结束,已经导入的数据不支持回退。 推荐使用临时表作为导入的目标表,待导入成功后再改名或合并到最终数据表。 0 开启限速 是否开启同步限速。该速率代表CDM传输速率,而非网卡流量。 限速:用户可以通过限速控制同步速率,可以保护读取端数据库,避免抽取速度过大,给源
等参数。本节介绍了设置实时集成作业告警规则的具体方法。 配置一键告警 一键告警为您提供针对DataArts Studio服务下所有资源快速开启告警的能力,旨在帮助用户快速建立监控告警体系,在资源异常时可以及时获得通知。请参见一键告警打开“数据治理中心”一键告警开关。 配置所有资源告警
nt(1)解析成boolean类型,默认为true。 数据源认证及其他功能配置 用户名 是 开启Kafka SASL_SSL时的必选项。 连接DMS Kafka的用户名。 密码 是 开启Kafka SASL_SSL时的必选项。 连接DMS Kafka的密码。 父主题: 配置DataArts
英文名称。只允许英文字母、数字、空格、下划线、中划线、左右括号以及&符号。 别名 只允许除\、<、>以外的字符。 说明: 您需提前在配置中心的“模型配置”页签中启用主题设计别名,这里才可配置别名。 上级主题 选择所属的上级主题。 数据owner部门 数据的拥有者所在部门。 *数据owner人员 在下拉
选择“数据开发 > 审批中心”,单击“审批配置”页签。 开启审批开关。仅当前工作空间管理员或者拥有DAYU Administrator、Tenant Administrator权限的用户,可以开启或者关闭审批开关。 该开关开启后,在提交作业或脚本时,都需要指定审批人。开关关闭后,所有作业/脚本都将不再需要审批。
个处理9个10M的文件,一个处理1个200M的文件。 fromJobConfig.useMarkerFile 否 Boolean 选择是否开启作业标识文件的功能。当源端路径下存在启动作业的标识文件时才启动作业,否则会挂起等待一段时间,等待时长在下方“fromJobConfig.w
id 目的端为CSS时:name(name为配置文件名称) 开启路由 开启路由后,支持指定某一列的值作为路由写入Elasticsearch。 说明: 开启路由前建议先建好目的端索引,可提高查询效率。 否 路由字段 “开启路由”参数选择为“是”时配置,用于配置目的端路由字段。目的端
pipeline进行数据格式变换。 pipeline_id 开启路由 开启路由后,支持指定某一列的值作为路由写入Elasticsearch。 说明: 开启路由前建议先建好目的端索引,可提高查询效率。 否 路由字段 “开启路由”参数选择为“是”时配置,用于配置目的端路由字段。目的端
审计与日志 云审计服务(Cloud Trace Service,以下简称CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可记录的DataArts Studi
更高版本时即可支持。 本章主要介绍管理员如何配置数据库路径,申请者如何申请创建数据库,以及审批者如何审批建库申请。 前提条件 MRS集群已开启存算分离功能,已在管理中心创建MapReduce服务(MRS Hive)和MapReduce服务(MRS Ranger)类型的数据连接,请参考创建DataArts
参考参考:静态脱敏场景介绍。 随机脱敏支持配置“随机算法保持原数据关联性”参数,开启后不同数据库中的相同数据,经过相同的规则脱敏后,脱敏结果是一致的。注意此参数开启后会存在被破解的安全风险,如确需开启,建议配置随机盐值,用于抵抗字典攻击。 字符替换:支持数值类型和字符类型字符替换
如果需要查询其他工作空间的数据,需要带上该消息头。 表3 参数说明 参数名 是否必选 参数类型 说明 approvers 否 List<JobApprover> 在开启审批开关后,需要填写该字段,表示脚本审批人,参考表4。 审批开关的配置请参见审批中心。 表4 审批人属性说明 参数名 是否必选 参数类型 说明
配置工作空间是否开启作业/脚本变更管理。 是:表示作业/脚本变化时记录变更事件,支持根据时间点增量导出和导入所有变化的作业/脚本。 否:表示作业/脚本变化时不记录变更事件,只支持选定作业/脚本的导出和导入。 单击“保存”,对设置的配置项进行保存。 当“作业/脚本变更管理”配置项开启后,才能
2024年1月1日起,财政部于2023年8月印发的《企业数据资源相关会计处理暂行规定》将正式实施。数据资产入表已进入倒计时,备受关注的数据要素市场有望被真正激活。 什么是数据资产入表 所谓“数据资产入表”,是指数据资产入资产负债表,将数据确认为企业资产负债表中“资产”一项,在财务报表中体现其真实价值与业务贡献。
不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。 说明: 当开启数据集成作业特性后,可勾选数据集成组件,勾选后在数据开发组件创建集成作业时支持选择本数据连接。 离线处理集成作业功能当前需申请白名单后才能
DWS/Hive/HBase数据连接无法获取数据库或表的信息怎么办? 为什么在创建数据连接的界面上MRS Hive/HBase集群不显示? DWS数据连接开启SSL时测试连接失败怎么办? 一个空间可以创建同一数据源的多个连接吗? 连接方式应该选择API连接还是代理连接? 如何将一个空间的数据开发作业和数据连接迁移到另一空间?
- Hudi changelog功能开关,开启后Migration作业可输出DELETE和UPDATE BEFORE数据。 logical.delete.enabled boolean true - 逻辑删除开关,changelog开启时必须关闭逻辑删除。 hoodie.write
MRS集群的访问密码,通过代理连接的时候,是必选项。 开启ldap 否 通过代理连接的时候,此项可配置。 当MRS Impala对接外部LDAP开启了LDAP认证时,连接MRS Impala时需要使用LDAP账号与密码进行认证,此时必须开启此参数,否则会连接失败。 ldap用户名 是 当“开启ldap”参数选择为“是”时,此参数是必选项。
不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。 说明: 当开启数据集成作业特性后,可勾选数据集成组件,勾选后在数据开发组件创建集成作业时支持选择本数据连接。 离线处理集成作业功能当前需申请白名单后才能
设置通知发送的具体时间点,可以精确设置到小时和分钟。 选择主题 是 设置通知发送的主题。 选择OBS桶 是 设置通知记录数据存储的位置。 开关 是 是否开启通知,默认开启。 单击“确定”。 数据开发模块的通知管理功能是通过消息通知服务来发送消息,消息通知服务的使用可能会产生费用,具体请咨询消息通知服务。