检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
移路径如下: CDH → DES → CDM(华为云) → OBS → CDM(华为云) → MRS DES适用场景:数据量大,用户私有云与华为云无专线打通,用户私有云网络到公网带宽有限。 优点:传输可靠性高,受专线以及网络质量影响较小。 缺点:迁移方式耗时较长。 父主题: 车联网大数据零丢失搬迁入湖
数据质量配置数据搬迁 数据质量数据搬迁依赖于数据质量监控的规则模板、质量作业、对账作业导入导出功能。 约束与限制 已完成管理中心数据搬迁。 业务指标监控中的指标、规则、业务场景等数据均不支持导入导出,如有涉及,请您进行手动配置同步。 系统支持将自定义的规则模板批量导出,一次最多可导出200个规则模板。
创建的密钥。 绑定Agent 是 适用组件勾选数据集成时显示该参数。 DataArts Studio无法直接与非全托管服务进行连接,需要提供DataArts Studio与非全托管服务通信的代理。CDM集群可以提供通信代理服务,请选择一个CDM集群,如果没有可用的CDM集群,请参考创建CDM集群进行创建。
t。 图2 查看AppKey和AppSecret AppKey:APP访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。 AppSecret:与访问密钥ID结合使用的密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。 发
停用时间必须选择在API发布后的最低保留期限时间之后。选择停用时间后,停用操作会通知已授权用户。如果所有已授权用户均完成审核中心通知列表消息处理,或在应用中解绑与API的绑定关系,API就会直接停用;否则会以待停用状态,等待达到停用时间,再强制停用。 恢复API 在DataArts Studio控制台
组合成为一个有业务逻辑的规则组,该操作是用户后续进行敏感数据发现任务操作的前提 。 前提条件 识别规则创建完成,请参考定义识别规则。 约束与限制 敏感数据识别过程中,当某个字段同时匹配到识别规则组中的多个识别规则时,此字段密级取多个识别规则的最高密级,字段分类允许有多个。 数据识别规则分组最多配置100条。
数组成,且必须与加密时配置的“初始化向量”一致。如果不一致系统不会报异常,只是解密出来的数据会错误。 5C91687BA886EDCD12ACBC3FF19A3C3F MD5文件名后缀 “文件格式”选择“二进制格式”时,该参数才显示。 校验CDM抽取的文件,是否与源文件一致,详细请参见MD5校验文件一致性。
设置CDM告警规则 操作场景 通过设置CDM集群告警规则,用户可自定义监控目标与通知策略,及时了解CDM集群运行状况,从而起到预警作用。 设置CDM集群的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置CDM集群告警规则的具体方法。
数组成,且必须与加密时配置的“初始化向量”一致。如果不一致系统不会报异常,只是解密出来的数据会错误。 5C91687BA886EDCD12ACBC3FF19A3C3F MD5文件名后缀 “文件格式”选择“二进制格式”时,该参数才显示。 校验CDM抽取的文件,是否与源文件一致,详细请参见MD5校验文件一致性。
String 作业所依赖的资源名称。 {job_name}.job文件内容 文件中的参数与创建作业接口的请求参数一样,请参考创建作业。 {script_name}.script文件内容 文件中的参数与创建资源接口的请求参数一样,请参考创建脚本。 请求示例 导出作业myJob。 POST
配置告警规则 操作场景 通过设置实时集成作业的告警规则,用户可自定义监控目标与通知策略,及时了解作业状况,从而起到预警作用。 设置作业的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置实时集成作业告警规则的具体方法。 配置一键告警
使用API时,每个子域名每天可以访问多少次? 每个子域名的访问次数限制与API发布到的目标有关。 共享版默认发布到API网关共享版。发布成功后,您可以在API网关服务共享版控制台上查看所发布的API。 系统为API网关共享版的默认分组自动分配一个内部测试用的调试域名,此调试域名唯
业标签,请参考锁定与解锁作业标签。 监控某个作业标签下的作业 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 选择“作业标签”,进入“作业标签管理”页面。 单击作业标签名对应的“前往监控”,可进入作业监控界面,该界面展示具有此标签的所有作业。 锁定与解锁作业标签 具有DAYU
数据开发的并行执行节点数是多少? DataArts Studio的并行执行节点数与作业节点调度次数/天配额有关,对应关系如下表所示。 其中的作业节点调度次数/天配额可通过DataArts Studio实例卡片上的“更多 > 配额使用量”入口查看,其中的“作业节点调度次数/天”总量即为当前实例配额。
HD时,需要配置Manager平台的端口。 linkConfig.casPort 否 String 连接FusionInsight HD时,需要配置与FusionInsight HD对接的CAS Server的端口。 linkConfig.hBaseVersion 是 枚举 HBase版本:
移入翻牌目录的作业支持移出。 业务日期模式空间下,移动作业到翻牌目录时,系统会校验偏移量,偏移量一致才能移动成功,如果移动的作业为调度中且与翻牌目录下的作业存在进度偏差,系统会提示进度偏差,确认移动后,作业会通过追跑或等待运行的方式使作业进度达到一致。 父主题: (可选)管理作业
常用EL表达式样例合集 本章节介绍常用的EL表达式及示例。 表1 常用的EL表达式 方法 描述 示例 String getNodeStatus(String nodeName) 获取指定节点运行状态,成功状态返回success,失败状态返回fail。 例如,判断节点是否运行成功,
合理设置衍生指标的调度频率。 指标应用场景 描述指标的应用场景。 关联技术指标类型 下拉选择与业务指标关联的技术指标类型,包含衍生指标、复合指标和原子指标。 关联技术指标 下拉选择与业务指标关联的技术指标。 度量对象 衡量该指标的度量字段。 计量单位 指标的计量单位。 配置管理信息。
中创建自定义角色。 如何创建并通过自定义工作空间角色精细化授权IAM用户,可参考如何授权其他用户使用DataArts Studio。 约束与限制 由于鉴权缓存机制的限制,自定义角色的权限发生变更后,绑定该角色的工作空间成员权限不会直接生效。需要绑定该角色的工作空间成员暂停访问DataArts
HD时,需要配置Manager平台的端口。 linkConfig.casPort 否 String 连接FusionInsight HD时,需要配置与FusionInsight HD对接的CAS Server的端口。 linkConfig.user 否 String 登录Manager平台的用户名,使用集群配置时不用配置