检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当前仅支持“短信”、“邮件”这两种协议的订阅终端订阅主题。 通知类型包含“触发告警”和“运行成功”两种。 打开“通知抑制”后,告警上报的通知策略可以进行配置,在最近N分钟以内,连续N次告警,则发送告警通知。最近时间可支持配置1~360分钟,连续次数可支持配置1~10次。 单击“下一
用数据开发中定义的参数值。 字段名 仅用于异常表。配置字段名称用于异常表数据。 示例:column1,column2,column3 失败策略 选择是否勾选“忽略规则错误”。 选择字段 当“规则类型”选择“字段级规则”,需要配置该参数。此处选择对应数据表中的字段。 说明: 数据质
图10 查看从属角色 目录权限:在角色详情页面,单击“目录权限”进入目录权限页签。 目录权限通过从Ranger组件获取对应角色的HDFS策略,从而显示该角色具有权限的HDFS路径,并支持查看对该路径有哪些操作权限。如果想查询某路径下的权限,则可以使用搜索功能进行查看,注意当前仅支持精确匹配。
API的节点编码分别为NormalApi_3ad5c、NormalApi_01e7e。 单击画布上的并行处理算子打开配置面板,可以配置失败策略及分支超时时间(此处无需特殊配置,报错默认即可)。当并行处理分支被执行时,SupplierInformation和SalesRating两个分支会被同时调度。
作业中创建的CDM作业“obs_rds”。 作业编排完成后,单击,测试运行作业。 如果日志运行正常,单击右侧的“调度配置”,配置作业的调度策略。 图12 调度配置 说明: 2018/10/10至2018/11/09,每天2点执行一次作业。 最后我们需要保存作业并提交版本,执行调度作业(单击),实现作业每天自动运行。
两个集群,则当前工作空间下支持创建的专享版API最大数量为800。 单工作空间下支持创建的应用数量为1000。 单工作空间下支持创建的流控策略数量为500。 数据服务支持跟踪并保存事件。对于每个事件,数据服务会报告事件发生日期、说明、时间源(某个集群)等信息,事件保存时长为30天。
MySQL到MRS Hudi参数调优 源端优化 MySQL抽取优化 可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下: 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental.snapshot
源端为FTP/SFTP JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig
withName("tag1") ); WorkspaceVO modelbody = new WorkspaceVO(); modelbody.withId("1208730797675311104") .withName("xingneng2")
S、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限 。 MapReduce服务(MRS Hudi) Hudi是一种数据湖的存储格式,在Hadoop文件系统之上
迁移作业原理 数据迁移模型 CDM数据迁移时,简化的迁移模型如图1所示。 图1 CDM数据迁移模型 CDM通过数据迁移作业,将源端数据迁移到目的端数据源中。其中,主要运行逻辑如下: 数据迁移作业提交运行后,CDM会根据作业配置中的“抽取并发数”参数,将每个作业拆分为多个Task,即作业分片。
选择“数据质量监控 > 规则模板”,单击“导入”,弹出“导入规则模板”对话框。 图10 导入规则模板 在“导入配置”页签,选择模板名称重名策略。 终止:如果模板名称有重复,则全部导入失败。 跳过:如果模板名称有重复,会忽略后继续导入。 单击“上传文件”,选择准备好的数据文件。 可通过如下两种方式填写数据文件:
String 算法名称。 algorithm_parameters 否 String 参数。 failure_policy 否 String 失败策略。 枚举值: SKIP:跳过, 即不做处理 INTERRUPT_AND_EXCEPTION:中断并抛出异常 SET_NULL:置空 DEFAULT_VALUE:默认值
DWS_VIEW:不支持设置压缩等级。 DISTRIBUTE BY 该参数仅DWS连接类型有效。DWS表当前支持复制(Replication)和散列(Hash)两种分布策略。用户可选取多个字段。 REPLICATION方式:在每一个DN节点上存储一份全量表数据。这种存储方式的优点是每个DN上都有此表的全量数据
某一个表字段作为DISTRIBUTE BY字段,可选取多个字段。 DWS表当前支持复制(Replication)和散列(Hash)两种分布策略。 REPLICATION:在每一个DN节点上存储一份全量表数据。这种存储方式的优点是每个DN上都有此表的全量数据,在join操作中可以避