检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解决方案 您需要检查IAM用户所在的用户组是否已经在IAM控制台中被授予DAYU User或DAYU Administrator的系统角色。IAM用户的创建和授权系统角色的具体操作如下: 创建用户组并授权系统角色。
图3 选择同名处理方式 完成还原后,您可以在相应空间权限集、权限集、通用角色或动态脱敏策略的入口,检查还原后的数据,并手动进行同步,以确保还原后的数据生效。 父主题: 数据安全
内网中的FTP通过端口映射到公网时,需要检查是否启用了PASV模式。这种情况下客户端和服务端建立连接的时候是走的随机端口,所以除了配置21端口映射外,还需要配置PASV模式的端口范围映射,例如vsftp通过配置pasv_min_port和pasv_max_port指定端口范围。
YES:检查返回消息中的值是否和预期的一致。 NO:不检查,请求返回200响应码(表示节点执行成功)。 返回值字段路径 是 填写Json响应消息中某个属性的路径(下称:Json属性路径),每个Rest Client节点都只能配置一个属性的路径。
Flink SQL作业支持语法检查。在编辑器上方,单击“语法检查”,可以对SQL语句进行语义校验。SQL语句校验完成后,可以在下方查看语法校验结果。 Flink SQL作业支持代码调试功能。
对业务环节数据的完整性、及时性、准确性、一致性、唯一性、有效性负责,确保行为即记录,记录即数据,并依据数据质量规格对本领域数据进行度量和报告。 落实本领域信息架构的建设和遵从,负责本领域数据资产的看护,维护相应数据标准和数据目录并更新发布。
枚举值: SDI: 贴源数据层 DWI: 数据整合层 DWR: 数据报告层 DM: 数据集市层 dw_type 否 String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE
指标应用场景 描述该指标重要的应用场景,包括在线报表、例行报告、汇报材料等。 备注 在指标描述之外还需要补充的信息,有助于正确理解和使用该指标。 度量对象 衡量该指标的度量字段,如果不涉及可以不填写。
枚举值: SDI: 贴源数据层 DWI: 数据整合层 DWR: 数据报告层 DM: 数据集市层 dw_type 否 String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE
如果测试不可用,需要重新检查连接参数是否配置正确,或者H公司防火墙是否允许CDM集群的EIP访问数据源。 单击“新建连接”来创建OBS连接,连接类型选择“对象存储服务(OBS)”后单击“下一步”,配置OBS连接参数,如图3所示。
枚举值: SDI: 贴源数据层 DWI: 数据整合层 DWR: 数据报告层 DM: 数据集市层 db Integer 数据库。 tb Integer 数据表。 tb_published Integer 已发布的数据表。 fd Integer 字段。
查看日志时,系统提示“OBS日志文件不存在,请检查文件是否被删除或者没有OBS写入权限。”怎么办? Shell/Python节点执行失败,后台报错session is down 请求头中参数值长度超过512个字符时,何如处理?
数据质量监控 数据质量监控是对数据库里的数据质量进行质量管理的工具,您可以配置数据质量检查规则,在线监控数据准确性。
如果选择集群后连接失败,请检查MRS集群与作为Agent的CDM实例是否网络互通。网络互通需满足如下条件: DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。
配置告警信息时,以上两种告警配置方式均支持选择调度日历信息,在上报告警时,会按照日历告警规则,判断当前日期是否匹配调度日历,去上报告警。如果匹配不到,则按照默认告警规则上报告警。 配置调度日历信息,请参见配置调度日历。 告警配置的更多操作: 上移:默认的告警规则不允许上移。
在本示例场景下,当前面临的数据问题如下: 未建立标准化模型 数据字段命名不标准、不规范 数据内容不标准,数据质量不可控 统计口径不一致,困扰业务决策 通过DataArts Studio实施数据治理,期望能够达到以下目标: 数据标准化、模型标准化 统一统计口径,提供高质量数据报告 数据质量监控告警
后续每次周期运行时检查任务是否处于运行状态,如果处于运行状态,则认为节点执行成功。 注意,此处不会为Spark增加对应的batch或streaming模式参数,您还需要为Spark作业指定对应参数。 Jar包资源 是 选择Jar包。
后续每次周期运行时检查任务是否处于运行状态,如果处于运行状态,则认为节点执行成功。 注意,此处不会为Flink增加对应的batch或streaming模式参数,您还需要为Flink作业指定对应参数。 MRS集群名 是 选择MRS集群。
历史作业实例告警策略 通知管理中配置的告警通知能监控的作业实例天数范围,配置默认为7天,即对7天内满足触发条件的作业实例都能正常上报告警通知,但7天之前的作业实例不会再次上报告警。
数据会先被写入临时文件,当checkpoint完成后,该配置控制检查点内产生的临时文件是否被合并。开启该配置部分场景下可减少小文件数量,但会较大降低同步速率。 刷新源表和目标表映射,单击“目标字段编辑”检查要写入目的端的字段情况,并根据实际情况选择配置分区字段。