检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Each节点自动调用运行子作业。 单击左侧导航栏中的“实例监控”,进入实例监控中查看作业运行情况。等待作业运行成功后,就能查看For Each节点生成的子作业实例,由于数据集中有6行数据,所以这里就对应产生了6个子作业实例。 图8 查看作业实例 查看对应的6个DLI目的表中是否已被插入预期的数据。您可以在DataArts
用户组。 用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择“云数据迁移服务”,进入CDM主界面查看集群,若未提示权限不足,表示“CDM ReadOnlyAccess”已生效。 在“服务列表”中选择除CDM服务外的任一服务,若提示权限不足,表示“CDM
D对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目ID。 获取DataArts Studio实例ID和工作空间ID
此时可按以下步骤依次排查: 确认失败作业为调度中的作业。测试运行的作业是不发通知的,只有调度中的作业才会发SMN通知。 在“运维调度 > 通知管理”中查看此作业的通知配置开发是否为打开状态。 登录SMN页面,排查对应的SMN主题是否有被订阅。 排查对应SMN主题的订阅终端中是否有自己的终端名,还需确认订阅的状态是“已确认”。
周期调度依赖原理的理解有误导致的。 如下图,月周期的作业依赖天周期的作业。为什么在天周期的作业还未跑完,月周期的作业已经开始运行? 图1 查看作业调度周期及依赖属性 解决方案 事实上,月周期的作业依赖天周期作业指的是当月的月周期作业是否运行取决于上月的天周期作业是否全部运行完成,而不是由当月的天周期作业决定。
看到此API。 当前工作空间可见 当前项目可见 当前租户可见 访问日志 勾选,则此API的查询结果将会产生记录并被保留7天,可以在“运营管理 > 访问日志”处通过选择“请求日期”的方式查看对应日期的日志。 最低保留期限 API发布状态预留的最低期限,单位为小时,0表示不设限制。
在30天内进行还原,在回收站中超过30天的数据将被自动删除。详见管理回收站章节。 查看策略详情:在动态脱敏页面,通过同步状态筛选策略或直接找到需要查看的策略,单击策略名即可查看策略详情。 图3 查看策略详情 参考:动态脱敏规则介绍 MRS Hive动态脱敏规则由MRS Ranger组件提供,当前支持的规则如表2所示。
中心三大子模块。具备的功能如下所示: 权限自助申请:用户可以选择自己需要权限的数据表,在线上快速发起申请。 权限审计:管理员可以快速方便地查看数据库表权限对应人员,进行审计管理。 权限回收/交还:管理员可以通过用户权限管理及时回收用户权限,用户也可以主动交还不再需要的权限。 权限
#reload(sys) #sys.setdefaultencoding('utf8') 重启python,通过sys.getdefaultencoding()查看默认编码,这时为'utf8'。 父主题: 数据开发
Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 是 table 高级属性 查询筛选 创建用于匹配文档的筛选器。 例如:{HTTPStatusCode:{$gt:"400",$lt:"500"},HTTPMethod:"GET"}。
Studio数据开发模块或对应数据湖产品的SQL编辑器上,开发并执行用于创建数据库的SQL脚本,从而创建数据库。 本章节以可视化模式为例,介绍如何在数据开发模块新建数据库。 前提条件 已开通相应的云服务。比如,MRS服务。 已新建数据连接,请参见新建数据连接。 MRS API方式连接
同步”,即可立即发起一次任务运行,数据安全开始订阅消费、启动消费、生成策略并同步Ranger。 查看订阅任务详情:在动态脱敏订阅页签,找到需要查看的任务,单击对应任务操作栏中的“详情”即可查看任务详情。 图4 查看任务详情 参考:Kafka消息格式要求 第三方平台的动态脱敏策略需要发布到Kafk
上移:选中一个流程,在右侧单击上移按钮,可以上移该流程。 下移:选中一个流程,在右侧单击下移按钮,可以下移该流程。 查询:可以通过时间段进行筛选并查询出所需时间段内的流程,也可以通过流程名称进行模糊搜索,查询所需要的流程。 父主题: 指标设计
在配置作业调度时,可以选择每个月的最后一天执行。如果您需要配置作业的调度时间为每月最后一天,请参考下面两种方法。 表1 配置每月最后一天进行调度 配置方法 优势 如何配置 调度周期配置为天,通过条件表达式进行判断是否为每月最后一天 可以灵活适用多种场景。只需要编写条件表达式就可以灵活调度作业去运行。例如,每月最后一天,每月七号等。
在配置作业调度时,可以选择每个月的最后一天执行。如果您需要配置作业的调度时间为每月最后一天,请参考下面两种方法。 表1 配置每月最后一天进行调度 配置方法 优势 如何配置 调度周期配置为天,通过条件表达式进行判断是否为每月最后一天 可以灵活适用多种场景。只需要编写条件表达式就可以灵活调度作业去运行。例如,每月最后一天,每月七号等。
在“服务列表”中选择数据治理中心,进入DataArts Studio实例卡片。从实例卡片进入控制台首页后,确认能否正常查看工作空间列表情况。 进入已添加当前用户的工作空间业务模块(例如管理中心),查看能否根据所配置的工作空间角色,正常进行业务操作。 父主题: 咨询与计费
认提交”,提交审核。等待审核人员审核,审核通过后,完成发布。 发布历史 在列表中,找到所需查看的时间周期,单击“更多 > 发布历史”,将显示“发布历史”页面。 在“发布历史”中,您可以查看时间周期的发布历史和版本对比信息。 下线 在需要下线的时间周期右侧,单击“更多 > 下线”,
发布”对话框。 在下拉菜单中选择审核人。 单击“确认提交”。 发布历史 在列表中,找到所需查看的时间限定,单击“更多 > 发布历史”,将显示“发布历史”页面。 在“发布历史”中,您可以查看时间限定的发布历史和版本对比信息。 下线 在需要下线的时间限定右侧,单击“更多 > 下线”,系统弹出“提交下线”对话框。
选择已创建好数据连接。 请求类型 是 支持以下请求类型: GET POST PUT HEAD DELETE 请求参数 否 请求参数。 假设用户需要查询dlf_search索引中dlfdata映射类型的信息,请求参数可填写为: /dlf_search/dlfdata/_search 请求消息体
b.d.e”、“a.b.d.f”。 fromJobConfig.queryString 否 String 使用Elasticsearch的查询字符串(query string)对源数据进行过滤,CDM只迁移满足过滤条件的数据。 父主题: 源端作业参数说明