正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
PHP 操作场景 使用PHP语言调用APP认证的API时,您需要先获取SDK,然后新建工程,最后参考调用API示例调用API。 本章节以IntelliJ IDEA 2018.3.5版本为例介绍。 准备环境 已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息,具体参见认证前准备。
继续执行或取消执行。 图1 作业依赖关系 这时请勿停止作业,您可以将失败的作业实例进行重跑,或者将异常的实例停止再重跑。失败实例成功后,后续作业会继续正常运行。如果不通过数据开发,手动将作业实例中的业务场景处理后,可以强制成功作业实例,后续作业也会继续正常运行。 父主题: 数据开发
如果您的作业是批处理作业,您可以配置作业级别的调度任务,即以作业为一个整体进行调度,支持单次调度、周期调度、事件驱动调度三种调度方式。具体请参见配置作业调度任务(批处理作业)。 如果您的作业是实时处理作业,您可以配置节点级别的调度任务,即每一个节点可以独立调度,支持单次调度、周期
数据集成即云数据迁移(Cloud Data Migration,后简称CDM)服务,本文中的“云数据迁移”、“CDM”均指“数据集成”。 您可以通过以下方式之一进入CDM主界面: 登录CDM控制台,单击“集群管理”,进入到CDM主界面。 登录DataArts Studio控制台。选
中进行查看,无特殊需求时无需设置。 例如您需要标识该表的来源时,可以设置自定义项配置名为“来源”,值为对应的表来源信息。配置完成后可以在表详情中查看该信息。 *资产责任人 在下拉列表中选择维度所属的资产责任人,可以手动输入名字或直接选择已有的责任人。 *描述 描述信息。支持的长度为1~600个字符。
更多 > 恢复 可以对暂停的作业实例进行恢复操作。 更多 > 强制解除依赖执行 可以对有依赖关系的作业实例进行强制解除依赖执行。 更多 > 查看 跳转至作业开发页面,查看作业信息。 更多 > 历史性能 可以查看作业实例监控的历史性能折线图。 更多 > 查看重跑历史 可以查看作业实例重跑的历史记录。
参见表2。 参数 用户可参考表1和表2配置DIS Stream节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 默认情况下,节点名称会与选择的通
Studio实例的规格请参见版本规格说明。 您可以在DataArts Studio实例卡片上,通过“更多 > 查看增量包”,查看已购买的增量包。 您可以在DataArts Studio实例卡片上,通过“更多 > 配额使用量”,查看当前实例的配额使用量。也支持可以在空间管理处,通过对应空间的“操作
CDM未使用数据传输功能时,是否会计费? 已购买包年包月的CDM套餐包,为什么还会产生按需计费的费用? 如何查看套餐包的剩余时长? CDM可以跨账户使用吗? CDM集群是否支持升级操作? CDM迁移性能如何? CDM不同集群规格对应并发的作业数是多少? 是否支持增量迁移? 是否支持字段转换?
数据表 CSS 选择集群 选择待采集数据存储的CSS集群。 您也可以单击“新建”,创建CSS集群,创建完成后单击“刷新”,选择新建的CSS集群即可。 绑定Agent 请选择由CDM集群提供的Agent。 用户也可以单击“新建”,创建新的Agent,创建完成后单击“刷新”,选择新的Agent即可。
数据水印使用流程 您可以通过图1来了解。 图1 水印使用流程 约束与限制 当前数据水印任务仅支持MRS Hive数据源。 主键不支持嵌入水印。 数值整型字段嵌入水印可能会出现数据被修改的情况,请选择可以接受值发生改变的字段嵌入水印。 数据水印嵌入任务的数据集范围选择为增量时,需选
监控、状态集管理等信息。在节点监控页签,可以查看实时作业的运行日志。 同时,您可以查看当前作业版本、作业运行状态、启动、重跑、作业开发、是否显示指标监控、设置作业刷新频率等。 实时作业监控:禁用节点后恢复 您可以对实时作业中某个节点配置“禁用”后恢复运行,恢复运行时可以重新选择运行位置。
监测度量各业务/IT部门的数据治理情况,持续推进各部门的数据治理水平提升,进而提高整体数据治理成熟度。 年度进行的整体数据治理成熟度评估,可以结合主观及客观调查度量,综合反映企业当前数据治理成熟度水平,帮助制定切实可行的数据治理整体目标。季度性实施的数据治理评分卡是一个重要的工具
HBase可实现海量数据存储,并实现毫秒级数据查询。选择MRS HBase可以实现物流数据毫秒级实时入库更新,并支持百万级时序数据查询分析。 MapReduce服务(MRS Hive) Hive是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的
企业模式下,进行同步时,可以选择同步到生产环境或开发环境。默认同步到生产环境,不勾选则无法同步。 图1 同步维度表 确认无误后,单击“确认提交”,完成后界面将显示同步结果。 同步后,您可以在维度表列表中,查看维度表的同步状态。单击列表右上方的刷新按钮,可以刷新状态。您可以切换生产环境和开发环境查看同步结果。
并进行角色/权限集管理。 前提条件 为成员添加或删除所在的角色/权限集前,已完成权限集或角色的配置,请参考配置权限集或配置角色。 约束与限制 仅DAYU Administrator、Tenant Administrator、数据安全管理员或者角色/权限集管理员可以为成员添加或删除所在的角色/权限集。
数据输出,不支持质量评分。 自定义规则:在创建质量作业时,“规则类型”选择为“自定义规则”,然后您可以通过输入完整的SQL语句,定义如何对数据对象进行数据质量监控。 SQL语句可以包含同一数据库下的多张表,但不同数据库的表无法共存。 本文以新建自定义模板为例,说明如何创建规则。如
通过回收站功能,您可以恢复误删的数据安全关键数据。当前综合数据的重要程度、使用频次以及误删后恢复难易程度等各方面因素考虑,定义数据安全的关键数据为权限集(包含空间权限集、权限集以及通用角色)和动态脱敏策略。 前提条件 回收站中的数据依赖于权限集(包含空间权限集、权限集以及通用角色)和动态脱敏策略在30天内的删除操作。
Studio数据开发模块支持以事件触发的方式运行作业,因此通过DIS或者MRS Kafka作为作业依赖纽带,可以跨空间实现作业调度。 如下图,工作空间A中的job1运行完成后,可以使用DIS Client或Kafka Client发送消息触发中继作业job_agent;job_agent配置事件触发调度,根据DIS
运行就会生产一个作业实例。如果实时作业里面包含了配置周期调度或事件触发调度节点,可以通过此接口查询节点所关联的子作业的实例列表,参数jobName格式为[实时作业名称]_[节点名称]。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET