检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择“节点并发数”。 配置工作空间的节点并发数,工作空间的节点并发数不能大于DataArts Studio实例的并行节点并发数上限。 DataArts Studio实例的节点并发数上限可通过表1获取。其中的作业节点调度次数/天配额可通过DataArts Studio实例卡片上的“更多 > 配额使
用区,不同可用区之间物理隔离,但内网互通,既保障了可用区的独立性,又提供了低价、低时延的网络连接。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。 如何选择区域?
当发布人具备审核人权限时,可无需审批直接发布API。 因此,如果不具备审核人权限的用户需要发布API时,请先添加审核人。只有工作空间管理员角色的用户才具有添加审核人的权限。 审核人支持管理员、开发者、运维者,访客无法添加为审核人。 工作空间管理员角色的用户,无论是否被添加为审核人,都默认具备审核人权限。 操作步骤
哈希算法中的“HMAC-SHA256哈希”算法。 加密算法中的“dws列加密”算法。 不同脱敏算法的更多使用限制,请参考管理脱敏算法。 目标端配置 *数据源类型 选择存储脱敏后数据的数据源类型,支持的脱敏场景如表3所示。 *数据连接 选择已在管理中心组件创建的数据连接。若未创建请参考创建DataArts
尽量选取数据取值比较多样的列嵌入水印,如果该列的值是可枚举穷尽的,则有可能因为特征不够导致提取失败。常见的适合嵌入水印的列如地址、姓名、UUID、金额、总数等。 数值整型字段嵌入水印可能会出现数据被修改的情况,请选择可以接受值发生改变的字段插入水印。 结构化数据文件的水印提取与数据水印的水印溯源
HBase、FusionInsight HBase、Apache HBase)或者表格存储服务(CloudTable)的数据时,支持导出指定时间段内的数据,配合CDM的定时任务,可以实现HBase/CloudTable的增量迁移。 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移
HBase、FusionInsight HBase、Apache HBase)或者表格存储服务(CloudTable)的数据时,支持导出指定时间段内的数据,配合CDM的定时任务,可以实现HBase/CloudTable的增量迁移。 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移
Studio控制台首页,选择对应工作空间的“数据集成”模块,进入CDM首页。 图1 集群列表 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 对相应需要操作的集群可以进行绑定EIP或解绑EIP的操作。 绑定EIP:单击集群操作列中的“绑定弹性IP”,进入EIP选择界面。
Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“运维调度 > 作业监控”。 选择“实时集成作业监控”页签,单击作业名称。 在详情页面,选择“监控信息”,单击“创建告警规则”,进入云监控服务的创建告警规则界面,创建该作业的告警规则。 图1 创建告警规则
一个或多个节点的结果集名称进行映射,映射后的名称会作用到JSON或文件名中,未映射的结果集将不会输出到最终返回结果中。 节点映射表达式写法固定为“${节点编码|payload}”,节点编码可通过在API编排的画布中,单击节点后在节点详情中查看,并支持通过复制。 图1 查看节点编码
使用Token前请确保Token离过期有足够的时间,防止调用API的过程中Token过期导致调用API失败。 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。 Token
Manager的用户名和密码。从HDFS导出目录时,如果需要创建快照,这里配置的用户需要HDFS系统的管理员权限。 如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户
要想hive的优先级生效,请联系运维工程师打开MRS Hive优先级配置项的开关。 使用基线运维之前,需要在MRS服务创建Topic,具体操作请参见KafkaUI创建Topic。 DLI约束限制: DLI提供的设置作业优先级功能,当资源不充足时,可以优先满足优先级较高的作业的计算资源。DLI优先级功能包含DLI
变慢:任务本次运行时间相比过去一段时间内的平均运行时间明显变长。 如果一个任务先变慢、再出错,会生成两个事件。 事件状态: 新发现:基线监控的任务产生变慢或者失败。 已恢复:超过基线任务的承诺完成时间,但基线任务最终完成。 处理中:基线运行产生的该条事件正在处理中。 已忽略:基线运行产生的该条事件已忽略。
在添加授权页面,设置授权的截止时间、选择集群(仅专享版涉及),勾选IAM应用名称,然后单击“确认授权”,完成API的授权。 图1 添加授权 授权成功后,可以在应用管理详情页面查看已绑定的API。 如果已绑定API列表中包含无需绑定的API,在此API所在行的操作列,单击“解绑”,将无需绑定的API删除。
Studio实例时自动创建的数据集成集群。 用户名:数据库的用户名,创建DWS集群时指定的用户名,默认为dbadmin。 密码:数据库的访问密码,创建DWS集群时指定的密码。 图2 DWS连接配置参数 DWS连接创建完成后,跳转到数据开发页面。 图3 跳转到数据开发页面 创建DWS数据库和数据库模式。
越多,分片个数越小。 当表的条数过多时,作业会划分较多的分片,从而占用过多的内存导致内存问题,请解决表的条数适当调整该值。 当scan.incremental.snapshot.backfill.skip为false时,实时处理集成作业会缓存单个分片的数据,此时分片越大,占用内存
列数据的字符串中出现字段分隔符时,目的端可以通过开启“使用包围符”,将该字符串括起来,作为一个整体写入CSV文件。CDM目前只使用双引号("")作为包围符。如图1所示,数据库的name字段的值中包含了字段分隔符逗号: 图1 包含字段分隔符的字段值 不使用包围符的时候,导出的CSV文件,数据会显示为:
列数据的字符串中出现字段分隔符时,目的端可以通过开启“使用包围符”,将该字符串括起来,作为一个整体写入CSV文件。CDM目前只使用双引号("")作为包围符。如图1所示,数据库的name字段的值中包含了字段分隔符逗号: 图1 包含字段分隔符的字段值 不使用包围符的时候,导出的CSV文件,数据会显示为:
Studio仅支持其中的IAM角色方式,不支持IAM策略。 IAM角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度,提供有限的服务相关角色用于授权。传统的IAM角色并不能满足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。 I