检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
输入请单击“测试”,否则将无法进行下一步操作。 图4 源、目标端配置 单击“下一步”,进行调度信息配置。 数据集范围为全量模式时,仅支持单次调度。 数据集范围为增量模式时,支持单次调度和周期调度。 当选择为周期调度时,参数配置参考表3。
启用细粒度认证 配置细粒度认证后,在DataArts Studio数据开发执行脚本、测试运行作业或调度作业时,数据源将不再使用数据连接上的账号,而是使用当前用户身份认证鉴权,从而做到实现不同用户具有不同的数据权限,使角色/权限集或队列权限中的权限管控生效。
输入请单击“测试”,测试创建目标表并检测目标表是否可用,否则将无法进行下一步操作。 执行引擎 *执行引擎 选择运行脱敏任务的引擎。不同脱敏场景下支持的引擎和注意事项如表3所示。 脱敏队列 *脱敏队列 选择对应执行DLI或MRS引擎下的队列。
仅涉及用于测试该连接委托功能是否正常,作业运行将根据DLF配置的调度身份执行CDM作业。 访问标识(AK) - 适用组件勾选数据集成且“OBS支持”选择“是”时,呈现此参数。 AK和SK分别为登录OBS服务器的访问标识与密钥。
例如,有一张涉及金额的表,表中“is_test”字段用于标识该条数据是否为测试数据(0为正式数据,1为测试数据)。期望计算正式数据的金额最小值,最大值,平均值以及总和。则自定义模板可设置如下: 维度:准确性。 所属目录:/全部/。
如果希望在DataArts Studio数据开发执行脚本、测试运行作业时,使用当前用户身份认证鉴权以实现行级访问控制策略生效,则需要启用细粒度认证。 为确保行级访问控制策略生效,须确保策略中指定的用户已具备待控制操作的表权限,同时需要将表所属模式的USAGE权限授予该用户。
在添加请求参数后,单击“开始测试”,右侧返回结果回显区域打印API调用的Response信息。调试流程与API调试流程基本一致,可参考调试API。 发布API工作流:在API工作流列表页面,单击对应工作流操作栏中的“更多 > 发布”,即可弹出API工作流发布窗口。
DataArts Studio实例内的工作空间作为成员管理、角色和权限分配的基本单元,包含了完整的DataArts Studio功能,工作空间的划分通常按照分子公司(如集团、子公司、部门等)、业务领域(如采购、生产、销售等)或者实施环境(如开发、测试、生产等),没有特定的划分要求。
默认在DataArts Studio数据开发组件执行脚本、测试运行作业时,数据源(此处指MRS/DWS数据源)会使用数据连接上的账号进行认证鉴权。因此在数据开发时,权限管控依然无法生效。
DataArts Studio实例内的工作空间作为成员管理、角色和权限分配的基本单元,包含了完整的DataArts Studio功能,工作空间的划分通常按照分子公司(如集团、子公司、部门等)、业务领域(如采购、生产、销售等)或者实施环境(如开发、测试、生产等),没有特定的划分要求。
{ "total" : 1, "instances" : [ { "node_num" : 1, "flavor" : { "id" : "95d4e992-6e3c-11ea-8e90-fa163e35", "name" : "测试专用小规格
数据服务专享集群增量包 数据服务定位于标准化的数据服务平台,提供一站式数据服务开发、测试部署能力,实现数据服务敏捷响应,降低数据获取难度,提升数据消费体验和效率,最终实现数据资产的变现。数据服务当前提供共享版与专享版两种服务方式,差异请参见共享版与专享版数据服务的对比。
{ "node_num" : 1, "flavor" : { "id" : "95d4e992-6e3c-11ea-8e90-fa163e35", "name" : "测试专用小规格(X86)", "disk" : 120, "cpu" :
创建主作业和子作业完成后,通过测试运行主作业“集成管理”,检查数据集成作业创建情况。运行成功后,创建并运行CDM子作业成功。 图11 查看作业创建情况 注意事项 由于CDM版本不同,某些属性可能不支持,比如fromJobConfig.BatchJob。
您也可以通过测试窗口,验证匹配规则是否符合预期。 通配符匹配适用于规则较多、结果表较多的情况。 全部:无需筛选或输入规则,直接选择当前数据库下的所有表作为任务目标表。 选择全部,适用于所选数据库下所有表的检索。
EMBEDDED 检查Hive JDBC连通性 是否需要测试Hive JDBC连通。 否 是否使用集群配置 您可以通过使用集群配置,简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。
EMBEDDED 检查Hive JDBC连通性 是否需要测试Hive JDBC连通。 否 是否使用集群配置 您可以通过使用集群配置,简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。
检查streamLoad连通性 否 测试Doris streamLoad连通性,当使用场景通过streamLoad方式写数据的时候时,需要保证该连通正常。 创建MRS安全集群的kerberos认证用户 如果要创建MRS安全集群的数据连接,不能使用admin用户。
EMBEDDED 检查Hive JDBC连通性 是否需要测试Hive JDBC连通。 否 是否使用集群配置 您可以通过使用集群配置,简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。
适合PoC验证和开发测试。 fb8fe666-6734-4b11-bc6c-43d11db3c745:表示cdm.medium规格,4核CPU、8G内存的虚拟机适合单张表规模<1000万条的场景。