检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
择等待运行中的作业继续执行。 约束限制 最大可以创建100个互斥组。 作业互斥配置只对正常调度的作业有效,其他调度(如暂停调度)暂不涉及,测试运行不涉及。 当前仅支持批作业创建互斥组。 配置方法 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
”、或分隔符“|”进行分隔。 约束与限制 新建随机脱敏或字符替换类型的脱敏算法时,如果选择将敏感数据脱敏为样本库脱敏,则测试算法时限制样本文件大小不能超过10kb。注意,10kb仅为算法测试功能的限制,静态脱敏时并不限制样本文件大小不超过10kb。 样本文件大小建议不超过10MB,否则运行需要解
查询数据开发细粒度连接列表(全量)。 3600 40 批量更新数据开发连接细粒度认证状态 批量更新数据开发连接细粒度认证状态。 1800 20 测试数据开发连接细粒度连通性 测试数据开发连接细粒度连通性。 1800 20 敏感数据分布接口 表8 敏感数据分布接口 API 说明 API流量限制(次/10s)
说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 ftp_link 主机名或IP FTP或SFTP服务器的IP地址或者主机名。 ftp.apache.org 端口 FTP或SFTP服务器的端口,FTP默认值为21;SFTP默认值为22。
操作(节点) 操作项 说明 查看日志 查看节点的日志信息。 进行作业手动测试运行时,作业测试运行日志查看有权限管控,比如,用户A进行作业测试运行后,可以在“实例监控”页面查看测试运行日志,不允许用户B查看该测试运行日志。 手工重试 节点的状态为“失败”时,支持重新运行节点。 节点的
Principal和keytab文件,可以联系Hadoop管理员获取。 单击“保存”,CDM会自动测试连接是否可用。 如果可用则提示保存成功,系统自动跳转到连接管理界面。 如果测试不可用,需要重新检查连接参数是否配置正确,或者H公司防火墙是否允许CDM集群的EIP访问数据源。 单
SQL和Spark SQL脚本执行失败,界面只显示执行失败,没有显示具体的错误原因? 数据开发节点运行中报TOKEN不合法? 作业开发时,测试运行后如何查看运行日志? 月周期的作业依赖天周期的作业,为什么天周期作业还未跑完,月周期的作业已经开始运行? 执行DLI脚本,报Invalid
助从IAM服务获取的用户Token进行安全认证。支持通过API调用工具调用,安全级别中等。 无认证:不需要认证,所有用户均可访问,建议仅在测试接口时使用,不推荐正式使用。使用无认证方式时,无需鉴权认证信息,安全级别低,通过API调用工具或浏览器即可直接调用。 父主题: 数据服务SDK参考
Company"); INSERT INTO dim_vendor VALUES ("2","B Company"); 单击“运行”按钮,测试脚本是否正确。 图2 运行脚本 测试通过后,单击“保存”按钮,在弹出框中输入脚本名称如:demo_taxi_dim_data,选择保存的脚本路径并单击“提交”按钮提交版本。
离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 主机名或IP 是 服务器的IP地址或者主机名。 例如:sftp.apache.org或192.168.0.1。 端口 是 主机的SSH端口号。 数据传输超时时间 是 数据传输过程中连接服务器超时时间,单位毫秒。
CPU核数。您可以根据DLI队列资源合理规划计算资源规格。 需要注意的是,Spark任务执行需要driver、executor等多个角色共同调度完成,因此“Executor个数*Executor CPU核数”要小于队列的计算资源CU数,避免其他Spark任务角色无法启动。 Spark作业参数计算公式: CU数=driver
Query的参数与参数值。 集群配置 仅专享版支持,选择调试API所依托的实例。 不同类型的请求,调试界面展现的信息项有差异。 添加请求参数后,单击“开始测试”。 右侧返回结果回显区域打印API调用的Response信息。 调用成功时,返回HTTP状态码为“200”和Response信息。 调用超过默认60秒无结果时,会报超时错误。
条件: CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 CDM集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚
或Body,由于无法传参因此不支持浏览器调用。 通过API工具调用无认证方式的API 通过浏览器调用无认证方式的API 无认证方式建议仅在测试接口时使用,不推荐正式使用。若调用方为不可信任用户,则存在数据库安全风险(如数据泄露、数据库高并发访问导致宕机、SQL注入等风险)。 父主题:
引用符号 否 可选参数,连接引用表名或列名时的分隔符号,参考对应数据库的产品文档进行配置。默认为"。 单击“测试”,测试数据连接的连通性。如果无法连通,数据连接将无法创建。 测试通过后,单击“确定”,创建数据连接。 参考 创建RDS类型的数据连接时,需要注意哪些事项? 创建RDS类型
ode实例的ip:8020。 IP与主机名映射 否 是否使用集群配置开关打开时显示该参数。 运行模式选择“EMBEDDED”、“STANDALONE”时,该参数有效。 如果HDFS配置文件使用主机名,需要配置IP与主机的映射。格式:IP与主机名之间使用空格分隔,多对映射使用分号或回车换行分隔。
下载中心”进入。 单击“配置OBS默认地址”进入“配置OBS默认路径”页面。 配置默认的OBS路径。 此处配置的OBS路径,是脚本开发或者单任务作业开发时测试运行结果的默认转储OBS路径。配置成功后,后续转储运行结果时,将默认使用此次配置的OBS路径进行转储;已转储的运行结果路径不会改变,请以列表中返回路径为准。
回填已生成的元数据Schema所在的OBS目录。 图5 配置Import GES节点 图6 新建元数据 作业编排完成后,单击,测试运行作业。 图7 测试运行作业 如果作业运行正常,单击“调度配置”,配置作业的调度策略。 图8 调度配置 说明: 2023/04/01 00:00开始,每天00点00分执行一次作业。
"not_null" : false, "optional_values" : "", "description" : "测试1", "ordinal" : 0, "type" : "TABLE" }, { "id" : "1211611269321355265"
"1082235079767502860", "fd_name" : "nameCh", "fd_value" : "测试8M数据标准导入111449" }, { "id" : "1082235079767502861", "fd_name"