选择执行Python语句的主机。需确认该主机配有用于执行Python脚本的环境。 须知: Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本的调度频率合理配置MaxSessions的值。
查询敏感数据保护模块诊断结果 功能介绍 查询敏感数据保护模块诊断结果 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/diagnose/sensitive-data 表1 路径参数 参数 是否必选 参数类型 描述 project_id
为确保数据使用安全可控,使用数据表需要先申请权限。数据权限模块为用户提供便捷的权限管控能力,提供可视化申请审批流程,并可以进行权限的审计和管理。提高数据安全的同时,还可以方便用户进行数据权限管控。 数据权限模块包含数据目录权限、数据表权限和审批中心三大子模块。具备的功能如下所示: 权限自助申请:用
不同。本服务的Endpoint您可以从终端节点Endpoint获取。 创建Shell脚本 如下示例是创建shell脚本的配置。 { "name":"echoTimeShell", "type":"Shell", "content":"echo a", "connectionName":"con"
开发脚本 开发SQL脚本 开发Shell脚本 开发Python脚本 父主题: 脚本开发
s Studio数据开发模块通过No Code方式,新建数据表。 (推荐)DDL模式:您可以在DataArts Studio数据开发模块,通过选择DDL方式,使用SQL语句新建数据表。 SQL脚本方式:您也可以在DataArts Studio数据开发模块或对应数据湖产品的SQL编
配置调度身份 数据开发模块的作业执行中会遇到如下问题: 数据开发模块的作业执行机制是以启动作业的用户身份执行该作业。对于按照周期调度方式执行的作业,当启动该作业的IAM账号在调度周期内被停用或删除后,系统无法获取用户身份认证信息,导致作业执行失败。 如果作业被低权限的用户启动,也会因为权限不足导致作业执行失败。
type 是 String 脚本类型,包含: FlinkSQL DLISQL SparkSQL HiveSQL DWSSQL RDSSQL Shell PRESTO ClickHouseSQL HetuEngineSQL PYTHON ImpalaSQL SparkPython content
在数据开发子模块中,新建的DLI SQL脚本默认队列是一个已删除的队列,怎么处理? 问题描述 新建的DLI SQL脚本默认队列是一个已删除的队列。 图1 DLI SQL脚本 问题分析 新建的DLI SQL脚本队列显示的逻辑是这样的,在该工作空间,上一次使用DLI SQL脚本或打开DLI
选择或输入待查询的DIS通道,输入通道名称时支持引用作业参数和使用EL表达式(参见表达式概述)。 如需新建DIS通道,请参考以下方法: 单击,前往数据集成模块的“通道管理”页面新建DIS通道。 前往DIS管理控制台进行新建。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点
ClickHouse MRS HetuEngine MRS Impala SQL MRS Flink Job MRS MapReduce CSS Shell RDS SQL ETL Job Python DORIS SQL GBase SQL ModelArts Train OCR Create
全流程质量监控,异常事件实时通知。 丰富的数据开发类型 支持多人在线协作开发,脚本开发可支持SQL、Shell在线编辑、实时查询;作业开发可支持CDM、SQL、MRS、Shell、Spark等多种数据处理节点,提供丰富的调度配置策略与海量的作业调度能力。 统一调度和运维 全面托管
连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。 Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本的调度频率合理配置MaxSessions的值。
出现“Status: OK”则说明恢复表成功。 使用快照迁移并恢复会变的数据 在源端CDH集群HBase shell中执行: flush <table name> 在源端CDH集群HBase shell执行: compact <table name> 如果表没有打开Snap功能,则执行: hadoop
可以在DataArts Studio数据目录模块中通过标签搜索相关的数据资产。 单击按钮可以为表添加标签,在弹出框中可以选择一个或多个已有的标签,或者输入一个新的标签名称后按回车键。您也可以前往DataArts Studio数据目录模块的“标签管理”页面添加新的标签,详情请参见管
通过逆向数据库,您可以将其他数据源的数据库中的表导入到指定的模型中。 前提条件 在逆向数据库之前,请先在DataArts Studio数据目录模块中对数据库进行元数据采集,以便同步数据目录时可以同步成功,否则同步数据目录将执行失败。有关数据目录元数据采集的具体操作,请参见配置元数据采集任务。
type 是 String 脚本类型,包含: FlinkSQL DLISQL SparkSQL HiveSQL DWSSQL RDSSQL Shell PRESTO ClickHouseSQL HetuEngineSQL PYTHON ImpalaSQL SparkPython content
type 是 String 脚本类型,包含: FlinkSQL DLISQL SparkSQL HiveSQL DWSSQL RDSSQL Shell PRESTO ClickHouseSQL HetuEngineSQL PYTHON ImpalaSQL SparkPython content
值;数据质量中指标侧重监控维度,用来管理所有业务指标,包括指标的来源、定义等。 注意,数据质量模块的指标与数据架构模块的业务指标、技术指标当前是相互独立的,不支持交互。同时,数据质量模块的业务指标监控即将下线,推荐使用数据架构的业务指标功能。 父主题: 数据架构
提供在线脚本编辑器,支持多人协作进行SQL、Shell、Python脚本在线代码开发和调测。 支持使用变量。 作业开发 提供图形化设计器,支持拖拽式工作流开发,快速构建数据处理业务流水线。 预设数据集成、SQL、Spark、Shell、机器学习等多种任务类型,通过任务间依赖完成复杂数据分析处理。
您即将访问非华为云网站,请注意账号财产安全