检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择执行Python语句的主机。需确认该主机配有用于执行Python脚本的环境。 须知： Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本的调度频率合理配置MaxSessions的值。
查询敏感数据保护模块诊断结果 功能介绍 查询敏感数据保护模块诊断结果 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/diagnose/sensitive-data 表1 路径参数 参数 是否必选 参数类型 描述 project_id
为确保数据使用安全可控，使用数据表需要先申请权限。数据权限模块为用户提供便捷的权限管控能力，提供可视化申请审批流程，并可以进行权限的审计和管理。提高数据安全的同时，还可以方便用户进行数据权限管控。 数据权限模块包含数据目录权限、数据表权限和审批中心三大子模块。具备的功能如下所示： 权限自助申请：用
不同。本服务的Endpoint您可以从终端节点Endpoint获取。 创建Shell脚本 如下示例是创建shell脚本的配置。 { "name":"echoTimeShell", "type":"Shell", "content":"echo a", "connectionName":"con"
开发脚本 开发SQL脚本 开发Shell脚本 开发Python脚本 父主题： 脚本开发
配置调度身份 数据开发模块的作业执行中会遇到如下问题： 数据开发模块的作业执行机制是以启动作业的用户身份执行该作业。对于按照周期调度方式执行的作业，当启动该作业的IAM账号在调度周期内被停用或删除后，系统无法获取用户身份认证信息，导致作业执行失败。 如果作业被低权限的用户启动，也会因为权限不足导致作业执行失败。
s Studio数据开发模块通过No Code方式，新建数据表。 （推荐）DDL模式：您可以在DataArts Studio数据开发模块，通过选择DDL方式，使用SQL语句新建数据表。 SQL脚本方式：您也可以在DataArts Studio数据开发模块或对应数据湖产品的SQL编
type 是 String 脚本类型，包含： FlinkSQL DLISQL SparkSQL HiveSQL DWSSQL RDSSQL Shell PRESTO ClickHouseSQL HetuEngineSQL PYTHON ImpalaSQL SparkPython content
在数据开发子模块中，新建的DLI SQL脚本默认队列是一个已删除的队列，怎么处理？ 问题描述 新建的DLI SQL脚本默认队列是一个已删除的队列。 图1 DLI SQL脚本 问题分析 新建的DLI SQL脚本队列显示的逻辑是这样的，在该工作空间，上一次使用DLI SQL脚本或打开DLI
ClickHouse MRS HetuEngine MRS Impala SQL MRS Flink Job MRS MapReduce CSS Shell RDS SQL ETL Job Python DORIS SQL GBase SQL ModelArts Train OCR Create
全流程质量监控，异常事件实时通知。 丰富的数据开发类型 支持多人在线协作开发，脚本开发可支持SQL、Shell在线编辑、实时查询；作业开发可支持CDM、SQL、MRS、Shell、Spark等多种数据处理节点，提供丰富的调度配置策略与海量的作业调度能力。 统一调度和运维 全面托管
选择或输入待查询的DIS通道，输入通道名称时支持引用作业参数和使用EL表达式（参见表达式概述）。 如需新建DIS通道，请参考以下方法： 单击，前往数据集成模块的“通道管理”页面新建DIS通道。 前往DIS管理控制台进行新建。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点
连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。 Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本的调度频率合理配置MaxSessions的值。
出现“Status: OK”则说明恢复表成功。 使用快照迁移并恢复会变的数据 在源端CDH集群HBase shell中执行： flush <table name> 在源端CDH集群HBase shell执行： compact <table name> 如果表没有打开Snap功能，则执行： hadoop
可以在DataArts Studio数据目录模块中通过标签搜索相关的数据资产。 单击按钮可以为表添加标签，在弹出框中可以选择一个或多个已有的标签，或者输入一个新的标签名称后按回车键。您也可以前往DataArts Studio数据目录模块的“标签管理”页面添加新的标签，详情请参见管
通过逆向数据库，您可以将其他数据源的数据库中的表导入到指定的模型中。 前提条件 在逆向数据库之前，请先在DataArts Studio数据目录模块中对数据库进行元数据采集，以便同步数据目录时可以同步成功，否则同步数据目录将执行失败。有关数据目录元数据采集的具体操作，请参见配置元数据采集任务。
type 是 String 脚本类型，包含： FlinkSQL DLISQL SparkSQL HiveSQL DWSSQL RDSSQL Shell PRESTO ClickHouseSQL HetuEngineSQL PYTHON ImpalaSQL SparkPython content
提供在线脚本编辑器，支持多人协作进行SQL、Shell、Python脚本在线代码开发和调测。 支持使用变量。 作业开发 提供图形化设计器，支持拖拽式工作流开发，快速构建数据处理业务流水线。 预设数据集成、SQL、Spark、Shell、机器学习等多种任务类型，通过任务间依赖完成复杂数据分析处理。
值；数据质量中指标侧重监控维度，用来管理所有业务指标，包括指标的来源、定义等。 注意，数据质量模块的指标与数据架构模块的业务指标、技术指标当前是相互独立的，不支持交互。同时，数据质量模块的业务指标监控即将下线，推荐使用数据架构的业务指标功能。 父主题： 数据架构
type 是 String 脚本类型，包含： FlinkSQL DLISQL SparkSQL HiveSQL DWSSQL RDSSQL Shell PRESTO ClickHouseSQL HetuEngineSQL PYTHON ImpalaSQL SparkPython content
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
