检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio数据开发模块或MRS客户端上,开发并执行用于创建数据库的SQL脚本,从而创建数据库。在DataArts Studio数据开发模块开发脚本的具体操作请参见开发SQL脚本章节;在MRS客户端开发脚本的具体操作请参见从零开始使用Hive章节。创建数据库的Hive SQL命令如下所示: --创建SDI贴源层数据库
如果想要读取或写入某个CSV文件,请在选择“文件格式”的时候选择“CSV格式”。CSV格式的主要有以下使用场景: 文件导入到数据库、NoSQL。 数据库、NoSQL导出到文件。 选择了CSV格式后,通常还可以配置以下可选子参数: 1.换行符 2.字段分隔符 3.编码类型 4.使用包围符 5
最多创建100个行访级问控制策略。 具有DWS管理员权限的用户和初始运维用户(Ruby)不受行访问控制影响,可以查看表的全量数据。 通过SQL语句、视图、函数、存储过程查询包含行级访问控制策略的表,都会受影响。 同步行访级问控制策略后,不支持对行访问控制策略依赖的列进行类型修改。
如果想要读取或写入某个CSV文件,请在选择“文件格式”的时候选择“CSV格式”。CSV格式的主要有以下使用场景: 文件导入到数据库、NoSQL。 数据库、NoSQL导出到文件。 选择了CSV格式后,通常还可以配置以下可选子参数: 1.换行符 2.字段分隔符 3.编码类型 4.使用包围符 5
split(Job.getNodeOutput("前一节点名"),"]")[0],"[")[0],"\\"")[0]} 举例4 如果前一个SQL节点的输出结果为[["11"]]。若要获取该值"11",EL表达式可以写成: #{StringUtil.getDigits(Job.get
Studio数据开发中DLI SQL执行过程中的脏数据存储的OBS桶。工作空间成员如需使用DataArts Studio数据开发执行DLI SQL,必须具备“DLI脏数据OBS桶”的读、写权限,否则,在使用过程中,系统将无法正常读、写DLI SQL执行过程中的脏数据。 单击“请选
3e1f6:表示cdm.small规格,2核CPU、4G内存的虚拟机。适合PoC验证和开发测试。 fb8fe666-6734-4b11-bc6c-43d11db3c745:表示cdm.medium规格,4核CPU、8G内存的虚拟机适合单张表规模<1000万条的场景。 5ddb10
序列化漏洞(CNVD-2022-40233)等,如发现服务模块涉及漏洞影响,会迅速通过官方解决方案升级现网更新漏洞。 更新配置 DataArts Studio云服务通过版本更新升级更新配置。 父主题: 安全
对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS),如果使用两套集群,DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务,且两套数据湖服务的版本、规格、组件、区域、V
dw_type 否 String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 create_by 否 String 创建人。 update_by 否 String
中划线和下划线,且长度小于等于100个字符。连接名称不能重复。 type 是 String 连接类型,包含: DWS DLI SparkSQL HIVE RDS CloudTable HOST config 否 Map<String,String> 连接的配置项,不同类型的连接配
因此您需要分别准备对应生产环境和开发环境的两套数据湖服务,用于隔离开发和生产环境: 对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS),DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产
dw_type 否 String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 create_by 否 String 创建人。 update_by 否 String
此处加以描述信息。描述信息长度不能超过4096个字符。 所属目录 业务指标的存储目录,可选择已创建的目录。目录创建请参见图1。 来源类型 支持“自定义”。 用户自定义SQL语句,定义指标的来源。 父主题: 业务指标监控(待下线)
通过浏览器调用无认证方式的API 无认证方式建议仅在测试接口时使用,不推荐正式使用。若调用方为不可信任用户,则存在数据库安全风险(如数据泄露、数据库高并发访问导致宕机、SQL注入等风险)。 父主题: 通过不同方式调用API
的各服务如下: 数据库: 关系型数据库包括:云数据库RDS、云数据库 GaussDB(for MySQL)、云数据库 GaussDB、云数据库 PostgreSQL、云数据库 SQL Server等。 非关系型数据库包括:文档数据库服务DDS、云数据库 GeminiDB(兼容In
ss-field表示跨字段级规则,Customize表示自定义规则。 system_template Boolean 是否为系统模板。 sql_info String 定义关系。 abnormal_table_template String 异常表模板。 result_description
CDM集群作为管理中心数据连接Agent时,单集群的并发活动线程最大为200。即当多个数据连接共用同一Agent时,通过这些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。
在模板的“表模型”Sheet页中,所需填写的参数,说明如下: 表6 表模型Sheet页参数说明 参数名 参数说明(导入DLI/POSTGRESQL/DWS/MRS_HIVE类型的表) 所属主题 需填写已有的主题的编码路径,以/分隔。如果您未新建主题信息,请参见主题设计进行新建。 *逻辑实体名称
列的“更多 > 发布历史”,进入后可查看逻辑实体的发布历史和版本对比。 浏览SQL 在逻辑实体列表中,选择需要预览SQL的逻辑实体,单击“操作”列的“更多 > 预览SQL”,进入后可预览逻辑实体的SQL信息。 父主题: 数据调研