检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Redis目的端参数 表1 Redis作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 redis键前缀 对应关系数据库的表名。 TABLENAME 值存储类型 存储类型分STRING、hash、list、set和zset。 STRING 写入前将相同的键删除
使用PyCharm手动连接Notebook 本地IDE环境支持PyCharm和VS Code。通过简单配置,即可用本地IDE远程连接到ModelArts的Notebook开发环境中,调试和运行代码。 本章节介绍基于PyCharm环境访问Notebook的方式。 前提条件 本地已安装2019
MoXing Framework功能介绍 MoXing Framework模块为MoXing提供基础公共组件,例如访问华为云的OBS服务,和具体的AI引擎解耦,在ModelArts支持的所有AI引擎(TensorFlow、MXNet、PyTorch、MindSpore等)下均可以使用。目前,提供的MoXing
Notebook中快速使用MoXing 本文档介绍如何在ModelArts中调用MoXing Framework接口。 进入ModelArts,创建Notebook实例 登录ModelArts管理控制台,在左侧菜单栏中选择“开发空间>Notebook”,进入“Notebook”管理页面。
Spark从HBase读取数据再写入HBase样例程序(Python) 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表,然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 由于pyspark不提供Hbase相关ap
Spark从Hive读取数据再写入HBase样例程序(Java) 功能介绍 在Spark应用中,通过使用Spark调用Hive接口来操作hive表,然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata
Spark从Hive读取数据再写入HBase样例程序(Scala) 功能介绍 在Spark应用中,通过使用Spark调用Hive接口来操作hive表,然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata
Spark Streaming对接Kafka0-10样例程序(Java) 功能介绍 在Spark应用中,通过使用Streaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数,或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例
Spark从HBase读取数据再写入HBase样例程序(Python) 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表,然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 由于pyspark不提供Hbase相关ap
Spark Streaming对接Kafka0-10样例程序(Java) 功能介绍 在Spark应用中,通过使用Streaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数,或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例
Spark Streaming对接Kafka0-10样例程序(Scala) 功能介绍 在Spark应用中,通过使用Streaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数,或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例
在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录 问题 系统长时间运行后,在客户端安装节点的/tmp目录下,发现残留了很多blockmgr-开头和spark-开头的目录。 图1 残留目录样例 回答 Spark任务在运行过程中,driver会
数据开发可以创建多少个作业,作业中的节点数是否有限制? 问题描述 数据开发中,该模块支持创建作业数量和作业中的节点数是否有限制。 解决方案 目前默认每个用户最多可以创建10000个作业,每个作业建议最多包含200个节点。 另外,系统支持用户根据实际需求调整最大配额。如有需求,请提交工单进行申请。
ALTER SEQUENCE 功能描述 修改序列定义。 注意事项 使用ALTER SEQUENCE的用户必须是该序列的所有者。 当前版本仅支持修改拥有者、归属列和最大值。若要修改其他参数,可以删除重建,并用Setval函数恢复当前值。 ALTER SEQUENCE MAXVALUE不支持在事务、函数和存储过程中使用。
查看转换配置模板列表 操作场景 查看用户已配置的自定义的转换配置模板,按创建时间倒序展示。 约束限制 转换配置模板列表只展示用户自定义的转换配置模板,不展示系统模板(默认值、最大兼容性)。 操作步骤 登录UGO控制台。 单击左侧导航栏“转换配置管理”,进入转换配置管理页面。 显示用户已创建的自定义转换配置模板列表。
Kubernetes安全漏洞公告(CVE-2020-8554) 漏洞详情 CVE-2020-8554是Kubernetes社区发现的关于集群内网络流量劫持的安全问题。具有创建和更新Service和Pod对象权限的潜在攻击者,能够劫持集群内来自其他Pod或者节点的流量。潜在攻击者通过设置Service对象的spec
创建RabbitMQ Vhost 每个Vhost(Virtual Hosts)相当于一个相对独立的RabbitMQ服务器。Vhost用作逻辑隔离,分别管理Exchange、Queue和Binding,使得应用安全地运行在不同的Vhost上,相互之间不会干扰。一个实例下可以有多个V
ALM-38018 Kafka消息积压 告警解释 如果用户在KafkaUI界面的“Alarms”中配置了需要上报的Kafka消息积压告警规则(默认不存在Kafka消息积压告警规则),则系统将按照如下规则进行上报: 系统每60秒周期性检测所有用户配置的消费者组订阅的Topic,当连
REASSIGN OWNED 功能描述 修改数据库对象的所有者。 REASSIGN OWNED用于将旧角色的数据库对象所有者改为新角色。 注意事项 REASSIGN OWNED常用于在删除角色之前的准备工作。 执行REASSIGN OWNED需要有原角色和目标角色上的权限。 语法格式
ALTER SEQUENCE 功能描述 修改序列定义。 注意事项 使用ALTER SEQUENCE的用户必须是该序列的所有者。 当前版本仅支持修改拥有者、归属列和最大值。若要修改其他参数,可以删除重建,并用Setval函数恢复当前值。 ALTER SEQUENCE MAXVALUE不支持在事务、函数和存储过程中使用。