检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
IAM同步 功能介绍 将IAM用户和用户组同步到manager,指定用户的情况下,会将该用户关联的IAM用户组也同步到manager。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/iam-sync-user
OperateAccess权限和在集群所在区域拥有CES FullAccess(对开启细粒度策略的用户)、CES Administrator和KMS Administrator权限。同时请勿在IAM修改MRS_ECS_DEFAULT_AGENCY委托。 如需使用预置的委托,请跳过创
'\t') CarbonData也支持\001和\017作为分隔符。 对于CSV数据,分隔符为单引号(')时,单引号必须在双引号(" ")内。例如:'DELIMITER'= "'"。 QUOTECHAR:可以在加载命令中提供分隔符和引号字符。默认值为"。 OPTIONS('DELIMITER'='
不允许source的个数或者类型发生变化。 source的参数变化,这种情况是否能被支持,取决于source类型和查询语句,例如: 速率控制相关参数的添加、删除和修改,此种情况能被支持,如:spark.readStream.format("kafka").option("subscribe"
不允许source的个数或者类型发生变化。 source的参数变化,这种情况是否能被支持,取决于source类型和查询语句,例如: 速率控制相关参数的添加、删除和修改,此种情况能被支持,如:spark.readStream.format("kafka").option("subscribe"
不允许source的个数或者类型发生变化。 source的参数变化,这种情况是否能被支持,取决于source类型和查询语句,例如: 速率控制相关参数的添加、删除和修改,此种情况能被支持,如:spark.readStream.format("kafka").option("subscribe"
第三方jar包跨平台(x86、TaiShan)支持 在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录 ARM环境python pipeline运行报139错误码 Structured Streaming 任务提交方式变更 常见jar包冲突处理方式
static void main(String[] args) throws Exception { String userPrincipal = "sparkuser"; String userKeytabPath = "/opt/FIclient/user.keytab";
jar,该jar包可在Kafka的客户端目录下获取。 下面列出producer和consumer主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink.examples.WriteIntoKafka和com.huawei.bigdata.flink.examples
jar,该jar包可在Kafka客户端目录下获取。 下面列出producer和consumer,以及Flink Stream SQL Join使用主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink.examples.WriteIntoKafka和com.huawei.bigdata.flink
在“Table Name”填写Hive表的名称。 支持字母、数字、下划线,首位必须为字母或数字,且长度不能超过128位。 根据需要,在“Description”填写Hive表的描述信息。 在“Input File or Location”单击,在HDFS中选择一个用于创建Hive表文件。此文件将存储Hive表的新数据。
第三方jar包跨平台(x86、TaiShan)支持 在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录 ARM环境python pipeline运行报139错误码 Structured Streaming 任务提交方式变更 常见jar包冲突处理方式
过50MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数可以在Manager界面中配置。 表1 Flume日志列表 日志类型 日志文件名 描述 运行日志
IDEA中运行main方法提交 * 3、本地提交 ,在本地执行应用程序,一般用来测试 * 命令行方式和远程方式安全和普通模式都支持 * 本地提交仅支持普通模式 * *
图3 服务自定义配置 根据配置文件与参数作用,在对应参数项所在行“名称”列输入组件支持的参数名,在“值”列输入此参数的参数值。 支持单击和增加或删除一条自定义参数。第一次单击添加自定义参数后才支持删除操作。 修改某个参数的值后需要取消修改,可以单击恢复。 单击“保存配置”,勾选
配置HDFS token的最大存活时间 配置场景 安全模式下,HDFS中用户可以对Token的最大存活时间和Token renew的时间间隔进行灵活地设置,根据集群的具体需求合理地配置。 配置描述 参数入口: 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。
配置HDFS token的最大存活时间 配置场景 安全模式下,HDFS中用户可以对Token的最大存活时间和Token renew的时间间隔进行灵活地设置,根据集群的具体需求合理地配置。 配置描述 参数入口: 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。
克隆包周期集群时默认不自动续费。 磁盘类型为专属分布式存储的集群不允许克隆。 克隆时仅可以修改为更高集群版本,无法克隆创建历史版本集群。 在组件服务配置修改的参数和创建集群时选择的自定义软件配置的参数不会克隆到新集群。 资源池维度的弹性伸缩策略不支持克隆。 克隆集群时克隆作业: 未通过console平台
false principal is null tryFirstPass is false useFirstPass is false storePass is false clearPass is false Acquire TGT from Cache Principal is xxx@HADOOP
thrift.transport.TTransportException: java.net.SocketException: Broken pipe 原因分析 从外部存储(例如HDFS)导入数据时,由于目录下文件过多,导致列出文件目录超时。 处理步骤 登录FusionInsight Manager,选择“集群