检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/opt/knox/bin/restart-knox.sh 重启完成后在浏览器地址栏中,输入并访问FusionInsight Manager的网络地址,验证能否正常打开页面。 企业证书有效时间已过期或安全性加强,MRS更换为新的证书后,请同步更换本地证书。 登录FusionInsight Manager,选择“集群
HetuEngine数据类型隐式转换 开启HetuEngine数据类型隐式转换 关闭HetuEngine数据类型隐式转换 HetuEngine隐式转换对照表 父主题: HetuEngine常见SQL语法说明
在MRS集群节点的操作列选择“更多 > 网络设置 > 切换VPC”,切换节点VPC。 每个节点都需要切换VPC。 切换VPC时“虚拟私有云”、“子网”、“安全组”需要和集群初始的配置一致。 “私有IP地址”选择“现在创建”,填写1中查询对应节点的IP。 切换成功后,单击节点名称,需要在节点的“弹性网卡”中重启“源/目的检查”。
涉及HBase或Hive导入导出时,必须填写。 转换算子 数据转换的中间转换步骤,属于可选类型,各个转换算子可任意搭配使用。转换算子是针对字段而言,必须先使用输入算子,将数据转换成字段。 输出算子 数据转换的最后一步,每次转换有且只能有一种输出算子,用于输出处理后的字段。涉及H
通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下: 配置“更新域”算子,当发现值为test时,更新值,在test后面加上good。 转换后,输出A和B,结果如下: 父主题: 转换算子
输出步骤的列分隔符,当不指定时,默认等于fields-terminated-by的值。 output-lines-terminated-by 输出步骤的行分隔符,当不指定时,默认等于lines-terminated-by的值。 trans 指定转换步骤,值为转换步骤文件所在的路径。当指定文件的相对路径时,
通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“增加常量字段”算子,增加两个字段C和D: 转换后,将A、B、C和D按顺序输出,结果如下: 父主题: 转换算子
涉及HBase或Hive导入导出时,必须填写。 转换算子 数据转换的中间转换步骤,属于可选类型,各个转换算子可任意搭配使用。转换算子是针对字段而言,必须先使用输入算子,将数据转换成字段。 输出算子 数据转换的最后一步,每次转换有且只能有一种输出算子,用于输出处理后的字段。涉及H
Bigdata 配置“剪切字符串”算子后,生成两个新字段C和D: 转换后,分别输出这三个字段: abcd,product,abc,prod FusionInsight,Bigdata,Fus,Bigd 父主题: 转换算子
如何修改DBService的IP地址? 问: 如何修改DBService的浮动IP地址? 答: MRS集群内不支持修改DBService的IP地址。 父主题: 组件配置类
HetuEngine计算实例启动失败报错Python不存在 问题 启动HetuEngine计算实例失败,查看coordinator Container下面的“stderr.txt”日志报错如下: /usr/bin/env: ‘python’: No such file or directory
通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下: 配置“更新域”算子,当发现值为test时,更新值,在test后面加上good。 转换后,输出A和B,结果如下: 父主题: Loader转换类算子
MRS管理控制台与MRS集群Manager页面的区别和联系请参考表1。 表1 MRS管理控制台与Manager区别说明 常用操作 MRS管理控制台 MRS集群Manager 切换子网、添加安全组规则、OBS权限控制、管理委托、IAM用户同步 支持 不支持 新增节点组、扩容、缩容、升级规格 支持 不支持 隔离主机、启动所有角色、停止所有角色
Storm WebUI页面中events超链接地址无效 用户问题 Storm组件的Storm UI页面中events超链接地址无效。 问题现象 用户提交拓扑后无法查看拓扑数据处理日志,按钮events地址无效。 原因分析 MRS集群提交拓扑时默认不开启拓扑数据处理日志查看功能。 处理步骤
配置ClickHouse连接属性 在ClickhouseJDBCHaDemo、Demo、NativeJDBCHaDemo和Util文件创建connection的样例中设置连接属性,如下样例代码设置socket超时时间为60s。 ClickHouseProperties clickHouseProperties
x版本集群,NameNode节点存在ALM-12027主机PID使用率超过阈值告警,节点Java进程可能出现“unable to create new native thread”报错。 原因分析 使用以下命令统计节点进程的线程数并排序。 ps -efT | awk '{print $2}' |sort
输出步骤的列分隔符,当不指定时,默认等于fields-terminated-by的值。 output-lines-terminated-by 输出步骤的行分隔符,当不指定时,默认等于lines-terminated-by的值。 trans 指定转换步骤,值为转换步骤文件所在的路径。当指定文件的相对路径时,
通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“增加常量字段”算子,增加两个字段C和D: 转换后,将A、B、C和D按顺序输出,结果如下: 父主题: Loader转换类算子
1.5版本新增了一些开源特性。 具体特性或相关概念如下: DataSet,详见SparkSQL和DataSet原理。 Spark SQL Native DDL/DML,详见SparkSQL和DataSet原理。 SparkSession,详见SparkSession原理。 Structured
Bigdata 配置“剪切字符串”算子后,生成两个新字段C和D: 转换后,分别输出这三个字段: abcd,product,abc,prod FusionInsight,Bigdata,Fus,Bigd 父主题: Loader转换类算子