检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ResourceManager IP地址:可登录FusionInsight Manager界面,选择“集群 > 服务 > Yarn > 实例”查看任一ResourceManager的业务IP获取。 端口:ResourceManager的HTTP端口。可登录FusionInsight Manager界面,选择“集群
--remote /opt/my-topology.yaml --filter /opt/my-prop.properties 拓扑提交成功后请自行登录storm UI查看。 父主题: Storm应用开发常见问题
login_log(user,last_login); -- 0 07:15:30.000 假设有日志表记录用户距离上次登录的时间,那么这个结果表明平均登录时间间隔为0天7小时15分钟30秒 bool_and(boolean value) 描述:当每个输入值都是true,返回true,否则返回false。
compaction压力增大,该参数取值范围为[1,10],默认值为“1”,建议根据实际资源情况进行设置。 操作步骤 以客户端安装用户,登录安装客户端的节点。 执行以下命令切换到客户端目录。 cd 客户端安装目录 执行以下命令配置环境变量。 source bigdata_env
ResourceManager IP地址:可登录FusionInsight Manager界面,选择“集群 > 服务 > Yarn > 实例”查看任一ResourceManager的业务IP获取。 端口:ResourceManager的HTTPS端口。可登录FusionInsight Manager界面,选择“集群
需要很好的可扩展能力 MRS对外提供了基于HDFS组件的应用开发样例工程,本实践用于指导您创建MRS集群后,获取并导入样例工程并在本地进行编译调测,用于实现MRS集群中的HDFS文件目录创建、文件写入、读取、删除等操作。 创建MRS Hadoop集群 购买一个包含有Hadoop组件的MRS集群,详情请参见购买自定义集群。
--remote /opt/my-topology.yaml --filter /opt/my-prop.properties 拓扑提交成功后请自行登录storm UI查看。 父主题: Storm应用开发常见问题
--remote /opt/my-topology.yaml --filter /opt/my-prop.properties 拓扑提交成功后请自行登录storm UI查看。 父主题: Storm应用开发常见问题
编译并调测Flink应用 操作场景 在程序代码完成开发后,编译jar包并上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Flink客户端的运行步骤是相同的。 基于YARN集群的Flink应用程序不支持在Windows环境下运行,只支持在Linux环境下运行。
x ./configure make make install 使用如下命令更新curl的动态链接库: ldconfig 安装成功后,重新登录节点环境,使用如下命令查看curl版本是否更新成功: curl --version 获取JobHistory中所有应用信息: 命令: curl
介绍开启RocksDB监测和告警和相关调优参数。 开启Flink作业RocksDB监测步骤 使用具有FlinkServer管理员权限的用户登录FusionInsight Manager。 选择“集群 > 服务 > Flink”,在“Flink WebUI”右侧,单击链接,访问Flink的WebUI。
'https://x.x.x.x:28443/web/api/v2/tools/encrypt' 其中user name:password分别为当前系统登录用户名和密码;"plainText"的password为调用“generate_keystore.sh”脚本时的密码;x.x.x.x为集群
录/JDBCTransaction”目录下。 “客户端安装目录/JDBC”目录,用来调测JDBC二次样例; “客户端安装目录/JDBCTransaction”目录,用来调测事务二次样例。 登录客户端节点,进入jar文件上传目录下,修改文件权限为700。 cd 客户端安装目录/JDBC
hiveMetaClass, hiveShimClass); //开启Kerberos认证的安全集群登录 if("kerberos".equalsIgnoreCase(config.get("hadoop.security.authentication"))){
尔超出预期的数据峰值出现。 当某些业务场景要求在集群扩缩容之后,根据节点数量的变化对资源分配或业务逻辑进行更改时,手动扩缩容的场景客户可以登录集群节点进行操作。对于弹性伸缩场景,MRS支持通过自定义弹性伸缩自动化脚本来解决。自动化脚本可以在弹性伸缩前后执行相应操作,自动适应业务负
enabled: true table.optimizer.distinct-agg.split.bucket-num: 1024 查询今天有多少唯一用户登录: SELECT day, COUNT(DISTINCT user_id) FROM T GROUP BY day 自动改写查询: SELECT
、名称完全相同的二级索引。 在主集群手动将索引列族(默认是d)的REPLICATION_SCOPE设置为1。 配置HBase本地二级索引 登录MRS控制台,单击集群名称,选择“组件管理”。 在组件列表中选择“HBase > 服务配置”,在下拉列表中将“基础配置”切换为“全部配置”
编译并调测Flink应用 操作场景 在程序代码完成开发后,编译jar包并上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Flink客户端的运行步骤是相同的。 基于YARN集群的Flink应用程序不支持在Windows环境下运行,只支持在Linux环境下运行。
复制连接器和作业。 start 启动作业。 stop 停止作业。 status 查询作业状态。 命令参考 sqoop2-shell有两种获取登录认证信息的方式,第一种通过配置文件获取,具体配置项请参考使用sqoop-shell工具导入数据到HDFS、使用sqoop-shell工具导
复制连接器和作业。 start 启动作业。 stop 停止作业。 status 查询作业状态。 命令参考 sqoop2-shell有两种获取登录认证信息的方式,第一种通过配置文件获取,具体配置项请参考开源sqoop-shell工具使用示例(SFTP - HDFS)、开源sqoop-shell工具使用示例(Oracle