安装CDH（Cloudera Distribution Including Apache Hadoop）和MapReduce在华为云国际站的步骤如下。假设你已经有华为云的账号和适当的权限。
准备工作
- 准备华为云账号和权限：
确保你有一个有效的华为云账号并且具备所需的权限来创建和管理虚拟机、安装软件等。 - 选择合适的虚拟机：
根据集群的规模和预期负载选择合适的华为云虚拟机规格。建议选择支持高I/O和大内存的实例类型。
步骤一：设置虚拟机环境
- 创建虚拟机：
在华为云管理控制台中创建新的虚拟机实例。可以选择CentOS或Ubuntu操作系统。 -
配置虚拟机：
- 更新操作系统：
sudo yum update或sudo apt-get update - 安装必要的软件包：
sudo yum install -y wget curl vim或sudo apt-get install -y wget curl vim
- 更新操作系统：
步骤二：下载和安装CDH
-
添加Cloudera仓库：
根据操作系统，添加Cloudera仓库。对于CentOS:
sudo wget https://archive.cloudera.com/cdh6/6.3.3/parcels/ -O /etc/yum.repos.d/cloudera-cdh6.repo对于Ubuntu:
sudo wget https://archive.cloudera.com/cdh6/6.3.3/parcels/ -O /etc/apt/sources.list.d/cloudera-cdh6.list sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys <KEY_ID> sudo apt-get update -
安装CDH:
sudo yum install -y cloudera-manager-daemons cloudera-manager-server sudo yum install -y cloudera-manager-agent cloudera-manager-daemons或者对于Ubuntu:
sudo apt-get install -y cloudera-manager-daemons cloudera-manager-server sudo apt-get install -y cloudera-manager-agent cloudera-manager-daemons
步骤三：配置和启动Cloudera Manager
-
启动Cloudera Manager:
sudo systemctl start cloudera-scm-server sudo systemctl enable cloudera-scm-server -
启动Cloudera Manager Agent:
sudo systemctl start cloudera-scm-agent sudo systemctl enable cloudera-scm-agent - 访问Cloudera Manager Web界面：
打开浏览器，访问http://<your-vm-ip>:7180，默认的用户名和密码是admin/admin。 - 按照向导完成集群设置。
步骤四：安装和配置MapReduce
-
通过Cloudera Manager安装MapReduce：
- 登录Cloudera Manager Web界面。
- 导航到
集群页面。 - 点击
添加服务，选择MapReduce，然后按照向导完成安装。
-
配置MapReduce：
- 确保配置MapReduce所需的参数，如YARN资源管理器，HDFS配置等。
- 应用并保存配置。
-
验证MapReduce安装：
-
运行一个简单的MapReduce任务来确保一切正常工作。
hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar wordcount /input /output
-
总结
通过以上步骤，你应该能够在华为云上成功安装并配置CDH和MapReduce。如果在安装过程中遇到问题，可以参考Cloudera的官方文档或华为云的技术支持。
发布者：luotuoemo，转转请注明出处：https://www.jintuiyun.com/191078.html
