맥북 M1에서 하둡 설치하기

필요한 프레임워크 다운로드

1. 하둡 3.3.0 다운로드

사이트 - https://hadoop.apache.org/release/3.3.3.html

2. 자바 1.8이상 버전 다운로드

사이트 - https://www.oracle.com/java/technologies/downloads/#jdk20-mac

3. 하이브 다운로드

사이트 - http://apache.mirror.cdnetworks.com/hive/hive-3.1.2/

하둡 설치

1. 압축풀기

tar xvfz hadoop-3.3.0.tar.gz

2. 하둡 설정 디렉토리로 이동
cd hadoop-3.3.0/etc/hadoop/

3. 환경파일(hadoop-env.sh) 수정
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_65.jdk/Contents/Home export HADOOP_HOME=/Users/hongtebari/Platform/hadoop-3.3.0
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

4. 설정파일 수정 : core-site.xml

9000번으로 접속

<configuration> 
	<property>
    	<name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

5. 설정파일 수정 : hdfs-site.xml

local pc에 demon을 띄우기 때문에 replication을 하나로 설정

<configuration>
	<property>
    	<name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

6. SSH 로그인 가능 여부 테스트

ssh localhost
-> 로그인 되지 않는 경우,
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 0600 ~/.ssh/authorized_keys

mac 유저라면 시스템 환경설정 -> 보안 및 개인 정보 보호에서 전체 디스크 접근 권한 선택후 terminal이 사용가능하도록 변경해줘야 한다.

참고 사이트: https://blog.boxcorea.com/wp/archives/3468 

 

설치 참소 주소: https://hadoop.apache.org/docs/r3.3.0/hadoop-project-dist/hadoop-common/SingleCluster.html#Standalone_Operation