[hadoop] docker를 이용한 hadoop설치부터 기본 명령01( java설치 포함)

 

---

docker run -it --name=hadoop centos:8

 

yum update -y
yum install wget -y
yum install vim -y
yum install openssh-server openssh-cilends openssh-askpass =y

 

 

뭔가 업데이트가 됩니다.

 

 

 

 

 

이미지 썸네일 삭제

Amazon Corretto 프로덕션용 OpenJDK 배포

Amazon Corretto는 무료로 사용할 수 있는 Open Java Development Kit(OpenJDK)의 프로덕션용 멀티플랫폼 배포판입니다. Corretto에는 무료 장기 지원이 제공됩니다. Amazon은 Corretto를 수천 개의 프로덕션 서비스에서 내부적으로 실행하며, Corretto는 Java SE 표준과 호환되는 것으로 인증되었습니다.

aws.amazon.com

 

 

wget https://corretto.aws/downloads/latest/amazon-corretto-8-x64-linux-jdk.tar.gz

 

tar xvfz amazon-corretto-8-x64-linux-jdk.tar.gz

 

압축해제를 하는 명령입니다.

tar xvfz amazon 까지만 치고(tab)키를 누르면 자동완성됩니다.

 

mv amazon-corretto-8.292.10.1-linux-x64/ /java
rm -rf amazon-corretto-8-x64-linux-jdk.tar.gz

 

mv amazon(tab).(tab) /java

rm -rf amazon(tab)

 

 

 

chown -R root:root /java
ls -l
chmod 777 /java

 

 

 

 

 

 

Apache Hadoop

Apache Hadoop The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing. The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of computers using simple programming models. It is d...

hadoop.apache.org

 

 

wget https://mirror.navercorp.com/apache/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz

 

tar xvzf hadoop-2.10.1/hadoop-2.10.1.tar.gz

 

압축 푸는데 정신없네요 ㅎ...

 

 

 

 

글씨 색깔은 그냥 설정 바꾼거입니다! ( 위에까지가 설치였다면 아래에서 부터는 하둡 기본입니다! )

mv hadoop-2.10.1 /hadoop
rm -rf hadoop-2.10.1

 

chown -R root:root hadoop
chmod 777 hadoop

 

 

 

ssh-keygen -t rsa -P '' -f ~/.ssh/id_dsa

 

 

 

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
cd /etc/ssh
ssh-keygen -t rsa -P '' -f ssh_host_rsa_key
ssh-keygen -t rsa -P '' -f ssh_host_ecdsa_key
ssh-keygen -t rsa -P '' -f ssh_host_ed25519_key

 

 

 

vim ~/.bashrc

 

# java
export JAVA_HOME=/java
export PATH=$PATH:$JAVA_HOME/bin

# hadoop
export HADOOP_HOME=/hadoop
export HADOOP_CONFIG_HOME=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

# sshd
/usr/sbin/sshd

 

 

 

 

 

source ~/.bashrc
java -version
javac -version

 

 

 

cd $HADOOP_HOME
cd $HADOOP_CONFIG_HOME
cd /

 

자바와 하둡 경로설정을 완료했습니다