Hadoop Distributed File System (HDFS) adalah sistem file terdistribusi yang dipakai oleh Apache Hadoop. Dalam artikel ini, kita akan membahas cara membuat direktori di HDFS dan menyalin file dengan menggunakan perintah-perintah yang disediakan oleh Hadoop.
1. Apa itu Hadoop Distributed File System (HDFS)?
Hadoop Distributed File System (HDFS) adalah salah satu komponen utama dari Apache Hadoop. Sistem ini dirancang untuk menyimpan dan mengelola data dalam skala besar di berbagai node atau server yang terhubung secara fisik maupun virtual. Dengan desainnya yang dirancang untuk kehandalan tinggi, HDFS adalah solusi ideal untuk mengelola big data.
2. Membuat direktori di HDFS
Langkah pertama dalam membuat direktori di HDFS adalah terhubung ke cluster atau server menggunakan perintah SSH. Setelah terhubung, Anda dapat menggunakan perintah `hdfs dfs -mkdir` untuk membuat direktori baru di dalam sistem file terdistribusi.
Contoh:
“`
hdfs dfs -mkdir /user/nama_pengguna/direktori_baru
“`
Perintah ini akan membuat sebuah direktori baru dengan nama direktori_baru di dalam direktori /user/nama_pengguna. Jika direktorinya berhasil dibuat, tidak akan ada output dari perintah ini.
Anda juga dapat membuat beberapa level direktori sekaligus dengan menambahkan lebih banyak path ke perintah tersebut:
Contoh:
“`
hdfs dfs -mkdir /user/nama_pengguna/level1/level2/direktori_baru
“`
Hal ini akan menciptakan struktur direktori dengan /user/nama_pengguna/level1/level2/direktori_baru di dalam HDFS.
3. Menyalin file ke HDFS
Setelah membuat direktori di HDFS, langkah selanjutnya adalah menyalin file ke sistem file terdistribusi menggunakan perintah `hdfs dfs -put`. Perintah ini akan menyalin file dari lokal ke HDFS.
Contoh:
“`
hdfs dfs -put /lokasi/file_lokal /user/nama_pengguna/direktori_tujuan
“`
Perintah ini akan menyalin file dengan nama file_lokal dari lokasi lokal ke dalam direktori /user/nama_pengguna/direktori_tujuan di HDFS. Jika berhasil, tidak akan ada output yang ditampilkan oleh perintah ini.
Anda juga dapat menyalin seluruh direktori dan isinya dengan menggunakan opsi `-R`:
Contoh:
“`
hdfs dfs -put -R /lokasi/direktori_lokal /user/nama_pengguna/direktori_tujuan
“`
Dalam contoh di atas, `-R` mengindikasikan bahwa Anda ingin menyalin seluruh struktur direktori dan isinya dari /lokasi/direktori_lokal ke dalam /user/nama_pengguna/direktori_tujuan di HDFS.
4. Kesimpulan
Dalam artikel ini, kita telah mempelajari cara membuat direktori di Hadoop Distributed File System (HDFS) dan juga bagaimana menyalin file ke dalam sistem file terdistribusi tersebut. Dengan menggunakan perintah-perintah seperti `hdfs dfs -mkdir` dan `hdfs dfs -put`, kita dapat mengatur dan mengelola data secara efisien dalam skala besar. HDFS merupakan komponen penting dalam ekosistem Apache Hadoop dan terus digunakan untuk mengatasi tantangan pengelolaan big data.
