
Belajar Fundamental Pemrosesan Data
Topik:
AI Machine Learning +2 lainnyaLevel: Menengah
Siswa Terdaftar
Topik:
AI Machine Learning +2 lainnyaLevel: Menengah
Siswa Terdaftar
Data adalah elemen krusial dalam data science dan machine learning. Kualitas data yang baik menentukan akurasi model dan keandalan analisis. Kelas ini dirancang untuk membantu Anda menjadi Data Engineer yang mampu menyiapkan data berkualitas menggunakan Python dan PostgreSQL. Materi mencakup prinsip rekayasa perangkat lunak, jenis penyimpanan data, pemrosesan data, serta otomatisasi skrip Python guna meningkatkan efisiensi pengolahan data dalam proyek data science dan machine learning.
Peralatan Belajar
Spesifikasi minimal perangkat:
Prosesor
Intel Celeron (Rekomendasi Core i3 ke atas).
Tools yang dibutuhkan untuk belajar:
PyCharm IDE
Lihat semua peralatan belajar
Lihat semua peralatan belajarKelas ini membutuhkan spesifikasi perangkat seperti berikut:
RAM
4GB (Rekomendasi 8GB)
Layar
1366 x 768 (Rekomendasi Full HD 1920 x 1080)
Sistem Operasi
Windows, Linux, MacOS
Prosesor
Intel Celeron (Rekomendasi Core i3 ke atas).
Kelas ini membutuhkan beberapa tools berikut:
PyCharm IDE
Command Line (Terminal atau cmd)
Web Browser (Google Chrome atau Mozilla Firefox)
Metode Ajar
Online - Self-paced Learning
Fasilitas Pengajaran
Sertifikat kompetensi
Lihat semua metode ajar
Lihat semua metode ajarOnline - Self-paced Learning
Fasilitas Pengajaran
Sertifikat kompetensi
Kontributor
1Curriculum Developer yang membangun kelas ini:
Ridha Ginanjar
Curriculum Developer and Technical Instructor at Dicoding Indonesia
Reviewer
1Code Reviewer yang akan me-review tugas dan kode Anda:
Ridha Ginanjar
Curriculum Developer and Technical Instructor at Dicoding Indonesia
Lihat semua kontributor dan reviewer
Lihat semua kontributor dan reviewerKontributor kelas
Curriculum Developer yang membangun kelas ini:
Ridha Ginanjar
Curriculum Developer and Technical Instructor at Dicoding Indonesia
Tim Reviewer
Code Reviewer yang akan me-review tugas dan kode Anda:
Ridha Ginanjar
Curriculum Developer and Technical Instructor at Dicoding Indonesia
Ribuan siswa sukses belajar di Dicoding Academy. Apa kata mereka? Berikut adalah testimoni asli mereka.
Lihat semua testimoni
Lihat semua testimoniBerikut adalah beberapa pertanyaan yang paling sering ditanyakan.
Materi yang akan Anda pelajari pada kelas ini.
Memahami HAKI, mekanisme belajar, forum diskusi, glosarium, dan daftar referensi.
2 Menit
10 Menit
10 Menit
10 Menit
10 Menit
20 Menit
10 Menit
5 Menit
Mengimplementasikan praktik rekayasa perangkat lunak menggunakan bahasa pemrograman Python.
Pengenalan Software Engineering
25 Menit
Prinsip Clean dan Modular Code
30 Menit
Virtual Environment
30 Menit
Latihan: Mengorganisasi Proyek Python
35 Menit
Efisiensi Kode
35 Menit
Dokumentasi yang Efektif
25 Menit
Version Control
25 Menit
Pengujian
50 Menit
Latihan: Membuat Unit Test
60 Menit
Rangkuman Software Engineering dengan Python
30 Menit
Kuis Software Engineering dengan Python
20 Menit
Menggunakan berbagai penyimpanan data berdasarkan tipe data, format data, dan kebutuhan lainnya seperti data mining.
Pengenalan Repositori Data
25 Menit
Tipe-Tipe Data
25 Menit
Tipe-Tipe Format Flat File
30 Menit
Spreadsheets
30 Menit
Latihan: Menyimpan Data ke Google Sheets
35 Menit
Basis Data
35 Menit
Relational Database Management Systems (RDBMS)
30 Menit
Latihan: Memasang PostgreSQL
53 Menit
Latihan: Membuat User dan Database pada PostgreSQL
40 Menit
NoSQL
30 Menit
Integrasi Data
35 Menit
Rangkuman Repositori Data
30 Menit
Kuis Repositori Data
20 Menit
Memecahkan masalah pengumpulan data dengan melalui proses Extract, Transform, dan Load (ETL) pipelines untuk mengambil dan mengenali data yang relevan menggunakan Python.
Pengenalan ETL Pipelines
25 Menit
Pengenalan Ekstraksi Data
30 Menit
Mengimpor Teks File dengan Fungsi Bawaan Python
50 Menit
Mengimpor Flat File dengan Pandas
40 Menit
Mengimpor Format File Lain dengan Pandas
50 Menit
Mengimpor Data dari Relational Database
60 Menit
Latihan: Terhubung dan Menambahkan Data ke Database PostgreSQL Melalui Python
60 Menit
Latihan: Manipulasi Data dengan SQL Melalui Python
75 Menit
Mengimpor Data dari Internet
30 Menit
Latihan Scraping Data: Mengambil Data dari Internet
80 Menit
Teknik Lanjutan Scraping Data
60 Menit
Latihan Scraping Data: Teknik Lanjutan
90 Menit
Rangkuman ETL Pipelines: Extract
30 Menit
Kuis ETL Pipelines: Extract
20 Menit
Memecahkan masalah data kotor dengan melakukan transformasi untuk membersihkan dan mengubah data, serta load untuk menyimpan data dalam proses Extract, Transform, dan Load (ETL) pipelines.
Pengenalan Transformasi Data
40 Menit
Permasalahan Umum pada Kualitas Data
40 Menit
Kesalahan Data Bertipe Teks dan Kategorikal
40 Menit
Regular Expression pada Python
50 Menit
Menggabungkan Data yang Serupa
80 Menit
Menangani Data Bertipe Waktu dan Tanggal
60 Menit
Latihan Transformasi Data: Pembersihan Data
75 Menit
Pengenalan Load Data
40 Menit
Latihan Load Data: Menyimpan Hasil Data ke PostgreSQL
90 Menit
Optimalisasi Load Data
40 Menit
Permasalahan Saat Load Data
35 Menit
Rangkuman ETL Pipelines: Transform dan Load
30 Menit
Kuis ETL Pipelines: Transform dan Load
20 Menit
Memproyeksikan proses automasi dalam data pipeline.
Pengenalan Automasi
45 Menit
Berinteraksi dengan Sistem Operasi
50 Menit
Shell Scripting dan Cron Job
55 Menit
Latihan: Menjalankan Skrip Python Secara Terjadwal
75 Menit
Automasi Skrip Python
55 Menit
Latihan: Automasi ETL Pipeline
90 Menit
Rangkuman Automasi dengan Python
30 Menit
Kuis Automasi dengan Python
20 Menit
Mengidentifikasi poin penting berupa materi-materi dari seluruh kelas dan informasi daftar referensi yang digunakan di kelas ini.
Rangkuman Kelas
60 Menit
Ujian Akhir
120 Menit
Menguji pemahaman peserta dalam membuat ETL pipeline dengan menerapkan prinsip-prinsip software engineering.
Proyek Akhir: Membangun ETL Pipeline Sederhana
800 Menit