Kecerdasan buatan sudah semakin keren, nih. Salah satu perkembangan teknologi kecerdasan ini bernama GPT-4, yang pernah dibahas pada artikel GPT-4: Kecerdasan Buatan Terkini.
Teknologi ini adalah salah satu model chatbot yang menggunakan large language model (LLM) untuk menjawab pertanyaan dengan cerdas. LLM adalah sebuah jenis kecerdasan buatan yang dapat memproses serta memahami bahasa manusia berdasarkan data latih skala besar sehingga dapat menghasilkan respon yang lebih relevan dan akurat.
Salah satu aplikasi yang menggunakan model ini adalah ChatGPT. Apakah kalian pernah memakainya? Suka kesel gak, sih, pas lagi banyak yang mau ditanyain, eh, ternyata kena limit. Aku mau ngasih solusinya dengan buat laptop kamu punya kemampuan seperti ChatGPT itu, disimak, ya.
💻 Mulai Belajar Pemrograman
Belajar pemrograman di Dicoding Academy dan mulai perjalanan Anda sebagai developer profesional.
Daftar SekarangKelebihan Menjalankan Model LLM Secara Lokal
Dengan adanya LLM secara lokal, kamu tidak perlu lagi bergantung pada koneksi internet untuk menggunakan kecerdasan buatan. Kamu bisa menggunakan laptop untuk menjawab pertanyaan-pertanyaan yang dimiliki, tanpa perlu khawatir kena limit atau kuota habis karena LLM ini sepenuhnya milikmu.
Selain itu, LLM secara lokal juga bisa membantu kita untuk menjaga kerahasiaan data. Kita tahu bahwa beberapa platform online itu kadang-kadang tidak terlalu peduli dengan privasi sehingga data kita bisa disalahgunakan. Dengan LLM secara lokal, kita bisa mengontrol siapa yang bisa mengakses data kita dan untuk apa saja penggunaannya.
Perlu diingat, karena LLM dijalankan secara lokal, berarti kecepatan untuk menggunakan menjawab pertanyaan juga bergantung terhadap sumber daya yang ada. Namun, tenang saja, pada tools yang digunakan, banyak model open source ringan yang cocok dengan laptop spesifikasi minimal. Selain itu, kamu juga dapat membuat server privat menggunakan virtual machine cloud karena tools ini juga menyediakan local server untuk mengakses model menggunakan API.
Instalasi LLM Secara Lokal
Mungkin kamu berpikir, “Wah, ini, sih, susah banget! Aku gak ahli AI atau machine learning!” Tenang, bro! Aku akan membantu kamu membuat LLM secara lokal dengan mudah dan cepat menggunakan tools bernama LM Studio.
LM Studio adalah tools open source untuk menjalankan LLM secara lokal yang dapat diinstal hanya dengan beberapa klik dan memiliki antarmuka pengguna grafis sehingga mudah untuk digunakan.
LMStudio hanya mendukung model dengan format GPT-Generated Unified Format (GGUF) dalam menjalankan model LLM yang memungkinkan penyimpanan model yang lebih ringkas dan dapat dikembangkan dengan tetap mempertahankan kompatibilitas dengan versi model yang lama.
Jika tertarik untuk mempelajari format ini, kamu dapat mempelajari artikel berikut. Pencarian model ini dipermudah dengan fitur bawaan untuk mencari model open source yang cocok dari Hugging Face dengan dokumentasi lengkap pada setiap model open source yang dapat digunakan.
Untuk mulai menggunakannya, kamu dapat langsung download pada website resmi lmstudio.ai. Kemudian, pada halaman utama kamu dapat men-download sesuai dengan operating system (OS) yang digunakan, tersedia untuk OS Windows, Mac, dan Linux.
Setelah itu, kamu dapat double click file yang telah di-download. Selanjutnya, instalasi akan berjalan dan kamu hanya perlu menunggu. Selesai instalasi, kamu akan dihadapkan pada user interface seperti berikut.
Pada bagian navigasi di pojok kiri, kamu dapat menemukan beberapa halaman, berikut di antaranya.
- Home sebagai tampilan depan ketika menggunakan aplikasi, berisi search bar untuk mencari model dan beberapa model card open source yang umum digunakan.
- Search sebagai tempat untuk mencari model LLM yang ingin digunakan.
- AI Chat sebagai tempat untuk menggunakan model dan bertanya kepada model.
- Playground sebagai tempat untuk bereksperimen menggunakan beberapa model sekaligus untuk menjawab pertanyaan.
- Local Server sebagai tempat untuk menyediakan server lokal sehingga model dapat diakses melalui API.
- My Model sebagai tempat penyimpanan model yang telah di-download.
Langkah selanjutnya, setelah men-download aplikasi, kita perlu men-download model yang nanti akan digunakan. Kamu dapat melakukan pencarian melalui halaman Search untuk menemukan model open source yang kamu inginkan dalam Hugging Face atau menggunakan model terkenal yang umum digunakan pada halaman Home.
Model yang di-download disarankan tidak melebihi kapasitas RAM kamu karena secara default LM Studio akan menyimpan model ke dalam RAM untuk mempercepat proses inference saat menggunakan model. Jika ukuran model lebih besar dari RAM, model akan di-load dari disk kamu, dan akan memperlambat proses inference.
Untuk contoh ini, kita akan menggunakan model Google Gemma yang tersedia pada halaman Home. Penjelasan terkait model Gemma tersedia pada model card. Ada juga tombol download yang bisa diklik untuk memulai proses pengunduhan model ke laptop kamu.
Kamu dapat memantau proses pengunduhan semua model dengan mengklik progress bar yang ada di bagian bawah LM Studio. Pada bagian ini, kamu juga dapat membatalkan dan menjeda proses download.
Namun, menunggu model hingga selesai di-download tanpa menjedanya lebih disarankan karena terkadang download model akan terulang dari awal jika terlalu banyak dijeda.
Setelah proses unduh selesai, kamu dapat berpindah ke bagian My Models untuk melihat model yang telah kamu download. Pada bagian ini, kamu dapat melihat lokasi file model disimpan, ukuran storage yang digunakan, model yang telah di-download, serta kecocokan model dengan sistem kita.
Jika sudah tidak digunakan, kamu dapat menghapus model tersebut dengan menekan tombol merah pada bagian kanan model.
Menggunakan LLM Secara Lokal
Selesai men-download model, sekarang kita bisa menggunakan LLM secara lokal untuk menjawab pertanyaan-pertanyaan yang dimiliki. Pada bagian AI Chat, kamu dapat klik bagian “Select a model to load” untuk memilih model yang akan digunakan.
Kamu dapat memilih model yang sebelumnya sudah di-download dan menunggu model di-load dalam RAM.
Setelah model di-load, secara otomatis LM Studio akan mengubah preset setting menjadi konfigurasi sesuai dengan model yang di-load. Kamu dapat langsung menjalankan model dengan konfigurasi default.
Namun, jika tertarik untuk meningkatkan performa saat menjalankan model, kamu dapat menyesuaikan beberapa hal pada bagian settings. Pertama, pada bagian “System Prompt” untuk memberikan prompt konteks kepada model sehingga model dapat memberikan jawaban yang lebih sesuai dengan harapan.
Kedua, “Context Length” untuk menentukan berapa token maksimal yang akan dijadikan input model selanjutnya (semakin besar maka akan semakin berat untuk dijalankan karena riwayat chat yang dijadikan input konteks semakin banyak).
Ketiga, “CPU Thread” untuk menentukan beban CPU yang ingin digunakan. Keempat, “GPU Offload” untuk menentukan beban GPU yang digunakan. Kelima, “Keep entire model in RAM” untuk menentukan bahwa model akan selalu disimpan dalam RAM hingga dilepaskan (jika RAM kamu lebih kecil dari ukuran model, sebaiknya dinonaktifkan, tetapi akan memperlambat saat model digunakan).
Lebih lengkapnya, kamu bisa pelajari dari dokumentasi yang dapat ditemukan dengan mengarahkan mouse ke bagian informasi, seperti yang ditunjuk tanda panah merah pada gambar berikut.
Sekarang, kita sudah siap menggunakan LLM secara lokal untuk menjawab pertanyaan-pertanyaan yang dimiliki.
Contohnya, kita akan menanyakan tentang penjelasan large language model dengan sangat sederhana. Cukup tulis pertanyaan kamu dalam bagian “Enter a user message” dan tekan Enter untuk mengirimkan pertanyaan ke model. Setelah itu, model akan merespons seperti saat kamu menggunakan ChatGPT.
Keren, kan? Sekarang laptop kamu sudah memiliki kemampuan ChatGPT yang dapat menjawab pertanyaan-pertanyaanmu tanpa perlu khawatir kena limit.
Kamu dapat menggunakan LLM secara lokal ini untuk menjawab pertanyaan-pertanyaan yang sulit, membuat konten, atau bahkan membantu dalam mengerjakan tugas-tugas. Setelah selesai atau ingin mengganti model, kamu dapat menekan tombol “Eject Model” sehingga model dapat dilepaskan dari RAM.
Kesimpulan
Dengan menggunakan LM Studio, kamu dapat membuat laptop memiliki kemampuan seperti ChatGPT dengan mudah dan cepat. Kamu tidak perlu lagi khawatir tentang koneksi internet atau limit penggunaan. Selain itu, kamu juga dapat menjaga kerahasiaan datamu dengan memanfaatkan LLM secara lokal.
Namun, perlu diingat bahwa LLM secara lokal memiliki keterbatasan pada sumber daya yang ada. Kamu perlu memastikan bahwa laptop yang dipunyai memiliki kapasitas cukup untuk menjalankan model LLM yang dipilih.
Demikianlah, kamu dapat membuat laptop menjadi lebih cerdas dengan menggunakan kecerdasan buatan. Cobalah sekarang dan rasakan kemampuan ChatGPT pada laptop kamu!
