btw temen2 pasti udah pada kenal dengan yang namanya wget terutama bagi pengguna linux so pasti sudah sangat mengenal command wget. tahu gak ternyata wget itu bisa mendownload layaknya download manager bahkan bisa lebih hebat, terbukti dari , perintah wget ini bisa mendownload semua isi halaman web, bisa resume download, bisa mengambil hanya file gambar aja, dan banyak lagi kegunaan wget ini,nah gak usah panjang lebar untuk penjelasanya, sekarang saya akan kenalkan beberapa perintah yang digunakan untuk menggunaka wget secara maksimal adapun perintahnya adalah sebagai berikut:tentunya perintah wget ini bisa di jalankan di dosnya windows dan terminal di linux,

  1. mendownload secara basic, perintah yang digunakan adalah “wget url yang di donlod”
  2. mendownload semua isi website “ wget -p -k http://www.example.com/ “
  3. mendownload semua content dari website “wget -r -l 0 http://www.example.com/”
  4. Mendownload tingkat lanjut bisa menggunakan perintah ini “wget -t 7 -w 5 –waitretry=14 –random-wait –user-agent=”Mozilla/5.0
         (Windows; U; Windows NT 5.1; en-US; rv:1.8.0.1) Gecko/20060111        Firefox/1.5.0.1" -m -k -K -e robots=off  

    http://www.oreilly.com/catalog/upt3/errata/ -o ./myLog.log”

  5. Mendownload spesifik link yang akan di ambil “wget -t 22 –waitretry=48 –wait=33 –random-wait –user-agent=”” -e robots=off -o ./my_movies.log -P/movies -i ./my_movies.txt”
  6. Mendownload content yang terproteksi “wget –cookies=on –keep-session-cookies –save-cookies=cookie.txt http://first_pagewget –referer=http://first_page –cookies=on –load-cookies=cookie.txt –keep-session-cookies –save-cookies=cookie.txt http://second_page”
  7. Membuat mirror dari website tertentu “wget –mirror -w 2 -p –html-extension –convert-links -P <dir> http://www.yourdomain.com”
  8. Mendownload Banyak file sekaligus dengan menlist terlebih dahulu URL yang akan di download ke dalam file text. adapun langkah-langkahnya sebagai berikut : 

Langkah pertama, buat sebuah file (misalkan namanya list.txt) yang isinya list URL file-file yang ingin di-download. Contohnya kaya gini :http://ftp5.gwdg.de/pub/opensuse/distribution/10.3/iso/cd/openSUSE-10.3-GM-GNOME-i386.isohttp://ftp5.gwdg.de/pub/opensuse/distribution/10.3/iso/cd/openSUSE-10.3-GM-KDE-i386.isohttp://ftp5.gwdg.de/pub/opensuse/distribution/10.3/iso/cd/openSUSE-10.3-GM-GNOME-x86_64.isohttp://ftp5.gwdg.de/pub/opensuse/distribution/10.3/iso/cd/openSUSE-10.3-GM-KDE-x86_64.isohttp://ftp5.gwdg.de/pub/opensuse/distribution/10.3/iso/cd/openSUSE-10.3-GM-Addon-NonOss-BiArch.isoDicontoh ini saya ingin men-download 5 file cd-iso installer openSuSE Linux 10.3. Perhatikan bahwa saya men-download-nya dari sebuah http server (bukan ftp!). Untuk mendapatkan complete URLsebuah file, cukup letakkan cursor di atas link file tersebut. Lalu klik kanan, ‘Copy Shortcut‘ (di IE) atau ‘Copy Link Location‘ (Firefox), lalu paste ke file list.txt tadi. Save file tersebut di suatu tempat, katakanlah di $WDIR/list.txt. Letakkan program wget di tempat yang sama, tapi bisa juga diletakkan di tempat yang berbeda, asalkan path-nya di set ke tempat tersebut.Mulailah men-download dengan mengetikkan perintah :wget –wait 5 -i $WDIR/list.txt -P $WDIR/downloadMaksud dari perintah di atas adalah download semua file yang ada di list.txt, lalu letakkan hasil download ke direktori download, dan berikan jeda 5 detik untuk tiap proses download. Sangat penting untuk memberikan jeda (–wait) pada saat men-download. Jangan egois dengan men-download membabi buta. Beri kesempatan pada server untuk ‘bernafas’ sejenak sebelum anda ‘menyedotnya’ lagi ! Perlu diingat bahwa ftp protokol akan membuat sebuah koneksi baru setiap kali men-download file. Karena itu, semakin banyak file yang di-download, semakin lama waktu yang diperlukan untuk men-download-nya meskipun ukuran filenya kecil. Men-download 10 file berukuran 1 Mb, biasanya lebih lama daripada men-download 1 file berukuran 10 Mb.Di Unix, perintah di atas dijalankan di atas shell, sedangkan di Windows dijalankan dengan command prompt. Jangan lupa menambahkan ekstensi .exe untuk wget versi Windows.Selanjutnya, agar proses download berjalan di ‘belakang’ (batch), maka kita harus membuat sebuah shell script (di Unix) atau batch file (di Windows). Contohnya sebagai berikut :Unix (sh script – down.sh) #! /bin/shwget -c –wait=5 -P /dewa108/work/download -i /dewa108/work/list.txtWindows (batch script – down.bat)wget.exe -c –wait=5 -P D:\dewa108\work\download -i D:\dewa108\work\list.txtDi script ini saya tambahkan opsi -c agar file di-download secara continous. Artinya jika belum complete, file itu akan terus coba di-download. Ada berbagai opsi tambahan untuk menjalankan wget. Tapi ada beberapa opsi yang sering saya gunakan, di antaranya :–no-passive-ftp : agar proses download tidak dilakukan seperti www browser (passive)-nc: no clobber, agar file yang sudah di-download tidak di download lagi–no-proxy : agar proses download tidak menggunakan proxy yang sudah di set (di file .wgetrc)–http-user–http-password : digunakan jika web server tempat file berada menggunakan autentikasi (user dan password)Masih banyak opsi lain untuk wget. Silakan membaca manual wget untuk lebih jelasnya.Lanjut ke shell dan batch script tadi. Untuk batch script, ekstensinya harus .bak, sedangkan shell scriptbebas, biasanya tergantung shell yang digunakan. Khusus untuk shell script, file-nya harus di chmodterlebih dahulu agar menjadi executable.chmod 755 down.shLalu jalankan script tersebut dengan menggunakan perintah :at -f down.sh now‘now‘ bisa diganti dengan ‘11 pm’ atau waktu lainnya sesuai yang diinginkan, asalkan formatnya menggunakan waktu 12 jam (ada am dan pm). Untuk mengecek apakah script sudah berjalan, ketik saja ps ax di shell. Harusnya ada line wget yang berjalan. Cek juga direktori download, apakah sudah ada file yang ter-download. Untuk Windows, jalankan saja down.bak lewat Schedule Tasks. Scheduled Tasks ada di Start > All Programs > Accessories > System Tools. Ikuti saja wizard-nya.

Categories: Centos, Ngoprek, Ubuntu

Sponsors

  • Depkominfo
  • Universitas Udayana
  • Website and logo design contests at DesignContest.com.
  • Reviews of the best cheap web hosting providers at WebHostingRating.com.