Tahukah cara kerja mesin pencari Google ?

Mesin pencari yang sangat handal bernama google, siapa yang tidak mengenal google saat ini. Setiap hari kita semua menjadi saksi bagaimana kehebatan google dalam melayani kita semua untuk mengakses informasi secara detail. Namun apakah anda semua tidak penasaran bagaimana Google mampu menyajikan hasil yang cocok dari triliunan halaman website yang tersedia hanya berdasarkan kata kunci yang kita ketik.

Search engine melayani pengguna dengan menyajikan informasi yang spesifik yang mereka cari melalui website. Ini adalah tool yang sangat ampuh yang menawarkan hasil pencarian yang spesifik dan cepat bagi pengguna dengan memberikan informasi yang disimpan di website lain. Mereka memberikan kemudahan pada pengguna untuk mengakses informasi diberbagai website. Para pengguna cukup mengetik saja permintaan mengenai suatu informasi yang mereka cari dan sisanya adalah pekerjaan mesin pencari untuk memberikan hasil yang relevan.

Diantara beberapa mesin pencari yang tersedia di dunia internet, Google adalah mesin pencari yang paling banyak digunakan dan paling dominan diantara mesin pencari lain.

Mesin pencari google dimiliki oleh Google Inc. Pertama kali dibangun oleh Larry Page dan Sergey Brin pada tahun 1997. Setiap hari ada lebih dari miliaran hit terjadi di website google dari seluruh dunia, ini sudah cukup untuk menggambarkan kepada kita bagaimana populernya google ini.

Tampilan utama google sangatlah sederhana, bisa dilihat pada gambar diatas, google cenderung berpenampilan simpel untuk memukau para penggunanya. Yang unik dari tampilan website ini adalah terkadang mereka merubah logo google agar sesuai dengan hari-hari tertentu dan pada tanggal-tanggal tertentu, semisal tahun baru, atau perayaan hari besar agama. Biasa dikenal dengan google doodle.

Bagaimana Cara Kerja Google

Ada triliunan halaman web yang tersedia di web (google bahkan saat artikel ini dibuat menuliskan ada 60 trillion individual pages , dan itu akan terus bertambah), yang sebagian besar memiliki judul halaman sesuai yang diinginkan oleh pemilik/penulis nya. Mari kita lihat bagaimana Google mampu memberikan hasil pencarian yang luar biasa dari ratusan halaman web yang tersedia.

Mesin pencari Google menggunakan perangkat lunak yang biasa dikenal dengan istilah Spider atau Web Crawler untuk mencari data dari berbagai web.

Software Spider atau Web Crawler adalah program yang dibuat agar berjalan otomatis yang menjaring website-website yang ada di internet dan mengambil data-data yang tersimpan didalam miliaran website tersebut dan menampilkan nya ke halaman hasil pencarian berupa link menuju halaman-halaman website tersebut. Googlebot adalah istilah untuk software laba-laba yang digunakan oleh mesin pencari Google.

Mesin pencari dimulai dengan sebuah modul crawler dimana spider/crawler atau googlebot dikirim ke Web untuk menjelajah website-website yang ada. Spider memulai dengan mengambil beberapa halaman web, lalu mereka mengikuti link yang ada pada halaman tersebut dan mengambil halaman yang terkait dan sebagainya, jika anda penasaran bisa melihat contoh sederhana bagaimana kita bisa mendapatkan semua link yang ada pada website hanya dengan PHP.

Ada miliaran halaman yang tersimpan pada ribuan mesin. Spider mengekstrak data yang ada pada setiap halaman dari setiap situs web dan menyimpan dalam repositori mereka. Kemudian data dikirim ke modul indexing, kemudian dipilah isi dari halaman tersebut dan mengekstrak elemen kunci seperti tag judul, tag deskripsi, data tentang gambar dan link internal. Pada dasarnya, modul indexing (pengindeksan) memberikan ringkasan yang benar-benar intisari dari setiap halaman web, seperti catatan-catatan tertentu. Kemudian data tesebut ditempatkan di dalam database yang disebut Index. Semua kegiatan tersebut berjalan terus sepanjang waktu meskipun permintaan dilakukan oleh user atau tidak. Googlebot akan terus mencari dan mengambil halaman yang dibolehkan (biasanya ada settingan allow dan disallow terhadap aktivitas googlebot ini, googlebot hanya akan mengambil yang dibolehkan oleh sang pemilik web, pengaturan tersebut biasanya dibuat di sebuah file bernama robot.txt).

Google juga akan memilah-milah website yang terindikasi melakukan aktifitas spam, ada beberapa ciri website yang akan dianggap spam oleh google, diataranya yang menyembunyikan teks dan memasang keyword dengan cara curang, website yang membuat konten secara otomatis (dilakukan robot) atau AGC (Auto Generate Content), Parked Domain, dan lain sebagainya.

Ketika Sebuah Permintaan Dilakukan Oleh User

Ketika seorang pengguna mengetikan permintaan/kata kunci di kotak pencarian google, query dipecah menjadi bahasa yang dimengerti oleh mesin. Modul query ini mengekstrak ribuan dan ribuan hasil dikembalikan dari database/index. Pada hasil yang diperoleh, modul pemeringkatan (rank/ranking) digunakan, berlaku rumus untuk menentukan peringkat halaman, peringkat lebih tinggi kemungkinan akan muncul di halaman pertama dan dibaris pertama, dan tentunya google akan menampilkan hasil yang paling relevan untuk para pengguna dalam pemeringkatan ini.

Bagaimana Google Melakukan Pemeringkatan

Google mempekerjakan algoritma berbasis link untuk menentukan peringkat dari hasil pencarian. Untuk ini, google akan melakukan pengecekan popularitas link (berapa banyak link yang dimiliki halaman tersebut, dalam arti ada berapa banyak link dari website lain yang mengarah ke halaman web tersebut), reputasi link yang mengarah pun diperhitungkan, apakah link yang mengarah ke halaman website tersebut datang dari website yang memilik popularitas atau ranking yang tinggi juga atau tidak, jika tinggi akan lebih baik efek nya bagi halaman website tersebut, karena bisa menjadi pertimbangan google untuk meningkatkan peringkat halaman web tersebut, oleh karena itulah banyak orang berlomba-lomba memperbanyak backlink dari website berkualitas menuju website mereka. Selain itu google juga menilai apakah link tersebut relevan dengan subjek dari halaman web tersebut dan berbagai faktor lain yang pada akhirnya menentukan pemeringkatan di hasil pencarian. Google menyebut mereka memiliki lebih dari 200 faktor yang mempengaruhi ranking sebuah website. Google menyukai website yang fresh dan selalu di update, konten berkualitas seperti website jurnalweb.com ini, yang kontennya aman, dan lain sebagainya.

saat ini orang berlomba-lomba agar website nya bisa ditemukan di mesin pencari, jika anda seorang pemilik website dan rugu website anda akan di jaring oleh software spider nya google, anda bisa memasukan halaman website anda ke mesin pencari google melalui google webmaster, permudah google dengan membuat sitemap yang berisi link, judul dan tanggal pembuatan halaman, lalu masukan ke repositori google melalui google webmaster.

Sumber : http://www.diskusiwebhosting.com/archive/thread-15984.html

Aspek legal Web Scrapping

Data scraping biasanya mengumpulkan data dari screen outputs atau mengekstrak data dari kode HyperText Markup Language (“HTML”) yang paling sering ditampilkan oleh sebagian besar websites (Lindenberg). Sehingga aplikasi tidak mengambil dari selain dari yang disediakan/dihasilkan oleh interface website yang di-scrape. Algoritma akan menganalisis analisis konten halaman situs (Bakaev & Avdeenko, 2014). Web scraping yang diterapkan pada penelitian ini hanya berhubungan dengan informasi yang berhubungan dengan metadata atau informasi terkait bibliography dari suatu artikel ilmiah. Sehingga apabila link lokasi pdf file yang ter-scrap merupakan open access link, maka user dapat men-download pdf artikel tersebut. Namun, apabila link tersebut bersifat close source, tentu pihak web host akan mem-block access hanya kepada yang memiliki otoritasnya, misalnya dengan memasukkan id dan pasword. Sehingga aspek legal dari aplikasi yang dibahas pada artikel ini tidak melanggar pihak manapun. Selain itu, penerapan pada artikel ini adalah pada portal-portal yang menyediakan layanan gratis, seperti: 1) Portal Garuda, 2) ISJD, dan 3) Google Scholar. Selain itu, scrapers pada artikel ini bersifat “mutual benefit” yang dapat membantu “scraped websites” (Hirschey, 2014) mendesiminasikan artikel ilmiah mereka, karena tujuan utama dari situs artikel ilmiah adalah menjadikan koleksi mereka diakses oleh sebanyak mungkin golongan yang membutuhkannya. Selanjutnya, pihak ketiga (scrapper) boleh beroperasi deep-links dengan membuat suatu page dengan cara tertentu sehingga pengguna website ditampilkan dengan informasi yang muncul seperti yang dimiliki penaut, dimana sang linker membenamkan suatu hyperlink di kodenya untuk membawa user ke konten data yang asli dari pemilik situs (Jennings & Yates, 2009).

Sumber : https://arxiv.org/ftp/arxiv/papers/1410/1410.5777.pdf  

Mendaftarkan situs ke search engine

Salah satu nilai lebih dari suatu website adalah terdaftar pada search engine populer sehingga mudah ditemukan dan tentu saja akan mendatangkan traffic yang lebih besar. Cara untuk terdaftar pada sebuah search engine sebenarnya cukup mudah meskipun Anda tidak dapat menyulap situs Anda untuk masuk ke halaman pertama index pencarian.

Hal – hal yang Harus dipenuhi
Untuk dapat masuk dalam daftar pencarian search engine, website Anda harus memenuhi beberapa persyaratan berikut :

• Website Anda harus mengandung unsur text
  Search engine membaca file non-binary pada website Anda. Text – text yang terdapat di dalamnya akan disimpan dalam database search engine tersebut sehingga akan muncul pada pencarian dengan kata kunci yang relevan dengan isinya. Sangat tidak disarankan membuat suatu website dalam full flash karena teknologi search engine saat ini tidak dapat membaca file flash
• Lengkapi header di setiap halaman
  Header yang terdiri dari title, meta description, dan meta keyword harus diisi dengan kata – kata yang relevan dengan isi website. Hal ini semakin memudahkan search engine untuk menyimpan isi halaman website Anda dalam databasenya.
• Buat semua halaman dengan lengkap
  Sebelum Anda mulai mendaftarkan website Anda pada search engine, silahkan buat seluruh halaman dengan lengkap. Jangan sampai ada deadlink. Biasanya search engine tidak banyak mereferensikan hasil pencariannya pada website yang masih terdapat banyak deadlink.
• Sebaiknya membuat sitemap
  Untuk mempermudah search engine menemukan halaman – halaman pada website Anda, buatlah sitemap yang berisi link ke seluruh halaman dalam website tersebut.
• Tambahkan tag alt pada link image
  Tag alt pada image yang berkait (memiliki link) akan memudahkan search engine untuk mengcrawl halaman yang dituju oleh link tersebut.

Mendaftar di Google
Google memiliki banyak fasilitas untuk mendaftarkan website dan memasukkannya ke dalam index pencariannya. Untuk mendaftarkan suatu website di Google dapat memilih salah satu cara yang terdapat di halaman : http://www.google.com/intl/en/submit_content.html
Biasanya untuk website baru, Anda disarankan untuk mendaftarkannya melalui http://www.google.com/addurl/?continue=/addurl

Mendaftar di Yahoo
Untuk mendaftarkan situs Anda di Yahoo, dapat dilakukan melalui : http://search.yahoo.com/info/submit.html

INGAT! Tidak ada jaminan
Perlu diingat bahwa tidak ada jaminan website Anda akan masuk ke index pencarian Google, Yahoo, maupun search engine lain. Masing – masing search engine memiliki mekanisme seleksi, crawl, dan indexing yang berbeda – beda.

Cara termudah untuk dapat masuk pada index pencarian adalah melalui link. Tambahkan link ke website Anda dari website lain yang halaman – halamannya telah masuk ke index pencarian.

Sumber : http://www.rumahweb.com/tutorial/mendaftarkan-situs-ke-search-engine.html

Cara kerja Web Archive

Web Archive

Web Archive adalah Sebuah file format terkompresi, didefinisikan oleh Java EE standar, untuk menyimpan semua sumber daya yang diperlukan untuk menginstal dan menjalankan aplikasi Web dalam satu file.

Cara Kerja Web Archiving

Yang paling umum web pengarsipan teknik menggunakan web crawler untuk mengotomatisasi proses pengumpulan halaman web. Web crawler biasanya mengakses halaman web dengan cara yang sama dengan yang dilakukan user yang menggunakan web browser untuk menemukan website yang ingin dicari.

Contoh Web Archive

Local Website Archive

Aplikasi inilah yang memampukan kamu dapat dengan cepat untuk menyimpan dan mengarsipkan secara lengkap halaman web, disertai dengan keseluruhan gambar untuk tujuan digunakan sebagai referensi. Kamu dapat mengorganisasir arsip halaman web ke dalam kategori-kategori yang relevan atau sejenis, dan dapat menggunakan built-in browser display untuk menampilkannya secara offline.

Sebagai tambahan, kamu juga dapat melakukan pencarian keseluruhan halaman web yang tersimpan melalui penggunaan keyword, serta dapat melakukan ekspor secara keseluruhan ataupun beberapa item saja yang terseleksi ke dalam sebuah file executable selfextracting. File tersebutlah yang dapat digunakan untuk mengirimkan koleksi-koleksi kamu tersebut kepada teman, ataupun melakukan transfer ke sebuah komputer berbeda.

Sumber : http://lintartamara.blogspot.co.id/2013/04/analisis-web-pengukuran-web-crawler.html

Search Engine

Search Engine

Search engine adalah istilah atau penyebutan bagi website yang berfungsi sebagai mesin pencari, mesin pencari ini akan menampilkan informasi berdasarkan permintaan dari user pencari konten, konten yang ditampilkan adalah konten yang memang sudah terindex dan tersimpan di database server search engine-nya itu sendiri.

Saat ini sudah mulai banyak website search engine, namun dari sekian banyak search engine yang ada saat ini berikut ini beberapa search engine yang terbilang popular, seperti Yahoo!, Alltheweb, MSN, AskJeeves, Google, AltaVista, dan Lycos.

Yahoo!

(http://www.yahoo.com)

Salah satu portal terbesar di Internet, selain MSN., dan juga salah satu mesin pencaru tertua. Halaman utamanya sendiri tidak terlalu ramah untuk pencarian, tetapi Yahoo! menyediakan search.yahoo.com untuk itu. Yahoo! menggunakan jasa Google untuk mencari informasi di web, ditambah dengan informasi dari databasenya sendiri. Kelebihan Yahoo! adalah direktorinya. Yahoo! juga menyediakan pencarian yellow pages dan peta, yang masih terbatas pada Amerika Serikat. Yahoo juga menyediakan pencarian gambar.

Alltheweb

(http://www.alltheweb.com)

Keunggulan Alltheweb adalah pencarian file pada FTP Server. Tidak seperti web, FTP adalah teknologi internet yang ditujukan untuk menyimpan dan mendistribusikan file, biasanya program, audio atau video. Web sebenarnya lebih ditujukan untuk teks. Sejauh ini, hanya AllTheWeb yang menyediakan jasa pencarian file.

MSN

(http://search.msn.com)

Mesin pencari dari Microsoft Network ini menawarkan pencarian baik dengan kata kunci maupun dari direktori. Pemakai Internet Explorer kemungkinan besar sudah pernah menggunakan mesin pencari ini. Situs Searchenginewatch mencatat MSN sebagai mesin pencari ketiga populer setelah Google dan Yahoo! Tak ada pencarian image, atau news. Menyediakan pencarian peta, yellow pages, white pages, pencarian pekerjaan, rumah.

AskJeeves

(http://www.ask.com)

Situs mesin pencari yang satu ini mengunggulkan kemampuannya untuk memahami bahasa manusia. Pengguna bisa menggunakan kalimat lengkap, bukan kata kunci. Situs ini berguna untuk mengetahui jawaban dari pertanyaan(misal: when did world war II end?).

Google:

(http://www.google.com)

Selain pencarian web, Google juga menyediakan jasa pencarian gambar, pencarian ?berita serta pencarian pada arsip USENET (newsgroup), serta direktori, seperti Yahoo! Kelemahannya terletak pada tidak tersedianya pencarian file, video, dan audio. Keunggulan Google terutama adalah pada pencarian teks, terutama dari algoritma PageRank, database-nya yang besar serta banyaknya jenis file yang diindeksnya.

AltaVista

(http://www.altavista.com)

Satu saat, AltaVista pernah menjadi mesin pencari terbesar. Saat ini, selain Alltheweb, Altavista juga menawarkan pencarian audio dan video. Keunggulan AltaVista adalah pilihan pencarian yang paling lengkap di antara semua mesin pencari.

Lycos

(http://www.lycos.com)

Salah satu mesin pencari tertua. Saat ini Lycos lebih dikenal sebagai portal, sehingga fungsi pencarinya tidak terlalu menonjol. Lycos, selain mendukung pencarian web, juga menyediakan pencarian file MP3, dan video pada http://multimedia.lycos.com.

Perbedaan Serach Engine Yang Ada

Ada banyak sekali contoh perbedaan search engine, disini hanya akan ada beberapa yang saya jelaskan. Sebagai contoh, untuk Yahoo! dan Bing, On Page Keyword merupakan faktor yang paling penting, sedangkan untuk Google, Link-lah yang merupakan faktor yang sangat penting.

Selain itu, halaman website untuk Google adalah seperti wine – semakin tua umurnya, semakin bagus peringkatnya. Sedangkan untuk Yahoo! biasanya tidak mementingkan hal tersebut. Maka dari itulah, anda memerlukan waktu yang lebih banyak untuk membuat website anda matang untuk berada di peringkat atas di Google, daripada di Yahoo!.

Kerja Sebuah Search Engine

Jika anda ingin mencari sesuatu,tentunya telah memiliki sebuah kata kunci ( keyword ) untuk sesuatu yang anda cari.Sebuah search engine bekerja dengan menerima kata kunci dari pengguna,memproses dan menampilkan hasilnya.Akan lebih mudah dibayangkan jika anda terbiasa melakukan pemrograman data base dengan menggunakan Query atau SQL,karena tentunya anda telah terbiasa menampilkan data pada table-table dengan kriteria tertentu.Tapi,Web Search Engine yang tersedia saat ini telah memiliki kemampuan yang lebih baik dalam menerima dan mengolah keyword dari pengguna.

Bagaimana search engine menampilkan informasi dari gudang data yang sedemikian besar dalam waktu yang singkat..? Sebagaiman juga dengan pemrograman database,menggunakan indeks adalah salah satu cara ampuh untuk meningkatkanperforma kecepatan.Pencarian juga sudah tidak terbatas pada pencarian dokumen,tetapi sangat variatif tergantung pada kebutuhan anda.Anda dapat mencari gambar,musik,software, atau dokumen dengan fornat tertentu.

Hal lain yang tidak kalah penting bagaiman search engine ( terutama web search engine ) mengumpilkan semua data tersebut .Jangan kaget jika anda cukup aktif menulis pada forum.blog,mailing list atau mungkin sebagai spammer maka search engine dapat menampilkan ke seluruh dunia.Search engine mampu menemukan tulisan anda karena adanya metode pengambilan informasi ( Informatio Retrival/IR ) yang mencari metadata dan database yang tersebar di internet.Sebagai contoh,pada saat anda mengetikkan sebuah komentar pahit pada seseorang dan melakukan submit pada sebuah halaman website,halaman web yang berisi komentar anda telah tersedia bagi aplikasi-aplikasi IR untuk dibaca siapa saja yang melakukan pencarian dengan keyword yang tepat.

Sumber :

http://lintartamara.blogspot.co.id/2013/04/analisis-web-pengukuran-web-crawler.html

Cara kerja Crawler

Crawler

Pengertian Crawler

Crawler adalah sebuah program/script otomatis yang memproses halaman web. Sering juga disebut dengan web spider atau web robot. Ide dasarnya sederhana dan mirip dengan saat anda menjelajahi halaman website secara manual dengan menggunakan browser. Bermula pada point awal berupa sebuah link alamat website dan dibuka pada browser, lalu browser melakukan request dan men-download data dari web server melalui protokol HTTP.

Setiap Hyperlink yang ditemui pada konten yang tampil akan dibuka lagi pada windows/tab browser yang baru, demikian proses terus berulang. Nah sebuah web crawler mengotomatisasikan pekerjaan itu.

Kesimpulannya, dua fungsi utama web crawler adalah:

1. Mengidentifikasikan Hyperlink.

   Hyperlink yang ditemui pada konten akan ditambahkan pada daftar visit, disebut juga dengan istilah frontier.

2. Melakukan proses kunjungan/visit secara rekursif.

  Dari setiap hyperlink, Web crawler akan menjelajahinya dan melakukan proses berulang, dengan ketentuan   yang disesuaikan dengan keperluan aplikasi.

Cara kerja Crawler

Cara kerja Crawler , pertama robot mengumpulkan informasi pada halaman blog/web dan semua media internet yg bisa diindeks oleh search engine. Robot tersebut kemudian membawa informasi yg didapatnya ke data center. Di data center, data tersebut kemudian di oleh sedemikian rupa, apabila memenuhi persyaratan, maka dia akan dimasukkan ke dalam indeks. Nah, proses yg dilakukan oleh user search engine adalah memanggil indeks-indeks tersebut, apabila indeks2 memiliki kesesuaian dengan yg dicari user (dan bila memiliki peringkat yg baik), di akan ditampilkan di halaman utama search engine (berperingkat).

Cara agar website/blog masuk dalam Crawler itu ada dua,

 Pertama : Membuat sitemap dan atau daftar isi

Sitemap (peta situs) blog berfungsi membantu search engine bot menjelajahi, menemukan dan mengindeks konten blog kita. Jika blog anda berplatform wordpress.org, cara paling mudah membuat sitemap adalah dengan memasang plugin bernama Google XML sitemaps. Sitemap sebenarnya hampir sama dengan halaman daftar isi yang sering kita buat di blog, hanya sitemap berisi kode-kode HTML yang dibaca oleh bot sedangkan daftar isi untuk dibaca oleh manusia. Jika anda ingin sitemap yang juga berfungsi sebagai daftar isi, gunakan plugin bernama Dagon Sitemap Generator. Beberapa themes seperti GoBlog Themes sudah menyediakan sitemap secara default seperti ini: Sitemap.

Kedua : Mendaftarkan sitemap di Google Webmaster Tools

Sitemap blog anda perlu didaftarkan di Google Webmaster Tools. Google webmaster sendiri penting diikuti oleh semua pemilik blog agar anda dapat menganalisa semua data yang berkenaan dengan blog anda. Melalui uji sitemap, kita bisa mengetahui konten mana di blog yang belum terindeks Google. Daftarkan dulu blog anda di Google Webmaster Tools.

Berikut ini adalah contoh-contoh dari Crawler:

1.Teleport Pro

Salah satu software web crawler untuk keperluan offline browsing. Software ini sudah cukup lama popular, terutama pada saat koneksi internet tidak semudah dan secepat sekarang. Software ini berbayar dan beralamatkan di http://www.tenmax.com.

2.HTTrack

Ditulis dengan menggunakan C, seperti juga Teleport Pro, HTTrack merupakan software yang dapat mendownload konten website menjadi sebuah mirror pada harddisk anda, agar dapat dilihat secara offline. Yang menarik software ini free dan dapat di download pada website resminya di http://www.httrack.com

3.Googlebot

Merupakan web crawler untuk membangun index pencarian yang digunakan oleh search engine Google. Kalau website anda ditemukan orang melalui Google, bisa jadi itu merupakan jasa dari Googlebot. Walau konsekuensinya, sebagian bandwidth anda akan tersita karena proses crawling ini.

4.Yahoo!Slurp

Kalau Googlebot adalah web crawler andalan Google, maka search engine Yahoo mengandalkan Yahoo!Slurp. Teknologinya dikembangkan oleh Inktomi Corporation yang diakuisisi oleh Yahoo!.

5.YaCy

Sedikit berbeda dengan web crawler  lainnya di atas, YaCy dibangun atas prinsip jaringan P2P (peer-to-peer), di develop dengan menggunakan java, dan didistribusikan pada beberapa ratus mesin computer (disebut YaCy peers). Tiap-tiap peer di share dengan prinsip P2P untuk berbagi index, sehingga tidak memerlukan server central.

Contoh search engine yang menggunakan YaCy adalah Sciencenet (http://sciencenet.fzk.de) untuk pencarian dokumen di bidang sains.

Sumber : http://lintartamara.blogspot.co.id/2013/04/analisis-web-pengukuran-web-crawler.html

Analisis Web / Pengukuran Web

Analisis Web / Pengukuran Web

Analisis Web / Pengukuran Web adalah pengukuran, pengumpulan, analisis dan pelaporan data internet untuk tujuan memahami dan mengoptimalkan penggunaan web. Untuk menganalisa suatu website perlu di ketahui kriteria apa saja yang akan di analisa.

Tools Analisis Web

Kita perlu analisa website atau blog dengan layanan online untuk memeriksa detail informasi “accessibility” dari website/blog anda. Dibawah ini, ada 8 Tool Analisa Web yang dapat membantu anda untuk analisis website dengan memberikan informasi detail dari segi “accessibility” dan desain. Semua tool online dibawah ini, gratis dan sangat mudah untuk digunakan :

1.      Color Blindness Simulator

Colour Blindness Simulator, dapat membantu anda untuk memeriksa bagaimana aspek gambar dan pewarnaan (color) dari website/blog. Anda juga dapat dengan cepat upload file gambar (JPEG) dengan resolusi 1000x1000px  dan analisa aspek pewarnaan halaman website anda.

2.      Juicy Studios Image Analyzer

Dengan tool online ini, kita dapat menganalisa masalah setiap gambar yang ada pada halaman website. Tool ini juga, dapat menginformasikan detail informasi width, height, alt, dan longdesc, makanya tool website - Image Analyzer merupakan salah satu tool analisa website terbaik.

3.      Firefox Accessibility Extension

Jika anda termasuk pengguna web browser Firefox, maka Add-ons Friefox ini sangat penting karena dengan Add-ons ini, anda dapat aktifkan setiap element desain dari halaman website. Anda dapat dengan cepat buat daftar gambar dan element yang lain. Add-ons ini juga disertakan dengan standar validasi “W3C HTML Validator” .

4.      Test and Improve Readability

Tool Online gratis dengan fitur untuk testing dan meningkatkan konten website anda.

5.      LinkPatch

“Broken link”  membuat halaman webstie.blog dan yang lain menjadi tidak dapat diakses, hal ini adalah yang terpenting selain faktor SEO, tapi dengan tool seperti LinkPatch, untuk cek “broken link” dari semua URL yang anda inginkan. Dengan LinkPatch, anda dapat install kode tracking  dalam hitungan detik dengan fitur monitoring.

6.      WAVE

WAVE merupakan tool interaktif yang menunjukkan tingkat kunjungan dari website dengan 3 cara yang berbeda: “Errors, Features, and Alerts”, “Structure/Order”, dan Text-Only”.

7.      AccessColor

Tes AccessColor kontras warna dan “color brightness” antara bagian depan dan belakang dari semua element DOM. AccessColor akan menemukan kombinasi warna yang relevan dengan dokumen HTML dan CSS.

8.      aDesigner

aDesigner adalah simulator yang membantu desainer untuk memastikan konten dan aplikasinya diakses. aDesigner juga membantu user untuk cek aksesbility dokumen ODF dan Flash.

Parameter Pengukuran Web

Salah satu teknik mengukur dan menguji suatu kinerja web adalah dengan mengukur pengalaman seseorang atau user experience pengunjung situs yang berinteraksi dengan halaman-halaman web yang berada di internet (Keynote System, Inc 2010).

Kinerja suatu web atau web performance sangat dipengaruhi oleh beberapa komponen-komponen dasar yang dibagi menjadi dua bagian penting, yaitu (1) dilihat dari gambaran transaksi web atau perspective transaction dan (2) gambaran komponen aplikasi atau application component perspective (Keynote System, Inc 2010). Transaksi web atau web transaction lebih menitikberatkan pada sisi pengalaman pengguna atau user experience sedangkan komponen aplikasi lebih menitikberatkan pada komponen jaringan komputer atau computer network.

Pengalaman Pengguna (User experience), diantaranya adalah (Keynote System, Inc 2010) :

·         Time to opening page (time_to_opening_page), maksudnya adalah mengukur, dari sisi pengguna, waktu yang dibutuhkan pada saat pertama kali membuka halaman web. Waktu dimulai dari aksi pertama setelah internet agent memutuskan untuk berpindah ke halaman berikutnya. Waktu berakhir ketika pesan opening page ditampilkan di Web browser status bar.

·         Page download (page_download_time), maksudnya adalah waktu yang dibutuhkan antara ketika Web browser membuat sinyal opening page dan ketika Web browser akan menampilkan pesan done di status bar.

Komponen Jaringan

Komponen jaringan (network component) adalah salah satu hal yang mempengaruhi kinerja web. Beberapa komponen jaringan tersebut diantaranya adalah (Keynote System, Inc 2010):

·         DNS lookup (DNS_time), komponen ini berfungsi untuk menghitung waktu yang dibutuhkan untuk menterjemahkan host name (contoh, www.keynote.com) menjadi IP address (contoh, 206.79.179.108).

·         Initial connection (initial_connection), komponen ini mengukur waktu pulang pergi atau round-trip time (ukuran waktu yang dibutuhkan jaringan untuk melakukan perjalanan dari host sumber menuju host tujuan dan kembali lagi ke host sumber) koneksi jaringan antara browser dan server.

·         Request time (request_time), adalah jumlah waktu yang dibutuhkan oleh web browser untuk mengirim permintaan (request) ke internet.

·         Client time (client_time), adalah jumlah waktu untuk mengunduh elemen halaman web selama data dihantarkan.

·         Total measurement time (measurement_network), adalah jumlah waktu untuk mengunduh halaman web dilihat dari sudut pandang jaringan.

Disini kita akan membahas "Piwik Web Analytics"

Plugin ini memberikan Piwik Web Analytics data dalam pimcore menggunakan API Piwik itu. Ini terintegrasi di pimcore itu Laporan & Pemasaran kompleks. Hanya memberikan mandat API untuk instalasi Piwik Anda dalam Laporan & pengaturan Marketings (tab "Piwik"). 

Saat ini fitur ini diimplementasikan:

• trackercode outputfilter yang menambahkan javascript neccessary ke kepala html itu

• portlet untuk menyambut halaman

• portlet untuk top 10 halaman

• Laporan keseluruhan

• Laporan untuk setiap halaman

• Laporan global untuk Qr-kode

Sumber : http://lintartamara.blogspot.co.id/2013/04/analisis-web-pengukuran-web-crawler.html