Naomba nichangie kwa ufahamu nilionao.
Googlebot ni program inayotumiwa na Google kukusanya data kutoka katika websites mbalimbali na kuzipanga. Sasa webmasters huwa wanaruhusu Googlebot kusearch mpaka ndani ya page zake za kulipia ambazo user wa kawaida huwezi kuzi access bila kuzilipia.
Dhumuni ya kuacha hivyo ni kupandisha chati ya website kwenye page ya result.
Mfano: Akiifungia Googlebot, mtu akisearch kitu, hiyo websote inaweza ikawa inapatikana kwenye google results lakini page ya 30.
Akiifungulia Googlebot website inaweza ikashow up kwenye google results page ya 5.
Sasa kwa sababu website hizi ni business, webmaster hawezi kuifungia , maana user gani atafungua results za google mpaka page ya 35? Na hapo ndipo wajanja wanatumia huo upenyo, kupandikiza hizo code hapo juu, kujifanya wao wana access website kama Google (hivyo hawatakuwa blocked na ishu za kulipia)
Nafikiri umechanganya vitu viwili hapa ambavyo ni content ya website kuwa searchable na kitu ambacho kinaitwa search engine optimization (SEO).
Kabla sijaendelea naomba kutoa tahadhari kwa watu wanaosoma hii thread. Msikimbilie kufuata maelezo haya kwani mnaweza kujikuta mkiharibu computer zenu. Registry ni kitu muhimu sana na hata wanaojiita wataalamu wa kompyuta wengi hawajui namna hii kitu inavyofanya kazi. Hivyo tahadhari kwenu.
Baada ya warning hiyo nitoe maelezo machache na rahisi kuhusu searching. Kwa uelewa wangu kila content ya website/page inakua na anwani au URL. Sasa kila anuani/page inakua na kitu kinaitwa meta tags informations. Search engines au crawlers au bots huwa na access na hizi meta tags, hivyo huzisoma na ku zi index against the URL. So search engines hazisomi na hazina access na Content za page fulani bali hu index page yako kwa kutumia meta tags.
How it works.
unapotengeneza web page let say inayoongelea aina za madini mbali mbali unaweza kutumia some keywords kama dhahabu, tanzanite, rubi, etc. Search ingine itasoma haya maneno na kuyaindex against your page. Mtu anapotype kwenye seach ingine let say dhahabu, page yako ita show up kama moja ya page ambazo zinapendekezwa kwa msomaji.
Sasa swala page kuonekana juu au chini na jinsi unavyocheza na hizo keywords na phrases kwenye meta tags. Technique hii ndo huitwa search engine optimization. Pia seach engine hufanya biashara ya keywords. unawalipa let say google kutumia keywords flani say holiday. So mtu anapotype hilo neno website za kwanza kutokea zitakua ni zile zilizolipia hilo neno na mara nyingi hutokea kwenye yellowish background pale juu. Baada ya hapo ndo hufuata website za kawaida ambazo hazijalipiwa.
User agent kazi yake ku kutoa utambulisho wa client (browser in this case) kwa web server pale unapo omba kufungua ukurasa fulani. Kwa mfano web server inahitaji kujua ni aina gani ya browse, mozilla, opera etc, version etc ili iweze ku panga (render) muonekano wa ukurasa wako kwa jinsi browser yako inavyotaka.
Utakuwa umewahi kusearch information kwenye search engine ukawa unapata website ambazo wakati mwingine hazihusiani kabisa na topic unayosearch, wakati mwingine website za ngono au content aggregators website ambazo badala ya kukupa content ulizokua unatarajia huishia nazo ku suggest links nyingine.
Hii hutokea kwa sababu kuna technique nyingine huitwa cloaking, hutumika kudanganya search ingine kwamba website hii ina taarifa fulani na kumbe haina. Sasa baadhi ya website zinapotambua kuwa search ingine ina zi search/craw zina run script ambayo inazipa taarifa nyingi za uongo ambazo hata haziko kwenye page hizo. Crawler nayo huishia ku zi index as if ni kweli zina content hizo.
Hivyo waweza ku edit uer agent string na kuongezea googlebot, ili u surf kama crawler ingawa uhakika wa kupata information za kulipia au ku bypass registration ni mdogo sana kwa njia hii.
Hii ni kwa kifupi na katika plain language ili muelewe.