Svetainėje yra 500 puslapių, tačiau „Google Search Console“ rodo, kad indeksuota tik dalis jų. Kitus paieškos sistema aptiko, tačiau neįtraukė į indeksą, kai kuriuos peržiūrėjo, bet nusprendė neindeksuoti, o apie dalį puslapių, regis, apskritai nežino.
Verslui tokia statistika gali atrodyti kaip techninė problema, kurią reikia kuo greičiau ištaisyti. Jeigu sukūrėme puslapį, natūralu tikėtis, kad jis turi būti „Google“.
Tačiau indeksuotų puslapių skaičius nėra SEO kokybės rodiklis. Paieškos sistemai nebūtina saugoti kiekvieno svetainėje egzistuojančio URL adreso, o verslui nebūtinai naudinga siekti, kad visi jie patektų į paieškos rezultatus.
Svarbesnis klausimas yra kitas: ar indeksuojami tie puslapiai, kurie iš tikrųjų svarbūs verslui?
Puslapio egzistavimas dar nereiškia, kad jis turi būti „Google“
Interneto svetainės struktūra kuriama ne vien paieškos sistemai.
Joje gali būti vartotojų paskyrų puslapiai, filtrų kombinacijos, vidinės paieškos rezultatai, techniniai adresai, pasikartojantis turinys, laikinos kampanijos ir daugybė kitų URL.
Žmogui ar svetainės sistemai jie gali būti reikalingi.
Paieškos rezultatams – nebūtinai.
Todėl tikslas „indeksuoti 100 procentų svetainės puslapių“ daugeliu atvejų nėra prasmingas. Didelėje svetainėje visiškas indeksavimas net gali rodyti, kad paieškos sistemai leidžiama pasiekti per daug menkaverčių puslapių.
SEO užduotis yra ne maksimalus indeksuotų URL skaičius, o kokybiško ir verslui svarbaus turinio indeksavimas.
Pirmiausia „Google“ turi puslapį atrasti
Kad puslapis galėtų patekti į indeksą, paieškos sistema pirmiausia turi sužinoti, kad jis egzistuoja.
Vienas svarbiausių kelių yra nuorodos.
Jeigu naujas puslapis įtrauktas į svetainės navigaciją arba į jį veda nuorodos iš kitų puslapių, paieškos robotui jį aptikti daug paprasčiau.
Problemos atsiranda, kai sukuriamas puslapis, tačiau jis lieka beveik izoliuotas.
Adresas techniškai egzistuoja, tačiau nėra meniu, kategorijoje, straipsniuose ar kituose svetainės puslapiuose. Tokie puslapiai kartais vadinami „našlaičiais“, nes jie neturi normalių vidinių ryšių su likusia svetaine.
Paieškos sistema gali juos aptikti kitais būdais, tačiau vien URL egzistavimo serveryje tam neužtenka.
XML svetainės žemėlapis padeda, bet negarantuoja indeksavimo
Svetainės XML žemėlapis paieškos sistemai pateikia puslapių sąrašą.
Tai naudinga, ypač didelėse ar dažnai atnaujinamose svetainėse. Tačiau kartais svetainės savininkai sitemap failą supranta kaip komandą: jeigu URL įtrauktas į žemėlapį, „Google“ privalo jį indeksuoti.
Taip nėra.
XML žemėlapis padeda aptikti puslapius ir pateikia papildomos informacijos apie svetainės struktūrą, tačiau sprendimą dėl indeksavimo priima pati paieškos sistema.
Todėl URL gali būti tvarkingai įtrauktas į sitemap ir vis tiek nepatekti į indeksą.
Tokiu atveju reikia ieškoti priežasties, o ne tiesiog dar kartą pateikti tą patį žemėlapį.
„Crawled – currently not indexed“ nebūtinai reiškia gedimą
„Google Search Console“ galima pamatyti situaciją, kai puslapis buvo nuskaitytas, tačiau šiuo metu nėra indeksuojamas.
Tai reiškia, kad „Google“ puslapį aplankė.
Tačiau po nuskaitymo jis nepateko į indeksą.
Tokį pranešimą lengva interpretuoti kaip techninę klaidą, nors priežastis gali būti ir pats turinys.
Puslapis gali būti labai panašus į kitą svetainės puslapį, turėti mažai savarankiškos informacijos arba paieškos sistemai gali būti neaišku, kodėl būtent šią versiją verta įtraukti į indeksą.
Todėl pirmas veiksmas neturėtų būti bandymas bet kokia kaina „priversti Google indeksuoti“.
Pirmiausia verta įvertinti, ar puslapis apskritai vertas atskiros vietos paieškoje.
„Discovered – currently not indexed“ yra kitokia situacija
Kitas dažnas statusas reiškia, kad „Google“ žino apie URL, tačiau jo dar nenuskaitė.
Didelėse svetainėse tokių adresų gali būti daug.
Jeigu sistema nuolat generuoja naujus filtrų, žymų, parametrų ar kitus puslapius, paieškos robotui gali tekti rinktis, kuriuos iš jų verta aplankyti pirmiausia.
Tai ypač aktualu elektroninėms parduotuvėms ir portalams, kuriuose URL skaičius gali augti daug greičiau nei realiai vertingo turinio kiekis.
Tokioje situacijoje problema gali būti ne konkretus neindeksuotas puslapis, o visa svetainės architektūra.
Per daug panašių puslapių apsunkina pasirinkimą
Tarkime, įmonė turi atskirus puslapius:
„buhalterinės paslaugos“,
„buhalterinės apskaitos paslaugos“,
„apskaitos paslaugos verslui“,
„profesionalios buhalterijos paslaugos“.
Jeigu visuose keturiuose puslapiuose pateikiama beveik ta pati informacija ir jie orientuoti į tą patį vartotojo poreikį, paieškos sistemai gali būti sunku suprasti, kuris yra pagrindinis.
Verslas mano turintis keturis SEO puslapius.
Realiai jis gali būti suskaidęs vieną stiprią temą į keturis silpnus puslapius.
Tokiais atvejais geresnis sprendimas kartais yra ne siekti indeksuoti visus keturis, o sujungti informaciją į vieną išsamų puslapį.
„Noindex“ kartais paliekamas netyčia
Kuriant naują svetainę ar atliekant jos atnaujinimą dažnai naudojama testinė versija.
Kol darbai vyksta, visiškai logiška neleisti paieškos sistemoms indeksuoti nebaigto projekto.
Problema atsiranda tada, kai svetainė paleidžiama, tačiau dalis tokių nustatymų lieka.
Puslapis vartotojui atrodo normaliai, veikia, jį galima atidaryti ir naršyti, tačiau paieškos sistemai pateikiamas nurodymas jo neindeksuoti.
Tokios klaidos ypač pavojingos tuo, kad vizualiai jų beveik neįmanoma pastebėti.
Todėl po svetainės paleidimo techninis SEO patikrinimas yra ne formalumas, o būtina projekto dalis.
„Robots.txt“ ir „noindex“ nėra tas pats
Šios dvi sąvokos kartais painiojamos.
„Robots.txt“ failas gali riboti paieškos robotų galimybę pasiekti tam tikras svetainės dalis. „Noindex“ nurodymas naudojamas tada, kai nenorima, kad konkretus puslapis būtų įtrauktas į paieškos indeksą.
Tai nėra vienas ir tas pats mechanizmas.
Netinkamai naudojant šias priemones galima sukurti prieštaringą situaciją: norėti, kad paieškos sistema pamatytų nurodymą neindeksuoti puslapio, tačiau tuo pat metu uždrausti robotui tą puslapį nuskaityti.
Todėl techniniai indeksavimo sprendimai turėtų būti daromi suprantant, ką konkrečiai kiekviena priemonė kontroliuoja.
Canonical žyma padeda nurodyti pagrindinę versiją
Kartais tas pats arba labai panašus turinys teisėtai pasiekiamas keliais adresais.
Elektroninėje parduotuvėje produkto puslapis gali atsirasti per skirtingas kategorijas ar URL parametrus. Kitur panaši situacija susidaro dėl techninės svetainės struktūros.
Canonical žyma padeda nurodyti, kuri puslapio versija laikoma pagrindine.
Tačiau ir čia dažnai daroma klaidų.
Svarbus puslapis gali turėti canonical nuorodą į kitą URL. Tokiu atveju įmonė tikisi matyti pirmąjį puslapį paieškoje, tačiau pati techninė svetainės konfigūracija paieškos sistemai sako, kad pagrindine turėtų būti laikoma kita versija.
Todėl canonical nustatymus verta tikrinti ne tik dubliuojamo turinio atvejais, bet ir tada, kai svarbus puslapis netikėtai dingsta iš indekso.
Peradresavimai taip pat gali paaiškinti dingusius puslapius
Jeigu senas URL peradresuojamas į naują, paprastai nėra priežasties tikėtis, kad abu adresai liks indeksuoti kaip savarankiški puslapiai.
Paieškos sistema turi suprasti, kad turinys persikėlė.
Problemos prasideda, kai peradresavimai naudojami chaotiškai.
Vienas puslapis nukreipiamas į antrą, antras į trečią, o trečias dar į ketvirtą. Arba senas konkretus paslaugos puslapis nukreipiamas į visiškai bendrą pradinį puslapį.
Tokios grandinės ir nelogiški peradresavimai gali apsunkinti tiek vartotojo, tiek paieškos sistemos kelią.
Serverio atsakas svarbesnis, nei atrodo
Žmogus naršyklėje gali matyti puslapį, tačiau techniniu lygmeniu serveris gali pateikti netinkamą atsakymo kodą.
Kartais neegzistuojantis puslapis vizualiai atrodo kaip klaidos puslapis, tačiau serveris vis tiek grąžina sėkmingą atsakymą. Kitais atvejais svarbus puslapis dėl techninės klaidos gali periodiškai būti nepasiekiamas.
Paieškos sistemai tokie signalai svarbūs.
Jeigu robotas pakartotinai susiduria su serverio klaidomis, lėtu atsaku ar nestabiliu veikimu, problema nebėra vien turinio klausimas.
Todėl indeksavimo diagnostika kartais turi prasidėti gerokai giliau nei puslapio teksto analizė.
JavaScript gali pakeisti tai, ką mato paieškos sistema
Šiuolaikinės svetainės vis dažniau dalį turinio sukuria naršyklėje naudojant JavaScript.
Žmogui puslapis gali atrodyti visiškai užpildytas: matomi produktai, tekstai, filtrai ir nuorodos.
Tačiau techninis turinio pateikimo būdas gali turėti įtakos tam, kaip efektyviai jį aptinka ir apdoroja paieškos sistemos.
Tai nereiškia, kad JavaScript svetainė automatiškai yra bloga SEO požiūriu.
Problema atsiranda tada, kai svarbiausias turinys ar navigacija realizuoti taip, kad paieškos robotui juos aptikti tampa sunkiau.
Todėl kuriant modernią svetainę SEO turėtų būti vertinamas dar programavimo etape, o ne tik tada, kai projektas jau paleistas.
Ne kiekvieną neindeksuotą puslapį reikia gelbėti
Tai vienas svarbiausių principų.
Jeigu „Search Console“ rodo 20 000 neindeksuotų URL, pirmas klausimas neturėtų būti: kaip indeksuoti visus 20 000?
Reikia suprasti, kas tie puslapiai.
Jeigu didžiąją dalį sudaro nereikalingos filtrų kombinacijos, techniniai URL ar pasikartojantis turinys, jų neindeksavimas gali būti visiškai normalus.
Jeigu tarp jų yra pagrindinės paslaugos, svarbiausios produktų kategorijos ar vertingi straipsniai, situacija jau visai kitokia.
Todėl profesionalios SEO paslaugos turėtų prasidėti ne nuo siekio padidinti indeksuotų puslapių skaičių, o nuo jų klasifikavimo: kas turi būti paieškoje, kas gali būti joje, o kas neturėtų ten patekti apskritai.
Indeksavimo problemą kartais sukuria pati turinio strategija
Jeigu per trumpą laiką publikuojama šimtai labai panašių, paviršutiniškų puslapių, techninis jų prieinamumas dar nereiškia, kad visi bus vertingi paieškai.
Tai ypač aktualu dabar, kai naudojant generatyvinį dirbtinį intelektą didelius teksto kiekius galima sukurti labai greitai.
Technologiškai nesunku per mėnesį paskelbti tūkstantį straipsnių.
Daug sunkiau užtikrinti, kad kiekvienas jų turi aiškią paskirtį, atsako į realų vartotojo poreikį ir nėra tik kito puslapio variacija.
Todėl masinis turinio generavimas gali padidinti URL skaičių, tačiau nebūtinai padidins svetainės matomumą.
Svarbūs puslapiai turi būti svarbūs ir pačioje svetainėje
Jeigu verslui tam tikra paslauga generuoja didžiąją dalį pajamų, tačiau jos puslapis paslėptas giliai svetainės struktūroje ir į jį beveik niekas nenurodo, atsiranda prieštaravimas.
Verslui puslapis labai svarbus.
Svetainės architektūra to neparodo.
Svarbiausi puslapiai paprastai turėtų turėti aiškią vietą navigacijoje, logiškas vidines nuorodas ir ryšius su susijusiu turiniu.
Taip ne tik palengvinamas jų aptikimas. Visa svetainė tampa suprantamesnė.
Po didelių pakeitimų indeksavimą reikia stebėti
Svetainės perkėlimas į kitą platformą, dizaino atnaujinimas, URL struktūros pakeitimas ar didelė turinio reorganizacija gali paveikti indeksavimą.
Todėl paleidus naują svetainės versiją darbas nesibaigia.
Reikia stebėti, ar svarbiausi puslapiai išlieka indeksuoti, ar peradresavimai veikia, ar neatsirado netikėtų „noindex“ žymų, ar paieškos sistema aptinka naują struktūrą.
Problemas daug lengviau ištaisyti pastebėjus jas anksti.
Jeigu kritimas nustatomas tik po kelių mėnesių, gali būti sunkiau suprasti, kuris pakeitimas jį sukėlė.
Indeksas nėra svetainės archyvas
Svarbu atsisakyti požiūrio, kad „Google“ indeksas turėtų būti tiksli visos svetainės kopija.
Paieškos sistemos tikslas nėra archyvuoti kiekvieną įmonės sukurtą URL.
Jos tikslas – turėti informaciją, kurią verta pateikti vartotojams pagal jų užklausas.
Todėl tam tikras neindeksuotų puslapių kiekis yra normalus.
Problema prasideda ne tada, kai neindeksuojama viskas, o tada, kai neindeksuojamas verslui svarbus turinys arba kai didžiulis nereikalingų puslapių kiekis pradeda trukdyti paieškos sistemai suprasti svetainės struktūrą.
Svarbiausias klausimas – ne „kiek?“, o „kas?“
Duomenyse labai lengva susikoncentruoti į skaičius.
Indeksuota 800 puslapių. Neindeksuota 1200. Vadinasi, problema?
Nebūtinai.
Jeigu tie 800 puslapių yra pagrindinės kategorijos, paslaugos, vertingi straipsniai ir kitas paieškai skirtas turinys, o likę 1200 yra filtrai ir techninės versijos, situacija gali būti visiškai normali.
Kitoje svetainėje gali būti indeksuoti beveik visi puslapiai, tačiau tarp jų – šimtai menkaverčių URL.
Todėl indeksavimo analizė prasideda nuo turinio paskirties.
Kokius puslapius norime parodyti potencialiam klientui? Kurie jų atsako į realias paieškos užklausas? Kurie turi savarankišką vertę? Ar paieškos sistema juos gali lengvai rasti, nuskaityti ir suprasti?
Kai į šiuos klausimus galima atsakyti aiškiai, indeksavimo ataskaita nustoja būti bauginantis raudonų ir pilkų eilučių sąrašas.
Ji tampa diagnostikos įrankiu, parodančiu, ar svetainės struktūra iš tikrųjų atitinka verslo prioritetus.
