Otwarcie Pon - Sob 09:00-18:00
Email info@westom.pl Zadzwoń +48 530 825 825
Otwarcie Pon - Sob 09:00-18:00
Email info@westom.pl Zadzwoń +48 530 825 825

Ukrywanie treści przed wyszukiwarkami internetowymi

Ukrywanie treści przed wyszukiwarkami internetowymi
5 (100%) 1 głosów

Problemy z ukrytymi treściami

Czasami zachodzi potrzeba, aby część treści ukryć przed wyszukiwarkami. Inna treść jest przeznaczona dla użytkowników, a inna dla wyszukiwarek. Niekiedy jednak treść zostaje ukryta zupełnie przypadkowo i wyszukiwarki nie mogą jej przeskanować ani zaindeksować. W innej sytuacji wyszukiwarki mogą odkryć takie ukryte zasoby i potraktować je jako spam. Żadna z tych sytuacji nie jest pożądana.

Jeśli treści zostały ukryte przypadkowo, to należy spróbować dowiedzieć się, jak do tego doszło. Zazwyczaj odpowiedź jest bardzo prosta. W większości przypadków odpowiada za to atrybut NoIndex. W tej sytuacji o problemie z ukrytą treścią dowiadujemy się na podstawie nagłego spadku ruchu sieciowego. Czasami się zdarza, że ktoś nieświadomie wprowadzi atrybut NoIndex we wszystkich znacznikach meta na stronach i wtedy przestają być one widoczne dla wyszukiwarki.

Wydaje się, że jest to zupełnie nieprawdopodobny błąd, ale się zdarza. Jest to najzwyklejszy błąd ludzki. Zdarza się i to wcale nie tak rzadko np. podczas prac na serwerze testowym. Jeśli nie chcemy, aby wyszukiwarki odnalazły duplikat strony to wprowadzamy atrybut NoIndex. Podczas przenoszenia witryny na aktywny serwer normalnie usuwa się atrybut NoIndex, ale jak widać można o tym zapomnieć. W tej sytuacji sprawdza się powiedzenie „Nie myli się ten, kto nic nie robi”.

Podobnie będzie w przypadku zaimplementowania pliku robots.txt, który będzie zabraniał wyszukiwarkom skanowania witryny na serwerze testowym. Jeśli przez przypadek plik zostanie przeniesiony na aktywny serwer, to skutki będą takie same, jak w przypadku pliku atrybutu NoIndex. Lepiej jest się zabezpieczać przed tego typu sytuacjami i zastosować punkty kontrolne. Wtedy na ważnych etapach będziemy mogli wszystko skontrolować, czy jest w porządku.

Jeśli witryna obecna jest od dłuższego czasu w sieci, ma swoją „historię”, łatwo jest wykrywać ewentualne problemy, obserwując ruch sieciowy. A co w sytuacji, gdy witryna jest nowa? Wtedy nie możemy polegać na ruchu sieciowym. Nie będzie przecież nagłego spadku, bo jeszcze nie ma co spadać, wszystko się dopiero rozkręca. W takiej sytuacji mogą wystąpić problemy, treść może zostać ukryta przed użytkownikami, a Ty nie będziesz mieć o tym nawet pojęcia.

Dlatego niezależnie od sytuacji, od tego jaki „wiek” ma Twoja witryna najlepiej jest skorzystać z pomocy odpowiednich narzędzi analitycznych. Narzędzia pomogą Ci namierzyć strony, które są odwiedzane, a mimo to nie cieszą się ruchem sieciowym z zewnątrz. Może też dojść do sytuacji odwrotnej. Strony mogą cieszyć się dużym ruchem sieciowym, a tak być nie powinno. Obie sytuacje mogą świadczyć o jakimś problemie.

O problemie z ukrytą treścią może też świadczyć stopień zaindeksowania witryny. Jeśli Twoja witryna ma kilkaset stron, a po kilku miesiącach zaindeksowanych jest tylko kilkadziesiąt, to na pewno gdzieś jest problem, który trzeba jak najszybciej rozwiązać.

Gdy już wiesz, że masz problem z ukrytą treścią na swojej witrynie, przyszedł czas na odnalezienie źródła problemu. Najczęściej występujące problemy:

  • Plik robots.txt – upewnij się, że dostęp dla wyszukiwarek nie jest zablokowany w pliku robots.txt (http://www.mojastrona.pl/robots.txt). Jest to jeden z częściej występujących błędów. Wyszukiwarki Google i Bing w narzędziach dla webmasterów posiadają opcje umożliwiające sprawdzenie, czy treści blokowane w pliku robots.txt zostały przeskanowane przez wyszukiwarki.
  • Znacznik meta robots – zagnieżdżony w elemencie head strony wygląda tak:

<meta name=”robots” content=”noindex, nofollow”>

Atrybut NoIndex jest sygnałem dla wyszukiwarek, że strona nie ma być zaindeksowana. Atrybut NoFollow zabrania wyszukiwarkom przesyłania mocy linków płynącej ze stron połączonych z danym dokumentem odnośnikiem. Odnośniki z atrybutem NoFollow nie dają żadnej wartości rankingowej. Jest to sygnał dla wyszukiwarek, że taka strona nie jest ważna i nie trzeba jej umieszczać w indeksie.

W tej sytuacji należy jak najszybciej wykryć strony ze znacznikiem meta robots i usunąć je.

  • Brak linków bezpośrednich – możesz natknąć się na treści, które nie mają żadnych odnośników albo linki zawierają atrybut NoFollow. Linki widoczne tylko dla użytkowników korzystających z ciasteczek lub w formacie nie przyjaznym dla wyszukiwarek, nie będą mogły być przez nie odnalezione. Zaimplementuj zwykłe linki tekstowe lub zawierające obrazy. Najlepiej jeszcze, jeśli jednocześnie zdobędziesz linki do swojej witryny z niezależnych witryn.
  • Identyfikatory sesji – mogą zmylić roboty indeksujące. Dla nich każde odwiedzenie Twojej witryny jest traktowane jako odwiedzenie nowej strony. Strona http://www.mojastrona.pl?SessID=123456 będzie dla wyszukiwarki inna niż strona http://www.mojastrona.pl?SessID=123478.
  • Treść dostępna po zalogowaniu – wyszukiwarki nie są w stanie zaindeksować treści, która jest dostępna dla użytkownika po zalogowaniu się czy po wypełnieniu formularza. Wyszukiwarka nie ma przecież możliwości zalogowania się i wysłania formularza. Jeśli zależy Ci, aby takie treści były widoczne dla robotów indeksujących to pozbądź się formularza, a najlepiej w ogóle się na niego nie decyduj. Rozwiązaniem może być podejście First Click Free (pierwsze kliknięcie za darmo) lub dostęp do treści do pięciu razy dziennie. Takie rozwiązanie będzie wymagało od użytkowników zarejestrowania się, jeśli będą chcieli się więcej dowiedzieć na dany temat, ale jednocześnie wyszukiwarki będą mogły przeskanować i zaindeksować zawartość strony.
  • Słaba moc linków – jeśli wyszukiwarka uzna treści za mało ważne, nie będzie chciała ich zapisać w indeksie. A za mało ważne treści może uznać te strony, które nie posiadają dużo odnośników albo posiadają tylko linki niskiej jakości. Wyszukiwarka nie traktuje w ten sposób tylko nowych stron. Jeśli jakieś strony znalazły się już w indeksie, ale straciły moc linków, to może je usunąć z indeksu. Dawniej Google usuwał strony lub przenosił je do tzw. indeksu uzupełniającego.

Ukryte treści a spam

Ukryte treści mogą być niezwykle problematyczne. Spamerzy często ukrywają treść, która jest wypełniona słowami kluczowymi i wykorzystują ją w celu zdobycia wyższej pozycji w rankingu wyszukiwania.

Wyszukiwarki są czujne i wykrywają tego typu przekręty. Co jednak zrobić w sytuacji, gdy Twoja treść zostanie ukryta przypadkowo, a wyszukiwarka zdąży ja już potraktować jako spam? Zespół Google’a zapewnia, że nie ma się czego obawiać, jeśli cała witryna działa prawidłowo i zdarzy się jej jedno jedyne potknięcie. Wyszukiwarka uważnie przygląda się całej witrynie i jeśli nie stwierdzi innych nieprawidłowości to wszystko powinno być w porządku. Jeśli jednak witryna stosuje inne podejrzane techniki to ukryta treść może być potraktowana jako spam. Jeśli korzystasz z arkuszy CSS do ukrywania tekstu, to takie działania na pewno zostanie ocenione jako spamerskie.

Tekst może zostać nieumyślnie ukryty na stronie na wiele sposobów. Najczęściej do przypadkowego ukrycia tekstu dochodzi poprzez użycie CMS-a, który wpływa na CSS. Wiele CMS-ów wykorzystuje własność display:none do zaimplementowania rozwijanych menu i innych widżetów, które wyświetlają cały tekst dopiero po kliknięciu np. foldery zakładkowe. Display:none odnosi się też do treści generowanych prze użytkownika – strona wyświetla ilość wszystkich komentarzy do postu, ale jest niewidoczna, jeśli nie pojawi się żaden komentarz.

Ukryty tekst jest również publikowany jako ułatwienie dla osób niedowidzących. Normalnie taka treść jest niewidoczna, ponieważ wyglądałoby to nieestetycznie na stronie, którą większość osób używa w normalny sposób. Dlatego najlepszym rozwiązaniem jest ukrycie tekstu przed większą grupa użytkowników.

Wyszukiwarki coraz lepiej radzą sobie z wykrywaniem spamu i bardzo chętnie nakładają kary i wykluczają z indeksu, jeśli tylko istnieją ku temu przesłanki. Do kar zaliczają się: obniżenie w rankingu, odebranie witrynie możliwości przekazywania wartości PageRank, usunięcie całej witryny z indeksu lub zaindeksowanie tylko części stron.

Kar nie unikną nawet największe korporacje cieszące się renoma, zaufaniem i autorytetem. W 2013 roku BBC News i serwis Rap Genius zostały ukarane przez Google. Witryna BBC zawierała nienaturalne linki, które miały na celu wypromować jeden artykuł. Rap Genius działał niezgodnie na większą skalę. Serwis zachęcał blogerów do zamieszczania linków do stron z tekstami piosenek na Rap Genius. W „podziękowaniu” twitterowy profil Rap Genius miała tweetować linki do ich postów blogowych. Takie zachowanie wzbudziło podejrzenie Google’a. Ostatecznie serwis Rap Genius otrzymał karę za manipulacje linkami.

Do wykrywania spamu wyszukiwarki korzystają nie tylko z zaawansowanych algorytmów. Spamerskie taktyki namierzają również oburzeni użytkownicy, płatni recenzenci czy konkurencja.

Do pozycjonowania wyszukiwarki podchodzą na dwa sposoby. Jeśli przeprowadzone działania mają za zadanie poprawić pozycję strony w rankingu wyszukiwania i jednocześnie poprawiają jej jakość, to takie działanie jest akceptowalne. Jeśli jednak strona za wszelką cenę chce poprawić swoją pozycję w rankingu wyszukiwania, nie mając na uwadze jakości prezentowanych treści, ani sposobów, jakimi chce to osiągnąć, to takie działania na pewno zostaną potraktowane jako spam.

Jeśli masz jakiekolwiek wątpliwości odnośnie pozycjonowania, skorzystaj ze wskazówek przygotowanych odpowiednio przez wyszukiwarkę Bing i Google:

  • https://www.bing.com/toolbox/webmaster
  • https://www.google.com/webmasters/tools/home?hl=pl

Każda z wyszukiwarek w nieco inny sposób podchodzi do pozycjonowania i technik optymalizacyjnych. Jeśli nie chcesz narazić się w żaden sposób danej wyszukiwarce, to postępuj zgodnie z jej wytycznymi.

Co oznacza wyrażenie „witryna przyjazna wyszukiwarkom”?

Należy rozdzielić termin „przyjazny wyszukiwarkom” od działań spamerskich. To zupełnie inne, odrębne wyrażenia. Witryna przyjazna wyszukiwarkom, czyli dostępna robotom indeksującym, jej kod HTML jest łatwy do odczytania (bez nadmiaru znaczników), nagłówki są wyodrębnione z reszty tekstu (znaczniki <h1>, <h2> itd.), linki nawiązują do treści, do której prowadzą itp.

Natomiast do technik spamerskich zaliczają się:

  • strony internetowe, które widzą wyszukiwarki, a które są zupełnie bezwartościowe i bezużyteczne dla użytkownika. Ich jedynym celem jest podniesienie pozycji rankingowej witryny. Strony takie nazywa się różnie: „strony-drzwi”, „strony-wrota”, „strony przeskoku”, „strony wabiące”, „strony reklamowe”, „strony-kanały”, „katalogi informacji”, „strony wejściowe dla wyszukiwarek”, „strony-satelity”, „miniwitryny”, „strony-magnesy”, „cienie domeny”.
  • Stworzenie strony niezawierającej żadnej wartościowej treści.
  • Zamieszczanie tej samej treści pod różnymi adresami URL na różnych domenach.
  • Automatyczne tworzenie treści z wykorzystaniem słów kluczowych np. z wykorzystaniem łańcucha Markova.
  • Zamieszczanie na stronie precli, czyli krótkich tekstów składających się głównie z 1000 – 1500 znaków. Teksty takie bogate są w słowa kluczowe, napisane są przez człowieka, ale są niskiej jakości, ubogie merytorycznie, pisane tylko w celach pozycjonujących.
  • Nakierowanie na słowa kluczowe zupełnie niezwiązane tematycznie.
  • Kupowanie linków tylko i wyłącznie w celu poprawienia pozycji w rankingu wyszukiwania.
  • Stworzenie niskiej jakości witryny partnerskiej tylko w celach promocyjnych.
  • Zamieszczanie tej samej frazy kluczowej w wielu miejscach – w znaczniku tytułowym, nagłówku <h1>, pierwszym atrybucie alt na stronie, w znaczniku meta description, pierwszym akapicie i zdaniu artykułu oraz w tekście kotwicy.
  • Stworzenie tekstu bogatego w słowa kluczowe, a następnie ukrycie go przed użytkownikami (kolor tekstu w kolorze tła na stronie, zastosowanie bardzo małej czcionki, niewyróżnianie linków, zastosowanie znaczników noscript, noframe, znaczniku komentarza).
  • Korzystanie z programów służących do masowego zbierania treści z sieci tzw. zbieraczy (ang. scrapers), a następnie zamieszczanie takiej treści na swojej witrynie.
  • Korzystanie w farm linków (farmy linków można bez problemu odróżnić od katalogów stron internetowych).
  • Wymiana odnośników – tworzenie wzajemnych linków pomiędzy stronami niezwiązanymi ze sobą tematycznie.
  • Zamieszczanie na niezależnych stronach, blogach, forach odnośników do swojej witryny tylko w celu poprawienia jej pozycji w rankingu wyszukiwania.
  • Negatywne SEO – tworzenie linków na witrynę konkurencji z farm linków lub innych podejrzanych stron tak, aby konkurent został ukarany.
  • Maskowanie treści i zmienianie zawartości strony.
  • Sztuczne przekierowania.

Nie warto korzystać z którejkolwiek z wyżej wymienionych technik. Wyszukiwarki są coraz lepsze w wykrywaniu spamu i takie działania prędzej czy później wyjdą na jaw. Szkoda zaprzepaścić ogrom pracy, jaki włożyło się w działania optymalizacyjne. Wykrycie spamu przez wyszukiwarki jest związane z nałożeniem przez nie kary na witrynę, a nawet usunięciem jej z indeksu. Pamiętaj, że Twoją witrynę obserwują nie tylko wyszukiwarki, ale także dociekliwi użytkownicy i przede wszystkim wiecznie czujna konkurencja. Naprawdę nie warto ryzykować. Korzyści może i pojawią się szybko, wyniosą Twoją witrynę na szczyt, ale równie szybko możesz stoczyć się na sam dół.

Jeśli podejrzewasz, że jakaś strona podejmuje się działań spamerskich, możesz powiadomić o tym wyszukiwarkę Google za pomocą specjalnego formularza.

Zrobisz to pod adresem:

https://www.google.com/webmasters/tools/spamreportform?hl=en

Wszystkie strony, które korzystają z atrybutu noarchive, znaczników noscript, noframe będą bardzo dobrze obserwowane przez wyszukiwarki.

Strony niskiej jakości, spamerskie można wykryć na wiele sposobów. Tak naprawdę nie trzeba do tego żadnych specjalistycznych narzędzi. Każdy użytkownik poruszający się od jakiegoś czasu w sieci bez problemu sam namierzy podejrzana witrynę. Mając do dyspozycji dwa adresy na pewno zorientujesz się, że coś z jednym jest nie tak:

  • http://www.mojanowastrona.pl
  • http://www.mojanowastronanowastronamojastrona.pl

Nazwa domeny to tylko jeden aspekt. Wyszukiwarki biorą jeszcze pod uwagę kupowanie linków, jakość treści itp. Witrynę niskiej jakości możesz bez problemu samodzielnie rozpoznać i omijać ją szerokim łukiem. Czynniki wpływające na niską jakość domeny:

  • Zbyt duży stosunek reklam do treści – jeśli witryna posiada więcej reklam, niż rzeczywistej treści to nie zdobędzie zaufania i nie stanie się autorytetem. Użytkownicy niechętnie tworzą linki do takich witryn.
  • „wiek” domeny – czas, jaki upłynął od rejestracji witryny ma olbrzymie znaczenie. Linki zwrotne z takich domen są niżej oceniane niż z domen „wiekowych”.
  • Spamerskie słowa kluczowe – nadużywanie słów brandowych nie jest mile widziane przez wyszukiwarki i użytkowników.
  • Przekierowanie JavaScript – wyszukiwarki nie lubią tego typu przekierowań, szczególnie, że większość spamerów używa tego typu przekierowań.
  • Za dużo linków prowadzących do niskiej jakości stron – taka sytuacja nie może oznaczać niczego dobrego. Jeśli witryna linkuje tylko do słabej jakości stron, to na pewno sama w sobie też nie jest dużo warta, a może nawet jest farma linków.
  • Za mało linków z wysokiej jakości stron – brak linków zwrotnych z wysokiej jakości stron to kolejny niepokojący sygnał.
  • Mała liczba odwiedzin – im więcej odwiedzin, tym lepsza jakość treści i więcej powstających linków. W tym przypadku jest zupełnie na odwrót.
  • Brak linków zwrotnych z katalogów wysokiej jakości – każda szanująca się domena posiada linki nie tylko z wysokich jakości stron, ale i katalogów internetowych.
  • Duplikaty treści – strona może być spamerska.
  • Upchanie słowami kluczowymi domeny i subdomeny – taka domena nie ma wysokiej reputacji, autorytetu i oglądalności.
  • Długa i zawiła nazwa domeny – tak, to też ma znaczenie. Nazwa ma być przyjazna wyszukiwarce i użytkownikom. Wyszukiwarka nisko oceni skomplikowana nazwę, a i nie będzie ona miała większego znaczenia dla użytkowników.
  • Myślniki i cyfry w nazwie domeny – wyglądają po prostu nieestetycznie. Wyszukiwarka nie oceni wysoko takich nazw, a dla użytkowników będą trudne do zapamiętania.
  • Brak ocen w portalach społecznościowych to istotny sygnał świadczący o niskiej reputacji domeny.
  • Brak kanałów społecznościowych jak G+, Facebook, Twitter, Instagram, LinkedIn itp. – w końcu portale społecznościowe to najlepsze źródło marketingu.
  • Brak wyników w wyszukiwarce dla marki.
  • Brak certyfikatów SSI.
  • Małe prawdopodobieństwo, że witryna pojawia się w wielu wynikach wyszukiwania dla marki.
  • Małe prawdopodobieństwo, że do witryny stworzono zakładki z usług takich jak Delicious itp.
  • Małe prawdopodobieństwo, że witryna została oceniona w portalach społecznościowych takich jak Digg, Reddit, Yahoo!, StumbleUpon itp.
  • Małe prawdopodobieństwo, że witryna ma kanał w serwisie YouTube lub społeczność w portalach
  • Google+ i Facebook bądź linki z portalu Wikipedia.
  • Małe prawdopodobieństwo, że witryna została wspomniana na największych portalach wiadomości.
  • Małe prawdopodobieństwo, że witryna jest zarejestrowana w usługach lokalnych Google i Bing.
  • Małe prawdopodobieństwo, że na witrynie pojawia się prawdziwy adres i numer telefonu.
  • Duże prawdopodobieństwo, że domena znalazła się na czarnej liście adresów poczty elektronicznej.
  • Strona posiada tylko komercyjne treści.
  • Domena kopiuje treść znajdującą się w innych, różnych miejscach w sieci.
  • Witryna nie podaje informacji o polityce prywatności i prawach autorskich.
  • Treści zawarte na witrynie nie są nigdzie indziej cytowane ani udostępniane.
  • Witryna nie bierze udziału w programach partnerskich.
  • Witryna nie przeprowadza żadnych kampanii sieciowych.
  • Witryna zawiera złośliwe oprogramowanie, wirusy, programy szpiegowskie.
  • Strona posiada obce, mało używane rozszerzenia np. .cc
  • Strona nie posiada linków zwrotnych z domen .edu, .gov itd.

Jeśli witrynie można przypisać jeden z powyższych sygnałów, a nawet kilka, to jeszcze nie musi być znak, ze jest ona spamerska. Szczególnie tyczy się to nowo powstałych witryn. Niektóre symptomy można odebrać z poziomu narzędzi analitycznych, a są to:

  • Mało odwiedzin w ciągu jednego miesiąca.
  • Bardzo krótki czas przebywania użytkownika na witrynie – nie dłużej niż kilkadziesiąt sekund.
  • Niewielki ruch sieciowy z wykupionych kampanii PPC.
  • Niewielka ilość użytkowników stworzyła zakładkę do domeny z poziomu przeglądarki.
  • Witryna nie wykupuje banerów na innych stronach.
  • Użytkownicy odwiedzają witrynę tylko raz, nie wracają na nią.

Co ciekawe, także te powyższe sygnały nie zawsze są jednoznaczne. Wszystko musi mieć odpowiedni kontekst. Na przykład może się zdarzyć, że wydawca witryny nie wie, że istnieją takie rozwiązania, jak narzędzia dla webmasterów Google czy Bing.