Чому сайт не індексується в Google: причини

Сторінка опублікована, відкривається в браузері, є в sitemap.xml, а в Google її немає. Знайома ситуація — і саме тут часто починається хаотичне SEO: повторно відправити URL на індексацію, додати більше тексту, перевірити robots.txt, ще раз оновити sitemap, купити кілька посилань.

Проблема в тому, що всі ці дії відповідають на різні причини.

Google міг узагалі ще не знайти URL. Міг знайти, але не просканувати. Міг успішно завантажити сторінку й вирішити поки не додавати її до індексу. Міг вважати іншу URL основною canonical-версією. А інколи сторінка вже проіндексована — просто користувач не бачить її за потрібним запитом і помилково називає це проблемою індексації.

Тому діагностика починається не з robots.txt і не з кнопки Request Indexing.

Спочатку потрібно відповісти на просте питання:

на якому саме етапі зупинилася сторінка?

Умовно шлях виглядає так:

Discovery → Crawling → Rendering → Indexing → Ranking.

Якщо Google ще не знає URL, переписування Title нічого не дасть. Якщо Googlebot не може отримати сторінку через 403 або 5xx, додавання ще тисячі слів теж не допоможе. А якщо URL уже в індексі, проблема взагалі переходить із площини індексації в ранжування.

Саме тому нормальна перевірка індексації сайту — це діагностика стану, а не список універсальних SEO-порад.

Що таке індексація сайту

Індексація сайту — це процес, під час якого пошукова система аналізує сторінку та може додати інформацію про неї до свого пошукового індексу.

Але перед цим Google спочатку має дізнатися, що URL існує, а потім отримати доступ до сторінки.

Саме тут часто змішують три різні поняття:

сканування ≠ індексація ≠ ранжування.

Google може знайти сторінку й ще не просканувати її.

Може просканувати, але не додати до індексу.

Може додати до індексу, але не показувати високо за потрібним запитом.

Тому ситуація «я не бачу сторінку в топі Google» ще не означає, що вона не проіндексована.

Це принципова різниця. Інакше можна довго виправляти «індексацію» сторінки, яка насправді вже є в індексі й просто не має достатньої релевантності або конкурентності для потрібних запитів.

Як перевірити, чи сторінка справді не індексується

Найпростіша помилка на цьому етапі — діагностувати індексацію лише через звичайний пошук.

Перевірка через Google Search

Для швидкої орієнтації можна використати оператор:

site:domain.com

А для конкретної URL — пошук самої адреси або варіант із site:.

Це зручно для швидкої перевірки, але не варто сприймати оператор site: як точний звіт про стан індексації. Він не замінює Google Search Console й не повинен бути єдиною підставою для технічного висновку.

URL Inspection у Google Search Console

Для конкретної сторінки головний інструмент — URL Inspection.

Він показує, що Google знає саме про цю URL і як виглядає її поточний стан.

Особливо корисно перевірити:

  • чи є URL в індексі;

  • коли відбувся останній crawl;

  • чи дозволене crawling;

  • чи дозволена indexing;

  • який canonical указує сайт;

  • який Google-selected canonical обрала пошукова система.

Якщо потрібно перевірити поточну версію сторінки, а не лише дані останнього сканування, використовується Test Live URL.

Це важливе розділення. Дані про проіндексовану версію показують те, що Google уже знає, а live test допомагає перевірити, чи доступна поточна версія сторінки зараз.

Page Indexing

Коли проблема стосується не однієї URL, а десятків чи сотень сторінок, зручніше почати зі звіту Page Indexing.

Саме тут можна побачити, які групи URL Google не індексує та з якими статусами.

Тобто логіка проста:

одна конкретна сторінка → URL Inspection;
масова проблема → Page Indexing.

Як сторінка взагалі потрапляє до Google

Щоб правильно читати статуси Search Console, корисно розуміти сам шлях.

Discovery

Спочатку Google має дізнатися, що URL існує.

Джерелом можуть бути внутрішні або зовнішні посилання, sitemap та інші сигнали.

Crawling

Після цього Googlebot намагається отримати сторінку.

Тут уже можуть завадити robots.txt, проблеми із сервером, firewall, авторизація, redirect loop або інша технічна перешкода.

Rendering

Для сучасних сайтів важливо не тільки завантажити HTML, а й коректно отримати вміст сторінки після виконання JavaScript.

Користувач може бачити весь текст у браузері, тоді як crawler після rendering отримує майже порожню сторінку або не бачить ключового контенту.

Indexing

Після аналізу Google вирішує, чи додавати сторінку до пошукового індексу та яку URL вважати основною серед схожих або дубльованих варіантів.

Ranking

Лише після цього виникає питання, за якими запитами й на яких позиціях сторінка може показуватися.

Саме тому ситуації «Google не знає URL» і «URL є в індексі, але не ранжується» потребують абсолютно різних дій.

Google ще не знайшов сторінку

Для нової сторінки це одна з найпростіших причин.

URL існує, але Google ще не отримав достатнього сигналу, щоб його знайти.

Таке часто трапляється зі сторінками, які:

  • щойно створені;

  • не мають внутрішніх посилань;

  • є orphan pages;

  • відсутні в sitemap;

  • знаходяться дуже глибоко у структурі.

Особливо підозрілою є ситуація, коли сторінка фактично існує лише тому, що ви знаєте її адресу.

Якщо користувач і crawler не можуть перейти на неї з інших сторінок сайту, її інтеграція у структуру слабка.

Що робити

Додайте релевантне внутрішнє посилання з уже доступної сторінки, включіть canonical URL у sitemap.xml і перевірте, що сам sitemap доступний Google.

Для конкретної важливої сторінки після цього можна використати Request Indexing через URL Inspection.

Але Request Indexing — це запит на повторне сканування, а не команда «обов’язково додати до індексу».

Сторінка заблокована в robots.txt

robots.txt часто згадують як причину проблем з індексацією, але тут є важливий нюанс.

robots.txt передусім керує crawling.

Тобто правило Disallow повідомляє crawler, які URL не потрібно сканувати.

Це не те саме, що директива noindex.

У деяких випадках Google може знати про заблоковану URL з інших джерел і навіть показати саму адресу в індексі, не маючи доступу до нормального вмісту сторінки.

Тому використовувати robots.txt як універсальний спосіб «заборонити індексацію» — неправильна логіка.

І тут виникає ще один практичний нюанс: якщо ви хочете, щоб Google побачив noindex, йому зазвичай потрібно мати можливість просканувати сторінку та прочитати цю директиву.

На сторінці залишився noindex

Це дуже поширений сценарій після розробки, редизайну або перенесення сайту.

На staging сторінки закрили від індексації — і разом із новою версією noindex випадково потрапив на production.

Для користувача все виглядає нормально: сторінка відкривається, контент на місці, форма працює.

Для пошукової системи сигнал інший:

цю сторінку не потрібно включати до індексу.

Якщо в Page Indexing або URL Inspection видно, що URL виключена через noindex, а сторінка повинна бути доступною в пошуку, потрібно знайти джерело директиви та прибрати його.

Це може бути:

  • meta robots;

  • X-Robots-Tag;

  • правило CMS;

  • SEO-плагін;

  • шаблон;

  • налаштування конкретної сторінки.

Не варто просто натискати Request Indexing, доки сама причина залишається.

Googlebot отримує 401 або 403

Ще одна група проблем виникає, коли сторінка доступна вам, але недоступна Googlebot.

Це не обов’язково класична форма логіну.

Причиною можуть бути:

  • staging rules;

  • Cloudflare;

  • firewall;

  • WAF;

  • антибот-захист;

  • серверні правила;

  • помилки доступу;

  • обмеження за IP або user-agent.

У такій ситуації проблема не в SEO-тексті.

Google не може нормально отримати сторінку.

Тому Test Live URL та перевірка фактичної відповіді сервера тут значно корисніші за переписування контенту.

Помилки сервера 5xx

Якщо Googlebot регулярно отримує 5xx, мова вже йде про доступність сторінки.

Причиною може бути перевантажений сервер, проблеми застосунку, нестабільний hosting, timeout або конфігурація CDN.

З позиції SEO це дуже важлива проблема, але вирішується вона не через метатеги.

Спочатку сторінка повинна стабільно відповідати користувачеві та crawler.

Лише після цього має сенс аналізувати її індексацію.

Page with redirect і Redirect error — не одне й те саме

У Page Indexing ці стани потрібно читати по-різному.

Page with redirect

Якщо URL постійно перенаправляє користувача на іншу сторінку, вихідна адреса зазвичай і не повинна бути самостійно проіндексована.

Наприклад:

/old-service/ → 301 → /new-service/

У такому разі важливо перевірити, чи правильна кінцева URL, а не намагатися індексувати стару.

Redirect error

Це вже проблема.

Причиною можуть бути redirect loop, занадто складний ланцюжок, некоректна URL або інша помилка, через яку Google не може нормально пройти перенаправлення.

Тут потрібно виправляти сам redirect.

Canonical: сторінка може бути доступною, але Google індексує іншу URL

Один із найважливіших блоків при діагностиці індексації — canonicalization.

На сайті можуть існувати кілька URL з однаковим або дуже схожим контентом. Пошуковій системі потрібно визначити, яку з них вважати основною.

Важливо пам’ятати: canonical — сильний сигнал, але не жорстка команда.

Google може обрати іншу URL, якщо інші сигнали сайту суперечать указаному canonical.

Alternate page with proper canonical tag

Цей статус часто взагалі не є проблемою.

Наприклад, існує альтернативна або дубльована URL, але вона правильно вказує canonical на основну сторінку.

Google індексує основну версію — саме так і було задумано.

Виправляти тут нічого не потрібно, якщо canonical обраний правильно.

Duplicate without user-selected canonical

Google бачить дубльовані або дуже схожі сторінки, але сайт не дав чіткого canonical-сигналу.

Тоді Google сам визначає, яку версію вважати основною.

У такій ситуації потрібно перевірити:

  • чи справді сторінки є дублями;

  • яка URL повинна індексуватися;

  • який Google-selected canonical;

  • чи потрібен explicit canonical;

  • чи взагалі має дубль окрему SEO-цінність.

Google chose different canonical than user

Тут сайт указав одну canonical URL, але Google вибрав іншу.

Не потрібно автоматично вважати це багом пошукової системи.

Краще подивитися, чи не суперечать сигнали один одному.

Наприклад, сторінка вказує canonical на URL A, але:

  • internal links переважно ведуть на B;

  • у sitemap знаходиться B;

  • redirects підтримують B;

  • контент A і B практично ідентичний;

  • інші сигнали також сильніше вказують на B.

У такому разі одного <link rel="canonical"> може бути недостатньо.

Що означає Crawled — currently not indexed

Це один із найпоширеніших і водночас найнеправильніше трактованих статусів.

Він означає, що Google сторінку вже просканував, але наразі не включив її до індексу.

Це важлива відмінність: проблема не в тому, що crawler не знайшов URL.

Тому безкінечно повторювати Request Indexing зазвичай не має сенсу.

Замість цього варто запитати: чому саме цій URL потрібне окреме місце в індексі?

Перевірте:

  • чи має сторінка самостійну цінність;

  • чи не дублює інші URL;

  • чи відповідає окремому search intent;

  • чи правильно налаштований canonical;

  • чи достатньо вона інтегрована через internal linking;

  • чи бачить Google основний контент після rendering.

Важливо не спрощувати цей статус до формули «у вас поганий контент».

Crawled — currently not indexed сам по собі не доводить причину.

Тонка сторінка може бути проблемою. Дублювання — теж. Невиразний intent — теж. Але висновок потрібно робити після аналізу конкретної URL.

steps_image

Що означає Discovered — currently not indexed

Тут ситуація інша.

Google уже знає про URL, але ще її не просканував.

Тобто сторінка зупинилася раніше, ніж у випадку Crawled — currently not indexed.

Для однієї нової сторінки це іноді просто питання часу. Якщо ж статус масово накопичується на великій групі URL, варто дивитися на структуру сайту ширше.

Потенційні фактори:

  • слабка внутрішня перелінковка;

  • велика кількість технічних URL;

  • параметри та фільтри;

  • масштаб сайту;

  • sitemap;

  • нестабільна робота сервера;

  • надмірна кількість сторінок, які Google майже не вважає пріоритетними для crawling.

Crawl budget тут має значення насамперед для великих та технічно складних сайтів.

Для невеликого корпоративного сайту не варто автоматично робити crawl budget головним винуватцем кожної проблеми індексації.

Технічних заборон немає, а сторінка все одно не індексується

Це якраз той момент, де починається найбільше SEO-міфів.

robots.txt відкритий.

Noindex немає.

Сервер повертає 200.

Canonical виглядає правильно.

URL є в sitemap.

Що тепер?

Найгірша відповідь — «додайте ще 1000 слів».

Google не має обов’язку індексувати кожну технічно доступну сторінку.

Тому потрібно подивитися на саму роль URL у сайті.

Чи має сторінка окрему цінність порівняно з уже існуючими?

Чи не дублює іншу сторінку майже повністю?

Чи є в неї зрозумілий самостійний search intent?

Чи не виглядає вона як soft 404?

Чи є внутрішні посилання, які показують її місце в архітектурі?

Чи бачить crawler основний контент після JavaScript rendering?

Наприклад, на ecommerce-сайті можуть існувати сотні URL фільтрів, які технічно відкриваються, повертають 200 і навіть є crawlable. Це ще не означає, що всі вони заслуговують на окрему індексацію.

Що таке soft 404 і як він впливає на індексацію

Soft 404 — це ситуація, коли сторінка технічно повертає статус 200, але за змістом виглядає як відсутня, порожня або така, що не має нормального самостійного результату.

Наприклад, товару немає, а замість коректно опрацьованої сторінки користувач бачить майже порожній шаблон із повідомленням «нічого не знайдено».

Сервер каже: сторінка існує.

Зміст каже: тут фактично нічого немає.

Тому HTTP 200 ще не гарантує, що Google сприйматиме URL як повноцінну сторінку для індексації.

Чому sitemap.xml не гарантує індексацію

Це один із найстійкіших міфів.

Sitemap.xml допомагає Google знаходити URL і розуміти, які canonical-сторінки сайт вважає важливими.

Але наявність URL у sitemap не означає, що Google автоматично додасть її до індексу.

І це нормально.

Sitemap — джерело discovery та сигнал про структуру, а не список сторінок, які пошукова система зобов’язана індексувати.

Тому правильний sitemap важливий, але фраза «URL є в sitemap, отже проблема не може бути в індексації» не працює.

Так само неправильна логіка:

додали URL у sitemap → чекаємо гарантованого потрапляння в Google.

Такої гарантії немає.

Чому Request Indexing не вирішує всі проблеми

Кнопка Request Indexing корисна для важливих нових або суттєво оновлених сторінок.

Але вона не усуває першопричину.

Якщо на сторінці залишився noindex, request його не прибере.

Якщо URL заблокована для crawling, кнопка не змінить robots.txt.

Якщо сервер повертає 5xx, canonical веде на іншу сторінку або URL є дублем, повторне відправлення не робить її автоматично придатною до індексації.

Тому правильний порядок:

діагностувати → виправити → перевірити live URL → за потреби Request Indexing.

Не навпаки.

Покрокова діагностика, якщо сторінки немає в Google

Якщо потрібна конкретна послідовність дій, вона може виглядати так.

1. Перевірте URL через URL Inspection

Спочатку потрібно знати не припущення, а статус конкретної сторінки.

2. Прочитайте Page Indexing status

Crawled — currently not indexed, Discovered — currently not indexed, Page with redirect, Duplicate або Blocked by robots.txt — це різні проблеми.

Не лікуйте їх однаково.

3. Запустіть Test Live URL

Так можна перевірити, що відбувається з поточною версією сторінки зараз.

Особливо це корисно після виправлення технічної помилки.

4. Перевірте HTTP status

Для сторінки, яку потрібно індексувати, очікуваною відповіддю зазвичай буде стабільний 200.

301, 404, 403 або 5xx ведуть діагностику в зовсім інший бік.

5. Перевірте robots.txt і noindex

Не змішуйте їх.

robots.txt стосується crawling.

noindex — індексації.

6. Порівняйте canonical

Подивіться на user-declared canonical і Google-selected canonical.

Якщо вони відрізняються, потрібно зрозуміти, чому Google вважає іншу URL сильнішою основною версією.

7. Перевірте internal linking і sitemap

Чи є нормальні внутрішні посилання на URL?

Чи входить вона до структури сайту?

Чи містить sitemap правильну canonical-адресу?

8. Оцініть дублювання та самостійну цінність

Чи потрібна ця сторінка в індексі як окремий результат?

Це особливо важливо для тегів, фільтрів, параметричних URL та дуже схожих landing pages.

9. Перевірте rendering

Особливо якщо сайт активно використовує JavaScript.

У live test варто переконатися, що Google бачить основний контент, а не порожній або частково завантажений шаблон.

10. Після виправлення дайте Google час

Request Indexing може допомогти повторно поставити конкретну URL у чергу, але не гарантує миттєвого результату.

Не потрібно запускати нову хвилю змін через кілька годин лише тому, що статус ще не оновився.

Чи потрібно індексувати всі сторінки сайту

Ні.

І це важлива частина правильної роботи з Page Indexing.

Мета SEO — не отримати красиву цифру «100% Indexed».

Частина URL цілком нормально не повинна знаходитися в індексі.

Наприклад:

  • дублікати;

  • службові сторінки;

  • технічні параметри;

  • фільтри без окремого search intent;

  • видалені URL;

  • alternate pages із правильним canonical.

Проблема виникає тоді, коли Google не індексує важливі canonical-сторінки, які повинні брати участь у пошуку.

Тому різкий ріст секції Not indexed не завжди є катастрофою. Спочатку потрібно подивитися, які саме URL туди потрапили.

Як прискорити індексацію без SEO-міфів

Магічної кнопки «проіндексувати зараз» немає.

Проте можна зробити так, щоб Google було простіше знайти, просканувати й правильно зрозуміти важливу сторінку.

Насамперед вона повинна бути нормально інтегрована в сайт через внутрішні посилання.

Canonical URL варто додати до актуального sitemap.xml.

Googlebot повинен мати стабільний технічний доступ до сторінки.

robots.txt, noindex, server errors, redirect problems і canonical conflicts потрібно усунути.

Контент повинен мати достатню самостійну цінність і не бути ще однією майже ідентичною сторінкою без окремої задачі.

Для важливої нової або оновленої URL після перевірки можна використати Request Indexing.

Натомість немає сенсу будувати процес навколо сумнівних ping-сервісів, масових backlink-прогонів або інших «прискорювачів індексації», якщо не вирішена причина, через яку сторінка не потрапляє до індексу.

Як контролювати результат після виправлення

Після технічної правки робота ще не завершена.

Для конкретної URL варто повернутися до URL Inspection і перевірити її стан після повторного crawling.

Для ширшої проблеми — дивитися Page Indexing та динаміку indexed / not indexed.

Окремо перевіряйте статус sitemap.

А після того, як сторінка з’явилася в індексі, варто подивитися Performance у Search Console: чи почала URL отримувати impressions і за якими запитами.

Саме тут потрібно знову розділити два поняття.

Індексація ≠ трафік.

Факт, що Google додав URL до індексу, означає лише можливість брати участь у пошуку.

Далі починається вже інше завдання: чи вважає пошукова система сторінку достатньо релевантною та конкурентною, щоб показувати її за потрібними запитами.

Якщо сторінка проіндексована, але її немає за потрібним запитом

Це вже не проблема індексації.

Спочатку переконайтеся через URL Inspection, що сторінка справді є в індексі та Google-selected canonical відповідає очікуваній URL.

Якщо все нормально, далі потрібно аналізувати:

  • search intent;

  • релевантність контенту;

  • конкурентів;

  • internal linking;

  • зовнішні сигнали;

  • структуру сторінки;

  • загальну якість сайту.

Натискання Request Indexing у такій ситуації не допомагає «підняти позицію».

Це просто інша SEO-задача.

Хороша діагностика індексації починається зі статусу, а не зі списку порад

Якщо важлива сторінка не з’являється в Google, універсальна порада «перевірте robots.txt, sitemap і контент» майже нічого не дає.

Спочатку потрібно встановити, що саме сталося.

Google ще не знайшов URL?

Знайшов, але не просканував?

Googlebot не може отримати сторінку?

Сторінка має noindex?

Вона редиректить?

Google вважає іншу URL canonical?

Сторінка вже була просканована, але поки не потрапила до індексу?

Чи вона взагалі вже проіндексована, а справжня проблема — у позиціях?

Лише після цієї відповіді стає зрозуміло, що потрібно виправляти.

Саме тому індексація сайту — це не гонитва за максимальною кількістю indexed URL. Завдання значно конкретніше: зробити так, щоб Google міг знайти, просканувати, зрозуміти й індексувати ті canonical-сторінки, які справді потрібні користувачам і пошуку.

FAQ

Що таке індексація сайту?

Індексація сайту — це процес, під час якого Google аналізує сторінку та може додати інформацію про неї до пошукового індексу. Перед цим URL спочатку має бути знайдена й зазвичай просканована. Індексацію не потрібно плутати з ранжуванням: сторінка може бути в індексі й водночас не займати помітних позицій.

Як перевірити індексацію сайту в Google?

Для окремої сторінки найкраще використовувати URL Inspection у Google Search Console. Для аналізу великої кількості URL — Page Indexing. Пошук через site: можна використовувати лише як швидку орієнтовну перевірку.

Чому нова сторінка не індексується?

Google міг ще не знайти URL або не встигнути її просканувати. Перевірте internal linking, sitemap.xml, доступність сторінки для Googlebot і статус у URL Inspection. Якщо сторінка важлива й технічно доступна, після перевірки можна використати Request Indexing.

Скільки часу Google індексує нову сторінку?

Фіксованого строку немає. На швидкість впливають discovery, частота crawling, структура сайту, технічна доступність та інші сигнали. Request Indexing також не гарантує миттєвого потрапляння сторінки до індексу.

Що означає Crawled — currently not indexed?

Google уже просканував сторінку, але наразі не додав її до індексу. Це не означає автоматично, що контент поганий. Варто перевірити дублювання, canonical, search intent, самостійну цінність URL, internal linking і rendering.

Що означає Discovered — currently not indexed?

Google знає про URL, але ще її не просканував. Для одиничної нової сторінки це може бути тимчасовим станом. Якщо статус масово з’являється на великій групі URL, потрібно перевірити структуру, внутрішні посилання, sitemap, технічні URL та стан сервера.

Чи гарантує sitemap.xml індексацію?

Ні. Sitemap допомагає Google знаходити URL та розуміти структуру сайту, але не змушує пошукову систему індексувати кожну сторінку, яка в ньому зазначена.

Чи допомагає Request Indexing швидше потрапити в Google?

Він може допомогти поставити конкретну важливу URL у чергу на повторне сканування, але не усуває технічних або контентних причин проблеми й не гарантує включення сторінки до індексу.

Чи може robots.txt заборонити появу сторінки в Google?

robots.txt керує crawling і не є надійним інструментом для заборони індексації. URL, яку Google знає з інших джерел, у деяких ситуаціях може залишатися відомою пошуковій системі навіть без нормального crawling. Для керування індексацією використовується інша логіка, зокрема noindex.

Чому Google вибрав інший canonical?

Google розглядає canonical як сигнал, а не абсолютну команду. Якщо внутрішні посилання, sitemap, redirects, дублювання або інші сигнали вказують на іншу URL, пошукова система може вибрати її як Google-selected canonical.

Чи повинні всі сторінки сайту бути проіндексовані?

Ні. Дублікати, технічні параметри, непотрібні фільтри, службові URL, видалені сторінки та alternate pages із правильним canonical можуть закономірно не бути в індексі. Важливо, щоб індексувалися потрібні canonical-сторінки.

Що робити, якщо сторінка проіндексована, але її немає за потрібним запитом?

У такому випадку проблема вже не в індексації. Потрібно аналізувати search intent, релевантність сторінки, конкурентне середовище, внутрішню перелінковку, контент та інші фактори ранжування.

Зацініть наш блог
Всі публікації
Екскурсія закінчена. Тепер нумо до роботи !
Заповніть форму і пристебніться — далі поведемо ми!
Заповнити форму