# GIG.BY — новый сайт (Laravel), переключение 24.10.2026. # Правила под структуру Laravel-каталога: /catalog/<раздел>/[<бренд>|<товар>]/, фильтры в query. User-agent: * Disallow: /admin Disallow: /stats Disallow: /api/ Disallow: /search # Фильтры и сортировка каталога (параметры из UpsController) — дубликаты контента. Disallow: /*?*brand%5B Disallow: /*?*type%5B Disallow: /*?*phases%5B Disallow: /*?*form%5B Disallow: /*?*battery%5B Disallow: /*?*supply%5B Disallow: /*?*series%5B Disallow: /*?*ip%5B Disallow: /*?*kid%5B Disallow: /*?*priced= Disallow: /*?*power_from= Disallow: /*?*power_to= Disallow: /*?*price_from= Disallow: /*?*price_to= Disallow: /*?*q= Disallow: /*?*sort= Disallow: /*?*order= # Метки рекламных кампаний и клики. Disallow: /*?*utm_ Disallow: /*?*gclid= Disallow: /*?*yclid= Disallow: /*?*ysclid= Disallow: /*?*gtm_latency= # Яндекс Clean-param: параметры не участвуют в определении уникальности страницы # (пагинация, сортировка, техпараметры) — лекарство от дублей title/description. Clean-param: page|order|PAGEN_1|fmt|display|linerow|v|k|mode|ysclid|gtm_latency|gigv Allow: / Sitemap: https://gig.by/sitemap.xml # Внешние ИИ-агенты: заблокированы (статус-кво после переключения; вопрос Пола — оставить или открыть). User-Agent: meta-externalagent Disallow: / User-Agent: FacebookBot Disallow: / User-Agent: ClaudeBot Disallow: / User-Agent: GPTBot Disallow: / # === 26.10.2026 === # Meta Web Indexer — индексатор Meta под маской Chrome # ("... (compatible; meta-webindexer/1.1 ...)"): 74% всего трафика сайта (79 ГБ/сут), # массово качал PDF из /gdoc/. Полностью закрыт и в robots, и в nginx (403). # На превью ссылок в FB/WhatsApp не влияет — их качает facebookexternalhit/Meta-ExternalFetcher, # они ниже по UA не блокируются. User-Agent: meta-webindexer Disallow: / # Защита PDF от массовой выкачки (ТЗ 16.11.2026): те же боты закрыты # и в nginx (403 на *.pdf, conf.d/gig-pdf-guard.conf). Список — по замеру # 09–16.11.2026: на них пришлось ~150 ГБ PDF за неделю. # Яндекс и Google не блокируются: они индексируют HTML-страницы документов. User-agent: AhrefsBot Disallow: / User-agent: SemrushBot Disallow: / User-agent: MJ12bot Disallow: / User-agent: DotBot Disallow: / User-agent: PetalBot Disallow: / User-agent: Bytespider Disallow: / User-agent: BLEXBot Disallow: / User-agent: DataForSeoBot Disallow: / User-agent: MegaIndex Disallow: / User-agent: SeznamBot Disallow: / User-agent: GPTBot Disallow: / User-agent: CCBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Amazonbot Disallow: / User-agent: ImagesiftBot Disallow: / User-agent: PerplexityBot Disallow: / User-agent: ReflectionBot Disallow: / User-agent: TokenFoundryBot Disallow: /