В каком виде сайты находятся в базах?

Изначально, список который попадает к нам на проверку, имеет следующий вид:

  • site1.com
  • site2.com
  • site3.com

В связи с тем, что у многих доменов стоят редиректы, которые в свою очередь обрабатывает наш софт, список на выходе может иметь следующий вид:

  • http://site1.com
  • http://site2.com/ru/
  • https://site3.com

Таким образом, в базы записывается абсолютный путь URL до определенной CMS, включая протокол, так как один из частых редиректов – это редирект с http на https. Такой подход обеспечивает вам удобную обработку наших баз.