В каком виде сайты находятся в базах?

Изначально, список который попадает к нам на проверку, имеет следующий вид:

• site1.com
• site2.com
• site3.com

В связи с тем, что у многих доменов стоят редиректы, которые в свою очередь обрабатывает наш софт, список на выходе может иметь следующий вид:

• http://site1.com
• http://site2.com/ru/
• https://site3.com

Таким образом, в базы записывается абсолютный путь URL до определенной CMS, включая протокол, так как один из частых редиректов – это редирект с http на https. Такой подход обеспечивает вам удобную обработку наших баз.