На сайте КубГУ можно найти много полезной информации
Реализация в html:
1 вариант (robots.txt): создать "robots.txt" с директивой Disallow и создать meta тег: -meta name="robots" content="noindex"-
2 вариант (rel="noindex"): -a href="https://ya.ru/?..." rel="noindex" - Ссылка запрещенная для индексации поисковиками -/a-
Реализация в html: href="ftp://user:12345@ftp.sponge.ru"