https://tech.techtouch.jp/entry/robotstxt-xrobotstag
検索結果に表示させない技術 robots.txt と X-Robots-Tag を正しく組み合わせよう - Techtouch Developers Blog
Feb 27, 2025 - 検索結果にウェブページを載せたくない、というモチベーションの元でのrobots.txt と X-Robots-Tag によるクローラー制御について。
robots txttagtechtouchdevelopersblog