where are the robots [picoCTF 2019 Web 100]

https://ctftime.org/task/10385

前提知識

• robots.txt

解説

webでrobotsと言えば、クローラーであるので、その辺で考える。
robots.txtというファイルがあり、クローラーに対してある種の指示を行うことができる。
これがどっかにあるかなーと思い、
https://2019shell1.picoctf.com/problem/45102/robots.txtを見てみると、ある。
Disallowされているファイルがあり、これを見るとフラグget