2013-07-14から1日間の記事一覧
かのnorobots-rfc.txt では、%7Eについては /~joe/index.html /%7Ejoe/index.html yes http://www.robotstxt.org/norobots-rfc.txt とマッチするとされているが、robotstxt-goでは を実行するとfalseとなる。robotstxt-goはどうやら、現状のgoogleのwebmaste…
かのnorobots-rfc.txt では、%7Eについては /~joe/index.html /%7Ejoe/index.html yes http://www.robotstxt.org/norobots-rfc.txt とマッチするとされているが、robotstxt-goでは を実行するとfalseとなる。robotstxt-goはどうやら、現状のgoogleのwebmaste…