CBox မှာအော်ထားတာတွေ့လို့ ရေးထားလိုက်ပါတယ်။ ခပ်တည်တည်နဲ့ကိုယ်က Search Engine တွေကို ဘန်းထားတယ်လို့ပြောတာ တစ်ကယ်တမ်းက သူတို့ကိုဘန်းထားတာမဟုတ်ပါဘူး ကိုယ်ကသူတို့ကို Index မလုပ်စေချင်တဲ့ နေရာတွေကို ပြောထားလို့ပါ။ Search Engine ဆိုတာ သူများ Information တွေကို အလကားလိုက်ယူနေတဲ့ဟာတွေဆိုတော့ ကိုယ်မယူစေချင်တဲ့နေရာကို ပြောထားလိုရပါတယ်။ ပြောထားရက်နဲ့ သူတို့ Index လုပ်သွားရင်တော့ တရားစွဲလို့ရပါတယ်။ ကိုယ့် Website ရဲ့ Root မှာ robots.txt ဆိုပြီးဖိုင်တစ်ဖိုင်ထားပြီး အဲ့သည့်အထဲမှာ ကိုယ်မလုပ်စေချင်တဲ့ Path တွေကိုထည့်ပေးရပါတယ်။
User-agent: *
Disallow: /
ဒီလိုသာထည့်လိုက် သူတို့ဘယ်ဟာကိုမှ Index မလုပ်တော့ဘူး။ ဒါမှမဟုတ်သီးသန့် Folder တွေကိုဖယ်ထားချင်တာဆိုရင်တော့
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/
….
ဒါမျိုးတွေထည့်ပေးလိုက်ပေါ့ဗျာ။
WordPress သုံးတဲ့လူဆိုရင်တော့ ဒါမျိုးတွေမထည့်ချင်ရင် Admin အနေနဲ့ဝင်။ Setting -> Privacy ->Blog Visibility ကို I would like to block search engines, but allow normal visitors လို့ရွေးထားလိုက်ဗျာ။ တစ်ခါတစ်လေတော့လည်း ကိုယ်က Public မဖြစ်စေချင်တဲ့ ကိစ္စတွေရှိတယ်လေ ဒါမျိုးတွေအတွက်သုံးရပါတယ်။ ကျွန်တော့် ဘလော့ထဲကစာသားတွေကို ယူပြီးတော့ Google မှာရှာကြည့်လိုက် တစ်ခြားကနေ RSS ယူပြီးပြထားတဲ့ နေရာတို့ တစ်ချို့အသုံးအနှုံးတူနေတာ ရှိရင်သာတွေ့မယ် ကျွန်တော့်ဘလော့မှာပါတယ်တော့ Result မှာတွေ့မှာမဟုတ်ဘူး။
Calm Hill
The way of my life …
yes…!
but, it can be easily find out that which parts are disallowed via the google dorks
anyway, it would be useful for the newbies bro
keep it up bro
ဟုတ်ပါတယ် Google ကိုဘယ်နေရာတွေကို Index မလုပ်ပါနဲ့လို့ ပြောလို့ရမှာပါ။ ဒါပေမယ့် တစ်ခုရှိတာက Google တစ်ခုတည်း Search Engine မဟုတ်ဘူးလေ။ တစ်ခြားဟာတွေကိုလည်း Prevent လုပ်ထားမှရမှာပေါ့။ robots.txt ဆိုတာက Search Engine စပြီးပေါ်ကတည်းက သုံးလာတာလေ။ ဘယ် Search Engine ကမဆို နားလည်တယ်။ ဒါကြောင့် robots.txt အကြောင်းပြောထားတာပါဗျာ။ ဘာမှမဟုတ်ဘူး မရေးအားလို့ တွေ့တာရေးထားတာ။