ឯកសារ robots.txt ដែលរក្សាទុកនៅក្នុងគេហទំព័ររបស់អ្នកនឹងប្រាប់ដល់មនុស្សយន្តដូចជា ម៉ាស៊ីនស្វែងរក ពីងពាងនូវថតឯកសារនិងឯកសារដែលពួកគេត្រូវបានអនុញ្ញាតឱ្យវារ។ វាងាយស្រួលប្រើឯកសារ robots.txt ប៉ុន្តែមានរឿងមួយចំនួនដែលអ្នកគួរចងចាំ:
- មនុស្សយន្តបណ្តាញមួកខ្មៅនឹងមិនអើពើឯកសារ robots.txt របស់អ្នក។ ប្រភេទទូទៅបំផុតគឺរូបរាងមេរោគនិងមនុស្សយន្តរកមើលអាស័យដ្ឋានអ៊ីម៉ែលដើម្បីប្រមូលផល។
- អ្នកសរសេរកម្មវិធីថ្មីមួយចំនួននឹងសរសេរមនុស្សយន្តដែលមិនអើពើឯកសារ robots.txt ។ នេះជាធម្មតាត្រូវបានធ្វើដោយកំហុស។
- នរណាម្នាក់អាចមើលឃើញឯកសារ robots.txt របស់អ្នក។ ពួកវាតែងតែត្រូវបានគេហៅថា robots.txt ហើយតែងតែត្រូវបានរក្សាទុកនៅឫសនៃគេហទំព័រ។
- ចុងក្រោយប្រសិនបើនរណាម្នាក់ភ្ជាប់ទៅឯកសារឬថតដែលត្រូវបានដកចេញដោយឯកសារ robots.txt របស់អ្នកពីទំព័រដែលមិនត្រូវបានដកចេញដោយឯកសារ robots.txt របស់ពួកគេនោះម៉ាស៊ីនស្វែងរកអាចរកវាយ៉ាងណាក៏ដោយ។
កុំប្រើឯកសារ robots.txt ដើម្បីលាក់អ្វីដែលសំខាន់។ ផ្ទុយទៅវិញអ្នកគួរដាក់ពត៌មានសំខាន់ៗនៅពីក្រោយ ពាក្យសម្ងាត់សុវត្ថិភាព ឬទុកវាចោល។
របៀបប្រើឯកសារគំរូទាំងនេះ
ចម្លងអត្ថបទពីគំរូដែលនៅជិតនឹងអ្វីដែលអ្នកចង់ធ្វើហើយបិទភ្ជាប់វាទៅក្នុងឯកសារ robots.txt របស់អ្នក។ ផ្លាស់ប្តូររ៉ូបូតថតនិងឈ្មោះឯកសារដើម្បីផ្គូរផ្គងការកំណត់រចនាសម្ព័ន្ធដែលអ្នកចូលចិត្ត។
ឯកសារ Robots.txt មូលដ្ឋានចំនួនពីរ
ភ្នាក់ងារអ្នកប្រើ: *
មិនអនុញ្ញាត: /
ឯកសារនេះនិយាយថារ៉ូប (ភ្នាក់ងារអ្នកប្រើ: *) ដែលចូលដំណើរការវាគួរតែមិនអើពើរាល់ទំព័រនៅលើគេហទំព័រ (មិនអនុញ្ញាត: /) ។
ភ្នាក់ងារអ្នកប្រើ: *
មិនអនុញ្ញាត:
ឯកសារនេះនិយាយថាមនុស្សយន្ត (ភ្នាក់ងារអ្នកប្រើ: *) ណាដែលចូលប្រើវាត្រូវបានអនុញ្ញាតឱ្យមើលគ្រប់ទំព័រនៅលើគេហទំព័រ (មិនអនុញ្ញាត:) ។
អ្នកក៏អាចធ្វើដូច្នេះដោយទុកឯកសារ robot.txt របស់អ្នកឱ្យនៅទទេឬមិនមានមួយនៅលើគេហទំព័ររបស់អ្នក។
ការពារថតជាក់លាក់ពីមនុស្សយន្ត
ភ្នាក់ងារអ្នកប្រើ: *
មិនអនុញ្ញាត: / cgi-bin /
មិនអនុញ្ញាត: / temp /
ឯកសារនេះនិយាយថារ៉ូបូត (User-agent: *) ដែលចូលដំណើរការវាគួរតែមិនអើពើនឹងថត / cgi-bin / និង / temp / (Disallow: / cgi-bin / Disallow: / temp /) ។
ការពារទំព័រជាក់លាក់ពីមនុស្សយន្ត
ភ្នាក់ងារអ្នកប្រើ: *
មិនអនុញ្ញាត: / jenns-stuff.htm
មិនអនុញ្ញាត: /private.php
ឯកសារនេះនិយាយថាមនុស្សយន្ត (ភ្នាក់ងារអ្នកប្រើ: *) ណាដែលចូលប្រើវាគួរតែមិនអើពើឯកសារ / jenns-stuff.htm និង /private.php (មិនអនុញ្ញាត: / jenns-stuff.htm មិនអនុញ្ញាត: /private.php) ។
រារាំង Robot ជាក់លាក់ពីការចូលប្រើគេហទំព័ររបស់អ្នក
ភ្នាក់ងារអ្នកប្រើ: Lycos / xx
មិនអនុញ្ញាត: /
ឯកសារនេះនិយាយថារូបយន្ត Lycos (ភ្នាក់ងារអ្នកប្រើ: Lycos / xx) មិនត្រូវបានអនុញ្ញាតឱ្យចូលដំណើរការគ្រប់ទីកន្លែងនៅលើវិបសាយទេ (មិនអនុញ្ញាត: /) ។
អនុញ្ញាតឱ្យចូលដំណើរការមនុស្សយន្តជាក់លាក់តែមួយប៉ុណ្ណោះ
ភ្នាក់ងារអ្នកប្រើ: *
មិនអនុញ្ញាត: /
ភ្នាក់ងារអ្នកប្រើ: Googlebot
មិនអនុញ្ញាត:
ឯកសារនេះជាដំបូងមិនអនុញ្ញាតឱ្យមនុស្សយន្តដូចយើងបានធ្វើពីមុនហើយបន្ទាប់មកអនុញ្ញាតឱ្យ Googlebot (អ្នកប្រើភ្នាក់ងារ: Googlebot) អាចចូលប្រើអ្វីគ្រប់យ៉ាង (មិនអនុញ្ញាត:) ។
ផ្សំបន្ទាត់ច្រើនដើម្បីទទួលបានការលើកលែងដែលអ្នកត្រូវការ
ខណៈពេលដែលវាល្អប្រសើរជាងមុនដើម្បីប្រើបន្ទាត់ភ្នាក់ងារអ្នកប្រើដែលដាក់បញ្ចូលដូចជាភ្នាក់ងារអ្នកប្រើ: *, អ្នកអាចមានលក្ខណៈជាក់លាក់ដូចដែលអ្នកចូលចិត្ត។ ចងចាំថារ៉ូបូតអានឯកសារក្នុងលំដាប់។ ដូច្នេះប្រសិនបើបន្ទាត់ទីមួយនិយាយថាមនុស្សយន្តទាំងអស់ត្រូវបានរាំងខ្ទប់ពីគ្រប់យ៉ាងហើយក្រោយមកទៀតនៅក្នុងឯកសារនោះវានិយាយថាមនុស្សយន្តទាំងអស់ត្រូវបានអនុញ្ញាតឱ្យចូលប្រើគ្រប់យ៉ាងមនុស្សយន្តនឹងអាចចូលប្រើអ្វីៗគ្រប់យ៉ាង។
ប្រសិនបើអ្នកមិនប្រាកដថាតើអ្នកបានសរសេរឯកសារ robot.txt របស់អ្នកយ៉ាងត្រឹមត្រូវអ្នកអាចប្រើឧបករណ៍អ្នកគ្រប់គ្រងរបស់ Google ដើម្បីពិនិត្យមើលឯកសារ robots.txt របស់អ្នកឬសរសេរថ្មី។