{"id":2314,"date":"2018-01-01T09:27:33","date_gmt":"2018-01-01T05:57:33","guid":{"rendered":"https:\/\/afaghhosting.net\/blog\/?p=2314"},"modified":"2018-01-01T09:27:33","modified_gmt":"2018-01-01T05:57:33","slug":"%d9%87%d9%85%d9%87-%da%86%db%8c%d8%b2-%d8%af%d8%b1%d8%a8%d8%a7%d8%b1%d9%87-%d9%81%d8%a7%db%8c%d9%84-robots-txt-%d8%b1%d8%a8%d8%a7%d8%aa-%da%af%d9%88%da%af%d9%84","status":"publish","type":"post","link":"https:\/\/afaghhosting.net\/blog\/%d9%87%d9%85%d9%87-%da%86%db%8c%d8%b2-%d8%af%d8%b1%d8%a8%d8%a7%d8%b1%d9%87-%d9%81%d8%a7%db%8c%d9%84-robots-txt-%d8%b1%d8%a8%d8%a7%d8%aa-%da%af%d9%88%da%af%d9%84\/","title":{"rendered":"\u0647\u0645\u0647 \u0686\u06cc\u0632 \u062f\u0631\u0628\u0627\u0631\u0647 \u0641\u0627\u06cc\u0644 robots.txt \u0631\u0628\u0627\u062a \u06af\u0648\u06af\u0644"},"content":{"rendered":"

\"robots.txt\"<\/p>\n

\u0641\u0627\u06cc\u0644 robots.txt<\/strong>\u00a0\u06cc\u06a9 \u0641\u0627\u06cc\u0644 \u0645\u062a\u0646\u06cc \u0627\u0633\u062a \u06a9\u0647 \u0645\u062f\u06cc\u0631\u0627\u0646 \u0633\u0627\u06cc\u062a \u0648 \u0648\u0628\u0645\u0633\u062a\u0631\u0647\u0627 \u0628\u0631\u0627\u06cc \u0647\u062f\u0641 \u062f\u0647\u06cc \u0648 \u06a9\u0646\u062a\u0631\u0644 \u0639\u0645\u0644\u06cc\u0627\u062a \u062e\u0632\u06cc\u062f\u0646 \u0648 crawl \u06a9\u0631\u062f\u0646 \u0633\u0627\u06cc\u062a \u062a\u0648\u0633\u0637\u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 \u0647\u0627\u06cc \u0645\u0648\u062a\u0648\u0631\u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648\u00a0\u0627\u06cc\u062c\u0627\u062f \u0645\u06cc \u06a9\u0646\u0646\u062f. \u0627\u06cc\u0646 \u0641\u0627\u06cc\u0644 \u0628\u062e\u0634\u06cc \u0627\u0632 \u067e\u0631\u0648\u062a\u06a9\u0644 \u0631\u062f\u06af\u06cc\u0631\u06cc \u0631\u0628\u0627\u062a \u0647\u0627\u06cc \u0645\u0648\u062a\u0648\u0631\u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648 (REP) \u0645\u06cc \u0628\u0627\u0634\u062f. \u0627\u06cc\u0646 \u067e\u0631\u0648\u062a\u06a9\u0644 \u062f\u0631\u0628\u0631\u06af\u06cc\u0631\u0646\u062f\u0647 \u06af\u0631\u0648\u0647\u06cc \u0627\u0632 \u0627\u0633\u062a\u0627\u0646\u062f\u0627\u0631\u062f\u0647\u0627\u06cc \u0648\u0628 \u0627\u0633\u062a \u06a9\u0647 \u0686\u06af\u0648\u0646\u06af\u06cc \u0631\u062f\u06cc\u0627\u0628\u06cc \u0633\u0627\u06cc\u062a \u062a\u0648\u0633\u0637 \u0645\u0648\u062a\u0648\u0631\u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648 \u0648 \u0646\u062d\u0648\u0647 \u062f\u0633\u062a\u0631\u0633\u06cc \u0631\u0628\u0627\u062a \u0647\u0627 \u0628\u0647 \u0645\u062d\u062a\u0648\u0627\u06cc \u0633\u0627\u06cc\u062a \u0631\u0627 \u062a\u0639\u06cc\u06cc\u0646 \u0648 \u06cc\u0627 \u0645\u062d\u062f\u0648\u062f \u0645\u06cc \u06a9\u0646\u062f.<\/p>\n

REP \u0647\u0645\u0686\u0646\u06cc\u0646 \u0634\u0627\u0645\u0644 \u062f\u0633\u062a\u0648\u0631\u0627\u0644\u0639\u0645\u0644 \u0647\u0627\u06cc\u06cc \u0645\u0627\u0646\u0646\u062f \u0631\u0648\u0628\u0627\u062a \u0647\u0627\u06cc \u0645\u062a\u0627 (meta robots) \u0648 \u0646\u062d\u0648\u0647 \u0628\u0631\u062e\u0648\u0631\u062f \u0645\u0648\u062a\u0648\u0631\u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648 \u0628\u0627 \u0644\u06cc\u0646\u06a9 \u0647\u0627 (\u201cfollow\u201d \u00a0\u06cc\u0627 \u201cnofollow\u201d) \u0645\u06cc \u0628\u0627\u0634\u062f.<\/p>\n

\u0633\u0627\u062e\u062a\u0627\u0631 \u0627\u0635\u0644\u06cc \u0641\u0627\u06cc\u0644\u00a0<\/strong>robots.txt<\/strong><\/h2>\n

\u062f\u0633\u062a\u0648\u0631 User-agent :<\/strong>\u00a0\u0645\u0634\u062e\u0635 \u06a9\u0631\u062f\u0646 \u0646\u0627\u0645 \u0631\u0628\u0627\u062a \u062e\u0627\u0635\u06cc \u06a9\u0647 \u0642\u0635\u062f \u062f\u0627\u0631\u06cc\u062f \u0628\u0631\u0627\u06cc \u0622\u0646 \u062f\u0631 \u062f\u0633\u062a\u0631\u0633\u06cc \u0628\u0647 \u0645\u062d\u062a\u0648\u0627\u06cc \u0633\u0627\u06cc\u062a \u0645\u062d\u062f\u0648\u062f\u06cc\u062a \u0627\u06cc\u062c\u0627\u062f \u06a9\u0646\u06cc\u062f. \u0628\u0631\u0627\u06cc \u0645\u0634\u0627\u0647\u062f\u0647 \u0644\u06cc\u0633\u062a \u06a9\u0627\u0645\u0644\u06cc \u0627\u0632 \u0646\u0627\u0645 \u0631\u0628\u0627\u062a \u0647\u0627\u06cc \u0645\u062a\u0646\u0648\u0639 \u0645\u0648\u062a\u0648\u0631\u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648 \u0645\u06cc \u062a\u0648\u0627\u0646\u06cc\u062f \u0628\u0627 \u0627\u06cc\u0646\u00a0\u0644\u06cc\u0646\u06a9\u00a0\u0645\u0631\u0627\u062c\u0639\u0647 \u0646\u0645\u0627\u06cc\u06cc\u062f.<\/p>\n

\u062f\u0633\u062a\u0648\u0631 Disallow :<\/strong>\u00a0\u0646\u0627\u0645 \u067e\u0648\u0634\u0647 \u06cc\u0627 \u0622\u062f\u0631\u0633 \u062e\u0627\u0635\u06cc \u0627\u0632 \u0633\u0627\u06cc\u062a \u06a9\u0647 \u0642\u0635\u062f \u062f\u0627\u0631\u06cc\u062f \u0628\u0631\u0627\u06cc \u0622\u0646 \u0645\u062d\u062f\u0648\u062f\u06cc\u062a \u0627\u06cc\u062c\u0627\u062f \u06a9\u0646\u06cc\u062f \u0648 \u0622\u0646 \u0631\u0627 \u0627\u0632 \u062f\u06cc\u062f \u0631\u0628\u0627\u062a \u0647\u0627\u06cc \u0645\u062e\u0641\u06cc \u0646\u06af\u0647 \u062f\u0627\u0631\u06cc\u062f.<\/p>\n

\u062f\u0633\u062a\u0648\u0631 Allow :<\/strong>\u00a0\u0627\u0631\u0627\u0626\u0647 \u0645\u062c\u0648\u0632 \u062f\u0633\u062a\u0631\u0633\u06cc \u0628\u0647 \u0631\u0628\u0627\u062a \u06af\u0648\u06af\u0644 \u0628\u0631\u0627\u06cc \u0627\u06cc\u0646\u062f\u06a9\u0633 \u06a9\u0631\u062f\u0646 \u0648 \u0628\u0631\u0631\u0633\u06cc \u067e\u0648\u0634\u0647 \u062e\u0627\u0635\u06cc \u0627\u0632 \u0633\u0627\u06cc\u062a\u060c \u062f\u0631 \u062d\u0627\u0644\u06cc\u06a9\u0647 \u067e\u0648\u0634\u0647 \u0645\u0627\u062f\u0631 \u0622\u0646 \u0648 \u06cc\u0627 \u067e\u0648\u0634\u0647\u00a0 \u062f\u0627\u062e\u0644\u06cc \u0622\u0646 \u0645\u062d\u062f\u0648\u062f \u0634\u062f\u0647 \u0628\u0627\u0634\u062f. \u062a\u0648\u062c\u0647 \u0646\u0645\u0627\u06cc\u06cc\u062f \u06a9\u0647 \u0627\u06cc\u0646 \u062f\u0633\u062a\u0648\u0631 \u062a\u0646\u0647\u0627 \u0628\u0631\u0627\u06cc \u0631\u0628\u0627\u062a \u06af\u0648\u06af\u0644 (Googlebot) \u0645\u06cc \u0628\u0627\u0634\u062f.<\/p>\n

\u062f\u0633\u062a\u0648\u0631 Crawl-delay :<\/strong>\u00a0\u062a\u0639\u06cc\u06cc\u0646 \u0645\u062f\u062a \u0632\u0645\u0627\u0646\u06cc \u06a9\u0647 \u0631\u0628\u0627\u062a \u0647\u0627\u06cc \u0645\u0648\u062a\u0648\u0631\u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648 \u0642\u0628\u0644 \u0627\u0632 \u0644\u0648\u062f \u06a9\u0627\u0645\u0644 \u0635\u0641\u062d\u0647 \u0628\u0631\u0627\u06cc \u0628\u0631\u0631\u0633\u06cc \u0645\u062d\u062a\u0648\u0627 \u0628\u0627\u06cc\u062f \u0635\u0628\u0631 \u06a9\u0646\u0646\u062f \u0648 \u0628\u0631 \u062d\u0633\u0628 \u0645\u06cc\u0644\u06cc \u062b\u0627\u0646\u06cc\u0647 \u0628\u0627\u06cc\u062f \u0648\u0627\u0631\u062f \u0634\u0648\u062f. \u062a\u0648\u062c\u0647 \u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u06cc\u062f \u06a9\u0647 Googlebot \u0627\u06cc\u0646 \u062f\u0633\u062a\u0648\u0631 \u0631\u0627 \u062a\u0623\u06cc\u06cc\u062f \u0646\u0645\u06cc \u06a9\u0646\u062f\u060c \u0627\u0645\u0627 \u0633\u0631\u0639\u062a \u062e\u0632\u06cc\u062f\u0646 \u0631\u0627 \u0645\u06cc \u062a\u0648\u0627\u0646 \u062f\u0631 \u06a9\u0646\u0633\u0648\u0644 \u062c\u0633\u062a\u062c\u0648\u06cc \u06af\u0648\u06af\u0644 \u062a\u0639\u06cc\u06cc\u0646 \u06a9\u0631\u062f.<\/p>\n

\u062f\u0633\u062a\u0648\u0631 Sitemap :<\/strong>\u00a0\u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u0627\u06cc\u0646 \u062f\u0633\u062a\u0648\u0631 \u0628\u0631\u0627\u06cc \u062a\u0639\u06cc\u06cc\u0646 \u0645\u0648\u0642\u0639\u06cc\u062a (URL) \u0641\u0627\u06cc\u0644 \u0646\u0642\u0634\u0647 \u0633\u0627\u06cc\u062a (XML sitemap) \u0645\u06cc \u0628\u0627\u0634\u062f. \u0628\u0647 \u0627\u06cc\u0646 \u0646\u06a9\u062a\u0647 \u0646\u06cc\u0632 \u062f\u0642\u062a \u06a9\u0646\u06cc\u062f \u06a9\u0647 \u0627\u06cc\u0646 \u062f\u0633\u062a\u0648\u0631 \u062a\u0646\u0647\u0627 \u062a\u0648\u0633\u0637 \u06af\u0648\u06af\u0644\u060c Ask \u060c \u0628\u06cc\u0646\u06af \u0648 \u06cc\u0627\u0647\u0648 \u067e\u0634\u062a\u06cc\u0628\u0627\u0646\u06cc \u0645\u06cc \u0634\u0648\u062f.<\/p>\n

\n
\u0645\u0637\u0644\u0628 \u0645\u0631\u062a\u0628\u0637<\/span>\u00a0\u00a07 \u0631\u0627\u0647 \u0628\u0631\u0627\u06cc \u0628\u0647\u06cc\u0646\u0647 \u0633\u0627\u0632\u06cc \u06a9\u0645\u067e\u06cc\u0646 \u06af\u0648\u06af\u0644 \u0627\u062f\u0648\u0631\u062f\u0632<\/span><\/div>\n<\/div>\n

\u0641\u0627\u06cc\u0644 robots.txt \u06a9\u062c\u0627 \u0642\u0631\u0627\u0631 \u0645\u06cc\u06af\u06cc\u0631\u062f\u061f\u00a0<\/strong><\/h2>\n

\u0631\u0628\u0627\u062a \u0647\u0627\u06cc \u0645\u0648\u062a\u0648\u0631\u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648 \u0627\u06cc\u0646 \u0641\u0627\u06cc\u0644 \u0631\u0627 \u062a\u0646\u0647\u0627 \u062f\u0631 \u0627\u06cc\u0646 \u0622\u062f\u0631\u0633 (www.example.com\/robots.txt) \u062c\u0633\u062a\u062c\u0648 \u0645\u06cc \u06a9\u0646\u0646\u062f \u0648 \u062f\u0631 \u0635\u0648\u0631\u062a\u06cc\u06a9\u0647 \u0627\u06cc\u0646 \u0641\u0627\u06cc\u0644 \u062f\u0631 \u0627\u06cc\u0646 \u0622\u062f\u0631\u0633 \u0648\u062c\u0648\u062f \u0646\u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u062f \u0648 \u06cc\u0627 \u0646\u0627\u0645 \u0622\u0646 \u0645\u062a\u0641\u0627\u0648\u062a \u0628\u0627\u0634\u0646\u062f\u060c \u062a\u0635\u0648\u0631 \u0622\u0646 \u0647\u0627 \u0628\u0631 \u0627\u06cc\u0646 \u062e\u0648\u0627\u0647\u062f \u0628\u0648\u062f \u06a9\u0647 \u0627\u06cc\u0646 \u0641\u0627\u06cc\u0644 \u062a\u0648\u0633\u0637 \u0634\u0645\u0627 \u0627\u06cc\u062c\u0627\u062f \u0646\u0634\u062f\u0647\u060c \u0645\u062d\u062f\u0648\u062f\u06cc\u062a\u06cc \u0628\u0631\u0627\u06cc \u0627\u06cc\u0646\u062f\u06a9\u0633 \u0648 \u0628\u0631\u0631\u0633\u06cc \u06a9\u0631\u062f\u0646 \u0633\u0627\u06cc\u062a \u0628\u0631\u0627\u06cc \u0631\u0628\u0627\u062a \u0647\u0627 \u0627\u06cc\u062c\u0627\u062f \u0646\u06a9\u0631\u062f\u0647 \u0627\u06cc\u062f \u0648 \u062a\u0645\u0627\u0645\u06cc \u0633\u0627\u06cc\u062a \u0628\u0647 \u0635\u0648\u0631\u062a \u06a9\u0627\u0645\u0644 \u062a\u0648\u0633\u0637 \u0631\u0628\u0627\u062a \u0647\u0627 \u0628\u0631\u0631\u0633\u06cc \u0645\u06cc \u0634\u0648\u062f. \u0627\u06cc\u0646 \u0641\u0627\u06cc\u0644 \u0631\u0627 \u0645\u06cc \u0628\u0627\u06cc\u0633\u062a \u062f\u0631 \u0631\u06cc\u0634\u0647 \u0627\u0635\u0644\u06cc \u0633\u0627\u06cc\u062a \u062e\u0648\u062f \u0642\u0631\u0627\u0631 \u062f\u0647\u06cc\u062f.<\/p>\n

\u0646\u062d\u0648\u0647 \u0639\u0645\u0644\u06a9\u0631\u062f \u0641\u0627\u06cc\u0644 robots.txt :\u00a0<\/strong><\/h2>\n

\u0645\u0648\u062a\u0648\u0631\u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648 2 \u0647\u062f\u0641 \u06a9\u0644\u06cc \u062f\u0627\u0631\u0646\u062f:<\/p>\n

1 \u2013 \u067e\u0648\u06cc\u0634 \u0628\u0633\u062a\u0631 \u0648\u0628 \u0628\u0631\u0627\u06cc \u0628\u0631\u0631\u0633\u06cc \u0645\u062d\u062a\u0648\u0627\u06cc \u0648\u0628<\/p>\n

2 \u2013 \u0627\u06cc\u0646\u062f\u06a9\u0633 \u06a9\u0631\u062f\u0646 \u0645\u062d\u062a\u0648\u0627 \u0628\u0631\u0627\u06cc \u067e\u0648\u0634\u0634 \u062f\u0627\u062f\u0646 \u0648 \u0646\u0645\u0627\u06cc\u0634 \u0627\u0637\u0644\u0627\u0639\u0627\u062a \u0645\u0631\u062a\u0628\u0637 \u0628\u0627 \u062c\u0633\u062a\u062c\u0648\u06cc \u06a9\u0627\u0631\u0628\u0631\u0627\u0646<\/p>\n

\u0628\u0631\u0627\u06cc \u062e\u0632\u06cc\u062f\u0646 \u062f\u0631 \u0645\u06cc\u0627\u0646 \u0633\u0627\u06cc\u062a \u0647\u0627\u060c \u0631\u0628\u0627\u062a \u0647\u0627\u06cc \u0645\u0648\u062a\u0648\u0631\u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648 \u0644\u06cc\u0646\u06a9 \u0647\u0627 \u0631\u0627 \u0627\u0632 \u06cc\u06a9 \u0633\u0627\u06cc\u062a \u0628\u0647 \u0633\u0627\u06cc\u062a \u062f\u06cc\u06af\u0631 \u062f\u0646\u0628\u0627\u0644 \u0645\u06cc \u06a9\u0646\u0646\u062f \u0648 \u062f\u0631 \u0646\u0647\u0627\u06cc\u062a \u0645\u06cc\u0644\u06cc\u0627\u0631\u062f\u0647\u0627 \u0644\u06cc\u0646\u06a9 \u0648 \u0648\u0628\u0633\u0627\u06cc\u062a \u062a\u0648\u0633\u0637 \u0631\u0628\u0627\u062a \u0647\u0627 \u067e\u0631\u062f\u0627\u0632\u0634 \u0648 \u0628\u0631\u0631\u0633\u06cc \u0645\u06cc \u0634\u0648\u062f.<\/p>\n

\u067e\u0633 \u0627\u0632 \u0627\u06cc\u0646\u06a9\u0647 \u0631\u0628\u0627\u062a \u062a\u0648\u0633\u0637 \u06cc\u06a9 \u0644\u06cc\u0646\u06a9 \u0628\u0647 \u06cc\u06a9 \u0633\u0627\u06cc\u062a \u0645\u06cc\u0631\u0633\u062f\u060c \u062f\u0631 \u0627\u0628\u062a\u062f\u0627\u00a0\u0641\u0627\u06cc\u0644 robots.txt<\/strong>\u00a0\u0631\u0627 \u062c\u0633\u062a\u062c\u0648 \u0645\u06cc \u06a9\u0646\u062f \u0648 \u067e\u0633 \u0627\u0632 \u06cc\u0627\u0641\u062a\u0646 \u0622\u0646\u060c \u0642\u0628\u0644 \u0627\u0632 \u0627\u06cc\u0646\u06a9\u0647 \u0634\u0631\u0648\u0639 \u0628\u0647 \u0628\u0631\u0631\u0633\u06cc \u0633\u0627\u06cc\u062a \u06a9\u0646\u062f\u060c \u0641\u0627\u06cc\u0644 \u0631\u0627 \u0628\u0647 \u0637\u0648\u0631 \u06a9\u0627\u0645\u0644 \u067e\u0631\u062f\u0627\u0632\u0634 \u062e\u0648\u0627\u0647\u062f \u06a9\u0631\u062f. \u0632\u06cc\u0631\u0627 \u0647\u0645\u0627\u0646\u06af\u0648\u0646\u0647 \u06a9\u0647 \u0630\u06a9\u0631 \u0634\u062f \u0627\u06cc\u0646 \u0641\u0627\u06cc\u0644 \u0634\u0627\u0645\u0644 \u0627\u0637\u0644\u0627\u0639\u0627\u062a\u06cc \u062f\u0631\u0628\u0627\u0631\u0647 \u0645\u062d\u062f\u0648\u062f\u06cc\u062a \u0647\u0627 \u0648 \u0646\u062d\u0648\u0647 \u062f\u0633\u062a\u0631\u0633\u06cc \u0631\u0628\u0627\u062a \u0647\u0627 \u0628\u0647 \u0635\u0641\u062d\u0627\u062a \u0645\u062e\u062a\u0644\u0641 \u0633\u0627\u06cc\u062a \u0645\u06cc \u0628\u0627\u0634\u062f. \u062f\u0631 \u0635\u0648\u0631\u062a\u06cc\u06a9\u0647 \u0627\u06cc\u0646 \u0641\u0627\u06cc\u0644 \u0645\u062d\u062f\u0648\u062f\u06cc\u062a\u06cc \u0628\u0631\u0627\u06cc \u0631\u0628\u0627\u062a \u0647\u0627 \u0627\u06cc\u062c\u0627\u062f \u0646\u06a9\u0631\u062f\u0647 \u0628\u0627\u0634\u062f\u060c \u062a\u0645\u0627\u0645\u06cc \u0635\u0641\u062d\u0627\u062a \u0648 \u0645\u062d\u062a\u0648\u0627\u06cc \u0633\u0627\u06cc\u062a \u062a\u0648\u0633\u0637 \u0631\u0628\u0627\u062a \u0647\u0627 \u062e\u0632\u06cc\u062f\u0647 \u0648 \u0627\u06cc\u0646\u062f\u06a9\u0633 \u0645\u06cc \u06af\u0631\u062f\u062f.<\/p>\n

\u0645\u062b\u0627\u0644\u0647\u0627\u06cc\u06cc \u0627\u0632 \u062f\u0633\u062a\u0648\u0631\u0627\u062a \u0642\u0627\u0628\u0644 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u062f\u0631 \u0641\u0627\u06cc\u0644 robots.txt :<\/strong><\/h2>\n
    \n
  • \u0645\u062d\u062f\u0648\u062f\u06a9\u0631\u062f\u0646 \u062a\u0645\u0627\u0645\u06cc \u062e\u0632\u0646\u062f\u0647 \u0647\u0627\u06cc \u0648\u0628 \u062f\u0631 \u062f\u0633\u062a\u0631\u0633\u06cc \u0628\u0647 \u062a\u0645\u0627\u0645\u06cc \u0645\u062d\u062a\u0648\u0627\u06cc \u0633\u0627\u06cc\u062a :<\/li>\n<\/ul>\n
    <\/div>\n

    User-agent: *<\/p>\n

    Disallow: \/<\/p>\n

      \n
    • \u0627\u0631\u0627\u0626\u0647 \u0645\u062c\u0648\u0632 \u0628\u0647 \u062a\u0645\u0627\u0645\u06cc \u062e\u0632\u0646\u062f\u0647 \u0647\u0627\u06cc \u0648\u0628 \u062f\u0631 \u062f\u0633\u062a\u0631\u0633\u06cc \u0628\u0647 \u062a\u0645\u0627\u0645\u06cc \u0645\u062d\u062a\u0648\u0627\u06cc \u0633\u0627\u06cc\u062a :<\/li>\n<\/ul>\n

      User-agent: *<\/p>\n

      Disallow:<\/p>\n

        \n
      • \u0645\u062d\u062f\u0648\u062f\u06a9\u0631\u062f\u0646 \u06cc\u06a9 \u062e\u0632\u0646\u062f\u0647 \u062e\u0627\u0635 (Googlebot) \u062f\u0631 \u062f\u0633\u062a\u0631\u0633\u06cc \u0628\u0647 \u06cc\u06a9 \u067e\u0648\u0634\u0647 \u062e\u0627\u0635 \u0627\u0632 \u0633\u0627\u06cc\u062a :<\/li>\n<\/ul>\n

        User-agent: Googlebot<\/p>\n

        Disallow: \/example-subfolder\/<\/p>\n

          \n
        • \u0645\u062d\u062f\u0648\u062f\u06a9\u0631\u062f\u0646 \u06cc\u06a9 \u062e\u0632\u0646\u062f\u0647 \u062e\u0627\u0635 (Bingbot) \u062f\u0631 \u062f\u0633\u062a\u0631\u0633\u06cc \u0628\u0647 \u06cc\u06a9 \u0635\u0641\u062d\u0647 \u062e\u0627\u0635 \u0627\u0632 \u0633\u0627\u06cc\u062a :<\/li>\n<\/ul>\n

          User-agent: Bingbot<\/p>\n

          Disallow: \/example-subfolder\/blocked-page.html<\/p>\n

          \u062f\u0644\u0627\u06cc\u0644 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u0641\u0627\u06cc\u0644 robots.txt<\/strong><\/h2>\n

          \u0641\u0627\u06cc\u0644 robots.txt<\/strong>\u00a0\u062f\u0633\u062a\u0631\u0633\u06cc \u062e\u0632\u0646\u062f\u0647 \u0647\u0627 \u0628\u0647 \u0645\u062d\u062a\u0648\u0627\u06cc \u062e\u0627\u0635\u06cc \u0627\u0632 \u0633\u0627\u06cc\u062a \u0645\u062d\u062f\u0648\u062f \u0645\u06cc \u06a9\u0646\u062f. \u0628\u0627 \u0627\u06cc\u0646 \u062d\u0627\u0644 \u0628\u0633\u06cc\u0627\u0631 \u062d\u0627\u0626\u0632 \u0627\u0647\u0645\u06cc\u062a \u0627\u0633\u062a \u06a9\u0647 \u0628\u0647 \u0637\u0648\u0631 \u062a\u0635\u0627\u062f\u0641\u06cc \u062f\u0633\u062a\u0631\u0633\u06cc \u0631\u0628\u0627\u062a \u06af\u0648\u06af\u0644 \u0628\u0647 \u06a9\u0644 \u0645\u062d\u062a\u0648\u0627\u06cc \u0633\u0627\u06cc\u062a \u0631\u0627 \u0645\u062d\u062f\u0648\u062f \u0646\u06a9\u0631\u062f\u0647 \u0628\u0627\u0634\u06cc\u062f. \u0628\u0647 \u0637\u0648\u0631 \u06a9\u0644\u06cc \u0686\u0646\u062f\u06cc\u0646 \u062f\u0644\u06cc\u0644 \u0645\u0647\u0645 \u0628\u0631\u0627\u06cc \u0645\u062d\u062f\u0648\u062f \u06a9\u0631\u062f\u0646 \u062e\u0632\u0646\u062f\u0647 \u0647\u0627 \u0648\u062c\u0648\u062f \u062f\u0627\u0631\u062f:<\/p>\n

            \n
          • \u0639\u062f\u0645 \u062f\u0633\u062a\u0631\u0633\u06cc \u062e\u0632\u0646\u062f\u0647 \u0647\u0627 \u0628\u0647 \u0645\u062d\u062a\u0648\u0627\u06cc \u062a\u06a9\u0631\u0627\u0631\u06cc \u0633\u0627\u06cc\u062a<\/li>\n
          • \u0645\u062e\u0641\u06cc \u06a9\u0631\u062f\u0646 \u0642\u0633\u0645\u062a \u0647\u0627\u06cc \u062e\u0627\u0635\u06cc \u0627\u0632 \u0633\u0627\u06cc\u062a \u0627\u0632 \u062f\u06cc\u062f \u062e\u0632\u0646\u062f\u0647 \u0647\u0627<\/li>\n
          • \u0627\u0631\u0627\u0626\u0647 \u062f\u0633\u062a\u0631\u0633\u06cc \u0628\u0647 \u062e\u0632\u0646\u062f\u0647 \u0647\u0627 \u0628\u0631\u0627\u06cc \u0627\u06cc\u0646\u062f\u06a9\u0633 \u06a9\u0631\u062f\u0646 \u0635\u0641\u062d\u0627\u062a \u0633\u0627\u06cc\u062a \u0648 \u0646\u0645\u0627\u06cc\u0634 \u0622\u0646 \u062f\u0631 \u0646\u062a\u0627\u06cc\u062c \u0645\u0648\u062a\u0648\u0631\u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648<\/li>\n
          • \u062a\u0639\u06cc\u06cc\u0646 \u0645\u0648\u0642\u0639\u06cc\u062a \u0641\u0627\u06cc\u0644 \u0646\u0642\u0634\u0647 \u0633\u0627\u06cc\u062a (sitemap)<\/li>\n
          • \u0645\u062d\u062f\u0648\u062f\u06a9\u0631\u062f\u0646 \u062e\u0632\u0646\u062f\u0647 \u0647\u0627 \u062f\u0631 \u062f\u0633\u062a\u0631\u0633\u06cc \u0628\u0647 \u0641\u0627\u06cc\u0644 \u0647\u0627 \u062e\u0627\u0635\u06cc \u0627\u0632 \u0633\u0627\u06cc\u062a \u0645\u0627\u0646\u0646\u062f \u062a\u0635\u0627\u0648\u06cc\u0631\u060c PDF \u0648\u2026<\/li>\n
          • \u062a\u0639\u06cc\u06cc\u0646 \u0645\u062f\u062a \u0632\u0645\u0627\u0646 \u062a\u0623\u062e\u06cc\u0631 \u062e\u0632\u0646\u062f\u0647 \u0647\u0627 \u0628\u0631\u0627\u06cc \u0628\u0631\u0631\u0633\u06cc \u0645\u062d\u062a\u0648\u0627\u06cc \u0633\u0627\u06cc\u062a \u0628\u0627 \u062a\u0648\u062c\u0647 \u0628\u0647 \u0627\u0645\u06a9\u0627\u0646 \u062f\u0631 \u062f\u0633\u062a\u0631\u0633 \u0646\u0628\u0648\u062f\u0646 \u0633\u0631\u0648\u0631 \u0633\u0627\u06cc\u062a<\/li>\n<\/ul>\n

            \u0646\u06a9\u0627\u062a \u0645\u0647\u0645 \u062f\u0631 \u0631\u0627\u0628\u0637\u0647 \u0628\u0627 \u0641\u0627\u06cc\u0644 robots.txt :<\/strong><\/h2>\n
              \n
            • \u0641\u0627\u06cc\u0644 \u062d\u062a\u0645\u0623 \u0645\u06cc \u0628\u0627\u06cc\u0633\u062a \u062f\u0631 \u067e\u0648\u0634\u0647 \u0648 root \u0627\u0635\u0644\u06cc \u0633\u0627\u06cc\u062a \u0642\u0631\u0627\u0631 \u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u062f.<\/li>\n
            • \u0628\u0631\u062e\u06cc \u0627\u0632 \u0631\u0628\u0627\u062a \u0647\u0627 \u0645\u0627\u0646\u0646\u062f malware robots \u0648 email address scrapers \u0645\u0645\u06a9\u0646 \u0627\u0633\u062a \u0627\u06cc\u0646 \u0641\u0627\u06cc\u0644 \u0631\u0627 \u0646\u0627\u062f\u06cc\u062f\u0647 \u0628\u06af\u06cc\u0631\u0646\u062f.<\/li>\n
            • \u062f\u0642\u062a \u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u06cc\u062f \u06a9\u0647 \u062f\u0633\u062a\u0631\u0633\u06cc \u0628\u0647 \u0627\u06cc\u0646 \u0641\u0627\u06cc\u0644 \u0631\u0627 \u0645\u062d\u062f\u0648\u062f \u0646\u06a9\u0646\u06cc\u062f<\/li>\n
            • \u0628\u0631\u0627\u06cc \u0647\u0631 \u0633\u0627\u0628 \u062f\u0627\u0645\u06cc\u0646 \u0645\u06cc \u0628\u0627\u06cc\u0633\u062a \u06cc\u06a9 \u0641\u0627\u06cc\u0644 txt \u0645\u062c\u0632\u0627 \u0627\u06cc\u062c\u0627\u062f \u06a9\u0646\u06cc\u062f.<\/li>\n
            • \u0635\u062d\u06cc\u062d \u0628\u0648\u062f\u0646 \u0645\u062d\u0644 \u0642\u0631\u0627\u0631\u06af\u06cc\u0631\u06cc \u0641\u0627\u06cc\u0644 txt \u0631\u0627 \u0628\u0627 \u0642\u0631\u0627\u0631\u062f\u0627\u062f\u0646 \u0639\u0628\u0627\u0631\u062a \u201d \/robots.txt \u201d \u062f\u0631 \u0627\u0646\u062a\u0647\u0627\u06cc\u00a0URL \u0633\u0627\u06cc\u062a\u00a0\u0628\u0631\u0631\u0633\u06cc \u06a9\u0646\u06cc\u062f.<\/li>\n<\/ul>\n
              \n
              \u0645\u0637\u0644\u0628 \u0645\u0631\u062a\u0628\u0637<\/span>\u00a0\u00a0\u0639\u0648\u0627\u0645\u0644 \u0645\u0624\u062b\u0631 \u062f\u0631 \u06a9\u06cc\u0641\u06cc\u062a \u062a\u0648\u0644\u06cc\u062f \u0645\u062d\u062a\u0648\u0627 \u0648 \u0627\u0647\u0645\u06cc\u062a \u0622\u0646 \u062f\u0631 \u0633\u0626\u0648<\/span><\/div>\n<\/div>\n

              \u0641\u0627\u06cc\u0644 robots.txt \u0648 \u0633\u0626\u0648 :<\/strong><\/h2>\n
                \n
              • \u062d\u062a\u0645\u0623 \u0628\u0647 \u0627\u06cc\u0646 \u0646\u06a9\u062a\u0647 \u062a\u0648\u062c\u0647 \u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u06cc\u062f \u06a9\u0647 \u0645\u062d\u062a\u0648\u0627\u06cc\u06cc \u06a9\u0647 \u062a\u0645\u0627\u06cc\u0644 \u062f\u0627\u0631\u06cc\u062f \u062f\u0631 \u0645\u0648\u062a\u0648\u0631\u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648 \u0627\u06cc\u0646\u062f\u06a9\u0633 \u0634\u0648\u0646\u062f \u0631\u0627 \u062f\u0631 \u0627\u06cc\u0646 \u0641\u0627\u06cc\u0644 \u0645\u062d\u062f\u0648\u062f \u0646\u06a9\u0631\u062f\u0647 \u0628\u0627\u0634\u06cc\u062f.<\/li>\n
              • \u0644\u06cc\u0646\u06a9 \u0647\u0627\u06cc \u0645\u0648\u062c\u0648\u062f \u062f\u0631 \u0635\u0641\u062d\u0627\u062a\u06cc \u06a9\u0647 \u062f\u0633\u062a\u0631\u0633\u06cc \u0631\u0628\u0627\u062a \u0647\u0627 \u0628\u0647 \u0622\u0646 \u0635\u0641\u062d\u0627\u062a \u0645\u062d\u062f\u0648\u062f \u0634\u062f\u0647 \u0627\u0633\u062a \u062a\u0648\u0633\u0637 \u0631\u0628\u0627\u062a \u0647\u0627 \u062f\u0646\u0628\u0627\u0644 \u0648 \u0627\u06cc\u0646\u062f\u06a9\u0633 \u0646\u0645\u06cc \u0634\u0648\u0646\u062f \u0648 \u0627\u0631\u0632\u0634 \u0635\u0641\u062d\u0627\u062a \u0627\u0632 \u0637\u0631\u06cc\u0642 \u0644\u06cc\u0646\u06a9 \u0647\u0627 \u0645\u0646\u062a\u0642\u0644 \u0646\u0645\u06cc \u0634\u0648\u0646\u062f.<\/li>\n
              • \u062f\u0631 \u0635\u0648\u0631\u062a\u06cc\u06a9\u0647 \u062a\u0645\u0627\u06cc\u0644 \u062f\u0627\u0631\u06cc\u062f \u0635\u0641\u062d\u0627\u062a \u0648 \u0645\u062d\u062a\u0648\u0627\u06cc \u062e\u0627\u0635\u06cc \u0627\u0632 \u0633\u0627\u06cc\u062a \u062a\u0648\u0633\u0637 \u0645\u0648\u062a\u0648\u0631\u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648 \u0627\u06cc\u0646\u062f\u06a9\u0633 \u0646\u0634\u0648\u0646\u062f (\u0645\u0627\u0646\u0646\u062f \u0635\u0641\u062d\u0627\u062a \u062d\u0627\u0648\u06cc \u0627\u0637\u0644\u0627\u0639\u0627\u062a \u0634\u062e\u0635\u06cc \u0648\u2026) \u060c \u0645\u062d\u062f\u0648\u062f \u06a9\u0631\u062f\u0646 \u0631\u0628\u0627\u062a \u0647\u0627 \u0628\u0647 \u0627\u06cc\u0646 \u0635\u0641\u062d\u0627\u062a \u0631\u0627\u0647 \u062d\u0644 \u0645\u0646\u0627\u0633\u0628\u06cc \u0646\u06cc\u0633\u062a \u0632\u06cc\u0631\u0627 \u0645\u0645\u06a9\u0646 \u0627\u0633\u062a \u0627\u06cc\u0646 \u0635\u0641\u062d\u0627\u062a \u062e\u0627\u0635 \u0627\u0632 \u0637\u0631\u06cc\u0642 \u0644\u06cc\u0646\u06a9 \u06af\u0631\u0641\u062a\u0646 \u0627\u0632 \u062f\u06cc\u06af\u0631 \u0635\u0641\u062d\u0627\u062a \u0633\u0627\u06cc\u062a \u062a\u0648\u0633\u0637 \u0645\u0648\u062a\u0648\u0631\u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648 \u062a\u0634\u062e\u06cc\u0635 \u062f\u0627\u062f\u0647 \u0634\u0648\u062f \u0648 \u0627\u06cc\u0646\u062f\u06a9\u0633 \u06af\u0631\u062f\u062f. \u0631\u0627\u0647 \u062d\u0644 \u0645\u0646\u0627\u0633\u0628 \u062c\u0647\u062a \u0627\u0646\u062c\u0627\u0645 \u0627\u06cc\u0646 \u0627\u0645\u0631 \u060c \u0642\u0631\u0627\u0631 \u062f\u0627\u062f\u0646 \u062a\u06af noindex \u062f\u0631 \u0627\u06cc\u0646 \u0635\u0641\u062d\u0627\u062a \u0627\u0633\u062a.<\/li>\n
              • \u0628\u0631\u062e\u06cc \u0627\u0632 \u0645\u0648\u062a\u0648\u0631\u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648 \u0686\u0646\u062f\u06cc\u0646 \u062e\u0632\u0646\u062f\u0647 \u0628\u0631\u0627\u06cc \u0628\u0631\u0631\u0633\u06cc \u0633\u0627\u06cc\u062a \u0647\u0627 \u062f\u0627\u0631\u0646\u060c \u0628\u0647 \u0639\u0646\u0648\u0627\u0646 \u0645\u062b\u0627\u0644 \u06af\u0648\u06af\u0644 \u0627\u0632 \u062e\u0632\u0646\u062f\u0647 Googlebot \u0628\u0631\u0627\u06cc \u0633\u0631\u0686 \u0647\u0627\u06cc \u0627\u0631\u06af\u0627\u0646\u06cc\u06a9 \u0648 \u0627\u0632 \u062e\u0632\u0646\u062f\u0647 Googlebot-Image \u0628\u0631\u0627\u06cc \u062c\u0633\u062a\u062c\u0648\u06cc \u062a\u0635\u0648\u06cc\u0631\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc \u06a9\u0646\u062f.<\/li>\n
              • \u0645\u0648\u062a\u0648\u0631\u0631\u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648 \u0627\u06cc\u0646 \u0641\u0627\u06cc\u0644 \u0631\u0627 \u0628\u0647 \u0635\u0648\u0631\u062a \u06a9\u0634 \u0630\u062e\u06cc\u0631\u0647 \u0645\u06cc \u06a9\u0646\u0646\u062f \u0627\u0645\u0627 \u0628\u0647 \u0637\u0648\u0631 \u0645\u0639\u0645\u0648\u0644 \u062f\u0631 \u0647\u0631 \u0631\u0648\u0632 \u06cc\u06a9\u0628\u0627\u0631 \u062a\u0648\u0633\u0637 \u0645\u0648\u062a\u0648\u0631\u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648 \u0628\u0631\u0648\u0632\u0631\u0633\u0627\u0646\u06cc \u0648 \u06a9\u0634 \u0645\u06cc \u0634\u0648\u062f. \u062f\u0631 \u0635\u0648\u0631\u062a\u06cc\u06a9\u0647 \u062f\u0631 \u0637\u0648\u0644 \u0631\u0648\u0632 \u0628\u06cc\u0634 \u0627\u0632 \u06cc\u06a9\u0628\u0627\u0631 \u0648 \u0628\u0647 \u0635\u0648\u0631\u062a \u0645\u062f\u0627\u0648\u0645 \u0627\u06cc\u0646 \u0641\u0627\u06cc\u0644 \u0631\u0627 \u0628\u0631\u0648\u0632\u0631\u0633\u0627\u0646\u06cc \u0645\u06cc \u06a9\u0646\u06cc\u062f \u0645\u06cc \u0628\u0627\u06cc\u0633\u062a \u0622\u0646 \u0631\u0627 \u0627\u0632 \u0637\u0631\u06cc\u0642 Google webmaster tools \u0628\u0647 \u06af\u0648\u06af\u0644 \u0645\u0639\u0631\u0641\u06cc \u0646\u0645\u0627\u06cc\u06cc\u062f.<\/li>\n<\/ul>\n","protected":false},"excerpt":{"rendered":"

                \u0641\u0627\u06cc\u0644 robots.txt\u00a0\u06cc\u06a9 \u0641\u0627\u06cc\u0644 \u0645\u062a\u0646\u06cc \u0627\u0633\u062a \u06a9\u0647 \u0645\u062f\u06cc\u0631\u0627\u0646 \u0633\u0627\u06cc\u062a \u0648 \u0648\u0628\u0645\u0633\u062a\u0631\u0647\u0627 \u0628\u0631\u0627\u06cc \u0647\u062f\u0641 \u062f\u0647\u06cc \u0648 \u06a9\u0646\u062a\u0631\u0644 \u0639\u0645\u0644\u06cc\u0627\u062a \u062e\u0632\u06cc\u062f\u0646 \u0648 crawl \u06a9\u0631\u062f\u0646 \u0633\u0627\u06cc\u062a \u062a\u0648\u0633\u0637\u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645 \u0647\u0627\u06cc \u0645\u0648\u062a\u0648\u0631\u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648\u00a0\u0627\u06cc\u062c\u0627\u062f \u0645\u06cc \u06a9\u0646\u0646\u062f. \u0627\u06cc\u0646 \u0641\u0627\u06cc\u0644 \u0628\u062e\u0634\u06cc \u0627\u0632 \u067e\u0631\u0648\u062a\u06a9\u0644 \u0631\u062f\u06af\u06cc\u0631\u06cc \u0631\u0628\u0627\u062a \u0647\u0627\u06cc \u0645\u0648\u062a\u0648\u0631\u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648 (REP) \u0645\u06cc \u0628\u0627\u0634\u062f. \u0627\u06cc\u0646 \u067e\u0631\u0648\u062a\u06a9\u0644 \u062f\u0631\u0628\u0631\u06af\u06cc\u0631\u0646\u062f\u0647 \u06af\u0631\u0648\u0647\u06cc \u0627\u0632 \u0627\u0633\u062a\u0627\u0646\u062f\u0627\u0631\u062f\u0647\u0627\u06cc \u0648\u0628 \u0627\u0633\u062a \u06a9\u0647 \u0686\u06af\u0648\u0646\u06af\u06cc \u0631\u062f\u06cc\u0627\u0628\u06cc \u0633\u0627\u06cc\u062a \u062a\u0648\u0633\u0637 \u0645\u0648\u062a\u0648\u0631\u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648 …<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[28,37],"tags":[],"class_list":["post-2314","post","type-post","status-publish","format-standard","hentry","category-28","category-37"],"_links":{"self":[{"href":"https:\/\/afaghhosting.net\/blog\/wp-json\/wp\/v2\/posts\/2314","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/afaghhosting.net\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/afaghhosting.net\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/afaghhosting.net\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/afaghhosting.net\/blog\/wp-json\/wp\/v2\/comments?post=2314"}],"version-history":[{"count":0,"href":"https:\/\/afaghhosting.net\/blog\/wp-json\/wp\/v2\/posts\/2314\/revisions"}],"wp:attachment":[{"href":"https:\/\/afaghhosting.net\/blog\/wp-json\/wp\/v2\/media?parent=2314"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/afaghhosting.net\/blog\/wp-json\/wp\/v2\/categories?post=2314"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/afaghhosting.net\/blog\/wp-json\/wp\/v2\/tags?post=2314"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}