?????????? ?????????? ????? ???????
?????????????? ??? ?????? ????????? ???????? ?????? ?????????????? ???????? — ??????? ??????????? ???????? (? ?????) ??????? ??????? ??? ?????? ???? ??????, ????? ??????????? ??? (???????????????) ??????? ?????????? ?? ?????????????????? ??????.
?????????? ????????-????? ????????, ?????????? ????? ????????? ??????? ????????? ?????? ? ??? ?????????, ??????? ??????? ? ?????? ??? ???????? ???? ????.???????????? ??? ?????????? ???????? ?? ??????? ????????. ?? ????, ???????????? ???? ?????? ??? ?????? ??????? ??????? ?????? ? ???????? ?? ???? ????? ?????? ???? ?????? ?????????????????? ???????.
???? ??????????? ???????????? ??????, ?????? ?????????????? ???: ????? ???????? — ????? ??? ???????? ??????????. ? ????? ?????????? ???? ?????????? ???? ???????, ???-?? ????????? ????? ??????????? ????. ? ???????? 90-? ??? ????? ???????? ????, ??? ?????????? ????????? ????????? ????? ?????????????. ?????? ??????? ?? ???-?????? ??????? ????? ? ????????? ?? ?? ???? ????.
? ???????? ? ????? ???? ????? ?????? ???????? ?????? (???????? ??????????? ???????? ??????? ??????????? ??????? ????????? ???????), ??????, ??????, ??????, ???? ??? ??????????????? ???????????, ????? ? ?. ?.
?????????? ???-????? ??????????? ?? ???? ????????????? ?????? (javascript, flash-?????).
??? ?????? ????? ????????? ?????? ????? ????????? ???? (????????????????), ??? ?????? ???????????? ??? ?????? ??????? ????????? ??????. ????????? ??? ?????, ???? ?? ???? ??????, ??? ????? ?????. ???????, ???, ?????????? ?? ??? ??????????, ??????????? ???????? ??? ?????????, ? ??? ????????? ???????? ? ?????? ???????. ????????, ??????? ??????: ?? ?????????????? ? ????????????, ?? ??? ?????????????? ? ????????? ??????.
???? ? ?????? ???? ???, ?????????? ?????????? ??????? ???????????? ????? ????????? ?????? ????????-?????, ??? ??? ?????? ??? ?????? ???? ????????? ??????? ???????????? ?????????? ?? ?????? ?????????? ???????. ???????????? — ??? ????????????????? ?????????, ????????? ?????? ????????? ??????, ?? ???? ??????? ?????????? ? ????????????? ??? ???????? ??????. ???? ?????, ??? ?? ????????? ????? ??????????? ????? ??? ????? ???? ????? ? ??????????? (?????? ???????????) ???????? ??????, ????? ????. ??????? ??? ? ?????? ???? ????????? ?????? ????? ????????? ????????? ? ??????? ???????, ?? ??? ????? ?????????, ?????????? ??? ???????? ???????? ???????? ??????. ? ? ? ??????, ??? ?? ??? ???????, ??? ?? 1–2 ????????.
??? ?????????? ??????????? (????????, ??????? ?????????? ???,???? ??? ?????? ?????????) ??????????? ???? robots.txt ? ??? ????????? ?????? Disallow, Allow, User-agent, Crawl-delay ? ??????. ?????, ??? ?????????? ??????????? ?????????? ????
