Семальт Эксперт по очистке данных сайта - хорошие и плохие боты
Веб-очистка существует уже давно и считается полезной для веб-мастеров, журналистов, фрилансеров, программистов, непрограммистов, маркетологов, ученых и экспертов по социальным сетям. Есть два типа ботов: хорошие и плохие. Хорошие боты позволяют поисковым системам индексировать веб-контент и пользуются большим спросом у экспертов рынка и цифровых маркетологов. Плохие боты, с другой стороны, бесполезны и стремятся подорвать рейтинг сайта в поисковых системах. Законность веб-очистки зависит от того, какого типа боты вы использовали.
Например, если вы используете «плохих» ботов, которые извлекают контент с разных веб-страниц с намерением использовать его незаконно, очистка веб-страниц может быть вредной. Но если вы используете хороших ботов и избегаете вредоносных действий, включая атаки типа «отказ в обслуживании», онлайн-мошенничества, конкурентные стратегии добычи данных, кражи данных, взломы учетных записей, несанкционированное сканирование уязвимостей, мошенничество с цифровой рекламой и кража интеллектуальных свойств, тогда процедура очистки веб-страниц будет полезной и полезной для развития вашего бизнеса в Интернете.
К сожалению, большинство фрилансеров и стартапов любят плохих ботов, потому что они являются дешевым, мощным и всеобъемлющим способом сбора данных без необходимости партнерства. Большие компании, однако, используют легальные веб-скребки для своей выгоды и не хотят портить свою репутацию в Интернете с помощью нелегальных веб-скребков. Похоже, что общее мнение о законности веб-скрапинга не имеет значения, потому что в последние несколько месяцев стало ясно, что федеральные судебные системы подавляют все больше и больше нелегальных стратегий веб-скребков.
Сканирование веб-страниц началось как незаконный процесс еще в 2000 году, когда использование ботов и пауков для очистки веб-сайтов считалось ерундой. Не многие методы были адаптированы, чтобы не допустить распространения этой процедуры в Интернете до 2010 года. EBay сначала подал предварительные судебные запреты против Bidder's Edge, утверждая, что использование ботов на веб-сайте нарушило законы Trespass to Chattels. Вскоре суд удовлетворил судебные запреты, потому что пользователи должны были согласиться с условиями сайта, и большое количество ботов были деактивированы, поскольку они могли быть разрушительными для компьютерных машин eBay. Вскоре иск был урегулирован вне суда, и eBay запретил всем использовать ботов для просмотра веб-страниц, независимо от того, хороши они или плохи.
В 2001 году туристическое агентство подало в суд на конкурентов, которые удалили его содержимое с веб-сайта с помощью вредных пауков и плохих ботов. Судьи снова приняли меры против преступления и оказали поддержку жертвам, заявив, что как просмотр веб-страниц, так и использование ботов могут нанести вред различным онлайн-бизнесам.
В настоящее время для академической, частной и информационной агрегации многие люди полагаются на честные процедуры очистки веб-страниц, и в этом отношении было разработано множество инструментов веб-очистки . Теперь официальные лица говорят, что не все эти инструменты надежны, но те, которые поставляются в платной или премиальной версиях, лучше, чем бесплатные веб-скребки .
В 2016 году Конгресс принял первый закон, нацеленный на плохих ботов и одобряющий хороших ботов. Был сформирован Закон об улучшении продаж билетов через Интернет (BOTS), который запрещал использование нелегального программного обеспечения, которое могло бы предназначаться для веб-сайтов, нанося ущерб их ранжированию в поисковых системах и разрушая их бизнес. Есть вопросы справедливости. Например, LinkedIn потратил много денег на инструменты, которые блокируют или устраняют плохих ботов и поощряют хороших ботов. Поскольку суды пытаются решить вопрос о законности использования веб-страниц, у компаний украдены данные.