Молдавский стартап Crawless начинался как проект трех программистов. Сегодня его услугами пользуются десятки компаний во всем мире. Основатели Crawless — Андрей Ботезату и Андрей Сталбе — рассказали NM, как им удалось создать инновационный IT-продукт, объяснили «на пиццах», как он работает, и рассказали, как, сдав в аренду мощности домашнего компьютера, можно будет получить неплохую прибавку к зарплате.
«Мечта любого инновационного стартапа — создать уникальный продукт, который ждут потребители»
Шесть лет назад Андрей Сталбе, занимаясь проектом в области Web Scraping, заметил «глобальную проблему». «При сборе больших данных из веба запросы часто превышают миллионы страниц. Обычный поисковой бот, сталкиваясь с ограничениями сайтов, может скачивать информацию в очень ограниченном масштабе. У каждого компьютера в сети есть свой уникальный IP адрес. Это значит, что алгоритм, который сможет использовать распределенную сеть (edge computing) из таких компьютеров, способен будет обходить ограничения сайтов и скачивать данные за короткое время», — объяснил Сталбе.
Два года Андрей Сталбе вынашивал эту идею. В 2016 году он познакомился в одной из молдавских IT-компаний с Андреем Ботезату и Джорджем Чирика и рассказал им о своей идее. Оценив ее перспективы, они решили объединиться и создать стартап. «Почти четыре года мы работали по 24 часа в сутки. У нас не было сомнений в будущем нашего стартапа», — признался Сталбе.
Сейчас в штабе Crawless работают девять сотрудников. «Мы создали этот продукт с нуля, без сторонних инвестиций, у нас были лишь знания и опыт. Только я знаю, как я тогда жил. И я рад, что нашлись люди, которые оценили перспективы нашего стартапа и согласились работать с нами», — вспоминает Ботезату.
На фото Андрей Ботезату, Андрей Сталбе и Джордж Чирика
Crawless
Название компании Crawless собрано из двух слов: crawling — посещение страниц в интернете, и less — наименьшее усилие. В 2020 году Crawless выпустила приложение для создания ботов Web Scraping и платформу, на которой программисты могут торговать ботами, а бизнес — покупать услуги в этой области (боты или краулеры — специальные поисковые программы, которые являются частью поисковых систем).
Web Scraping
Согласно исследованию Международной ассоциации развития информационного общества (IDC), 90% всех цифровых данных в мире было создано за последние два года. Эти данные можно использовать для решения рабочих задач любой компании. Например, чтобы анализировать рынок, конкурентов, изучать поведение клиентов, узнавать мнения о продуктах, бороться с мошенниками и т.д.
Одной из самых развивающихся технологий работы с данными является Web Scraping — процесс сбора открытой информации в интернете в базы данных: как в облачные, так и в форматах Excel и CSV. Компания Crawless разрабатывает именно такие продукты в технологиях Web Scraping и Web Automation.
Crawless «на пиццах»
Чтобы объяснить, как работает созданная ими технология, основатели Crawless привели пример с заказом и доставкой пиццы. Например, вы хотите каждый понедельник заказывать в офис пиццу с определенным топпингом. Для этого вам надо каждый понедельник заходить на сайт пиццерии и вручную делать заказ. Но у вас много дел, и вы хотите автоматизировать этот процесс.
В приложении Crawless вы можете создать интернет-бота и указать все необходимые параметры: сайты пиццерий, на которые он будет заходить, размеры и начинку пиццы, их количество, а также адрес и время доставки. Это и есть автоматизация процессов в браузере. «Если вы руководитель большой компания и у вас работают сотрудники, которые выполняют постоянно повторяющиеся действия в браузере, такую работу можно автоматизировать», — отметил Сталбе.
Под автоматизацией разработчики понимают работу бота, который каждый месяц, день, час, минуту или секунду будет осуществлять повторяющиеся процессы. «По специфике выполняемых задач у нашего алгоритма еще нет аналогов в мире. В созданном краулере (боте) можно прописать логику любого процесса, и он будет выполнять параллельно десятки тысяч задач», — поясняил Сталбе.
«Наша технология — это смартфон в мире кнопочных телефонов»
Речь идет о приложении Crawless для Windows и MacOS. До этого автоматизация веб-процессов предполагала сложную работу с браузером и использование большого количества приложений. «Наша технология облегчает создание краулеров. Мы предлагаем разработчикам в области Web Automation и Web Scraping вместо использования нескольких приложений обойтись всего одним», — отметил Сталбе.
Технология Crawless также представляет собой набор инструментов для разработки интернет-ботов (краулеров): это конструктор, в котором программисты JavaScript могут создавать автоматизированных ботов для Web. Здесь же, на платформе crawless.store, можно продавать своих ботов.
В приложении Crawless можно создавать любой процесс автоматизации данных, а также запускать его на персональном компьютере. «Нам удалось решить главную задачу — сделать механизм сбора и автоматизации данных максимально простым. Еще одно инновационное решение заключается в том, что процессы сбора и автоматизации данных теперь выполняет сеть персональных компьютеров, участником которой может стать любой владелец компьютера, даже весьма слабого», — пояснил Сталбе.
На мировом рынке уже есть примеры успешной реализации похожей технологии, но это, по словам Сталбе, «не совсем то, что делает Crawless»: «Есть, например, Selenium. Но он очень сложный и ограниченный. Есть телефон с кнопками, а есть смартфон. Сегодня Crawless — это смартфон в мире кнопочных телефонов».
Создав уникальный IT-инструмент, Crawless не стал его монополизировать. «Команда понимала, что, если к ним придут 1000 клиентов, они не успеют сделать ботов для всех. Поэтому они создали Crawless store, в котором компании самостоятельно могут разработать для себя необходимый алгоритм. И в этом случае ценность их системы только возрастает. Чем больше пользователей у системы, тем дороже она стоит», — отметил директор консалтинговой компании Spark Research Labs Артем Кочу.
«Наш робот делает за час работу, которую один человек делал за месяц»
Первым клиентом Crawless стала молдавская компания, которая занимается переводами с иностранных языков. Crawless создал для них бота, который автоматизирует работу целого отдела по поиску клиентов. До Crawless в бюро переводов клиентов искали вручную с помощью браузера.
«Наш робот делает менее чем за час работу, которую один человек делал месяц. Мы создали для них бота и продали его им всего за $7. Сейчас он использует вычислительные процессы нашей сети компьютеров. И он заработал нам уже $200. Теперь они каждый месяц обращаются к нам», — объяснил Ботезату.
Другим клиентом Crawless стал один из крупных банков Молдовы, для которого компания разработала робота, распознающего в социальных сетях действия мошенников, пытающихся завладеть информацией клиентов банка. «Допустим, кто-то создал клон группы в одной из социальных сетей и посылает людям сообщения, в которых просит написать свои персональные данные. Наш робот ищет мошенников и делает скриншоты этих страниц. Так служба безопасности банка, используя технологию Crawless, борется с мошенниками», — рассказал Сталбе.
По его словам, команда Crawless, благодаря автоматизации рабочих процессов, «избавляет бизнес от рутины». При этом недавно, добавил он, это было довольно дорогим удовольствием, но «мы уже это исправляем».
«Мы создаем алгоритм и не имеем никакого отношения к данным клиента»
Сегодня Crawless работает более чем в 30-ю компаниями из многих стран мира, в том числе Канады, Индии, США, Франции, Нигерии, Нидерландов, Израиля. О существовании Crawless они узнали через глобальную фриланс биржу. Сегодня на счету Crawless 150 реализованных проектов и автоматизация около 40 млн страниц для своих клиентов.
У компании есть клиенты, которые заказывают аналитику нескольких миллионов веб-страниц. «Один из наших клиентов заплатил нам за проект больше $10 тыс. Нам не обязательно знать, как именно использует клиент нашу платформу. Мы создаем только алгоритм и обеспечиваем его работу, не имея никакого отношения к данным клиента», — подчеркнул Сталбе.
Сегодня Crawless также сотрудничает с проектом ЕС по предотвращению сексуальной эксплуатацией и надругательствами над детьми в интернете. «Мы заняты созданием краулера, который будет бороться с детской порнографией. Найти такой контент очень сложно, и наш алгоритм может предоставить новые возможности в решении этой проблемы», — пояснил Сталбе.
«Неплохая прибавка к зарплате»
Сейчас команда Crawless работает над задачей, решение которой, по словам программистов, позволит получать дополнительный заработок каждому человеку, у которого есть компьютер, даже слабенький. Для этого, по словам разработчиков, надо
будет установить десктопное приложение Crawless и задать определенные часы его работы.
«В нашей стране высокий уровень безработицы, но практически у каждого есть хоть какой-то компьютер. В будущем мы планируем задействовать в нашей сети 10 тыс. компьютеров. Мы уверены, что найти их будет несложно. Пользователи, отдавшие нам в аренду мощности своего компьютера, смогут зарабатывать до $200 в месяц», — пояснил Сталбе.
Сейчас, по его словам, команда Crawless работает над тем, чтобы деньги конвертировались и перечислялись на счет пользователя. «Неплохая прибавка к зарплате», — улыбается Сталбе.
Материал подготовлен в рамках проекта IREX Europe «Укрепление независимости СМИ и медиаграмотности в Республике Молдова».
