UniDatS

Інструмент веб-скопіювання для розумного вилучення даних без спеціальних технічних навичок

Web Development

Опис проєкту

Умови, які диктує сучасний світовий ринок, вимагають від власників бізнесу завжди бути в курсі останніх подій і тенденцій. Для цього їм потрібно обробляти значні обсяги інформації в пошуках тієї, яка для них є ключовою. Люди повинні послідовно й точно отримувати дані з різноманітних глобальних джерел даних. UniDatS розроблено для вирішення цих проблем. Це унікальне зручне програмне забезпечення, яке дозволяє користувачам одним клацанням миші шукати, знаходити та зберігати необхідні дані з різних джерел. Користувачеві потрібно лише вказати, що саме він хоче зберегти (наприклад, ключові слова, дату публікації, заголовок тощо), і наш сервіс знайде потрібні поля в інших публікаціях і очистить весь сайт завдяки нашому алгоритму.

Industry:	Real estate, Entertainment, Fintech, E-commerce
Platforms:	Web
Role:	Web development
Tech Stack:	PHP, XPath

Представлення проблеми

Наш клієнт потребував команди розробників, яка могла б швидко створити та надати налаштовані функції програмного забезпечення для збирання даних. Система потребувала оптимізації, щоб знайти певні елементи даних, розташовані в різних частинах різних веб-сайтів. Таким чином, нашій команді потрібно було створити продукт, який би допомагав користувачам залишатися в курсі подій і легко знаходити окремі елементи інформації без втручання людини.

Дослідити тему та провести ретельний аналіз
Розглянути умови, від яких залежить пошук заданого зразка
Побудувати алгоритм пошуку на основі даних аналізу
Перевірити точність побудови унікальних шляхів до елементів сторінки
Розробити MVP скребкового інструменту
Підвищити ефективності платформи для користувачів

Технічні виклики

Щоб отримати рішення, нам довелося розробити спеціальний алгоритм для створення унікального шляху (XPath) до елемента сторінки, що було найскладнішою частиною нашої роботи. Це може бути будь-який елемент з будь-якого веб-сайту. Нам довелося відповісти на запитання, чи можливо знайти такі подробиці на всіх сторінках ресурсу лише за нашою ексклюзивною процедурою. І ми отримали позитивну відповідь.

Базова функціональність:

Побудова унікального шляху до елемента на сторінці
Автоматизація процесів пошуку
Інтеграція з будь-якою системою
Елементи для збільшення збору даних

Рішення

Ми розробили найефективніше, добре кероване рішення для збирання на основі ексклюзивного алгоритму для створення окремих шляхів до елементів ресурсів. Наш метод дозволяє швидко перетворювати мільярди веб-сторінок на розумні дані, які точно відповідають заданим параметрам пошуку. Наше рішення розроблено для значної оптимізації робочих процесів клієнтів.

Результат

Надійне програмне забезпечення для збирання
Масштабований інструмент, який отримує дані з будь-якого веб-сайту без спеціальних знань від клієнта
Максимальна точність отриманих даних
Добре оптимізовані методи сканування