Кожен інтернет-магазин, який продає товари більш ніж від одного постачальника, стикався з болем, що виникає через те, що дані приходять у дуже різному вигляді. І якщо ви ще не настільки великий гравець, щоб диктувати постачальникам формат, доводиться підлаштовуватись під те, що дають вони.
Хоча вже пройшла чверть двадцять першого сторіччя, у величезної кількості постачальників дані досі в жахливому стані. На цьому фоні, дані в таблицях xls можуть виглядати дуже просунутим рішенням.
Якщо магазин невеликий і має до 500 товарів, він ще може дозволити собі ручну обробку кожної позиції. Але якщо у вас десятки тисяч товарів, без автоматизації вже не обійтись.
У чому полягає проблема даних від різних постачальників
Цей перелік можна продовжувати нескінченно, особливо якщо описувати проблеми кожного окремого постачальника. Але є кілька глобальних, поширених проблем, з якими стикається практично будь-хто.
Спершу варто розуміти: дані від постачальника вам потрібні для двох різних сценаріїв, первинне створення товарів і подальше оновлення цін та залишків. І проблеми в цих двох сценаріях різні.
Неповні дані для створення товарів.
Для створення товару потрібні назва, артикул, характеристики, категорія, опис, зображення, ціна, залишок. Але далеко не кожен постачальник дає весь цей набір, багато хто надає лише обмежені дані, достатні тільки для оновлення ціни й залишку, але не для створення нової картки товару з нуля.
Мова контенту.
Навіть ті постачальники, які дають повний набір даних для створення товару, зазвичай надають його лише однією мовою. На жаль, досі трапляється, що це російська. А якщо ваш сайт багатомовний, автоматизованого контенту для наповнення всіма потрібними мовами у вас просто немає.
Дублікати артикулів.
Артикул, інструмент ідентифікації товару, і в межах одного постачальника він унікальний. Але різні постачальники нерідко використовують схожу логіку формування артикулів, і у вас можуть опинитися кілька різних товарів з однаковим артикулом.
Валюта, знижки, націнки.
Постачальники можуть надавати ціни в різних валютах, кожен зі своїми вимогами до курсу конвертації. Також вони можуть висувати умови щодо знижок і власних націнок. У результаті ви не можете накласти на всі товари єдину логіку конвертації, знижок і націнки, доводиться враховувати правила кожного постачальника окремо.
Категорії і характеристики.
Мабуть, найбільша проблема, і точно найдорожча в вирішенні. Різні постачальники можуть надавати одні й ті самі групи товарів, але категорії і характеристики в них можуть називатись по своєму, не так, як це вже заведено на вашому сайті. Якщо це проігнорувати, після імпорту на сайті з'явиться купа синонімічних категорій і характеристик, і це зробить навігацію, пошук і фільтрацію незручними для покупців.
Носій даних.
І нарешті, сама форма, у якій приходять дані. Вона буває трьох типів:
- придатна до повної автоматизації (API, XML, файли CSV чи XLS, доступні за посиланням);
- придатна лише до ручного імпорту (локальні файли CSV чи XLS, які треба щоразу завантажувати вручну);
- зовсім не придатна до програмної обробки без додаткової роботи (PDF, DOC, зображення прайсу чи просто сторінка на сайті постачальника).
Кожна з цих проблем сама по собі може стати великим викликом. Але зі збільшенням кількості постачальників вона може перетворитись на катастрофу. Нещодавно до нас звернувся магазин із 96 постачальниками. З них лише 5 надавали дані, придатні до повної автоматизації. Більшість були в таблицях, але вистачало і PDF, і DOC, і навіть просто зображень. Врахувати особливості всіх 96 постачальників окремою програмною логікою для магазину такого масштабу було б абсолютно нерентабельно. Втім, сьогодні з'явився додатковий інструмент, який суттєво змінює цю економіку, штучний інтелект, але про нього ми розповімо далі.
Що таке конвертер даних
Конвертер даних, або PIM (Product Information Management), це програма для приведення даних із різних джерел до спільного знаменника.
Ця програма може взагалі не мати інтерфейсу, якщо участь людини в процесі не потрібна. Або мати інтерфейс для завантаження локальних файлів. Або навіть мати складні інструменти, які перетворюють такий конвертер даних на повноцінну систему керування складом.
Як конвертер даних вирішує поширені проблеми
Варто зазначити, що конвертер даних це завжди кастомна програма, повністю заточена під ваші реалії. Хоча існують і готові інструменти, які можуть допомогти за певних умов. Наприклад, якщо всі ваші постачальники дають дані в таблицях і там є всі необхідні поля, існують програми-конструктори, де ви визначаєте, що дані з певної колонки файлу одного постачальника слід читати як, скажімо, артикул, а в іншого, з іншої колонки. Це допоможе розібрати дані з різних колонок у різних файлах. Але це не вирішить проблему дублікатів артикулів чи синонімічних категорій і характеристик. А проблему з цінами такий конструктор вирішить тільки тоді, коли ви самі застосуєте в цих таблицях формули конвертації та переоцінки ще до злиття даних.
Коли ми беремося за розробку конвертера даних, нам потрібно отримати дані від усіх постачальників і доступ до бази даних сайту. Ми аналізуємо їх і розробляємо план приведення даних до спільного вигляду. Нерідко для цього потрібна допомога замовника, який добре орієнтується в нюансах своїх товарів.
Проблема дублікатів артикулів.
Для вирішення цієї проблеми використовуються два види артикулів. Артикул постачальника заводиться в поле, вміст якого може дублюватися. А для справжнього артикулу створюється власна система, яка гарантує унікальність. Це, своєю чергою, вимагає точнішого контролю під час оновлення даних, бо орієнтуватися на неунікальне поле артикулу постачальника вже небезпечно, і треба враховувати ще якесь поле.
Валюта, знижки і націнки.
Конвертер даних це ідеальний інструмент для вирішення цих питань. Ми створюємо окрему логіку роботи з ціною під кожного постачальника, з урахуванням його курсів валют і цінової політики. Ціни завжди будуть точно оброблені і виведені на сайті з дотриманням усіх вимог.
Категорії і характеристики.
Для вирішення цього питання зазвичай залучається спеціаліст із боку замовника. Він складає перелік відповідностей, свого роду словник, де зазначено, які назви категорій і характеристик постачальника яким сутностям вашого сайту мають відповідати. Тут є ризик, що постачальник почне давати нові назви, не передбачені програмою, тож для цього налаштовується сповіщення про потребу доопрацювання. Якщо ж обсяг цієї роботи надто великий, можна залучити штучний інтелект. Він здатен побудувати відповідності самостійно і навіть без проблем працювати з новими назвами, але завжди залишається ймовірність помилки, і це варто контролювати замовнику.
Проблему нестачі даних для первинного створення товарів, перекладу чи даних у форматах, не придатних до імпорту, не можна вирішити чистою програмною логікою. Але це можна вирішити за допомогою штучного інтелекту. Він здатен зібрати в мережі дані про такі товари, скласти перелік характеристик та описи, підібрати зображення, зробити переклади. Те саме він може зробити з будь якими носіями інформації: зібрати, обробити і привести дані до потрібного вигляду. Але завжди з імовірністю помилки, яку важко контролювати на багатотисячних інтернет-магазинах.
Чому це має бути окрема програма, а не частина сайту
Так значно дешевше.
Мова навіть не про те, що писати цю програму на чистому аркуші простіше, бо не заважають нюанси CMS, хоча це теж правда. Мова про те, що конвертер даних може виявитись зовсім не дешевою програмою, особливо якщо почне переростати в повноцінну систему керування складом. Актуальність CMS зазвичай тримається 3–5 років, і якщо обробка даних буде сильно пов'язана з двигуном сайту, при його зміні програму також доведеться суттєво переписувати. Логіка конвертера даних рідко застаріває, тобто морально залишається актуальною, хоча неминуче буде проходити адаптацію під зміни в постачальників. Вимоги до технічної актуальності для такої програми значно нижчі, ніж для сайту, бо це закрита програма з обмеженим доступом, і злам через застарілі технології малоймовірний. А якщо писати конвертера даних не на громіздкому фреймворку, а на чистому PHP чи компактній платформі, адаптувати цей софт під нові версії мови програмування буде нескладно. Тож конвертер даних може не втрачати актуальності протягом десятків років.
Продуктивність.
Навіть звичайний імпорт товарів може вповільнювати роботу сайту. Імпорт разом з обробкою даних тим більше здатен гальмувати сайт, а це, своєю чергою, підштовхує до того, щоб мінімізувати такі уповільнення, роблячи оновлення лише раз на день. Конвертер даних може працювати окремо, навіть на окремому сервері, і оновлювати сайт швидко, у режимі, наближеному до реального часу.
Гнучкість.
Якщо конвертер даних не прив'язаний до конкретного двигуна сайту, він легко переживає його зміну. Більше того, ті самі оброблені дані ви можете спрямовувати і в інші напрямки, якщо у вас є додаткові інтернет-магазини чи офлайн продажі.
Масштабованість.
Окрему систему значно простіше масштабувати і доопрацьовувати, додаючи новий функціонал.
Шлях розвитку
Залежно від специфіки вашого бізнесу з часом можуть з'являтися додаткові побажання до можливостей конвертера даних. І в більшості випадків їх варто реалізовувати саме тут, а не десь окремо.
Часто є сенс перенести на бік конвертера даних керування знижками. Оскільки він і так вже працює з цінами, а різні постачальники можуть накладати власні обмеження на політику знижок, логічно одразу закласти цю логіку в систему і тим самим спростити вам подальше керування знижками.
Оскільки конвертер даних збирає й накопичує інформацію про наявність товару, саме тут доречно розвинути повноцінний функціонал керування складом. Причому одразу з урахуванням двох джерел наявності: власних складів і складів постачальників.
Саме тут дуже корисно вести облік партій товару, адже саме в цій системі партія фіксується вперше, ще до того, як товар потрапляє на сайт чи склад.
І коли у вас вже є інформація про партії, ціни та націнки, лишається один крок до того, щоб побачити реальний прибуток. Достатньо додати інтеграцію даних про продажі, і ви отримуєте повну картину: скільки заробили на кожній партії, товарі чи постачальнику.
Список можливостей на цьому не закінчується, і далеко не все з нього вписується в канонічний функціонал якогось конкретного типу систем. Але є простий орієнтир: усе, що стосується даних про товари, їхні ціни та залишки, варто тримати в одному місці. Так система, яка починалась як скромний конвертер даних, поступово перетворюється на центральний нервовий вузол всієї товарної логіки вашого бізнесу.
FAQ
Що таке PIM?
PIM (Product Information Management) - це програма, яка збирає, упорядковує та обмінюється даними про продукти. Вона дозволяє керувати такими елементами, як описи, характеристики, ціни, залишки та зображення, в одному місці, перш ніж надсилати їх до інтернет-магазинів та інших каналів збуту.
Чи можна підключити нового постачальника пізніше, після запуску?
Так. Якщо у нового постачальника свої унікальні особливості, їх треба буде передбачити функціоналом. Якщо ж у нового постачальника дані в такому вигляді, як вже передбачено для одного з існуючих постачальників, можна використати вже готовий шаблон.
Що буде, якщо постачальник змінить формат даних або додасть нову категорію?
Програма перестане працювати коректно. Якщо постачальник повністю змінив структуру даних, вони перестануть імпортуватись, і треба буде заново налаштовувати інтеграцію з ним. Якщо ж структура залишилась без змін, але додались нові дані, треба буде доробити обробку лише нових даних.
Чи вплине конвертер даних на швидкість роботи сайту?
Теоретично це можливо. Але цього можна уникнути, наприклад розмістивши конвертер на окремому сервері. Це потребуватиме додаткових ресурсів.
Чи прив'язаний конвертер даних до конкретної CMS?
За замовчуванням ми робимо цю програму окремою. Але якщо з якихось причин ви захочете зробити її частиною вашого двигуна, це також можливо, хоча може бути складніше, особливо у разі незнайомого нам двигуна.
Скільки коштує PIM?
Вартість такої програми завжди індивідуальна. У першу чергу на ціну впливають кількість постачальників, спосіб надання ними даних, наскільки сильно дані кожного постачальника відрізняються між собою, і чи потрібні інтерфейси керування конвертацією, чи достатньо суто програмного керування.