علوم داده برای منافع عمومی

استفاده از داده های حمل و نقل جدید برای بهبود درک دولت از جریان تجارت

• Ioais Kaloskampis ، Melissa Bui (Ons) و مت واکر (DIT)
• 26 ژانویه 2023

دسته بندی ها: اخبار ، پروژه ها ، تجارت ، حمل و نقل و زنجیره های عرضه جهانی

ما در ارزیابی و تجزیه و تحلیل اولیه یک منبع داده جدید هیجان انگیز از بخش تجارت بین المللی (DIT) حمایت کرده ایم: داده های دستورالعمل حمل و نقل.

دستورالعمل حمل و نقل (یا صورتحساب بارگذاری) داده ها نوع ، کمیت و مقصد کالاهایی را که در ظروف ارسال می شود ، جزئیات می دهد. این داده ها برای واردات و صادرات انگلیس توسط DIT و وزارت حمل و نقل (DFT) در سال 2021 تهیه شد ، با شرکت کانادایی Thinkdata Works (TDW) در پیشنهاد خود از طریق یک روند مناقصه باز موفق شد. این اولین بار بود که داده های دستورالعمل حمل و نقل توسط دولت انگلستان تهیه شده بود و این خرید توسط صندوق نوآوری داده های اقتصادی خزانه داری پشتیبانی می شد. پردیس علوم داده ONS تا حدودی توسط DIT برای حمایت از این کار تأمین می شود.

این پست اول وبلاگ ، منحصر به فرد بودن این منبع داده و نحوه استفاده از تکنیک های علوم داده را برای تعیین کیفیت داده های آن و دولت های بالقوه متقابل برای درک تجارت نشان می دهد.

ما نشان خواهیم داد که چگونه می توان از دستورالعمل های حمل و نقل برای نقشه برداری از مسیرهای تجاری کالاهای مهم استفاده کرد ، اعتماد ما به بنادر جهانی برای دسترسی به محصولات خاص را درک کرد و بینش هایی را در مورد تأثیر وقایع مهم مانند اعتصاب جلب کرد. با پیوند با داده های سیستم شناسایی خودکار (AIS) ، می توانیم سفر کالاهای کانتینر شده را در زمان واقعی نزدیک نظارت کنیم. سرانجام ، داده ها امکان بهبود درک ما از حمل و نقل ترانس را ارائه می دهند ، جایی که کالاها در یک درگاه (به عنوان مثال روتردام) در مسیر خود از مبدا به مقصد تغییر می کنند. تأثیر حمل و نقل ترانس بر آمار تجارت انگلیس می تواند قابل توجه باشد ، و این یک کار مهم از کار است که پردیس علوم داده ONS و DIT در حال تحقیق بیشتر است.

ارزش افزوده بالقوه

داده های دستورالعمل حمل و نقل در یک سند قانونی بین حمل کننده (فروشنده کالا) و شرکت حمل کننده (که آنها را از طریق دریا حمل می کند) ثبت می شود و به همین ترتیب ، استفاده اصلی آنها برای تجزیه و تحلیل دولت نبوده است. علاقه زیادی به درک بهتر نوع کالاهای کانتینری که به داخل و خارج از انگلستان منتقل می شوند ، افزایش یافته است. منابع تجاری سنتی ، مانند اعلامیه های گمرک ، ارقام وارداتی و صادرات کلی را ارائه می دهند. با این حال ، دستورالعمل های حمل و نقل جزئیات گرانول اضافی (به عنوان مثال ، محصولات موجود در هر ظرف) و جریان تجارت دقیق تر (به عنوان مثال ، مسیری که هر کشتی طی می کند) ارائه می دهد. هر دو هنگام درک تأثیر ، به عنوان مثال ، اختلال در زنجیره های تأمین بسیار مهم هستند.

در حال حاضر ، داده های ترافیک دریایی توسط ONS به عنوان یک منبع داده نوآورانه برای پاسخ به چالش تولید اطلاعات سریعتر اقتصادی استفاده می شود. شاخص های آزمایشی با استفاده از داده های موقعیت کشتی به صورت هفتگی منتشر می شوند تا نشانه ای از حرکت کالاها به داخل و خارج از انگلیس ارائه دهند. با این حال ، داده های موقعیت کشتی هیچ اطلاعاتی در مورد کالاهای حمل شده توسط کشتی ها ارائه نمی دهند ، و آنها نمی توانند از سفر یک ظروف که از یک کشتی به کشتی دیگر منتقل می شود ، دنبال کنند. آمار تجارت در سطح کل گزارش شده است ، که برای ارائه بینش در مورد موضوعاتی از قبیل عبور کالاها از طریق تنگه های بحرانی ، فعالیت حمل و نقل و مسائل مربوط به زنجیره تأمین کافی نیست. پیوند داده های موقعیت کشتی به داده های حمل و نقل ممکن است نظارت نزدیک به زمان واقعی کالاهای حمل شده توسط کشتی ها را امکان پذیر کند.

پوشش داده ها

TDW داده ها را از دسامبر 2019 تا نوامبر 2022 با قراردادی که با DIT دارند به اشتراک گذاشته است. این مجموعه داده ها اکثر بنادر در انگلستان را پوشش می دهد. بنادر از نظر جغرافیایی پراکنده هستند و بر اساس جغرافیا تخصصی هستند. به عنوان مثال ، جنوب شرقی با توجه به نزدیکی خود به سرزمین اصلی اروپا تحت سلطه وسایل نقلیه حمل و نقل است ، در حالی که اسکاتلند تحت تأثیر صنایع نفتی و ماهیگیری دریای شمال است. با توجه به اینکه بنادر برای اقتصادهای محلی ضروری است ، درک سهم کالاها و بنادر مهم در اقتصاد به سیاست بندر کمک می کند. بزرگترین درگاه های کانتینر (که این مجموعه داده به آن مربوط می شود) از نظر جغرافیایی در مناطق انگلستان در مناطقی مانند لندن ، لیورپول و ساوتهمپتون پخش می شوند. بنابراین این داده ها به ما کمک می کند تا کالاهای خاص و مسیرهای تجاری را که برای اقتصادهای محلی در داخل و اطراف بنادر بسیار مهم است ، به عنوان یک ورودی مهم برای علاقه سیاست گذاران به تراز کردن ، شناسایی کنیم.

کشتی های کانتینری حدود 15 درصد از واردات و صادرات بریتانیا را بر حسب وزن حمل می کنند و مجموعه دستورالعمل های حمل و نقل حدود نیمی از تجارت کشتی های کانتینری بریتانیا را پوشش می دهد. به طور خاص، داده ها پوشش خوبی از بزرگترین بنادر کانتینری در بریتانیا دارند، با جزئیات تقریباً 50٪ کانتینرها که از Felixstowe، London Gateway و Southampton عبور می کنند. این سه بندر بزرگ کانتینری در بریتانیا هستند که حدود 70 درصد از جابجایی کانتینرهای بریتانیا را تشکیل می دهند.

ارقام کل و کاربردهای مورد نظر

آنچه بریتانیا در کانتینر وارد می کند

با استفاده از داده های دستورالعمل های حمل و نقل، می توانیم تعداد کانتینرهایی را که انواع خاصی از کالاها را حمل می کنند، بشماریم، همانطور که برای واردات بریتانیا در شکل 1 مشاهده می شود. داده های گمرکی می تواند وزن و ارزش انواع مختلف کالا را نشان دهد، اما شمارش کانتینر نسبت کانتینر را نشان می دهد. ترافیک بندری درگیراین را می توان بر اساس بندر مبدا تجزیه کرد و اهمیت هر بندر جهانی را برای هر نوع واردات بریتانیا نشان می دهد.

شکل 1: داده های دستورالعمل های حمل و نقل به ما امکان می دهد تعداد کانتینرهایی را که کالاهای خاصی را به بریتانیا حمل می کنند بشماریم.

تشخیص ناهنجاری ها در جریان های تجاری

سیاستگذاران مایلند بدانند که چگونه رویدادهای مهم، مانند انسداد تنگه یا اقدامات صنعتی، می تواند بر جریان کالاها به داخل و خارج از بریتانیا تأثیر بگذارد. روش های تشخیص ناهنجاری را می توان برای شناسایی و ترسیم بینش در مورد این رویدادهای مخرب با استفاده از داده های دستورالعمل حمل و نقل استفاده کرد.

ما باید بین الگوهای "عادی" و غیرعادی در داده ها تمایز قائل شویم، با توجه به اینکه انتظار داریم در دوره های خاصی (مثلاً در سال جدید میلادی) سطوح بالا (مثلاً در آستانه کریسمس) یا پایین تردد کانتینرها را مشاهده کنیم.). برای رسیدن به این هدف، خط لوله ای ساختیم که ناهنجاری ها را بر اساس تفاوت های بین مقادیر پیش بینی شده و واقعی تعداد ظروف صاف شده (به عنوان مثال، باقیمانده ها) تشخیص می دهد. شمارش با تولید میانگین متحرک 30 روزه برای کمک به حذف تغییرات تصادفی در داده ها "هموار" شد. ما مقادیر پیش بینی شده را با برازش مدل های سری زمانی بر روی میانگین متحرک 30 روزه با استفاده از برنامه پیامبر به دست آوردیم. در صورتی که باقیمانده های محاسبه شده خارج از سه انحراف استاندارد از مقدار میانگین قرار گیرند، مشاهدات به عنوان غیرعادی برچسب گذاری شدند.

شکل 2 نشان می دهد که چگونه این روش با داده های موجود در ظروف جریان در بندر Felixstowe انجام می شود. این الگوریتم چندین ناهنجاری را تشخیص می دهد ، که همزمان با یک اعتصاب هشت روزه که بین 21 تا 29 اوت 2022 در فلیکسستو رخ داده است. این ناهنجاری ها نشان می دهد ، همانطور که انتظار می رود ، ترافیک کانتینر به ویژه در دوره اعتصاب کم بود. به طرز دلگرم کننده ، الگوریتم می تواند پیش بینی های خوبی را ارائه دهد و به نوبه خود ، با وجود مدل سازی بر اساس فقط زیر سه سال داده ، نتایج تشخیص ناهنجاری خوبی را ارائه می دهد. این پتانسیل اولیه را در استفاده از داده های دستورالعمل حمل و نقل برای تجزیه و تحلیل تأثیر وقایع مانند اعتصاب ، بحران های سیاسی ، بلایای طبیعی یا انسداد نشان می دهد. تست های گسترده تر در مورد جریان محصولات خاص همچنین نشان داد که این می تواند به درک کدام کالاها کمک کند ، که می تواند بینش مفیدی در مورد آسیب پذیری های زنجیره تأمین ارائه دهد.

شکل 2: ما می توانیم از پیش بینی های تعداد کانتینر صاف برای تشخیص دوره اعتصاب اوت 2022 در Felixstowe استفاده کنیم

سفر کالاهای بحرانی

پیوند داده های موقعیت کشتی به داده های حمل و نقل اطلاعات ارزشمندی را در مورد آنچه توسط کشتی های کانتینر که وارد و درگاه های انگلیس می شوند ، ارائه می دهد. انتظار می رود این بینش در مورد موضوعاتی از قبیل سفر کالاها از طریق کانال های بحرانی ، اختلال در زنجیره تأمین جهانی و در کنار منابع دیگر ، به طور بالقوه درک ما از حمل و نقل ترانس را بهبود بخشد (جایی که کالاها از طریق مبدا به مقصد تغییر می کنند)در تجارت

خط لوله ای که امکان پیوند داده های موقعیت کشتی را با داده های دستورالعمل حمل و نقل فراهم می کند در حال حاضر در حال توسعه است. اطلاعات مربوط به موقعیت کشتی ها در زمان واقعی از داده های سیستم شناسایی خودکار (AIS) بدست می آید. داده ها هر چند ثانیه توسط کشتی ها از طریق دستگاه های ایمنی ناوبری پردازنده منتقل می شوند و شامل اطلاعات مربوط به محل ، شناسایی و ویژگی های آنها (به عنوان مثال کشتی باری یا تانکر) هستند. پیوند داده های AIS با داده های حمل و نقل با استفاده از شناسه های منحصر به فرد کشتی ، که در هر دو پایگاه داده وجود دارد ، حاصل می شود. غالباً هنگام تطبیق کشتی ها در دو پایگاه داده ابهامات وجود دارد زیرا شناسه های کشتی منحصر به فرد گاهی اوقات از داده های دستورالعمل حمل و نقل مفقود نمی شوند. چالش های اضافی به دلیل عدم استفاده از جدول زمانی نادرست که در داده های AIS و دستورالعمل حمل و نقل ثبت شده است ، بوجود می آیند. ما با استفاده از تکنیک های تطبیق فازی ، این چالش ها را برطرف می کنیم.

شکل 3 خروجی های اولیه را از خط لوله پردازش ما نشان می دهد که داده های دستورالعمل حمل و نقل را با داده های AIS پیوند می دهد. در این مثال ما محموله های کالاهای خاص را از Antwerp به Felixstowe (خط قرمز) و از Felixstowe تا Rotterdam (خط نارنجی) ردیابی می کنیم.

شکل 3: با استفاده از دستورالعمل های حمل و نقل مرتبط و داده های AIS می توانیم سفر محموله ها را در زمان واقعی نزدیک پیگیری کنیم

کیفیت داده

DIT ، DFT و ONS درگیر چندین تمرین اعتبار سنجی داده شده اند تا بفهمند چگونه مجموعه داده ها نشان دهنده فعالیت حمل و نقل و کانتینر است. و همچنین داده های AIS ، داده های حمل و نقل با سایر منابع داده در مورد حجم تجارت انگلیس مقایسه شده است ، یعنی آماری که در انتشارات حمل و نقل بندر DFT و درآمد و گمرک HM (HMRC) در خارج از کشور (همچنین به عنوان تجارت کالا شناخته می شود) مقایسه شده است. این تمرینات بینش نسبتاً مداوم در مورد پوشش و کیفیت مجموعه داده ها ارائه داده است. به عنوان مثال ، تقریباً نیمی از بازدید از کشتی های باری منحصر به فرد که در داده های AIS ثبت شده اند در داده های دستورالعمل حمل و نقل وجود دارند. این با مقایسه با آمار باری بندر DFT مطابقت دارد ، که نشان می دهد این مجموعه داده تقریباً نیمی از کل واردات کانتینرها و صادرات به و از انگلیس را پوشش می دهد.

تعامل منظم بین TDW و سه بخش باعث شده است تا مسائل مربوط به کیفیت داده ها مانند نسخه های تکراری و مشاهدات نامعتبر به سرعت پرچم گذاری و مورد توجه قرار گیرند. DIT همچنین در حال نهایی شدن خط لوله ای است که میزهای سفرهای کانتینر را تقویت می کند. خط لوله وقایع غیرممکن را از بین می برد و تضمین می کند که می توانیم حرکت هر ظرف را دنبال کنیم - از زمانی که برای اولین بار بارگیری می شود تا هنگام رسیدن به درگاه مقصد خود - راحت تر و به راحتی.

حدود 60 ٪ کدهای سیستم هماهنگ شده (HS) ، که برای طبقه بندی کالاهای حمل شده در ظروف استفاده می شوند ، شناخته شده است. این بدان معنی است که ما مطمئن نیستیم که چه نوع کالاها در حدود 40 ٪ ظروف وجود دارد. ما انتظار داریم که الگوریتم مورد استفاده برای استخراج کدهای HS (که بر اساس توضیحات باربری است و توسط TDW اجرا شده است) و کامل بودن کد HS برای بهبود با دسترسی بیشتر به داده ها.

مراحل بعدی

با توجه به ابزار بالقوه دولت متقابل ، DIT و DFT تصمیم گرفته اند تا قرارداد را با TDW تمدید کنند تا داده های دستورالعمل حمل را تا نوامبر 2023 دریافت کنند. ONS ، DIT و DFT همچنان به استفاده از این مجموعه داده ها ، در رابطه با داده های AIS ، برای بهتر شدن استفاده می کنند. جریان تجارت را در داخل و خارج از انگلیس درک کنید. یک وبلاگ دوم ، که برای انتشار در بهار 2023 برنامه ریزی شده است ، نشان می دهد که چگونه این کار پیشرفت کرده است.

سپاسگزاریها

ما همچنین می خواهیم از دیوید بردنوم (پردیس علوم داده) و مارک پورور (DIT) بخاطر پشتیبانی آنها از این پروژه تشکر کنیم.