1、企業簡介
1.1 應用企業介紹
中國遠洋簡稱中遠集團或COSCO，是中華人民共和國中央人民政府直管的特大型中央企業之一，中國遠洋運輸集團成立于1961年4月27日，成立之初是一個僅有4艘船舶、2.26萬載重噸的小型船運公司。發展至2012年，中遠集團已經成為以航運、物流碼頭、修造船為主業的跨國企業集團，已經確立起在國際航運、物流碼頭和修造船領域的領先地位，穩居《財富》世界500強。2012年在《財富》世界500強企業中排名第384位。
2、項目建設背景及建設方案
1.3 項目建設背景
隨著全球航運市場的飛速發展，中國航運產業也逐漸走上了世界舞臺的頂端，與發達國家相比，我國航運業的發展仍處于起步階段，面對競爭愈演愈烈的國際航運市場，中國航運企業所面臨的來自內外部環境和外部環境的壓力不容忽視，主要包括全球航運市場運力嚴重過剩和需求不振、航運大聯盟趨勢造成巨大壓力、國內航運市場開發帶來的競爭加劇、國外貿易保護主義政策帶來的壓力等。
當今，在“互聯網+”的新興革命浪潮中，匯集了“云大智物移”五項技術主體，特別是自2015年以來，我國正式步入“互聯網+”時代，同時也真正開啟了大數據時代，所有的數據和信息都將匯聚云端。大數據技術是眾多新興技術中的領軍技術，未來的時代必定是數據時代，數據成為各行業競爭中必爭的制高點。隨著大數據時代的到來，對大數據商業價值的挖掘和利用逐漸成為中國航運產業爭相追捧的利潤焦點。航運產業利用大數據分析，能夠總結經驗、發現規律、預測趨勢，這些都可以為輔助決策服務。
中國航運大數據平臺的建立將全面貫徹黨的十八屆三中全會精神，順應海運海洋經濟強國的國家戰略和“一帶一路”戰略，為航運產業的整體升級推波助瀾。航運大數據平臺的構建，將是大數據應用在航運領域的全新拓展，同時也是大數據全面助力航運產業鏈升級的重要起點。
1.4 項目建設方案
（一）建設目標
1. 建設航運大數據平臺。為中國船隊和世界船隊提供船舶調度、運力調度、航線調度、集裝箱調度提供決策依據。
2. 通過數據采集和抓取技術，實現全國所有港口異構航運數據的集中管理。
3. 通過對航運數據清洗、篩選、整理，實現港口數據、船舶數據、航線數據、集裝箱數據、貨物數據、代理數據的及時、準確、全面展現。
4. 平臺成為中國權威的集裝箱進出口統計分析數據來源。
5. 通過航運現場操作及平臺分析，為港口改進裝卸效率提供依據。
6. 實現對未來航運市場的精準預測，并將數據服務擴展至智慧港口的建設、新造船價格指數的制定、全球航線規劃布局優化等多領域，全力打造可持續發展的航運供應鏈生態圈。
（二）建設內容
本項目的主要運用互聯網+大數據方法論，以實現航運業同互聯網的完美結合為目的，解決在大數據時代航運業的大數據管理平臺的短缺，通過對應的管理平臺對客戶及公司關注的部分用以直觀的、簡潔的、具體的表現形式，呈現出來。讓管理層能夠更方便的做出跟精確的計算，乃至具體業務調整。建設內容如下：
1. 研究在現代互聯網條件下，搭建覆蓋全國、涉及全國各船公司的航運大數據平臺。包括：1）平臺的網絡結構；2）平臺服務器的虛擬化技術；3）平臺的存儲技術；4）數據推送技術App和微信推送。
2. 建立數據交換平臺。包括：1）研究異構數據采集技術；2）異構數據抓取技術；3）前置機技術；4）異構數據分析整理技術。
3. 研究海關報文異常回執預警及分析處置技術。
4. 分析集裝箱業務特點，研究集裝箱進出口指數、集裝箱航線指數、集裝箱裝載貨物分布指數。
5. 船公司航線分析研究。通過中國各口岸航線分布指數，為船公司船舶航線調整提供依據。
3、系統簡介
1、平臺整體設計
.png)
圖1 平臺整體架構
從全國各口岸公司抓取業務數據，通過EDI數據交換平臺，把獲取的報文數據存儲在數據緩存區中，再通過數據處理工具ETL對數據進行清洗，最后把有價值的數據儲存在數據存儲區中，利用BI平臺實現數據統計分析、數據共享及業務監控功能。
另外，航運大數據項目更是融合了大數據Hadoop集群技術，FOCUS系統積累的大量歷史數據，需要進行處理和加工，項目采用Hadoop集群進行分布式處理與計算，并采用R語言，Maout等通用機器學習與數據挖掘工具進行操作，并使用Web技術進行顯示，提高客戶滿意等方式。
Hadoop集群技術：
.png)
圖2 系統整體架構
2、平臺系統架構
.png)
圖3 平臺系統架構
3、平臺技術架構
根據系統現狀和當前需求，架構示意圖如下：
.png)
圖4 平臺技術架構
4、系統網絡架構
航運大數據網絡架構主要分為4層，分別是接入層、匯聚層、核心交換層以及服務層。接入層是數據接入的入口，即數據接口，各種數據通過埋點技術、數據挖掘技術、網絡爬蟲技術等進入接入層，并且在匯聚層進行匯聚，匯聚層主要包括Hadoop Srevers、DB（DataBase，數據庫）以及CloudStorage（云存儲），數據到達核心交換層后，會對數據進行共享存儲，數據庫會對數據進行交換處理，同時網絡上的數據也會通過Web Servers等，通過防火墻將一些危險數據進行隔離，從而實現數據的交換以及應用。
.jpg)
圖5 平臺網絡架構
5、平臺技術方案
（1）數據采集
通過調用Webservice接口、FTP、MQ集群等方式實現數據抽取工作。
（2）數據處理
① 數據抽取
② 數據清洗
③ 數據轉換
（3）數據存儲
把轉換完成的數據存儲到數據倉庫中，進行持久化操作。
（4）數據分析
通過BI平臺，按照需求對數據進行統計分析，功能圖如下：
.png)
圖6 平臺數據分析
航運大數據平臺將集裝箱進出口從6個緯度提出大數據的服務理念：船舶大數據、航線大數據、港口大數據、集裝箱大數據、貨物大數據、代理大數據。
① 船舶大數據：將對全國口岸所有進入中國的船公司進行集裝箱進出口總排名開始，進行市場份額、占比分析、該船公司在所有港口的市場份額和占比排名甚至在中國所有碼頭的市場份額和占比，以及同比環比數據分析，為船公司布局提供決策依據。
.png)
圖7 船舶大數據分析
② 航線大數據：從全國集裝箱總排名開始，通過某條航線全國口集裝箱量排名，分析某航線在某港口各船公司集裝箱排名，追溯到某條航線在某港口港某船公司在各碼頭集裝箱排名、占比以及市場份額。以及某航線所有船公司集裝箱出口滿載率、滿艙率、某航線所有船公司集裝箱空箱率、某航線貨物船公司排名等等為船公司調整航線提供可靠依據。
.png)
圖8 航線大數據分析
③ 港口大數據：通過去全國口岸各港口集裝箱進出口量排名分析，查看各港口船公司箱量、各港口航線箱量、每條航線船公司箱量，為船公司在各港口航線布局以及船舶布局提供決策依據。
.png)
圖9 港口大數據分析
④ 集裝箱大數據：統計集裝箱全國港口分布排名，分析集裝箱箱型分布、航線分布噸位分布、市場占比以及空重、中轉、同比、環比的數據，為船公司集裝箱調運提供決策依據。
.png)
圖10 集裝箱大數據分析
⑤ 貨物大數據：統計分析全國口岸貨物種類、量進出口數據，分析各港口、各航線貨物分布，為船公司調整航線，布局船型提供決策依據。
.png)
圖11 貨物大數據分析
⑥ 代理大數據：代理數據的采集分析主要為船舶代理提供所代理船舶裝船實時數據，海關報文審核情況，通過推送服務及時預警，避免造成損失發生。
.png)
圖12 代理大數據分析
（5）數據監控
系統以BI平臺為底層基礎，采用多層的結構搭建。
.png)
圖13 數據監控
EDI智能監控系統重點在于實現理貨報告業務傳輸過程的全程跟蹤和監控，實現和完善預警，提供分類統計報表。
6、平臺技術實現
服務交換：各口岸按照統一標準建設前置機，該前置機可以是實際的服務器，也可以是虛擬機服務器，碼頭前沿動態航運集裝箱數據在傳回該口岸航運系統同時備份到前置機中，中國航運大數據平臺定時到各口岸前置機中抓取備份信息送入平臺，主要用于收取各口岸理實時航運數據。
.png)
圖14 平臺實現技術服務交換
7、平臺功能架構
航運大數據平臺包括航運市場情報子系統、智慧港口子系統、電子海圖子系統、航運氣象子系統、新造船價格指數子系統、航運客戶管理子系統、航運人才管理子系統、營銷分析子系統、客戶價值分析子系統等子系統功能。功能架構如下圖所示：
.png)
圖15 平臺功能架構
4、效益分析
1、經濟效益
1）客戶營銷效率提高
中遠海運集團通過航運大數據平臺的應用，實現了公司整體層面物流信息的有效整合，并采用了先進的客戶管理及營銷管理手段，實現了平均庫存的明顯下降，客戶營銷效率明顯提高，大幅度的降低了資金占用率，帶來了明顯的經濟效益。
2）貨品訂艙量提升
航運大數據平臺通過與貨代FOCUS系統、船代系統系統、協同營銷系統等的有效對接，實現了真實的市場信息的采集、分析和處理，為準確、及時、有效的客戶和運營服務提供了保障。中遠海運物流能夠根據市場的需求快速、及時的做出物流響應，在第一時間貫徹執行，并實時監控每一步物流操作和運行，提高了客戶服務滿意度和產品忠誠度，增強了企業產品的市場競爭能力，提升了整體訂艙數量。
3）降低風險成本
通過項目的成功實施，建立了企業級黑名單制度，并與外部工商局法院和檢察院系統連接，并進行及時推送信息，對航次和貨代船代進行全方位的風險控制，同時通過對公司整體物流信息的有效把控，實現了整體風險控制并進行有效配置，進一步降低了中遠海運的風險發生概率。
2、管理效益
公司通過對航運數據的整合，并對整合后的數據項進行分析，得出了十分豐富的內容結論:包括船名、航次、裝卸貨港、開工、定工時間、箱號、集裝箱的尺寸類型、貝位號、危險品相關信息、件雜貨的貨類、外表狀況、提單號、殘損情況、重大件尺碼、噸數、完整的積載圖、實裝貨物清單、退關信息等一系列理貨人員現場采集的第一手資料，進行全面的數據分析工作，提高服務質量，降低經營風險。
船公司、船代、港口等可根據航運大數據平臺整合航運集裝箱數據、船舶數據、航線（航次）數據、碼頭數據、泊位數據等，從而實現對理貨系統的優化升級，更好的管理理貨系統的各個細節，實現更優的管理效益。
3、社會效益
中遠集團響應國家的號召，建立了貫穿整個航運產業并且一站式的航運大數據服務平臺。其中，基于客戶畫像的客戶群分析、BI數據的展示等都是航運大數據的重點，航運大數據的建立和實施可在理貨物流行業起到帶頭作用。
5、經驗與體會
我公司通過對中國航運大數據平臺的成功實施，進一步體會到了未來航運信息化的發展和前進方向。在中遠集團的指引下，我公司深刻認識到，未來的企業信息化建設要實現兩個飛躍：
1、實現航運行業轉型升級的飛躍
一是目前在國內行業政策發生了一些變化，從而導致航運企業面臨強大的市場競爭壓力；二是，航運法律法規不完善，強制航運業缺乏強有力的政策保障。盡管我國針對航運行業進行了體制改革，但并沒有建立完善的法律，與其他法律法規不協調；三是，航運行業必須加快研討航運政策調整對行業帶來的影響，早做籌劃，加快信息平臺建設進度，積極推動行業轉型升級。四是，國際經濟形勢的不確定性促使航運集裝箱行業轉型升級。自世界金融危機爆發以來，國際主要經濟體經濟增速下滑，中東、北非亂局此消彼長，國際金融市場動蕩不已，全球貿易增速大幅減緩，世界經濟復蘇的不穩定性上升。
2、實現適應現代物流技術發展的飛躍
在現代智能物流蓬勃發展的今天，在海關、貨代公司、船代公司、港口碼頭信息化建設取得重大成果的同時，傳統的航運物流業務運作模式和服務能力，已經無法適應航運市場的需要。因此，通過航運大數據平臺，航運物流業務要實現業務模式和服務方式的改革創新，加快信息化建設步伐，提升服務能力，為客戶提供貨物運輸各節點的即時運輸動態查詢服務及運輸異常預警提示服務。
最新案例