Automatic Ship Detection and Classification using Machine Learning from Remote Sensing Images on Apache Spark

Abstract

Ship detection and classification is very important for port and coastal security. Due to maritime safety and traffic control, high-resolution images of ships should be obtained. High resolution color remote sensing ship images taken from short distances provide advantages in ship detection applications. But the analysis of these high-dimensional images is complicated and requires long time. Dividing the image data into smaller blocks and representing them with a vector with distinctive and independent features facilitates the analysis process. For this reason, a block division method is applied first, dividing the image data into small pixel blocks. These obtained image blocks are also represented by the hybrid feature vectors. These feature vectors are created by adding the sub-features extracted from the color and texture properties of the images one after another. Using the obtained hybrid vectors, the images are classified using machine learning methods on Apache Spark. Classification studies were realized using Naive Bayes, Decision Trees and Random Forest methods in the MLlib. The analysis of the images was realized much faster with the clustering architecture created on Apache Spark platform. According to the obtained classification results, 99.62% classification success was achieved by using Random Forest method. In addition, an average of 3.4 times acceleration was achieved by running each method on 1 master + 4 workers clustering architecture on Spark. The analysis results obtained are presented in detail in the experimental studies section.

Gemi tespiti ve sınıflandırması, liman ve kıyı güvenliği açısından çok önemlidir. Deniz güvenliği ve trafik kontrolü nedeniyle, gemilerin yüksek çözünürlüklü görüntülerinin elde edilmesi gerekmektedir. Kısa mesafeden çekilmiş yüksek çözünürlüklü renkli uzaktan algılama gemi görüntüleri, gemi tespiti uygulamalarında avantaj sağlamaktadır. Fakat yüksek boyutlu bu görüntülerin analiz edilmesi süreci karmaşık ve uzun süreler gerektirmektedir. Görüntü verilerinin daha küçük parçalara bölünmesi ve bu parçalardan elde edilen ayırt edici ve bağımsız özelliklere sahip bir vektörle temsil edilmesi analiz işlemini kolaylaştırmaktadır. Bu nedenle, öncelikle görüntü verilerini küçük piksel bloklarına bölen bir blok bölümü yöntemi uygulanır. Elde edilen bu görüntü bloklarının da hibrit bir öznitelik vektörleri ile temsil edilmesi gerçekleştirilir. Bu öznitelik vektörleri, görüntülerin renk ve doku özelliklerinden çıkarılan alt özelliklerin birbiri ardına eklenmesi ile oluşturulur. Elde edilen hibrit vektörler Apache Spark'daki makine öğrenmesi yöntemleri ile kullanılarak görüntülerin sınıflandırılması sağlanmıştır. MLlib kütüphanesinde bulunan Naif Bayes, Karar Ağaçları ve Rastgele Orman yöntemleri kullanılarak sınıflandırma çalışmaları gerçekleştirilmiştir. Görüntülerin Apache Spark ortamında analiz edilmesi oluşturulan kümeleme mimarisi ile çok daha hızlı bir şekilde gerçekleştirilmiştir. Ayrıca her bir yöntemin Spark 1 master + 4 worker kümeleme mimarisi üzerinde çalıştırılması sonucu ortalama 3.4 kata yakın hızlanma sağlanmıştır.