In this thesis, multi-modal biometric recognition problem using convolutional neural networks which is the state-of-the-art machine learning technique is considered. To this end, biometric person recognition studies are carried out using electrocardiogram signals and face images. These studies consist of two stages. In the first stage, biometric recognition method using convolutional neural networks (CNN) based on only electrocardiogram (ECG) signals is proposed (Proposed Method-1). In this method, two-dimensional QRS images are obtained from one-dimensional ECG signals and the number of two-dimensional QRS images are then increased using a data augmentation method. Later, these augmented data is applied as the input to the proposed convolutional neural network architecture depending on the number of data and the size of the QRS images.In the second stage, multi-modal biometric recognition approach using the convolutional neural network method which uses both ECG signals and face images is proposed (Proposed Method-2 FACECG). In this method, two-dimensional QRS images and normalized face images were obtained from both ECG signals and face images. Then the QRS images and normalized face images are separately applied to the two similar CNN architectures developed depending on the amount of data and the size of the images in parallel. The parameters of these two CNN architectures are optimized using QRS images and face images, respectively. The features and scores generated using these two CNN architectures used in Proposed Method-2 for ECG signals and face images are then fused using score-level and feature-level fusion techniques. Thus, it is aimed to improve the performance of single biometric recognition systems using stand-alone ECG signals or face images and develop a trustworthy biometric recognition systems robust against spoofing attacks with the help of liveness features of ECG signals.MIT-BIH Arrhythmia dataset for ECG signals and AR-Face database for face images are used in order to measure the recognition performance of the Proposed Method-2. For this purpose, 30 persons selected from both data sets were matched and an artificial data set consisting of ECG and face images was formed. 3-fold cross-validation method was used to eliminate biassing effect problem in the evaluation of Proposed Method-2 perfomance. As a result of the experiments, 98.43% accuracy value was obtained using only ECG signals and 98.60% accuracy value was obtained using only face images. As a result of using both feature and score level fusing methods separately, the recognition performance of the Proposed Method-2 was obtained as 100% in terms of accuracy value.To the best of our knowledge, there exist only three previous studies in literature which use both ECG signals and face images for biometric recognition. These studies utilize standard methods as recognition techniques. In this manner, the Proposed Method-2 (FACECG) is the first study using both ECG signals and face images based on 2-dimensional convolutional neural networks. Besides, experimental results show that the Proposed Method-2 (FACECG) yields better recognition accuracy than the three studies found in the literature.

Bu tezde, günümüzde makine öğrenmesi yöntemlerinin içinde en güncel derin öğrenme yöntemlerinden birisi olan evrişimsel sinir ağları ile çoklu biyometrik kişi tanıma problemi ele alınmıştır. Bu amaçla elektrokardiyogram işaretleri ve yüz imgeleri kullanılarak kişi tanıma çalışmaları yapılmıştır. Bu çalışmalar iki aşamadan oluşmaktadır. Birinci aşamada sadece evrişimsel sinir ağı (ESA) yöntemi kullanılarak elektrokardiyogram (EKG) işaretleri üzerinden biyometrik kişi tanıma işlemi gerçekleştiren bir yöntem (Önerilen Yöntem-1) sunulmuştur. Bu yöntemde bir boyutlu EKG işaretlerinden iki boyutlu QRS imgeleri oluşturulmuş ve bu QRS imgeleri veri çoğullama yöntemi kullanılarak çoğaltılmıştır. Daha sonra veri sayısına ve veri boyutuna uygun olarak geliştirilen bir evrişimsel sinir ağı mimarisinin girişine uygulanmıştır. İkinci aşamada ise ESA yöntemi kullanılarak hem EKG işaretleri hem de yüz imgeleri üzerinden biyometrik kişi tanıma işlemi gerçekleştiren çoklu biyometrik tanıma yöntemi (Önerilen Yöntem-2, FACECG) sunulmuştur. Bu yöntemde de hem EKG işaretleri hem de yüz imgelerinden iki boyutlu QRS imgeleri ve normalize yüz imgeleri elde edilmiştir. Daha sonra elde edilen bu QRS ve yüz imgeleri herhangi bir veri çoğullama sürecinden geçirilmeden veri sayısına ve boyutlarına uygun olarak geliştirilen ve paralel olarak çalışan birbirine eş iki ESA mimarisinin girişine ayrı ayrı uygulanmıştır. Bu iki ESA mimarisinin parametreleri QRS imgeleri ve yüz imgeleri kullanılarak optimize edilmiştir. Önerilen Yöntem-2'de kullanılan bu iki ESA mimarisinin gerek EKG işaretleri için gerekse yüz imgeleri için ürettiği öznitelikler ve skorlar hem skor seviyeli hem de öznitelik seviyeli birleştirme teknikleri kullanılarak birleştirilmiştir. Bu sayede, sadece EKG işaretleri kullanan veya sadece yüz imgelerini kullanan tekli biyometrik tanıma sistemlerine göre kişi tanıma performansının artırılması ve EKG işaretlerinin canlılık özelliğinden yararlanarak yanıltma saldırılarına karşı daha güvenilir bir sistemin geliştirilmesi hedeflenmiştir.Önerilen Yöntem-2'nin kişi tanıma başarımını ölçmek amacıyla EKG işaretleri için MIT-BIH Arrhythmia veri kümesi ve yüz imgeleri için AR-Face veri kümesi kullanılmıştır. Bu amaçla, her iki veri kümesinden seçilen 30 kişi eşleştirilerek EKG ve yüz imgelerinden oluşan 30 kişilik yapay bir veri kümesi oluşturulmuştur. Önerilen Yöntem-2'nin başarımının değerlendirilmesinde veri yanlılığı problemini ortadan kaldırmak için 3 kat çapraz doğrulama yöntemi kullanılmıştır. Yapılan deneyler sonucunda sadece EKG işaretleri kullanılarak ortalama %98.33 doğruluk değeri sağlanırken sadece yüz imgeleri kullanarak %98.60 doğruluk değeri elde edilmiştir. Hem öznitelik hem de skor seviyeli birleştirme yöntemlerinin ayrı ayrı kullanılması sonucunda ise Önerilen Yöntem-2'nin kişi tanıma başarımı doğruluk değeri açısından %100 olarak elde edilmiştir.Literatür araştırmasında bulabildiğimiz kadarıyla EKG işaretlerini ve yüz imgelerini birlikte kullanarak biyometrik tanıma yapan sadece üç çalışma olduğu belirlenmiştir. Bu çalışmalar yöntem olarak geleneksel yöntemleri kullanmaktadır. Bu açıdan tez çalışmasında sunulan Önerilen Yöntem-2 (FACECG), 2 boyutlu evrişimsel sinir ağı yöntemini kullanarak hem EKG işaretlerini hem de yüz imgelerini birlikte değerlendirerek biyometrik tanıma işlemini gerçekleştiren ilk çalışma olma özelliğine sahiptir. Ayrıca deneysel sonuçlar Önerilen Yöntem-2'nin (FACECG) literatürde bulunan üç çalışmada sunulan kişi tanıma başarımlarına göre doğruluk değeri açısından daha yüksek başarım sonuçları verdiğini göstermektedir.