Использование методов глубокого обучения для верификации подписей

Ф Б Албасу; М А Аль Аккад

doi:10.22213/2410-9304-2023-3-27-39

Авторы

Ф. Б. Албасу ИжГТУ имени М. Т. Калашникова
М. А. Аль Аккад ИжГТУ имени М. Т. Калашникова

DOI:

https://doi.org/10.22213/2410-9304-2023-3-27-39

Ключевые слова:

глубокое обучение, аутентификация, проверка подписи, распознавание подписи, биометрическая идентификация

Аннотация

Биометрические характеристики являются распространенными мерами проверки личности, где наиболее часто используются подписи. Цифровые технологии породили новые способы биометрической идентификации, такие как отпечатки пальцев, радужная оболочка глаза и распознавание лиц, в то время как работа с рукописными подписями по-прежнему остается сложной задачей, поскольку рукописные подписи более подвержены подделке, чем другие средства проверки, из-за таких проблем, как компьютерная ошибка, недостаточный набор данных и потеря информации. Целью этой работы является разработка системы, которая использует изображение подписи в качестве входных данных и определяет, является ли подпись подлинной, написанной ее автором, или подделана другим лицом. Система основана на алгоритме нейронной сети под названием «сверхточные сиамские нейронные сети», которые используются для глубокого обучения и компьютерного зрения, а также для других задач машинного обучения, таких как обработка естественного языка и цифровых сигналов. Используется функция контрастных потерь, которая сравнивает евклидово расстояние выходных векторов признаков, а для обучения и классификации изображений используется независимая от записи модель. Цель этой работы состоит в том, чтобы повысить точность проверки подписи и взять ее за основу для будущей работы по проверке подписей и использовать в приложениях для идентификации пользователей, обнаружения и предотвращения мошенничества, а также для проведения судебно-медицинских расследований. Система может быть применена в банковских, государственных и частных организациях, а также в судебно-медицинской экспертизе для проверки личности и документов, выявления и предотвращения мошенничества, преступлений и судебных расследований, а также проверки паспортов

Биографии авторов

Ф. Б. Албасу, ИжГТУ имени М. Т. Калашникова

студент

М. А. Аль Аккад, ИжГТУ имени М. Т. Калашникова

кандидат технических наук,доцент

Библиографические ссылки

Sarker, I. H. (2021). Machine Learning: Algorithms, Real-World Applications and Research Directions. SN Computer Science, vol. 2, no. 3, p. 160. Springer Link. URL: https://doi.org/10.1007/s42979-021-00592-x.

Masoudnia, S., et al. (2019). Multi-Representational Learning for Offline Signature Verification Using Multi-Loss Snapshot Ensemble of CNNs. Expert Systems with Applications, vol. 133, pp. 317-30. arXiv.org. URL: https://doi.org/10.1016/j.eswa.2019.03.040.

Ansari, A., et al. (2014). Online signature verification using segment-level fuzzy modeling. IET biometrics,vol. 3, no. 3, pp. 113-127.

Sandipan, D. (2018). Hands-on Image Processing with Python: Expert Techniques for Advanced Image Analysis and Effective Interpretation of Image Data. Packt Publishing. Open WorldCat. URL: http://proquestcombo.safaribooksonline.com/9781789343731.

Manohar, S. (2017). Mastering Machine Learning with Python in Six Steps: A Practical Implementation Guide to Predictive Data Analytics Using Python. Apress.

Vinushanth, C. V. (2020). Markov and Hidden Markov Model. Medium. URL: https://towardsdatascience.com/markov-and-hidden-markov-model-3eec42298d75.

Bertolini, D., et al. (2010). Reducing Forgeries in Writer-Independent off-Line Signature Verification through Ensemble of Classifiers. Pattern Recognition, vol. 43, no. 1, pp. 387-96. URL: https://doi.org/10.1016/j.patcog.2009.05.009.

Bindal, A. (2019). Normalization Techniques in Deep Neural Networks. Techspace. URL: https://medium.com/techspace-usict/normalization-techniques-in-deep-neural-networks-9121bf100d8.

Kang, N. (2019).Introducing Deep Learning and Neural Networks - Deep Learning for Rookies (1). Medium. URL: https://towardsdatascience.com/introducing-deep-learning-and-neural-networks-deep-learning-for-rookies-1-bd68f9cf5883.

Sanghvirajit. (2021). A Complete Guide to Adam and RMSprop Optimizer.Analytics Vidhya. URL: https://medium.com/analytics-vidhya/a-complete-guide-to-adam-and-rmsprop-optimizer-75f4502d83be.

Kingma, D. P., and Ba, J.(2017). Adam: A Method for Stochastic Optimization. arXiv:1412.6980. URL: http://arxiv.org/abs/1412.6980.

Benhur, S. J. (2021). A Friendly Introduction to Siamese Networks. Medium. URL: https://towardsdatascience.com/a-friendly-introduction-to-siamese-networks-85ab17522942.

Shah, A., et al. (2016). An Offline Signature Verification Technique Using Pixels Intensity Levels.International Journal of Signal Processing, Image Processing and Pattern Recognition, vol. 9, no. 8, pp. 205-22. URL: https://doi.org/10.14257/ijsip.2016.9.8.18.

Odeh, S., and Khalil, M.(2011). Apply Multi-Layer Perceptrons Neural Network for Off-Line Signature Verification and Recognition.International Journal of Computer Science Issues (IJCSI),vol. 8, no. 6, pp. 261-266.

Madasu, Vamsi K., et al. Automatic Handwritten Signature Verification System for Australian Passports. Science, Engineering and Technology Summit on Counter-Terrorism Technology, pp. 53-66.

Hadsell, R., et al. (2006). Dimensionality Reduction by Learning an Invariant Mapping. IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06), vol. 2, pp. 1735-1742. https://doi.org/10.1109/CVPR.2006.100.

Hafemann, L. G., et al. (2018). Fixed-Sized Representation Learning from Offline Handwritten Signatures of Different Sizes.International Journal on Document Analysis and Recognition (IJDAR), vol. 21, no. 3, pp. 219-32. arXiv.org. URL: https://doi.org/10.1007/s10032-018-0301-6.

Krizhevsky, A., et al. (2017). ImageNet Classification with Deep Convolutional Neural Networks.Communications of the ACM, vol. 60, no. 6, pp. 84-90. URL: https://doi.org/10.1145/3065386.

Hafemann, L. G., et al. (2017). Learning Features for Offline Handwritten Signature Verification Using Deep Convolutional Neural Networks. Pattern Recognition, vol. 70, pp. 163-176. arXiv.orgю URL: https://doi.org/10.1016/j.patcog.2017.05.012.

Justino, E. J. R., et al. (2001). Off-Line Signature Verification Using HMM for Random, Simple and Skilled Forgeries. Proceedings of Sixth International Conference on Document Analysis and Recognition, IEEE Comput. Soc, pp. 1031-1034. URL: https://doi.org/10.1109/ICDAR.2001.953942.

Pal, S., et al. (2011). Off-Line Signature Verification Systems: A Survey. Proceedings of the International Conference & Workshop on Emerging Trends in Technology - ICWET'11, ACM Press, pp. 652-657. URL: https://doi.org/10.1145/1980022.1980163.

Karouni, A., et al. (2011). Offline Signature Recognition Using Neural Networks Approach. Procedia Computer Science, vol. 3, pp. 155-61. URL: https://doi.org/10.1016/j.procs.2010.12.027.

Koch, G., et al. (2015). Siamese Neural Networks for One-Shot Image Recognition. ICML deep learning workshop, vol. 2.

Dey, S., et al. (2017). SigNet: Convolutional Siamese Network for Writer Independent Offline Signature Verification. arXiv:1707.02131ю URL: http://arxiv.org/abs/1707.02131.

Sangekar, S. S., and Dhanwani D. C. (2012).Survey of Various Techniques for Signature Recognition and Verification.International Journal of Science and Research (IJSR), vol. 3,no. 11, pp. 1520-1522.

Oliveira, L. S., et al. The Graphology Applied to Signature Veri cation. 12th Conf.Int. Graphonomics Soc. (IGS2005), pp. 286-290.

Hafemann, L. G., et al. (2016). Writer-Independent Feature Learning for Offline Signature Verification Using Deep Convolutional Neural Networks.International Joint Conference on Neural Networks (IJCNN), pp. 2576-83. arXiv.orgю URL: https://doi.org/10.1109/IJCNN.2016.7727521.

Saha, S.(2018). A Comprehensive Guide to Convolutional Neural Networks - the ELI5 Way. Mediumю URL: https://towardsdatascience.com/a-comprehensive-guide-to-convolutional-neural-networks-the-eli5-way-3bd2b1164a53.

Farimani, S. A., and Majid V. J. (2018). An HMM for Online Signature Verification Based on Velocity and Hand Movement Directions. 6th Iranian Joint Congress on Fuzzy and Intelligent Systems (CFIS), pp. 205-09. IEEE Xploreю URL: https://doi.org/10.1109/CFIS.2018.8336639.

Chavan, M., et al. (2017). Handwritten Signature Verification Using Hidden Markov Model with Hybrid Wavelet Transform.International Conference on Computing, Communication, Control and Automation (ICCUBEA), pp. 1-6. IEEE Xploreю URL: https://doi.org/10.1109/ICCUBEA.2017.8463675.

Frias-Martinez, E., et al. (2006). Support Vector Machines versus Multi-Layer Perceptrons for Efficient off-Line Signature Recognition. Engineering Applications of Artificial Intelligence, vol. 19, no. 6, pp. 693-704. URL: https://doi.org/10.1016/j.engappai.2005.12.006.

Faúndez-Zanuy, M. (2007). On-Line Signature Recognition Based on VQ-DTW. Pattern Recognition, vol. 40, no. 3, pp. 981-992. URL: https://doi.org/10.1016/j.patcog.2006.06.007.

Justino, E. J. R., et al. (2002). An Off-Line Signature Verification System Using HMM and Graphometric Features. 4th IAPR International Workshop on Document Analysis Systemsp. pp. 211-222.

Alvarez, G., et al. (2016). Of ine Signature Veri cation with Convolutional Neural Networks. Technical report, Stanford University.

Yılmaz, M. B., and Berrin Y. (2016) Score Level Fusion of Classifiers in Off-Line Signature Verification.Information Fusion, vol. 32, pp. 109-19. URL: https://doi.org/10.1016/j.inffus.2016.02.003.

Eskander, G. S., et al. (2013). Hybrid Writer-independent-Writer-dependent Offline Signature Verification System. IET Biometrics, vol. 2, no. 4, pp. 169-181. URL: https://doi.org/10.1049/iet-bmt.2013.0024.

Zhang, Z., et al. (2016). Multi-Phase Offline Signature Verification System Using Deep Convolutional Generative Adversarial Networks.9th International Symposium on Computational Intelligence and Design (ISCID), vol. 2, pp. 103-107. IEEE Xploreю URL: https://doi.org/10.1109/ISCID.2016.2033.

Donato, I. and Pirlo, G. (2008). Automatic Signature Verification: The State of the Art. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), vol. 38, no. 5, pp. 609-35. URL: https://doi.org/10.1109/TSMCC.2008.923866.

Ippolito, P. P. (2019). Feature Extraction Techniques. Mediumю URL: https://towardsdatascience.com/feature-extraction-techniques-d619b56e31be.

Anamika, J., et al. (2021). Signature Verification Using Geometrical Features and Artificial Neural Network Classifier. Neural Computing and Applications, vol. 33, no. 12, pp. 6999-7010. arXiv.org. URL: https://doi.org/10.1007/s00521-020-05473-7.

Alaei, A., et al. (2017). An Efficient Signature Verification Method Based on an Interval Symbolic Representation and a Fuzzy Similarity Measure. IEEE Transactions on Information Forensics and Security, vol. 12, no. 10, pp. 2360-2372. URL: https://doi.org/10.1109/TIFS.2017.2707332.

Alajrami, E., et al. (2020). Handwritten Signature Verification Using Deep Learning.International Journal of Academic Multidisciplinary Research (IJAMR), vol. 3, тo. 12, pp. 39-44.

Arathi, M., and Govardhan, A.(2014). An Efficient Offline Signature Verification System.International Journal of Machine Learning and Computing, vol. 4, no. 6, pp. 533-537. URL: https://doi.org/10.7763/IJMLC.2014.V6.468.

Khalil, M. I., et al. (2009). Enhanced DTW Based On-Line Signature Verification. 16th IEEE International Conference on Image Processing (ICIP), IEEE, pp. 2713-2716. URL: https://doi.org/10.1109/ICIP.2009.5414166.

Hafemann, L. G., et al. (2017). Offline Handwritten Signature Verification - Literature Review. Seventh International Conference on Image Processing Theory, Tools and Applications (IPTA), IEEE, pp. 1-8. URL: https://doi.org/10.1109/IPTA.2017.8310112.