Çizge Sinir Aglari ve Derin Takviyeli Ögrenme Kullanarak Otomatik Molekül Üretimi

Abstract

Belirli istenen özelliklere sahip moleküler yapılar inşa etme fikri, ilaç keşfi ve malzeme bilimindeki birkaç büyük problemin temelini oluşturur. Fakat, kimyasal uzay o kadar geniştir ki, günümüzde mevcut olan hesaplama kaynakları ile bu alanın tamamını araştırmak imkansızdır. Bu nedenle, yeni bir ilaç bulmak hem zaman hem de maddi açıdan çok maliyetli olabilir. Neyse ki, son yıllarda artan veri ile birlikte bilgisayar donanımı ve yazılımındaki gelişmeler, doğal dil işlemeden bilgisayarla görüye uzanan alanları etkileyen derin yapay sinir ağlarında bir devrime yol açmıştır. Derin öğrenme, moleküler özelliklerin tahmini ve optimizasyonu için yeni yolların tasarımı da dahil olmak üzere, ilaç keşfindeki bir dizi alanı etkilemiştir. Derin öğrenmedeki bu gelişmeler ve ilaç üretimi için kullanılabilecek büyük veri tabanlarının artışı sayesinde son yıllarda umut verici sonuçlar alınmıştır. Bu tez çalışmasında, istenen belirli özellikler için yeni moleküller üretebilen bir model geliştirilmiştir. Bu model temelde iki farklı modelin birleşiminden oluşmaktadır. İlk model, moleküllerin üretilmesini gerçekleştiren bir Derin Takviyeli Öğrenme mimarisine sahiptir. Diğer model ise Derin Takviyeli Öğrenme mimarisine sahip modelin eğitiminde kullanılan moleküler temsilleri üreten bir Çizge Sinir Ağı'dır. Bu Çizge Sinir Ağı modeli için de iki farklı mimari kullanılmıştır. Bu mimarilerden ilki, Çizge Evrişimsel Ağı, diğeri ise Çizge Dikkat Ağı'dır. Geliştirilen modeli kullanarak temelde beş ayrı iş için molekül optimizasyonu ve üretimi gerçekleştirilmiştir. Bu işler, QED değerinin optimizasyonu, benzerlik kısıtlaması ile cezalı LogP değerinin optimizasyonu, benzerlik kısıtlaması ile QED değerinin optimizasyonu, belirlenen hedef protein alıcıları (F2, PPAR, JAK2) için kenetlenme skorunun optimize edilmesi ve kenetlenme skorunun optimize edildiği işteki eğitilen model kullanılarak rastgele başlangıç moleküllerinin optimize edilmesi şeklindedir. Önerilen bu modeli kıyaslamak için literatürde benzer görevlerde en iyi sonuçları almış bir model olan MolDQN, temel yöntem olarak tercih edilmiştir. Kıyaslamak için kullanılan bu model aynı Derin Takviyeli Öğrenme mimarisine sahiptir ancak eğitilirken molekül temsili olarak Morgan Parmak İzi'ni kullanmaktadır. Yapılan deneylerin sonuçları, Çizge Sinir Ağı mimarisini kullanarak üretilen moleküllerin, Morgan Parmak İzi yöntemi kullanılarak üretilen moleküllerden belirgin düzeyde daha başarılı olduğunu göstermiştir.

The idea of building molecular structures with certain desirable properties underlies several major problems in drug discovery and materials science. However, the chemical space is so vast that it is impossible to explore the entire space with the available computational resources today. Therefore, finding a new drug can be very costly in terms of time and money. Fortunately, advances in computer hardware and software, combined with increasing data in recent years, have led to a revolution in deep neural networks affecting areas ranging from natural language processing to computer vision. Deep learning has influenced several fields in drug discovery, including the design of new pathways for the prediction and optimization of molecular properties. Due to these developments in deep learning and the increase in large databases that can be used for molecule generation, encouraging results have been obtained in recent years. In this thesis, a model that can generate new molecules for certain desired properties has been developed. This model consists of a combination of two different models. The first model has a Deep Reinforcement Learning architecture that handles the generation of molecules. The other model is a Graph Neural Network that generates molecular representations used in training the Deep Reinforcement Learning architecture. Two different architectures are used for this Graph Neural Network model. The first of these architectures is the Graph Convolutional Network and the other is the Graph Attention Network. By using the proposed model, molecule optimization and generation were carried out for basically five different jobs. These tasks include optimization of the QED value, optimization of the penalized LogP value with similarity constraint, optimization of the QED value with similarity constraint, optimization of the docking score for the desired target protein receptors (F2, PPAR, JAK2), and optimization of the random starting molecules using the trained model in the previous task for which the docking score is optimized. To compare this proposed model, MolDQN, a model with the best results in similar tasks in the literature, was preferred as the baseline method. This baseline method has the same Deep Reinforcement Learning architecture but uses the Morgan Fingerprint as the molecule representation while being trained. The results of the conducted experiments show that the molecules generated using the Graph Neural Network architecture were significantly more successful than the molecules generated using the Morgan Fingerprint method.