Convergence theorems for solving minimization problem

Abstract

Many real world problems in applied sciences, engineering and economics can be reformulated as the convex minimization problem of the sum of two objective functions. In order to solve this problem, the forward-backward splitting algorithm has been used for the convergence analysis. However, in general, the Lipschitz continuity condition on the gradient of functions is usually assumed which is not an easy task in computation. Moreover, this assumption leads to the slow convergence of algorithms. The main objective of this thesis is to improve and develop new splitting algorithms for solving convex minimization problem. First, strong convergence theorems of the sequences generated by the forward-backward algorithms using hybrid projection method and shrinking projection method are proved in Hilbert spaces. Second, strong convergence theorems of the sequence generated by the forward-backward algorithm using viscosity approximation method are proved in Hilbert spaces. The stepsizes studied in this thesis are defined by two different kinds of linesearches. The main advantage of our algorithms is that the Lipschitz constants of the gradient of functions do not require in computation. Finally, numerical experiments are given to show the efficiency of the proposed methods in signal recovery. Numerical results show that the proposed algorithms have a better convergence rate than other related algorithms.

ปัญหาจริงมากมายทางด้านวิทยาศาสตร์ประยุกต์ วิศวกรรมศาสตร์ และ เศรษฐศาสตร์ สามารถแปลงให้อยู่ในรูปแบบของปัญหาค่าต่ำสุดเชิงคอนเวกซ์ของผลรวมของสองฟังก์ชันวัตถุประสงค์ เพื่อที่จะแก้ปัญหานี้วิธีการแยกข้างหน้า-ข้างหลังได้ถูกนำมาใช้สำหรับการวิเคราะห์การลู่เข้า อย่างไรก็ตามโดยทั่วไปนั้นเงื่อนไขความต่อเนื่องลิพชิทซ์ของเกรเดียนต์ของฟังก์ชันมักจะถูกกำหนดขึ้น ซึ่งเป็นสิ่งที่ยากในการคำนวณ นอกจากนี้ข้อสมมติฐานนี้ยังทำให้เกิดการลู่เข้าที่ช้าของอัลกอริทึม วัตถุประสงค์หลักของวิทยานิพนธ์นี้คือการปรับปรุงและพัฒนาวิธีการแยกแบบใหม่สำหรับการแก้ปัญหาค่าต่ำสุดเชิงคอนเวกซ์ อันดับแรกจะทำการพิสูจน์ทฤษฎีบทการลู่เข้าแบบเข้มของลำดับที่ก่อกำเนิดโดยวิธีการข้างหน้า-ข้างหลังโดยระเบียบวิธีการภาพฉายลูกผสมและวิธีการฉายภาพหดตัวภายใต้ปริภูมิฮิลเบิร์ต อันดับต่อมาจะทำการพิสูจน์ทฤษฎีบทการลู่เข้าแบบเข้มของลำดับที่ก่อกำเนิดโดยวิธีการข้างหน้า-ข้างหลังโดยระเบียบวิธีการประมาณแบบยืดหยุ่นภายใต้ปริภูมิฮิลเบิร์ต ในงานวิจัยนี้จะศึกษาขนาดขั้นแบบใหม่ของไลน์เสิร์ชสองรูปแบบที่แตกต่างกัน ข้อได้เปรียบหลักของอัลกอริทึมที่ได้พัฒนาขึ้นมาคือค่าคงที่ลิพชิทซ์ของเกรเดียนต์ของฟังก์ชันไม่จำเป็นต้องใช้ในการคำนวณ อันดับสุดท้ายการทดลองเชิงตัวเลขแสดงให้เห็นถึงประสิทธิภาพของวิธีการที่ได้นำเสนอในรูปแบบของการกู้คืนสัญญาณ ผลลัพธ์เชิงตัวเลขแสดงให้เห็นว่าวิธีการที่ได้ถูกนำเสนอมีอัตราการลู่เข้าที่ดีกว่าวิธีการอื่นที่เกี่ยวข้อง