Değer işlevi - Value function - Wikipedia

değer işlevi bir optimizasyon sorunu verir değer tarafından elde edilen amaç fonksiyonu bir çözümde, yalnızca parametreleri problemin.[1][2] İçinde kontrollü dinamik sistem değer işlevi, aralık boyunca sistemin optimum getirisini temsil eder [t, t1] o zaman başladığında-t durum değişkeni x (t) = x.[3] Amaç işlevi, en aza indirilecek bir miktar maliyeti temsil ediyorsa, değer işlevi, en uygun programı bitirmenin maliyeti olarak yorumlanabilir ve bu nedenle "maliyet işlevi" olarak adlandırılır.[4][5] Amaç işlevinin genellikle temsil ettiği ekonomik bir bağlamda Yarar değer işlevi kavramsal olarak eşdeğerdir dolaylı fayda fonksiyonu.[6][7]

Bir problemde optimal kontrol değer işlevi şu şekilde tanımlanır: üstünlük kabul edilebilir kontroller setini devralan amaç işlevi. Verilen tipik bir optimal kontrol problemi,

tabi

ilk durum değişkeni ile .[8] Amaç işlevi tüm kabul edilebilir kontroller üzerinde maksimize edilecektir , nerede bir Lebesgue ölçülebilir fonksiyon itibaren bazı önceden belirlenmiş keyfi setlere . Değer işlevi daha sonra şu şekilde tanımlanır:

ile , nerede ... hurda değer. Optimal kontrol ve durum yörünge çifti , sonra . İşlev optimum kontrolü sağlayan mevcut duruma göre geri bildirim kontrol politikası olarak adlandırılır,[4] veya basitçe bir politika işlevi.[9]

Bellman'ın iyimserlik ilkesi, kabaca, herhangi bir optimal politikanın zaman zaman , mevcut durumu almak geri kalan problem için "yeni" başlangıç ​​koşulu en uygun olmalıdır. Değer işlevi olursa sürekli türevlenebilir,[10] bu önemli bir kısmi diferansiyel denklem olarak bilinir Hamilton – Jacobi – Bellman denklemi,

nerede maximand sağ tarafa da şu şekilde yeniden yazılabilir: Hamiltoniyen, , gibi

ile rolünü oynamak maliyet değişkenleri.[11] Bu tanım göz önüne alındığında, bizde ayrıca ve HJB denkleminin her iki tarafını farklılaştırdıktan sonra ,

uygun terimleri değiştirdikten sonra, maliyet denklemi

nerede dır-dir Newton notasyonu zamana göre türev için.

Değer işlevi bir viskozite çözümü Hamilton-Jacobi-Bellman denklemine.[12] Bir internet üzerinden kapalı döngü yaklaşık optimal kontrol, değer fonksiyonu da bir Lyapunov işlevi kapalı döngü sisteminin küresel asimptotik kararlılığını sağlayan.[13]

Referanslar

  1. ^ Fleming, Wendell H.; Rishel, Raymond W. (1975). Deterministik ve Stokastik Optimal Kontrol. New York: Springer. sayfa 81–83. ISBN  0-387-90155-8.
  2. ^ Caputo, Michael R. (2005). Dinamik Ekonomik Analizin Temelleri: Optimal Kontrol Teorisi ve Uygulamaları. New York: Cambridge University Press. s. 185. ISBN  0-521-60368-4.
  3. ^ Weber, Thomas A. (2011). Optimal Kontrol Teorisi: Ekonomideki Uygulamalar ile. Cambridge: MIT Press. s. 82. ISBN  978-0-262-01573-8.
  4. ^ a b Bertsekas, Dimitri P .; Tsitsiklis, John N. (1996). Nöro-Dinamik Programlama. Belmont: Athena Scientific. s. 2. ISBN  1-886529-10-8.
  5. ^ "EE365: Dinamik Programlama" (PDF).
  6. ^ Mas-Colell, Andreu; Whinston, Michael D.; Yeşil, Jerry R. (1995). Mikroekonomi Teorisi. New York: Oxford University Press. s. 964. ISBN  0-19-507340-1.
  7. ^ Corbae, Dean; Stinchcombe, Maxwell B .; Zeman Juraj (2009). İktisat Teorisi ve Ekonometri için Matematiksel Analize Giriş. Princeton University Press. s. 145. ISBN  978-0-691-11867-3.
  8. ^ Kamien, Morton I.; Schwartz, Nancy L. (1991). Dinamik Optimizasyon: Ekonomi ve Yönetimde Varyasyon Hesabı ve Optimal Kontrol (2. baskı). Amsterdam: Kuzey-Hollanda. s. 259. ISBN  0-444-01609-0.
  9. ^ Ljungqvist, Lars; Sargent, Thomas J. (2018). Yinelemeli Makroekonomik Teori (Dördüncü baskı). Cambridge: MIT Press. s. 106. ISBN  978-0-262-03866-9.
  10. ^ Benveniste ve Scheinkman, değer işlevinin farklılaştırılabilirliği için yeterli koşulları oluşturdular ve bu da değer işlevinin uygulanmasına izin verir. zarf teoremi, görmek Benveniste, L. M .; Scheinkman, J. A. (1979). Dinamik İktisat Modellerinde Değer Fonksiyonunun Farklılaşabilirliği Üzerine. Ekonometrik. 47 (3): 727–732. doi:10.2307/1910417. JSTOR  1910417. Ayrıca bakın Seierstad, Atle (1982). "Kontrol Teorisinde Optimal Değer Fonksiyonunun Türevlenebilirlik Özellikleri". Ekonomik Dinamikler ve Kontrol Dergisi. 4: 303–310. doi:10.1016/0165-1889(82)90019-7.
  11. ^ Kirk Donald E. (1970). Optimal Kontrol Teorisi. Englewood Kayalıkları, NJ: Prentice-Hall. s. 88. ISBN  0-13-638098-0.
  12. ^ Zhou, X.Y. (1990). "Maksimum İlke, Dinamik Programlama ve Deterministik Kontrolde Bağlantıları". Optimizasyon Teorisi ve Uygulamaları Dergisi. 65 (2): 363–373. doi:10.1007 / BF01102352. S2CID  122333807.
  13. ^ Kamalapurkar, Rushikesh; Walters, Patrick; Rosenfeld, Joel; Dixon, Warren (2018). "Optimal Kontrol ve Lyapunov Kararlılığı". Optimal Geribildirim Kontrolü için Takviye Öğrenimi: Lyapunov Tabanlı Bir Yaklaşım. Berlin: Springer. s. 26–27. ISBN  978-3-319-78383-3.

daha fazla okuma