![]() |
|
Close Help |
Литература:
2. Пападимитриу Х., Стайглиц К. Комбинаторная оптимизация. М.: Мир, 1985.
6. Мину М. Математическое программирование. М.: Наука, 1990.
§ 10. Глобальная оптимизация. Метод ветвей и границ |
Случайный и последовательный перебор. Метод ветвей и границ в глобальной
оптимизации. Описание и стратегии метода.
1. Как уже отмечалось ранее, задачи глобальной оптимизации
(т.е. в невыпуклом случае задачи оптимизации вообще) являются
переборными. Переборные алгоритмы не эффективны (в расчете на
худшую задачу), поэтому успех в решении каждой конкретной задачи
существенным образом зависит от способа организации перебора.
Если мы готовы оставить возможность или невозможность решения
нашей задачи на волю случая, то естественно использовать
случайный перебор. Этот способ перебора обычно является самым
простым и, как правило, экономит память. Для задачи поиска
глобального минимума ему соответствует следующий метод
Монте-Карло.
Пусть решается задача (1) из § 8, где (для упрощения изложения) множество
ограничений X - единичный n-мерный куб. Выбираем
в соответствии с равномерным распределением на X случайные
точки xt, в которых вычисляем значение целевой функции, запоминаем
текущее наименьшее значение - рекорд - и реализующую
его точку. Тогда "e > 0 вероятность
|
Сузим класс рассматриваемых задач (1), предположив вдобавок к предыдущему, что функция цели липшицева на X с константой L: f О Lip(X,L), т.е. |f(x)-f(xў)| Ј L||x-xў|| "x,xў О X. И не рассчитывая найти точное решение, зададимся подходящим e > 0 с целью поиска e-приближенного решения xe: f(xe) Ј f(x*)+e. (На близость xe и x* никаких условий не накладывается.)
Теперь мы
можем применять методы детерминированного перебора. Пассивный (не
использующий при выборе очередной точки информацию, полученную
для предыдущих) способ поиска приводит к полному перебору:
разобьем X на подкубы Xj так, чтобы "x,xў О Xj: ||x-xў|| Ј d=e/L, в каждом Xj
берем произвольную точку xj и полагаем
|
Предположим, что уже вычислены значения функции в точках x1,ј,xj-1 и рекордным оказалось значение f(xr) = R. Тогда, если f(xj) < f(xr), то обновляем рекорд r: = j, R: = f(xj), а если f(xj) > f(xr), то можно не вычислять значений функции на множестве Tj(R)={x О X: ||x-xj|| Ј (f(xj)-R)/L}, так как это не даст нового рекорда (ибо "x О Tr f(xj)-f(x) Ј L||x-xj|| Ј f(xj)-f(xr), т.е. f(x) і f(xr) = R, и значит, среди них нет глобально-оптимального решения). Обновление рекорда в принципе позволяет ``отбросить" аналогичные множества Ti(R) для i = 1,ј,j-1.
Естественно, в Ti, Tj могут попасть и точки xk с уже вычисленным значением f(xk) (которые таким образом вычислялись зря). Поэтому хотелось бы так организовать перебор, чтобы по возможности уменьшить число подобных ``зряшных" вычислений. К сожалению, оптимальной стратегии организации перебора для многомерных задач нет. Использование случайных точек xi приводит к проблеме хранения и обновления сложного множества ИTi(R) заведомо не оптимальных точек. Метод послойного перебора дает возможность сокращения лишь по одной переменной. Для задач большой размерности предлагается (различными авторами) следующий метод перебора по схеме ветвей и границ.
2. Метод ветвей и границ (МВГ) для глобальной минимизации.
Пусть x1 - центр куба X. Вычисляем f(x1) и присваиваем это
значение рекорду R: = f(x1). Разбиваем куб на 2n одинаковых подкубов
X1i со стороной 1/2 и вычисляем значения целевой функции в их центрах:
f(x1i), i = 1,ј,2n, обновляя по ходу вычислений значение рекорда
R: = minif(x1i).
Проверяем выполнение условия X1i Н T1i(R), i = 1,ј,2n и отбрасываем соответствующие подкубы. Каждый из
оставшихся
разбиваем на 2n одинаковых подкубов X2ij со стороной 1/4
и поступаем, как прежде. На любом шаге у нас формируется
множество K ``кубиков" со сторонами 2-l, l і 2,
целое. Правило выбора очередного кубика для разбиения
называется правилом ветвления - возможные варианты
приводятся ниже. Кубики со стороной не больше
e/(LЈn) исключаются из множества K -
дробление кубика заканчивается. Также исключаются кубики,
попавшие в множество Tk(R) (с индексом k - номером кубика) для
текущего значения рекорда, - правило отсечения ветвей.
Рекорд обновляется при получении меньшего значения целевой
функции (правило получения границ, т.е. оценок). Значения
целевой функции вычисляются в центре каждого нового подкубика,
включаемого в K после разбиения выбранного для этого
кубика. Алгоритм останавливается, когда K пусто.
Указанная терминология и название метода определяются тем, что визуально данная схема перебора представляется в виде графа-дерева, корневая вершина которого соответствует кубу X, вершины первого яруса - подкубам X1i, вершины второго яруса - кубикам X2ij, подсоединенным к своим порождающим вершинам X1i 1-го яруса, и т.д. Если кубик исключается из K, его вершина закрывается - из нее не будут идти ветви на следующий ярус. Если кубик еще не включен в K, его вершина еще не раскрыта. Порядок закрытия вершины определяется правилом отсечения (своим для каждой массовой задачи - см. также в § 11), порядок раскрытия - правилом ветвления (своим для каждой индивидуальной задачи). Различают два вида правил ветвления по типу построения дерева решений (выбора вершин для раскрытия): ``в ширину", когда сначала раскрываются все вершины одного яруса до перехода к следующему, и ``в глубину" - всякий раз раскрывается лишь одна (обычно с лучшим значением рекорда) вершина на ярусе до конца ветви. На практике реализуют некоторую смесь, например, первое правило, пока хватает машинной памяти (в K не слишком много элементов), затем переключаемся на второе. Предпочтительность той или иной стратегии ветвления оценивается каждым вычислителем по-своему, исходя из главной задачи метода ветвей и границ - быстрее получить лучший рекорд, чтобы отсечь больше ветвей.
В рассматриваемой задаче есть хороший способ улучшения рекорда - локальная оптимизация (см. в § 8). Ее имеет смысл проводить из текущей точки, в которой произошло обновление рекорда, например, делая несколько шагов градиентного метода. При этом расположение кубиков менять не надо, просто увеличивается шанс сокращения перебора (отбрасывания б'ольших кубиков).
Отметим, что в худшем случае f = const (ИTi = Ж) - не удается отбросить ни одной точки x - и приходим к полному перебору; т.е. указанная в п.1 экспоненциальная оценка точна на классе всех липшицевых функций.
§ 11. Целочисленное линейное программирование (ЦЛП) |
Отличие задач ЦЛП и ЛП: существенная нелинейность ограничений типа
целочисленности. Неэффективность округления решения ЛП до ближайшего
целого. Случай вполне унимодулярной матрицы ограничений. МВГ в ЦЛП.
МВГ для булева линейного программирования (БЛП).
1. По-видимому, наиболее важным классом задач глобальной
оптимизации являются задачи ЦЛП. Эти задачи формулируются как
задачи ЛП с дополнительным ограничением целочисленности
переменных. Последнее ограничение, какими бы способами от него
ни избавляться, ``портит" свойство выпуклости (и
полиномиальности) задачи ЛП. Например, выразив условие
целочисленности в форме ограничений неравенств, рассмотренной в
доказательстве утверждения 1 § 8, и сняв их методом штрафов,
придем к задаче глобальной оптимизации, имеющей не меньше
локальных экстремумов, чем вариантов для целочисленных
переменных в исходной ЦЛП. Поэтому на практике удается решать
задачи ЦЛП только небольшой размерности или с ограничениями
целочисленности не на все, а лишь на несколько переменных.
Существует частный класс задач ЦЛП, в которых ограничение целочисленности оказывается несущественным.
Определение 1. Матрица называется вполне унимодулярной, если определитель любой ее невырожденной квадратной подматрицы равен по модулю 1.
Утверждение 1. Если матрица ограничений разрешимой задачи ЛП с целыми коэффициентами вполне унимодулярна, то у нее существует целочисленное решение.
Доказательство очевидно из принципа граничных решений (§ 5) и правила Крамера (см. доказательство теоремы 1 § 5).
Утверждение 2. Матрица A вполне унимодулярна тогда и только тогда, когда для любого целочисленного вектора b все вершины многогранника Ax Ј b, x і [`0] являются целочисленными.
Доказательство в одну сторону аналогично предыдущему, в другую сторону см. ссылку в [2, с. 333].
Таким образом, вполне унимодулярными матрицами ограничений в принципе ограничивается класс задач ЦЛП, эквивалентных ЛП и, следовательно, допускающих эффективное решение. Отметим, что указанный класс, хотя и чрезвычайно узок с формальной точки зрения (элементами матрицы A могут быть только 0, 1 и -1, причем по большей части 0), соответствует достаточно широкому классу практических задач оптимизации на графах и сетях (одно- и двухпродуктовые сети, двудольные графы и т.п.).
Приведем без доказательства еще одно полезное утверждение, позволяющее в некоторых случаях получать приближенное решение ЦЛП путем решения ЛП.
Утверждение 3. Если все элементы симплекс-таблицы
aij, bi, cj натуральные числа, то для любого
решения x0 задачи ЛП
|
|
Условие положительности исходных данных выполняется для некоторых экономических задач. Такой же результат можно получить для ряда многопродуктовых потоковых задач на сетях и других линейных задач максимизации с положительным c, в которых допустимое множество вместе с любой точкой x содержит и все xў с компонентами xўj О [0,xj]. Однако поиск x* по лx0ы может потребовать перебора 2n вариантов округления компонент x0.
К сожалению, в общем случае и перебора всех возможных вариантов округления компонент решения непрерывной задачи ЛП оказывается недостаточно для получения решения ЦЛП (например, при n = 2, если для положительного c рассмотреть систему ограничений -9x1+10x2 Ј 0, -8x1+10x2 Ј -1). Таким образом, поиск решения ЦЛП может потребовать очень большого перебора целочисленных точек, и возникает та же, что и в § 10, задача организации перебора с целью попытаться его сократить в случае не самой плохой задачи. Одним из достаточно употребительных методов перебора здесь является метод ветвей и границ, который для ЦЛП будет рассмотрен в п.2. Другие методы см. в [2,6].
2. Метод ветвей и границ для ЦЛП. Рассматривается
задача
| (1) |
В корневой вершине метода вместо задачи (1) решается озЛП
| (2) |
Из вершины выходят две ветви, и на новом ярусе к ограничениям озЛП, решаемой в порождающей вершине, добавляется ограничение xj Ј лx0jы для 1-й ветви или xj і йx0jщ для 2-й ветви. Значение максимума в исходной задаче ЦЛП (1), очевидно, равно максимальному из значений подзадач ЦЛП на каждой ветви. Но, как и ранее, вместо подзадачи ЦЛП рассматривается подзадача без ограничения целочисленности. Такая озЛП и решается в очередной порожденной вершине в случае ее раскрытия, обозначим решение через xk.
Если xk - целочисленное, то вершина закрывается, а значение бc,xkс функции цели сравнивается с рекордом для его обновления или, по первому разу, присваивается рекорду, и точка xk - допустимая точка в задаче (1) - запоминается. После получения рекорда может быть закрыта любая раскрытая вершина, для которой оптимальное значение целевой функции окажется меньше рекорда. Действительно, поскольку максимум по большему множеству не меньше максимума по меньшему, то значение озЛП дает оценку сверху (границу) значения соответствующей целочисленной подзадачи, и когда верхняя оценка не превышает рекорда, бессмысленно пытаться увеличить рекорд на данной ветви.
Другим случаем закрытия вершины (отсечения ветви) является неразрешимость поставленной озЛП и, следовательно, той же подзадачи ЦЛП. Заметим, что для проверки неразрешимости не всегда надо решать задачу, несовместными могут сразу при формулировке оказаться, например, ограничения xj і йxk-ljщ, оставшиеся с одного из предыдущих ярусов, и xj Ј лxkjы, добавленные снова.
Если xk - нецелочисленное, то $xki П Z, и осуществляем ветвление по i-й компоненте описанным выше способом. Процедура заканчивается после закрытия всех вершин, тогда значение (1) равно текущему рекорду, либо рекорд остался неопределенным и задача (1) не имеет решения.
Выбор стратегии ветвления в ЦЛП играет не меньшую роль, чем в глобальной оптимизации. Отсутствие рекорда приводит к лишнему перебору, но процедура ветвления ``в глубину" может вместо рекорда дать несовместную систему ограничений. Кроме того, для нескольких нецелых компонент xk не понятно, по какой из них лучше осуществлять ветвление: по новой, которая не рассматривалась на предыдущих ярусах, или сначала перебрать все допустимые целые значения одной из компонент (по аналогии с БЛП - см. ниже). Последняя стратегия имеет смысл при наличии двусторонних ограничений на переменные.
3. Метод ветвей и границ для БЛП. Частным случаем
задачи (1) ЦЛП является задача БЛП
| (3) |
Из результатов § 2 (утверждения 8) вытекает NP-трудность БЛП и, следовательно, правомерность использования переборных схем для решения (3). В § 12 будет показана схема динамического программирования для БЛП с неотрицательными коэффициентами, а для произвольных задач (3) применима схема предыдущего пункта, которая несколько упрощается за счет дополнительного ограничения 0 Ј zi Ј 1, превращающего ЦЛП в БЛП. А именно, после замены Zn на Bn, при ветвлении в новые подзадачи добавляется вместо ограничений неравенств условие равенства 0 (для одной ветви) или 1 (для другой) той переменной, по которой осуществляется ветвление. Таким образом указанная переменная становится булевой во всех нижних ярусах, т.е. по ней не придется вновь проводить ветвление, а значит, на n-м ярусе решение (3) будет закончено. Число раскрываемых вершин (или решений подзадач ЛП) при этом не превысит 2n+1, что, конечно, тоже немало, но заметно меньше, чем для ЦЛП (сравнимо со случаем, предусмотренным утверждением 3).
§ 12. Метод динамического программирования (ДП) |
Теоретические основы ДП. Общая схема метода. Метод ДП для
БЛП с неотрицательными коэффициентами. Связь с МВГ.
1. Еще одной традиционно используемой схемой перебора
является метод динамического программирования (ДП). Один
пример алгоритма ДП приводился в § 4, где этод метод позволил
построить псевдополиномиальный алгоритм решения задачи о
рюкзаке. Вообще говоря, подобные алгоритмы и надеются получить
путем применения схемы ДП. Однако ДП можно использовать не для
произвольных оптимизационных задач. Класс подходящих задач
опишем далее.
Определение 2. Функция f называется
разделяемой на f1 и f2, если она представима в виде
| (4) |
Определение 3. Функция f называется разложимой на f1 и f2, если она разделяема на f1, f2 и функция f1 монотонно не убывает по последнему аргументу.
Теорема 1 (оптимальности для разложимых
функций).
|
Доказательство проведем для случая минимума.
(Равенство будет вытекать из пары противоположных неравенств.)
|
|
|
Для задачи условной оптимизации теорема оптимальности для
разложимых функций переписывается следуюшим образом:
| (5) |
Для начала рассмотрим задачу оптимизации, записанную в виде
| (6) |
|
1) E Ј h1(X)={h1(x)| x О X},
2) "E О E {h2(y,E)|y О Y(X)} М E
(множество в качестве аргумента означает
объединение по всем аргументам из этого множества).
Рассмотрим для (6) семейство задач поиска
|
|
В методе ДП данная процедура применяется рекурсивно к
задаче
| (7) |
Пусть f последовательно разложима, т.е.
|
Обозначим "i = [`(2,n-1)], "E О E через [^h]i(xi,xi+1,ј,xn,E) функцию, определяемую рекуррентно
равенствами: Eўi = hi(xi,E), Eўi+1 = hi+1(xi+1,Eўi), ј, Eўn = hn(xn,Eўn-1)=[^h]i(xi,xi+1,ј,xn,E). Заметим, что в случае
E = Ei-1: [^h]i(xi,xi+1,ј,xn,Ei-1) = g(x) и
Eўj = Ej "j і i. В сделанных обозначениях
справедливо возвратное соотношение для ограничений
| (8) |
|
| (9) |
|
|
|
| (10) |
| (11) |
| (12) |
"E О E вычисляем Fn(E) из (12),
последовательно для i = n-1,ј,2 определяем Fi(E) из (11),(10),
затем F* из (9).
Число шагов алгоритма (решений задач одномерной минимизации)
будет порядка n|E|. Таким образом метод ДП
имеет смысл применять для задач с не очень большим числом
состояний (|E| мал'о).
2. Примерами разложимых функций могут служить min, max, сумма,
произведение
(с неотрицательными коэффициентами) и т.п. Исходно метод ДП
использовался для оптимизации динамических систем, что
нашло отражение в применяемой терминологии. Так, E
соответствует физическому пространству состояний (возможных координат
траектории движения), xi - управлению в момент времени ti,
воздействие управления на траекторию определяется функцией
перехода в следующее состояние, на конечное состояние наложены
ограничения принадлежности к ET, начальное состояние
фиксировано; fi(xi,E) - стоимость управления системой,
находящейся в состоянии E, f - стоимость всей траектории
E1,ј,En-1.
Соотношение (11) означает минимизацию стоимости ``хвоста" траектории в каждый момент времени, что согласуется с принципом оптимальности, сформулированным Р. Бэллманом: оптимальная политика управления такова, что для любого начального состояния и любых решений (по выбору управления), принятых на начальных шагах, оставшиеся решения образуют оптимальную политику, начинающуюся с состояния, возникшего в результате этих решений. (Отметим, что в случае строгой монотонности f таким образом можно получить любое решение, в случае нестрогой монотонности - хотя бы одно).
Проиллюстрируем применение метода ДП на примере решения задач
БЛП с неотрицательными коэффициентами (элементами
симплекс-таблицы). Итак, вернемся к задаче (3)
|
|
|
Очевидно, F* = F1(0).
Возвратное уравнение в данном случае:
|
|
Число шагов предложенного алгоритма равно n и на n-м
шаге рассматривается min{(b1+1)·ј·(bm+1), 2n-1} состояний, на (n-1)-м - минимум из левой части
(равной |E|) и 2n-2 и т.п. Так что при
больших b метод ДП решает примерно столько же задач, сколько МВГ в
худшем случае, однако решаемые задачи здесь проще (проверка
ограничений вместо ЛП). Подчеркнем, что процедура ДП не дает
способов сокращения перебора, тогда как удачный выбор стратегии
ветвления в МВГ (например, на основе имеющейся у вычислителя
дополнительной информации или эвристических соображений)
позволяет (хотя и не гарантированно) решать задачи большей
размерности. Отметим также отсутствие ограничения
неотрицательности коэффициентов для работы МВГ. В принципе,
возможно комбинирование обеих схем (см. [6]).