Лекция: Векторное квантование. LVQ- сеть. Подклассы. LVQ2

Задача векторного квантования с k кодовыми векторами Wj для заданной совокупности входных векторов S ставится как задача минимизации искажения при кодировании, то есть при замещении каждого вектора из S соответствующим кодовым вектором. В базовом варианте сетей Кохонена используется метод наименьших квадратов и искажение D вычисляется по формуле

где Kj состоит из тех точек, которые ближе к Wj, чем к другим Wl (). Другими словами, Kj состоит из тех точек, которые кодируются кодовым вектором Wj.

Векторное квантование является намного более общей операцией, чем кластеризация, поскольку кластеры должны быть разделены между собой, тогда как совокупности Kj для разных кодовых векторов Wj не обязательно представляют собой раздельные кластеры. С другой стороны, при наличии разделяющихся кластеров векторное квантование может находить их и по-разному кодировать.

обучающееся векторное квантование (learning vector quantization, LVQ)_связано с тем, что по исходной выборке из ℓ объектов xi

строятся M новых объектов wm, похожих на исходные,_это центры ячеек, по кото-

рым распределяются (.квантуются.) исходные объекты. Как правило, M ≪ ℓ, по-

этому замена объектов на ближайшие к ним центры позволяет эффективно сжимать

данные при незначительной потере информации. Объём сохраняемой информации регулируется единственным параметром M, что достаточно удобно в приложениях

Сетевые входы не вычислены посредством внутреннего продукта прототипа векторов с входами. Вместо этого, сетевые входы – это отрицание расстояния между прототипами векторов и входами.

(The net input is not computed by taking an inner product of the prototype vectors with the input. Instead, the net input is the negative of the distance between the prototype vectors and the input.)

Подклассы

Для сети LVQ, нейрон победитель в первом слое указывает на подкласс, которому принадлежит входной вектор. Там могут быть несколько различных нейронов (подклассы), которые составляют каждый класс.

Второй слой сети LVQ комбинирует подклассы в единый класс. Колонки матрицы W2 представляют подклассы, а ряды представляют классы. В W2 есть единственная «1» в каждой колонке. Ряд, в котором находится «1» указывает, который класс соответствующему подклассу принадлежит.

Если нейрон победы в скрытом слое неправильно классифицирует текущий вход, мы отодвигаем его вектор веса от входного вектора, как прежде. Однако, мы также регулируем веса самого близкого нейрона к входному вектору, который действительно классифицирует его должным образом. Веса для этого второго нейрона должны быть перемещены к входному вектору.

Когда сеть правильно классифицирует входной вектор, веса только одного нейрона перемещены к входному вектору. Однако, если входной вектор неправильно классифицирован, веса двух нейронов обновлены, один вектор веса отодвинут от входного вектора, и другой перемещен к входному вектору. Получающийся алгоритм называют LVQ2.