Main menu

Методы сглаживания данных: скользящие средние и экспоненциальное сглаживание

Борьба с высокочастотным шумом в реальных измерениях

В инженерной практике, метеорологии, экономике и медицине исследователи постоянно работают с временными рядами — последовательностями данных, измеренными через равные промежутки времени. Любые реальные измерения неизбежно содержат шум. Показания кардиомонитора, датчика температуры в промышленной печи или график биржевых котировок всегда будут иметь хаотичные, случайные отклонения. Этот шум мешает анализу, скрывая истинный, физически или экономически обоснованный тренд. Процесс очистки полезного сигнала от случайных высокочастотных флуктуаций называется сглаживанием данных.

Математически сглаживание представляет собой фильтрацию низких частот. В отличие от строгой аппроксимации (где мы ищем единую аналитическую функцию для всего массива), методы сглаживания работают локально. Они вычисляют новое, «очищенное» значение для каждой точки, опираясь только на небольшую окрестность (окно) вокруг нее. Существует множество алгоритмов сглаживания, от простейших арифметических до сложных полиномиальных.

Простое и взвешенное скользящее среднее (SMA и WMA)

Самым известным и интуитивно понятным алгоритмом является простое скользящее среднее (Simple Moving Average, SMA). Принцип его работы тривиален: мы берем «окно» заданного размера (например, 5 точек), суммируем значения внутри этого окна и делим на 5. Полученное число становится новым сглаженным значением для центральной точки окна. Затем окно сдвигается на один шаг вправо, и операция повторяется. Чем шире окно, тем сильнее сглаживается график, но тем сильнее он отстает от резких изменений реального тренда (эффект запаздывания).

Недостатком SMA является то, что все точки в окне имеют одинаковый вес. Устаревшие данные на краю окна влияют на результат так же сильно, как и самые свежие данные в центре. Для решения этой проблемы применяется взвешенное скользящее среднее (WMA), где точкам присваиваются весовые коэффициенты. Обычно максимальный вес дается центральной точке (или самой свежей точке, если сглаживание направлено в прошлое), а веса остальных точек убывают по мере удаления от центра, что делает фильтр более отзывчивым.

Экспоненциальное сглаживание и фильтр Савицкого-Голея

Временные ряды в финансах и системах реального времени часто обрабатываются с помощью экспоненциального сглаживания (EMA). В отличие от скользящих средних, EMA не имеет фиксированного окна. Каждое новое сглаженное значение вычисляется как взвешенная сумма текущего измерения и предыдущего сглаженного значения. При этом веса всех исторических данных убывают экспоненциально вглубь веков. EMA требует минимум оперативной памяти (нужно хранить только одно предыдущее значение) и мгновенно реагирует на новые импульсы, что делает его любимым инструментом трейдеров.

Однако все методы усреднения имеют фатальный недостаток при обработке физических и химических спектров: они «срезают» острые пики полезного сигнала. Для сохранения формы пиков и точного вычисления производных в 1964 году был разработан Фильтр Савицкого-Голея. Этот метод проводит локальную полиномиальную регрессию (по методу наименьших квадратов) внутри движущегося окна. Сглаженное значение вычисляется не арифметическим усреднением, а подстановкой в найденный полином (обычно 2-й или 3-й степени). Благодаря этому фильтр Савицкого-Голея великолепно сглаживает шум, сохраняя при этом амплитуду, ширину и центры физических резонансов в спектроскопии.

Подробнее

Численные методы в квантовой механике: решение уравнения Шредингера

Вычислительная квантовая физика

Квантовая механика радикально изменила наше понимание микромира. В основе нерелятивистской квантовой механики лежит уравнение Шредингера. В отличие от классической механики Ньютона, где мы ищем точные координаты и скорости частиц, уравнение Шредингера описывает эволюцию волновой функции. Квадрат модуля этой функции дает плотность вероятности обнаружить квантовую частицу в определенной точке пространства. Аналитическое (точное) решение уравнения Шредингера возможно лишь для горстки идеализированных систем: атом водорода, квантовый гармонический осциллятор и частица в прямоугольной потенциальной яме.

Для всех остальных случаев — от многоэлектронных атомов и сложных молекул до кристаллических решеток полупроводников — точных решений не существует. Более того, добавление в систему даже одного лишнего электрона (например, в атоме гелия) делает задачу аналитически неразрешимой из-за кулоновского отталкивания между электронами. Именно здесь на арену выходит вычислительная физика и численные методы, позволяющие рассчитывать энергетические спектры и химические свойства материалов с беспрецедентной точностью.

Метод Нумерова для одномерных задач

Когда мы ищем стационарные (не зависящие от времени) состояния системы, уравнение Шредингера сводится к задаче на собственные значения. Для одномерных задач (например, частица в сложном потенциальном поле) классическим и крайне элегантным подходом является метод Нумерова. Это специализированный метод интегрирования обыкновенных дифференциальных уравнений второго порядка вида y'' = f(x)y, к которому и относится стационарное уравнение Шредингера.

Метод Нумерова базируется на разложении Тейлора и обладает впечатляющим четвертым порядком точности O(h^4), при этом требуя вычисления потенциала только в узлах сетки (без необходимости рассчитывать промежуточные точки, как в методе Рунге-Кутты). Алгоритм используется вместе с методом пристрелки (стрельбы). Мы задаем пробное значение энергии (которое является искомым собственным значением) и интегрируем уравнение с двух сторон (от плюс и минус бесконечности) навстречу друг другу. Точное значение энергии соответствует тому случаю, когда обе ветви решения гладко сшиваются в точке встречи. Этот подход до сих пор активно применяется для расчета состояний двухатомных молекул.

Временная эволюция и схема Кранка-Николсон

Если же нас интересует динамика (нестационарное уравнение Шредингера) — например, как электронный пакет туннелирует сквозь потенциальный барьер или как атом реагирует на лазерный импульс, — нам необходимо моделировать эволюцию волновой функции во времени. Это уравнение относится к параболическому типу (с мнимой единицей перед производной по времени).

Использование явных разностных схем для уравнения Шредингера приводит к вычислительной катастрофе: они не сохраняют норму волновой функции (то есть полная вероятность обнаружить частицу перестает быть равной единице) и часто безусловно неустойчивы. Спасением является схема Кранка-Николсон. Она является полунеявной разностной схемой второго порядка точности по времени и пространству. Ее важнейшее математическое свойство — унитарность. Оператор перехода во времени в схеме Кранка-Николсон является строго унитарным, что гарантирует абсолютное сохранение нормы волновой функции на любом временном шаге. На каждом шаге алгоритм требует решения системы линейных уравнений с трехдиагональной (или блочно-трехдиагональной) матрицей, что легко реализуется алгоритмом прогонки. Схема Кранка-Николсон стала индустриальным стандартом для одномерной и двумерной квантовой динамики.

Подробнее

Метод характеристик для квазилинейных уравнений в частных производных

Переход от частных производных к обыкновенным

В математической физике и механике сплошных сред огромную роль играют квазилинейные дифференциальные уравнения в частных производных первого порядка. Эти уравнения описывают широчайший спектр процессов переноса: от движения волн на мелководье и потоков транспорта на автомагистралях до газодинамических течений и распространения примесей в жидкостях. Главная сложность анализа таких уравнений заключается в том, что скорость распространения волны в них зависит от самой искомой функции (например, от плотности газа или концентрации вещества). Это порождает нелинейные эффекты, с которыми классические линейные методы (такие как разделение переменных Фурье) справиться не могут.

Мощнейшим аналитическим и полуаналитическим инструментом для решения подобных задач является метод характеристик. Основная философская идея этого метода заключается в сведении сложного уравнения в частных производных (УЧП), зависящего от нескольких независимых переменных (например, пространства и времени), к системе обыкновенных дифференциальных уравнений (ОДУ). Это достигается путем поиска в пространстве-времени специальных кривых, вдоль которых исходное уравнение в частных производных превращается в обыкновенное дифференциальное уравнение.

Геометрический смысл и семейство кривых

С геометрической точки зрения, решение УЧП первого порядка для функции двух переменных u(x,t) можно представить как интегральную поверхность в трехмерном пространстве (x, t, u). Метод характеристик ищет кривые, лежащие на этой поверхности. Эти кривые называются характеристиками. Вдоль характеристики изменение искомой функции происходит только за счет изменения одного параметра (часто это время t или некий фиктивный параметр s вдоль кривой).

Математически алгоритм требует составления так называемой характеристической системы ОДУ. Решая эту систему (аналитически, если это возможно, или численно, с помощью методов Рунге-Кутты), мы получаем семейство характеристических кривых на плоскости (x,t). Вдоль каждой такой кривой значение искомой функции u либо остается постоянным (для простого уравнения переноса), либо меняется по известному простому закону. Зная начальные условия задачи (профиль функции в момент времени t=0), мы можем «протащить» эти значения вдоль характеристик в любую точку будущего времени, тем самым построив полное решение исходной задачи.

Формирование ударных волн и опрокидывание

Нелинейность квазилинейных уравнений приводит к одному из самых интересных и важных физических явлений, которое метод характеристик позволяет исследовать во всех деталях — явлению градиентной катастрофы, или «опрокидыванию волны». В линейных уравнениях все характеристики параллельны друг другу. В нелинейных уравнениях наклон характеристики зависит от значения функции. В результате, области с высокими значениями функции (например, гребни волн) могут двигаться быстрее, чем области с низкими значениями (подошвы волн).

На характеристической плоскости это означает, что кривые-характеристики начинают пересекаться. В точке пересечения метод характеристик предсказывает, что функция должна иметь два разных значения одновременно, что физически невозможно. Производная функции обращается в бесконечность — происходит так называемое опрокидывание волны. В реальности в этот момент формируется разрыв (ударная волна или скачок уплотнения). Для продолжения решения после момента опрокидывания классический метод характеристик нуждается в дополнении интегральными условиями на разрыве (условия Ренкина-Гюгонио), что переводит задачу в область построения слабых решений и использования методов сквозного счета, таких как метод конечных объемов.

Подробнее

ГДЗ по математике

1 класс 2 класс 3 класс
4 класс 5 класс 6 класс

Книги

Фильмы

Старый сайт

Соц. сети