Методы анализа экстремальных событий
Преподаватели:
Программа курса:
|
№ п/п |
Разделы и темы лекционных занятий |
Содержание |
|
|
1 |
Определения и базовые свойства классов распределений с тяжелыми хвостами |
Введение: определения и базовые свойства классов распределений с тяжелыми хвостами. Оценивание хвостового индекса. Методы оценивания числа наибольших порядковых статистик в оценке Хилла. Грубые методы распознавания тяжелых хвостов и количества первых конечных моментов распределения. Тесты на супер-тяжелые хвосты (отсутствие всех моментов распределения) |
|
|
2 |
Распознавание зависимостей в одномерных и двумерных данных |
Рассматриваются различные условия перемешивания, автокорреляционная функция, тесты портмоне, оценивание экстремального индекса для одномерных данных. Для двумерных данных рассматриваются классические меры зависимости Кендалла и Спирмена, а также более новые - функция Пикандса и копулы. Приводится применения к Web-и TCP- данным- и наноэлектронным устройствам. |
|
|
3 |
Оценивание плотности распределения вероятностей. |
Главные принципы оценивания и меры оценивания точности. Непараметрическое оценивание распределений с легкими хвостами. Методы сглаживания оценок плотности по выборкам ограниченного объема |
|
|
4 |
Оценивание плотности распределения вероятностей для распределений с тяжелыми хвостами. |
Оценивание плотности распределения вероятностей для распределений с тяжелыми хвостами. Комбинированные параметрико-непараметрические оценки, оценка Баррона и Хи-квадрат оптимальность. Ядерные оценки с переменной шириной окна и методы сглаживания для них: методы кросс-валидации, невязки. Трансформированные непараметрические оценки |
|
|
5 |
Трансформированные оценки плотности распределения вероятностей |
Выбор трансформаций данных: конечные и адаптивные трансформации. Трансформированные ядерные оценки. Выбор ядер. Преодоление пограничных эффектов. Точность трансформированных оценок в смысле метрик пространств L_1, L_2 |
|
|
6 |
Классификация популяций, распределенных с тяжелыми хвостами |
Трансформированные непараметрические оценки плотности вероятностей и Байесовская классификация. Риск ошибочной классификации. Примеры применение к данным WWW- трафика |
|
|
7 |
Оценивание характеристик распределений с тяжелыми хвостами |
Оценивание высоких квантилей, конечных точек распределения, функций превышения для распределений с тяжелыми хвостами. Рассматривается применение к данным WWW- трафика |
|
|
8 |
Непараметрическое оценивание функции интенсивности отказов для распределений с легкими и тяжелыми хвостами |
Для тяжелых хвостов используются трансформации данных. Для легких хвостов строятся регуляризованные оценки методом регуляризации Тихонова |
|
|
9 |
Оценивание функции восстановления |
Оценивание функции восстановления внутри конечного и бесконечного временного интервала. Непараметрические оценки, их асимптотические свойства и сглаживающие методы. Рассматривается применение к данным WWW- трафика |
|
Перечень контрольных вопросов
1) Распределения с тяжелыми хвостами: определения, классы таких распределений (с регулярно меняющимися хвостами, субэкспоненциальные, с супер тяжелыми хвостами), примеры, свойства.
2) Хвостовой индекс: его определение, роль и методы оценивания. Вывод оценки Хилла методом максимума правдоподобия.
3) Методы оценивания числа наибольших статистик как параметра в оценках хвостового индекса: график Хилла, бутстреп-метод.
4) Грубые методы распознавания тяжелых хвостов в статистических данных.
5) Определение независимых случайных величин. Методы распознавания зависимостей в одномерных данных (временных рядах): корреляции, ковариации, автокорреляционная функция и ее оценка, интервал Бартлетта для автокорреляционной функции, тесты-портмоне Ljung-Box и Runde.
6) Определение зависимости временного ряда на больших шагах (LRD) и методы ее тестирования с помощью параметра Херста (Hurst).
7) Детекция зависимости между двумя случайными величинами. Определение функции Пикандса и ее оценивание.
8) Определение функции плотности распределения вероятностей и ее непараметрические оценки: ядерные, проекционные.
9) Метод регуляризации Тихонова для построения непараметрических оценок плотности распределения вероятностей. Примеры функционалов регуляризации. Условие состоятельности регуляризованных оценок.
10) Ядерные оценки плотности: примеры ядер, условия состоятельности, оптимальные среднеквадратичные ошибки, преимущества и недостатки.
11) Методы сглаживания (нахождения параметра регуляризации) для непараметрических оценок плотности распределения вероятностей: из минимума оценок среднеквадратичной ошибки, метод кросс-проверки (cross-validation), метод невязки.
12) Оценивание плотностей распределений с тяжелыми хвостами: ядерные оценки плотности распределения вероятностей с переменной шириной окна, их преимущества и недостатки; комбинированные параметрико-непараметрические оценки.
13) Оценивание плотностей распределений с тяжелыми хвостами: оценки с использованием предварительной трансформацией исходной выборки к новой. Примеры трансформаций.
14) Классификация популяций, распределенных с тяжелыми хвостами, с помощью Байесова классификатора и непараметрических оценок плотностей. Примеры применения.
15) Функция риска отказов: определение, поведение для различных распределений. Использование трасформаций данных для оценивания функции в случае распределений с тяжелыми хвостами.
16) Функция риска отказов как решение операторных интегральных уравнений: оценивание с помощью схемы регуляризации Тихонова.
17) Идентификация и интерпретации полу-марковских моделей с двумя состояниями Гильберта-Эллиотта.
18) Понятие задачи о разладке временного ряда.
19) Контроль качества приборов с помощью функции восстановления. Определение функии восстановления и непараметрические методы ее оценивания по выборкам ограниченного объема.
Список литературы:
Основная литература.
1. Чистяков В.П. Курс теории вероятностей
2. Ширяев А.Н. Вероятность 1
3. Гнеденко Б.В. Курс теории вероятностей
Дополнительная литература.
1. Айвазян СА, Бухштабер ВМ, Енюков ИС, Мешалкин ЛД Прикладная
статистика. Классификация и снижение размерности
2. Деврой Л, Дьерфи Л Непараметрическое оценивание плотности. L_1 подход.
М:Мир 1988
3. Тихонов АН, Арсенин ВЮ Методы решения некорректных задач
Электронные ресурсы, включая доступ к базам данных и . т.д.
Информационные ресурсы: Журналы по прикладной статистике и теории вероятности, управлению, теории телекоммуникационных систем (Автоматика и телемеханика, Performance Evaluation, Telecommunication systems и др.), доступные через Internet научные и научно-технические журналы: http://scitation.aip.org/, http://www.sciencemag.org/ электронные конспекты лекций, учебные пособия и сборники задач, разработанные для данного курса.
