Методы анализа экстремальных событий

Программа курса: 

Перечень контрольных вопросов

п/п

Разделы и темы лекционных занятий

Содержание

 
 

1

Определения и базовые свойства классов распределений с тяжелыми хвостами

Введение: определения и базовые свойства классов распределений с тяжелыми хвостами. Оценивание хвостового индекса. Методы оценивания числа наибольших порядковых статистик в оценке Хилла. Грубые методы распознавания тяжелых хвостов и количества первых конечных моментов распределения. Тесты на супер-тяжелые хвосты (отсутствие всех моментов распределения)

 

2

Распознавание зависимостей в одномерных и двумерных данных

Рассматриваются различные условия перемешивания, автокорреляционная функция, тесты портмоне, оценивание экстремального индекса для одномерных данных. Для двумерных данных рассматриваются классические меры зависимости Кендалла и Спирмена, а также более новые - функция Пикандса и копулы. Приводится применения к Web-и TCP- данным- и наноэлектронным устройствам.

 

3

Оценивание плотности распределения вероятностей.

Главные принципы оценивания и меры оценивания точности. Непараметрическое оценивание распределений с легкими хвостами. Методы сглаживания оценок плотности по выборкам ограниченного объема

 

4

Оценивание плотности распределения вероятностей для распределений с тяжелыми хвостами.

Оценивание плотности распределения вероятностей для распределений с тяжелыми хвостами. Комбинированные параметрико-непараметрические оценки, оценка Баррона и Хи-квадрат оптимальность. Ядерные оценки с переменной шириной окна и методы сглаживания для них: методы кросс-валидации, невязки. Трансформированные непараметрические оценки

 

5

Трансформированные оценки плотности распределения вероятностей

Выбор трансформаций данных: конечные и адаптивные трансформации. Трансформированные ядерные оценки. Выбор ядер. Преодоление пограничных эффектов. Точность трансформированных оценок в смысле метрик пространств

L_1, L_2

 

6

Классификация популяций, распределенных с тяжелыми хвостами

 Трансформированные непараметрические оценки плотности вероятностей и Байесовская классификация. Риск ошибочной классификации. Примеры применение к данным WWW- трафика

 

7

Оценивание характеристик распределений с тяжелыми хвостами

Оценивание высоких квантилей, конечных точек распределения, функций превышения для распределений с тяжелыми хвостами. Рассматривается применение к данным WWW- трафика

 

8

Непараметрическое оценивание функции интенсивности отказов для распределений с легкими и тяжелыми хвостами

 Для тяжелых хвостов используются трансформации данных. Для легких хвостов строятся регуляризованные оценки методом регуляризации Тихонова

 

9

Оценивание функции восстановления

Оценивание функции восстановления внутри конечного и бесконечного временного интервала. Непараметрические оценки, их асимптотические свойства и сглаживающие методы. Рассматривается применение к данным WWW- трафика

 

 

Перечень контрольных вопросов

1)                            Распределения с тяжелыми хвостами: определения,  классы таких распределений (с регулярно меняющимися хвостами, субэкспоненциальные, с супер тяжелыми хвостами), примеры,  свойства.

2)                            Хвостовой индекс: его определение,  роль и методы оценивания. Вывод оценки Хилла методом максимума правдоподобия.

3)                            Методы оценивания числа наибольших статистик как параметра в оценках хвостового индекса: график Хилла, бутстреп-метод.

4)                            Грубые методы распознавания тяжелых хвостов в статистических данных.

5)                            Определение независимых случайных величин. Методы распознавания зависимостей в одномерных данных (временных рядах): корреляции, ковариации, автокорреляционная функция и ее оценка, интервал Бартлетта для автокорреляционной функции, тесты-портмоне Ljung-Box и Runde.

6)                            Определение зависимости временного ряда на больших шагах (LRD) и методы ее тестирования с помощью параметра Херста (Hurst).

7)                            Детекция зависимости между двумя случайными величинами. Определение функции Пикандса и ее оценивание.

8)                            Определение функции плотности распределения вероятностей и ее непараметрические оценки: ядерные, проекционные.

9)                            Метод регуляризации Тихонова для построения непараметрических оценок плотности распределения вероятностей. Примеры функционалов регуляризации. Условие состоятельности регуляризованных оценок.

10)                        Ядерные оценки плотности: примеры ядер, условия состоятельности, оптимальные среднеквадратичные ошибки, преимущества и недостатки.

11)                        Методы сглаживания (нахождения параметра регуляризации) для непараметрических оценок плотности распределения вероятностей: из минимума оценок среднеквадратичной ошибки, метод кросс-проверки (cross-validation), метод невязки.

12)                        Оценивание плотностей распределений с тяжелыми хвостами: ядерные оценки плотности распределения вероятностей с переменной шириной окна, их преимущества и недостатки; комбинированные параметрико-непараметрические оценки.

13)                        Оценивание плотностей распределений с тяжелыми хвостами: оценки с использованием предварительной трансформацией исходной выборки к новой. Примеры трансформаций.

14)                        Классификация популяций, распределенных с тяжелыми хвостами, с помощью Байесова классификатора и непараметрических оценок плотностей. Примеры применения.

15)                        Функция риска отказов: определение, поведение для различных распределений. Использование трасформаций данных для оценивания функции в случае распределений с тяжелыми хвостами.

16)                        Функция риска отказов как решение операторных интегральных уравнений: оценивание с помощью схемы регуляризации Тихонова.

17)                        Идентификация и интерпретации полу-марковских моделей с двумя состояниями Гильберта-Эллиотта.

18)                        Понятие задачи о разладке временного ряда.

19)                        Контроль качества приборов с помощью функции восстановления. Определение функии восстановления и непараметрические методы ее оценивания по выборкам ограниченного объема.

 

Список литературы: 

 

            Основная литература.

1. Чистяков В.П. Курс теории вероятностей

2. Ширяев А.Н. Вероятность 1

3. Гнеденко Б.В. Курс теории вероятностей

            Дополнительная литература.

1. Айвазян СА, Бухштабер ВМ, Енюков ИС, Мешалкин ЛД Прикладная

статистика. Классификация и снижение размерности

2. Деврой Л, Дьерфи Л Непараметрическое оценивание плотности. L_1 подход.

М:Мир 1988

3. Тихонов АН, Арсенин ВЮ Методы решения некорректных задач

Электронные ресурсы, включая доступ к базам данных  и . т.д.

Информационные ресурсы: Журналы по прикладной статистике и теории вероятности, управлению, теории телекоммуникационных систем (Автоматика и телемеханика, Performance Evaluation, Telecommunication systems и др.), доступные через Internet научные и научно-технические журналы: http://scitation.aip.org/, http://www.sciencemag.org/ электронные конспекты лекций, учебные пособия и сборники задач, разработанные для данного курса.