.RU

Причудливый метод учета - Одураченные случайностью. Скрытая роль Шанса на Рынках и в Жизни. М: Интернет-трейдинг,- 248 с


Причудливый метод учета

^ Альтернативные истории, вероятностный взгляд на мир, интеллектуальное мошенничество и случайностная мудрость

француза с устойчивыми привычками купания. Как

журналисты не понимают случайную последовательность

событий. Остерегайтесь заимствованных суждений - почти

все прекрасные идеи относительно случайных результатов

противоречат общепринятой мудрости. Различия между

правильностью и понятностью.

Альтернативная история

$Г~Я' начинаю с банальной мысли, что нельзя судить о 2Й] достижениях в какой угодно области (война, политика, ^г Л. фармация, инвестиции) по результатам, но надо по стоимости альтернативы, (то есть, как если бы история пошла другим путем). Такие подмены событий называются альтернативными историями Ясно, что качество решения не

может быть оценено исключительно на основании его результата, но такая точка зрения, кажется, высказывается только людьми, которые терпят неудачу, (те же, кто выигрывают, считают свой успех следствием качества их решения). Это мнение часто высказывают политические деятели, уходя их кабинета, тем представителям прессы, которые все еще слушают их - что они следовали лучшим курсом - и проявления привычного сочувствия "да, мы знаем" делает жало еще худшим. И подобно многим банальностям, эта, будучи достаточно очевидной - не легка для практического освоения.

^ РУССКАЯ РУЛЕТКА

Можно иллюстрировать странную концепцию альтернативных историй следующим образом. Вообразите эксцентричного (и скучающего) магната, предлагающего вам 10$ миллионов, чтобы сыграть в русскую рулетку. То есть приставить револьвер, содержащий одну пулю в шести пулеприемниках, к вашей голове и нажать спусковой механизм. Каждая такая реализация должна бы рассматриваться, как одна история из общего количества шести возможных равновероятных событий. Пять из этих шести событий вели бы к обогащению, а одно вело бы к статистике, то есть к некрологу со смущающей (но, безусловно, подлинной) причиной смерти. Проблема в том, что только единственная из шести историй, наблюдается в действительности, а получатель 10 миллионов вызвал бы восхищение и похвалу какого-нибудь глупого журналиста, (того же самого, который безоговорочно восхищается списком 500 миллиардеров журнала Форбс). Подобно почти каждому руководителю, с которыми я столкнулся в течение 15-летней карьеры на Уолл-Стрит (роль таких исполнителей, на мой взгляд, не более, чем аналог роли судьи результатов, представленных случайным образом) с тем, что публика наблюдает внешние признаки богатства без наличия даже проблеска мысли об его источнике (мы назовем такой источник генератором). Рассмотрите возможность, что победитель русской рулетки стал бы образцом для подражания для его семейства, друзей и соседей.

В то время как оставшиеся пять событий - не заметны,

44

мудрый и вдумчивый человек, мог бы легко сделать предположение, относительно их атрибутов. Это требует некоторой мыслительной работы и личной храбрости. Кроме того, со временем, если спорящий на рулетку дурак, продолжает играть, плохие истории будут иметь тенденцию догонять его. Таким образом, если бы 25-летний играл в русскую рулетку, скажем, один раз в год, была бы очень слабая возможность достижения им его 50-го дня рождения - но, если есть достаточное количество игроков, скажем, тысячи 25-летних игроков, мы можем ожидать увидеть горстку (чрезвычайно богатых) оставшихся в живых (и очень большое кладбище). Здесь я должен признать, что пример русской рулетки, означает для меня нечто большее, чем интеллектуальную задачку. Я потерял товарища в этой "игре" во время Ливанской войны, когда мы были совсем юнцами. И даже больше. Я обнаружил у себя немалый интерес к литературе благодаря эффекту Грэма Грина и его флирту с такой игрой - это оказало более сильное воздействие на меня, чем фактические события, свидетелем которых я стал. Грин утверждал, что он когда-то пробовал скрасить унылость своего детства, нажимая на спусковой механизм на револьвере — и это заставляет меня вздрагивать при мысли, что я имел, по крайней мере, одну шестую вероятности того, что остался бы без его романов.

Читатель может видеть мое необычное представление об альтернативном учете: 10 миллионов, заработанных на русской рулетке не имеют той же самой стоимости, что и 10 миллионов, заработанных через прилежную и искусную практику лечения зубов. Они одни и те же, имеют одинаковую покупательную силу, за исключением того, что в одном случае зависимость от случайности больше, чем в другом. Для бухгалтера, тем не менее, они были бы идентичны. Для вашего ближайшего соседа тоже. И все же, копая глубже, мы можем рассматривать их качественно различными. Понятие такого альтернативного учета имеет интересные интеллектуальные расширения и поддается математической формулировке, как мы увидим в следующей главе, при введении двигателя Монте-Карло. Обратите внимание, что такое использование математики лишь иллюстративно и стремится к привлечению интуитивного понимания такой точки зрения, но не должно интерпретироваться, как инженерная задача. Другими словами,

45

необходимо не столько фактически вычислять альтернативные истории, сколько максимально оценивать их атрибуты. Математика -это не только "игра числами", это способ мышления и мы увидим, что вероятность это качественный предмет.

Даже более ужасная рулетка

Действительность гораздо хуже, чем русская рулетка. Во-первых, она поставляет фатальную пулю не слишком часто, подобно револьверу, который имеет сотни, даже тысячи пулеприемников вместо шести. После нескольких дюжин попыток, каждый забывает о существовании пули, убаюканный ложным чувством безопасности. Эта мысль обрисована в этой книге как проблема черного лебедя, которую мы обсуждаем в главе 7, поскольку это связано с проблемой индукции, которая заставляла многих философов науки бодрствовать по ночам. Это также связано с проблемой, называемой клеветой истории, так как игроки, инвесторы и люди, принимающие решения, чувствуют, что с ними не должно обязательно случиться то, что происходит с другими.

Во-вторых, в отличие от хорошо определенной и точной игры, подобной русской рулетке, где риски видимы любому, умеющему умножать и делить на шесть, никто не наблюдает пулеприемный барабан реальности. Невооруженный глаз очень редко видит генератор. И таким образом, каждый невольно играет в русскую рулетку, но называет ее неким альтернативным и "низкорисковым" именем. Мы видим производимое богатство, но никогда - процессор, (а это заставляет людей терять из виду их риски), и никогда не видим проигравших. Игра, кажется, ужасно простой, и мы беспечно играем в нее дальше.

Отношения полного равенства

Степень сопротивления случайности в жизни есть абстрактная идея, часть логической контр-интуиции, а ее реализация неочевидна, что запутывает дело еще сильнее. Но я

46

более чем предан ей благодаря списку личных причин, к которому я вернусь позже. Очевидно, что мой путь оценки сущностей вероятностен по природе; он зависит от мнения, что, вероятно, может случиться, и требует определенной мысленной позиции по отношению к объекту наблюдения. Я не рекомендую вовлекать бухгалтера в дискуссию о таких вероятностных вопросах. Для бухгалтера число есть число. Если бы его интересовала вероятность, то он получил бы одну из более интроспективных профессий - и был бы склонен делать дорогостоящие ошибки при расчетах ваших налогов.

Пока мы не видим револьверного барабана в реальности, многие люди делают попытку крутануть его; чтобы сделать это, нужен специфический характер. Видя сотни людей, приходящих в, и уходящих из моей профессии (характеризуемой крайней зависимостью от случайности), я должен сказать, что те, кто имел некоторое научное образование, имеют тенденцию идти дополнительную милю. Для многих такое мышление есть вторая натура. Это необязательно может прийти из научного образования самого по себе (остерегайтесь причинности), но, возможно, из того факта, что люди, которые решили в некоторый момент своей жизни посвятить себя научным исследованиям, склонны иметь прочно укоренившееся интеллектуальное любопытство и естественное стремление к такому самоанализу. Особенно вдумчивы те, кто должен был отказаться от научных исследований из-за своей неспособности сфокусироваться на узко определенной проблеме. Без чрезвычайной интеллектуальной любознательности почти невозможно защитить диссертацию на соискание ученой степени в наши дни, но без желания узко специализироваться невозможно сделать научную карьеру. (Существует различие, тем не менее, между умственными способностями чистого математика, увлеченного абстракциями, и умственными способностями ученого, поглощенного любопытством. Математик поглощен тем, что существует в его голове, в то время как ученый исследует то, что находится вне него). Тем не менее, некоторые люди считают, что случайность может быть чрезмерной; я даже знал людей, образованных в нескольких областях, например, в квантовой механике, и продвигающих идеи в другую крайность, видящих только альтернативные истории и игнорирующих то, что

47

действительно имело место.

Некоторые трейдеры могут быть неожиданно интроспективны относительно случайности. Я недавно обедал в баре Одеона с Лореном Р., трейдером, который читал черновик этой книги. Мы подбросили монетку, чтобы увидеть, кто будет платить за обед. Я проиграл и заплатил. Он уже почти собрался поблагодарить меня, когда внезапно остановился и сказал: "Согласно вашей книге, вы бы сказали, что я вероятностно заплатил за половину обеда".

Поэтому я считаю, что люди делятся на две полярные категории: на одном крае те, кто никогда не принимает знаков случайности; на другом крае те, кто страдает от нее. Когда я начинал на Уолл-Стрит в 80-х, комнаты трейдеров были населены людьми с «ориентацией на бизнес», т.е. избегающих любого самоанализа вообще, плоских как блин, и вероятно, обманутых случайностью. Концентрация их ошибок была крайне высока, особенно когда финансовые инструменты усложнялись. Почему-то мудреные продукты, подобные экзотическим опционам, вводились и получали выигрыши, противоречащие интуиции, что было слишком трудно для любого человека с такой культурой управления. Они падали как мухи; я не думаю, что многие из сотен обладателей степени МВА7 моего поколения, которых я встречал на Уолл-Стрит в 80-х, все еще вовлечены в такую форму профессионального и дисциплинированного принятия риска.

^ СПАСЕНИЕ АЭРОФЛОТОМ

90-е годы были отмечены появлением людей с более богатым и интересным образованием, которые сделали трейдерские комнаты гораздо более занимательными. Я был избавлен от бесед с МВА. Многие ученые, некоторые из них крайне успешные в своих областях, пришли с желанием сделать деньги. Они, в свою очередь, наняли людей, которые походили на них. В то время как большинство из этих людей не имело ученой степени (на самом деле, ученую степень и сейчас имеет меньшинство), культура и ценности внезапно изменились, став более терпимыми к глубине

7 МВА - та51ег оГ Ьиз!пе55 ас1тт151гаиоп, магистр делового администрирования (англ.) (прим.перев.)

48

интеллекта. Увеличение уже достаточно высокого спроса на ученых на Уолл-Стрит было вызвано, благодаря быстрому развитию финансовых инструментов. Доминирующей специальностью была физика, но можно было найти любые другие специальности среди них. Русская, французская, китайская и индийская речь (по порядку) стала доминировать как в Нью-Йорке, так и в Лондоне. Говорили, что каждый самолет из Москвы имел по крайней мере задний ряд, полный русских математических физиков на пути на Уолл-Стрит (они нуждались в умниках с Уолл-Стрит, чтобы получить хорошие места). Можно было нанять очень дешевого работника, приехав в ЛТС-аэропорт с обязательным переводчиком, случайно интервьюирующим тех, кто соответствовал стереотипу. В самом деле, в конце 90-х можно было заполучить хорошо образованного ученого мирового класса за половину стоимости МВА. Как говорят, маркетинг - это все; эти ребята не знают, как продавать себя.

Я имел сильную склонность к русским ученым, многие из которых могли быть использованы в качестве шахматных тренеров (я, кстати, нашел преподавателя фортепьяно в этом процессе). К тому же, они крайне полезны в процессе собеседования. Когда МВА ищут позицию трейдера, они часто хвастаются "продвинутыми" навыками по шахматам в своих резюме. Я вспомнил советника по трудоустройству МВА в бизнес-школе Вартона, который рекомендовал выпячивать наши преимущественные навыки игры в шахматы потому, что это выглядит «интеллигентно и стратегически». МВА обычно интерпретируют свое поверхностное знание правил игры как «экспертное». Обычно, мы проверяем претензии на точность шахматной экспертизы (и характер соискателя) расстановкой шахмат из выдвижного ящика и говоря побледневшему студенту: "сейчас с вами поговорит Юрий".

Коэффициент неудач этих ученых, тем не менее, был немногим лучше, чем у МВА, но это происходило по другой причине, связанной с их жизнью, в среднем (но только в среднем) лишенной малейшей практичности интеллигентностью. Некоторые успешные ученые имели суждения (и социальную благосклонность) дверной ручки - но ни в коей мере не все. Многие люди были способны выполнить большинство сложных

49

шотландский спортивный пиджак, с безвкусной шелковой окантовкой карманов. Не озабоченный семейной жизнью человек, он редко приходил на работу до полудня - хотя я мог наверняка сказать, что он выполняет свою работу в самых невероятных местах. Он часто звонил мне из "Регины", высококачественного ночного клуба в Нью-Йорке, поднимая меня в три часа ночи, чтобы обсудить некоторые небольшие (и не относящиеся к делу) детали моей стратегии управления рисками. Несмотря на его слабое сложение, женщины, по-видимому, находили его неотразимым; он часто исчезал посреди дня и был часами недоступен. Его преимуществом была жизнь нью-йоркского француза с постоянной привычкой к купанию. Как-то он пригласил меня обсудить с ним срочные вопросы бизнеса. Как обычно, я нашел его в середине дня в странном "клубе" в Париже, который не имел вывески и где он сидел с документами, разбросанными перед ним поперек стола. Потягивая шампанское, он, одновременно, ласкал двух скудно одетых молодых леди. Удивительно, но он вовлек их в разговор, как если бы они были участниками встречи. Одна из леди даже отвечала по постоянно звонившему мобильному телефону, т.е. он не хотел, чтобы наш разговор прерывали.

Я все еще удивлен одержимым отношением к рискам этого яркого человека, которые он постоянно прокручивал в голове - он думал буквально обо всем, что могло случиться. Он заставил меня сделать альтернативный план на случай падения самолета на здания офиса - и разгневался, услышав мой ответ, что финансовые условия его департамента были бы мало интересны мне в таких обстоятельствах. Он имел репутацию ужасного волокиты, темпераментного босса, способного зажечь любого по своей прихоти, но слушал меня и понимал каждое слово, которое я хотел сказать, поощряя меня пройти дополнительную милю в моем изучении случайности. Он заставил меня искать невидимые риски "взрыва" в любом портфеле. Не случайно, он имел огромное уважение к науке и выказывал уважение ученым; через десять лет или около этого после того, как мы работали вместе, он неожиданно объявился во время защиты моей докторской диссертации, улыбаясь из глубины комнаты. Кении знал, как подняться по иерархической лестнице организации и достигнуть ее верхнего уровня, перед тем, как быть выгнанным, а Жан-Патрик не

сделал такой успешной карьеры, но заставил меня остерегаться чрелых финансовых институтов.

Многих людей, самоориентированных на "конечный результат" может больше беспокоить вопрос об историях, которые не имели места, чем об историях, которые действительно случались. Очевидно, что для несумасбродного человека, из разряда "успешных в бизнесе", мой язык (и, я полагаю, некоторые характерные черты моей личности) кажется странным и непонятным. К моему удивлению, этот аргумент многим кажется обидным.

Контраст между Кении и Жаном-Патриком не простое совпадение в продолжительной карьере. Остерегайтесь расточительных "знающих бизнес" людей; рыночное кладбище непропорционально хорошо заполнено самоориентированными на "конечный результат" людьми. В противоположность их обычной манере вести себя как Хозяева Вселенной, они вдруг выглядят бледными, тихими и лишенными гормонов на пути к своему офису для обсуждения соглашения об увольнении.

Джордж Вилл - это не Солон: неинтуитивная

истина

Реализм может наказывать. Вероятностный скептицизм еще хуже. Трудно идти по жизни, надев вероятностные очки, так как начинаешь видеть одураченных случайностью повсюду вокруг, во множестве ситуаций, настойчивых в своих иллюзиях восприятия. Для начала, невозможно читать исторический анализ без сомнения в безупречности выводов: мы знаем, что Ганнибал и Гитлер были безумны в своих стремлениях, так как в Риме сегодня не говорят по-финикийски и Таймс-сквер в Нью-Йорке не представляет собой свастику. Но что было бы, если бы все эти генералы, которые были одинаково безумны, в конечном итоге выиграли бы войну и, следовательно, были бы почитаемы историческими хроникерами? Трудно думать об Александре Великом или Юлии Цезаре как о человеке, который выиграл только в произошедшей истории, но который потерпел значительное поражение в других, виртуальных.

53

Если мы слышали о них, то только потому, что они пошли на значительные риски, вместе с тысячами других людей, и им посчастливилось победить. Они были умными, отважными, благородными (временами), имели самую высокую культуру из возможных в те дни - но такими были и тысячи других, кто ютится на затхлых задворках истории. Я не оспариваю факт, что они выиграли свои войны - только претензии на качественность их стратегий. (Мое самое первое впечатление от недавнего перечитывания «Илиады», первое в моём взрослом возрасте, было таким, что эпический поэт не оценивал своих героев по результату: герои выигрывали и проигрывали битвы таким способом, который совершенно не зависел от их собственного мужества; их судьба зависела только от совершенно внешних сил, в основном от явной помощи интригующих богов (не лишенных семейственности). Герои стали героями потому, что они геройски вели себя, а не потому, что они выиграли или проиграли. Патрокл не производит на нас впечатления героя своими достижениями (был быстро убит) потому, что он предпочел умереть, чем видеть Ахилла в мрачном бездействии. Очевидно, эпический поэт понимал невидимые истории. Позже философы и поэты использовали уже более тщательно проработанные методы борьбы со случайностью, что мы увидим в стоицизме.

Прослушивание средств информации, в основном из-за того, что я не привык к ним, может заставить меня подпрыгнуть из моего кресла и выражать свои эмоции перед движущимся изображением (я вырос без телевизора и научился обращаться с ТВ только к 20 годам). Одна из иллюстраций опасного отказа от рассмотрения альтернативных историй представлена в интервью, в котором Джордж Вилл, "комментатор" широкого профиля, встретился с профессором Робертом Шиллером, известном публике своим бестселлером "Иррациональный избыток чувств", но более известном специалистам своим замечательным осмыслением структуры рыночной случайности и волатильности (выраженным в четкой математике).

Интервью иллюстрирует деструктивный аспект средств информации, в угождении нашему весьма извращенному общему сознанию и склонностям. Мне говорили, что Джордж Вилл очень известен и крайне уважаем (т.е. для журналиста). Возможно, он

54

имел даже достаточную, интеллектуальную целостность; его профессия, однако, только кажется интеллектуальной и интеллигентной для толпы. Шиллер, с другой стороны, понимает все входы и выходы случайности; он обучен работать с точной аргументацией, но кажется менее понятным публике, так как предмет его обсуждения сильно противоречит интуиции. Шиллер говорил, что рынок акций уже давно переоценен. Джордж Вилл продемонстрировал Шиллеру, что если бы люди, прислушивались к нему в прошлом, то они потеряли бы деньги, так как рынок вырос более чем в два раза с тех пор, как он начал говорить, что он переоценен. На такой журналистский, хорошо звучащий (но совершенно бессмысленный) аргумент Шиллер был не способен ответить что-либо, за исключением объяснения, что факт его неправоты в одном отдельном рыночном сигнале не должен иметь чрезмерного значения. Он, Шиллер, будучи ученым, не претендовал на то, чтобы быть пророком или одним из конферансье, которые дают комментарии по рынкам в вечерних новостях. Возможно, Йоги Берра имел бы самый подходящий момент для своего точного комментария о том, что толстая леди еще не спела.

Я не мог понять, что Шиллер, необученный сжимать свои идеи в безвкусные звуковые байты, делал в таком шоу на ТВ. Глупо думать, что иррациональный рынок не может стать еще более иррациональным; взгляды Шиллера на рациональность рынка не лишаются законной силы на основании того аргумента, что он был неправ в прошлом. Я не мог бы привести лучший пример, чем персона Джорджа Вилла, в качестве представителя многих кошмаров в моей карьере: мои попытки предостеречь кого-то от игры в русскую рулетку на $10 млн. и видения журналиста Джорджа Вилла, публично меня посрамляющего, говоря, что если бы этот некто прислушался ко мне, то это стоило бы ему потери значительного будущего. К тому же, комментарий Вилла не был импровизированным замечанием; он написал статью, обсуждающую плохой «прогноз» Шиллера. Такая тенденция делать и менять прогнозы, основываясь на судьбе колеса рулетки, симптоматична, для нашей генетической неспособности справляться со сложной структурой случайности, преобладающей в современном мире. Смешение прогнозов и пророчеств

55

симптоматично для случайностной глупости (пророчество относится к правым столбцам таблицы 1, а прогноз эквивалентен левому столбцу).

^ ПОВЕРЖЕННЫЙ В ДЕБАТАХ

Очевидно, идея альтернативной истории не дает интуитивного ощущения, которое появляется там, где начинается развлечение. Как начинающие, мы не связаны способом понимания вероятности, вопросом, который мы изучаем взад и вперед в этой книге. Я только скажу по этому поводу, что исследователи мозга верят, что математические истины оказывают очень малое влияние на наше мышление, особенно когда оно приходит к проверке случайных результатов. Большинство результатов в вероятности полностью контр-интуитивны и мы увидим их множество. Тогда зачем спорить с простым журналистом, чей платежный чек зависит от игры на общепринятой мудрости толпы? Я напоминаю, что каждый раз, когда я был повержен в публичной дискуссии о рынках кем-то (из рядов Джорджа Вилла), кто, казалось, представлял более приятные и легкие для понимания аргументы, я оказывался (много позже) правым. Я не спорю, что аргументы должны быть упрощены до максимума, но люди часто путают сложные идеи, которые не могут быть упрощены до дружественно-понятного СМИ состояния, с симптомами запутавшегося разума. Студенты МВА учат концепцию ясности и простоты, которую понимает и пятиминутный менеджер. Концепцию можно применить для бизнес-плана завода химических удобрений, но не для крайне вероятностных аргументов - которые явились причиной анекдотических доказательств того, что МВА идут к тому, чтобы "взорвать" на рынке, так как они обучены упрощать проблемы до пары шагов по их требованию (я прошу МВА-читателей не обижаться, я сам несчастный обладатель степени).

Берегитесь путаницы между корректностью и понятностью. Часть общепринятой мудрости благоволит к тем вещам, которые могут быть объяснены немедленно и "в двух словах" - во многих кругах это рассматривается как закон. Посещая французскую начальную школу, 1усее рптпшге, я научился переделывать популярный афоризм:

56

г

^ Се ^т 5в сопсо11 Ыеп х'епопсе ЛшгетеШ Е( 1е$ той рот 1е (Иге V^еппеп{ акетем (Что легко понять, то несложно выразить/ Слова, которые нужно сказать, приходят без усилий)

Читатель может понять разочарование от осознания того факта, что с моим ростом как практика случайности пришло понимание, что наиболее поэтично звучащие афоризмы откровенно неверны. Заимствованная мудрость может быть порочной. Мне необходимо прилагать огромные усилия, чтобы не попасть под влияние хорошо звучащих ремарок, и я напоминаю себе замечание Эйнштейна, что здравый смысл, есть не более, чем собрание заблуждений, приобретенных к 18-летнему возрасту. Более того, то, что звучит разумно в разговоре или на митинге, или, в частности, в средствах информации - подозрительно.

Вся история науки показывает, что почти все умные вещи, доказанные учеными, появлялись подобно безумию в те времена, когда они были открыты. Попытайтесь объяснить журналисту из "Лондон Тайме" в 1905 году, что время замедляется при путешествии. (Кстати, даже Нобелевский комитет никогда не присуждал премию Эйнштейну за его разработку специальной теории относительности). Или объясните кому-то, не имеющему физического образования, что существуют места в нашей Вселенной, где нет времени. Попытайтесь объяснить Кении, что хотя его ведущий трейдер и сделал ему кучу денег, у меня есть достаточно аргументов, чтобы убедить его в том, что этот трейдер - опасный идиот.

РИСК-МЕНЕДЖЕРЫ

Корпорации и финансовые институты недавно создали странную вакансию, называемую риск-менеджер, который, как предполагается, следит за тем, чтобы корпорация не слишком глубоко вовлекалась в игру с русской рулеткой. Понятно побуждение после нескольких разорений поставить кого-либо, кто будет наблюдать за генератором, точнее русской рулеткой, генерирующей прибыли и убытки. Хотя торговать гораздо веселее, эта вакансия привлекла множество чрезвычайно толковых людей среди моих друзей (включая Жана-Патрика). Важный и привлекательный факт заключается в том, что средний риск-

57

менеджер зарабатывает больше, чем средний трейдер (особенно, если учесть количество трейдеров, выброшенных из бизнеса). Но их работа выглядит странной по следующей причине - как уже было сказано - генератор реальности не наблюдаем. Риск-менеджер ограничен в своей власти останавливать прибыльного трейдера от принятия рисков, боясь, что их будут, в последствии, упрекать Джордж Вилл сотоварищи, в том, что они упустили точную возможность заработать несколько шекелей акционерам. А с другой стороны, они будут отвечать, если произойдет "взрыв". Что же делать в таких обстоятельствах?

Поэтому они сосредотачивают усилия на проведении политики своего прикрытия, путем выпуска пространного внутреннего меморандума о том, что предупреждения против деятельности, связанной с принятием рисков не полностью обрекают ее на неудачу, иначе они бы потеряли работу. Подобно доктору, разрывающемуся между двумя типами ошибок, положительной ложью (сказать пациенту, что у него рак, когда его нет на самом деле) и отрицательной ложью (сказать пациенту, что он здоров, когда на самом деле у него рак), им приходится уравновешивать свое существование с фактом имманентной необходимости наличия некоторого количества ошибок в их бизнесе. Что касается меня, то я решил проблему давным-давно тем, что являюсь одновременно и риск-менеджером и руководителем своих текущих операций.

Я завершаю главу описанием центрального парадокса моей карьеры в финансовой случайности. По определению, я иду против шерсти, поэтому не является сюрпризом, что мои стиль и методы не являются популярными и легкими для понимания. Но я управляю деньгами для других, а мир заселен не только пузырящимися, но совершенно непоследовательными журналистами, не имеющими, кстати, денег для инвестиций. Таким образом, я хочу, чтобы инвесторы, в целом, оставались одураченными случайностью, (чтобы я мог торговать против них), но существовало меньшинство, достаточно продвинутое, чтобы оценить мои методы и снабдить меня капиталом. Мне повезло встретить Дональда Суссмана, который соответствовал образу такого идеального инвестора. Он помог мне на второй стадии моей карьеры, поддержав учреждение "Эмпирики", моей торговой

58

фирмы, освободив, таким образом, от неприятностей работы по найму на Уолл-Стрит. Мой величайший риск в том, чтобы стать успешным, что означало бы, что мой бизнес близок к исчезновению. Странный бизнес.




^ Моделирование методом Монте-Карло как метафора к пониманию последовательности случайных исторических

событий. Случайности и искусственная история. Возраст -это красота, но новое и молодое, почти всегда, токсично.

Отправьте вашего профессора истории в начальный класс по теории статистического анализа.

^ МАТЕМАТИКА ЕВРОПЛЭЙБОЯ


Cтереотип чистого математика представляет анемичного человека с косматой бородой, грязными и не стриженными ногтями, тихо трудящегося за спартанским и беспорядочным столом. С узкими плечами и выпирающим животиком, он сидит в неряшливом офисе, полностью поглощенный своей работой, не обращающий внимания на окружающую его среду. Он вырос при коммунистическом режиме и говорит по-английски со строгим и хриплым восточно­европейским акцентом. Когда он ест, крошки еды застревают в его бороде. Со временем его все больше поглощает предмет его чистых теорем, достигающий новых уровней всё увеличивающейся

абстракции. Американская публика познакомилась недавно с одним из таких характеров - Унабомбером, бородатым математиком-отшельником, который жил в хижине и взялся за убийства людей, продвигавших современные технологии. Ни один журналист не был способен даже приблизительно описать предмет его диссертации - комплексные границы, поскольку это не имеет никакого понятного эквивалента - комплексное число, является полностью абстрактным и воображаемым числом, квадратный корень из минус единицы, объект, который не имеет аналогов вне мира математики.

Название Монте-Карло вызывает в памяти образ загорелого учтивого человека, этакого европлэйбоя, входящего в казино с дуновением средиземноморского бриза. Он - способный лыжник и теннисист, но также не посрамит себя в шахматах и бридже. Он управляет серым спортивным автомобилем, одет в хорошо выглаженный итальянский костюм ручной работы и гладко говорит о мирском и реальном, то есть о том, что журналист может легко описывать публике в сжатом изложении. В казино он проницательно считает карты, определяя шансы и держит пари в заученной манере, пока его мозг производит точные вычисления оптимального размера ставки. Он мог бы быть более умным потерянным братом Джеймса Бонда.

Теперь, когда я думаю о "математике Монте-Карло", я думаю о счастливой комбинации двух факторов: реализма человека Монте-Карло без мелочности, объединенного с интуицией математика без чрезмерной абстракции. На самом деле, эта отрасль математики имеет огромное практическое использование и не столь суховата, как это обычно думается. Я увлекся ею в ту минуту, когда стал трейдером. И она формировала мое мышление в большинстве вопросов, связанных со случайностью. Большинство примеров, используемых в книге, было создано с помощью моего генератора Монте-Карло, который я представляю в этой главе. Но в гораздо большей степени это скорее способ мышления, чем вычислительный метод. Математика - это, в принципе, инструмент больше для мышления, чем для вычисления.

ИНСТРУМЕНТЫ Понятие альтернативных историй, обсуждаемых в

62

предыдущей главе, может быть значительно расширено и подвергнуто различной технической обработке. Что приводит нас к инструментам, используемым в моей профессии, чтобы играть с вероятностью. Позже я их обозначу. Методы Монте-Карло, коротко говоря, состоят в создании искусственной истории, используя следующие концепции.

Во-первых, это траектория выборки9. Невидимые истории имеют научное название — альтернативные выборочные траектории, которое заимствовано из области вероятностной математики, называемой стохастическим процессом. Понятие траектории, в противоположность результату, указывает на то, что это не простой анализ сценария в стиле МВА, но экспертиза последовательности сценариев в течение времени. Мы не просто интересуемся тем местом, где птичка может оказаться завтра ночью, но интересуемся всеми различными местами, которые она может посетить в течение интервала времени. Мы не просто интересуемся тем, сколько будет стоить капитал инвестора, скажем, через год, а скорее количеством сердечных приступов, которые он может испытывать в течение этого периода. Слово выборочная подчеркивает, что мы видим только одну реализацию среди множества возможных. Очевидно, что выборочная траектория может быть либо детерминированной, либо случайной.

^ Случайная выборочная траектория, также называемая случайным пробегом, является математическим названием для последовательности виртуальных исторических событий, начинающихся с данного момента и заканчивающихся в другой, и появление которых соответствует некоторому уровню неуверенности. Однако, слово случайный не должно путать с равновероятным (то есть имеющим одинаковую вероятность), поскольку некоторые результаты дадут более высокую вероятность, чем другие. Примером случайной выборочной траектории может быть температура тела вашего кузена в течение периода его болезни тифозной лихорадкой, измеряемой ежечасно. Также это может быть моделирование цены вашей любимой акции, измеренной ежедневно, на закрытии рынка, в течение, скажем, одного года. Начиная со 100$, в одном сценарии цена может

9 затр!е раЛ (прим.перев.)

63

заканчиваться 20$, достигнув, однако, максимума в220$, а в другом - она может заканчиваться в точке 145$, повидав минимум в 10$. Другой пример - эволюция вашего состояния в течение вечера в казино. Вы начинаете с 1000$ в кармане и делаете измерения каждые 15 минут. В одной выборочной траектории вы, в полночь, имеете 2200$, а в другой - вы едва наскребаете 20$ на такси.

Стохастические процессы относятся к динамике событий, разворачивающихся во времени. Стохастический - причудливое греческое название для случайного. Эта отрасль теории вероятности интересуется изучением развития последовательных случайных событий - можно даже называть это математикой истории. Ключ к процессу в том, что он заключает в себе время.

Что такое генератор Монте-Карло? Вообразите, что вы можете смоделировать совершенное колесо рулетки на вашем чердаке без того, чтобы обращаться за помощью к плотнику. Компьютерные программы могут моделировать что угодно. Они даже лучше (и дешевле), чем колесо рулетки, сделанное плотником, которое может "любить" какой-либо номер больше, чем другие, вследствие возможной неровности в своей конструкции или пола вашего чердака. Такая неровность называется уклоном.

Моделирование методом Монте-Карло больше всего похоже на игрушку. Можно производить тысячи, возможно, миллионы случайных выборочных траекторий, и смотреть на превалирующие характеристики их некоторых особенностей. Компьютер -незаменимый инструмент в таких занятиях. Очаровательная ссылка на Монте-Карло подчеркивает метафору моделирования случайных событий в манере виртуального казино. Один набор условий, которые, как считается, преобладают в действительности, запускает коллекцию моделей возможных событий. Даже не имея математической подготовки, мы можем применить моделирование методом Монте-Карло для 18-летнего христианского ливанца, последовательно играющего в Русскую рулетку на данную сумму, и видеть, сколько из этих попыток кончаются обогащением, или сколько времени требуется, в среднем, для того чтобы увидеть его некролог. Мы можем заменить барабан револьвера, чтобы он содержал 500 пулеприемников вместо шести, что, очевидно, уменьшило бы вероятность смерти, и посмотреть результаты.

64

г

Методы моделирования Монте-Карло стали впервые применяться в военной физике в лаборатории Лос-Аламоса во время подготовки бомбы. Они стали популярными в финансовой математике в 1980-ых, особенно в теориях случайных блужданий цены актива. Ясно, что для примера русской рулетки не требуется такого мощного аппарата, но многие проблемы, особенно ситуации сходства с реальной жизнью, нуждаются с силе генератора Монте-Карло.

^ МАТЕМАТИКА МОНТЕ-КАРЛО

Это - факт, что "истинные" математики не любят методы Монте-Карло. Они полагают, что такие методы крадут у нас изящество и элегантность математики. Они называют это "животной силой", поскольку мы можем заменить большую часть математических знаний симулятором Монте-Карло (и другими вычислительными уловками). Например, без формального знания геометрии можно вычислять таинственное, почти мистическое число ?1. Как? Просто вписав круг внутрь квадрата и "стреляя" случайными пулями в получившуюся картину. При этом надо предположить равные вероятности для попадания в любую точку картины (что называется равномерным распределением). Отношение пуль внутри круга к количеству пуль внутри и вне круга, даст значение мистического р!, с почти бесконечной точностью. Ясно, что это - не эффективное использование компьютера, поскольку р! может быть вычислено аналитически, то есть в математической форме, но метод может давать некоторым пользователям большее понимание предмета, чем строки уравнений. Умственные способности и интуиция некоторых людей ориентированы таким способом, что они более восприимчивы к получению знаний именно в такой манере (я считаю себя одним из них). Компьютер возможно, не естественен для нашего человеческого мозга, как, впрочем, и математика.

Я - не "урожденный" математик, то есть я говорю на языке математики не как на родном языке, а со следами иностранного акцента. Сами по себе, математические изыски меня не интересуют, только их применение, в то время, как математик интересовался бы улучшением математики (через теоремы и

65

доказательства). Я оказался неспособным к концентрации на расшифровке отдельного уравнения, если я не мотивирован реальной проблемой (и толикой жадности). Поэтому большая часть из того, что я знаю, пришла от торговли производными инструментами - опционы подтолкнули меня, к изучению вероятностной математики. Многие маниакальные игроки имели бы посредственные знания, если бы не приобрели замечательные навыки подсчета карт, благодаря своей страстной жадности.

Другую аналогию можно провести с грамматикой, которая часто более понятна и менее скучна, чем математика. Есть те, кто заинтересован грамматикой для пользы грамматики, и те, кто заинтересован в отсутствии ошибок при письме. Это как с "квантами" - подобно физикам, мы больше заинтересованы в использовании математического инструмента, чем в самом инструменте непосредственно. Математиками рождаются, но никогда не делаются. Физики и кванты также. Я не забочусь об "элегантности" и "качестве" математики, которую я использую, пока я могу получить правильный вывод. Я обращаюсь к помощи методов Монте-Карло всякий раз, когда это возможно. Они могут сделать работу и они, также, гораздо более обучающие, что позволяет мне использовать их в этой книге в качестве примеров.

Действительно, вероятность - это интроспективная область вопросов, поскольку она затрагивает более, чем одну науку, в особенности мать всех наук. Невозможно оценить качество знания, которое мы накапливаем без того, чтобы допустить долю случайности в манере, какой оно получено и нейтрализации аргументов в пользу случайного совпадения, которое могло просочиться при его строительстве. В науке, вероятность и информация рассматриваются в одинаковой манере. Буквально каждый большой мыслитель интересовался этим и большинство из них одержимо. Два самых больших ума, по моему мнению, Эйнштейн и Кейнс, оба начали свои интеллектуальные путешествия с этого. Эйнштейн написал свою главную работу в 1905, в которой он, почти первым, исследовал в вероятностных терминах последовательность случайных событий, а именно, эволюцию задержанных частиц в стационарной жидкости. Его работа по теории броуновского движения может использоваться в качестве основы для теорий случайных блужданий, используемых

66

в финансовом моделировании. Что касается Кейнса, то для образованного человека, он - не политический экономист, на которого любят указывать, одетые в твид, левые, но автор авторитетного, интроспективного и мощного Трактата о вероятности. Прежде, чем окунуться в темную область политической экономии, Кейнс был вероятностником. У него были и другие интересные признаки, (он "взорвал" торговлю на своем счету после достижения чрезмерного богатства - понимание людьми вероятности, не переходит в их поведение).

Читатель может предположить, что следующим шагом после такого вероятностного самоанализа, должно стать вовлечение философии, в особенности раздела философии, занимающегося знанием, как таковым, и который называется эпистемологией, или методологией, или философией науки, которую популяризируют такие люди, как Карл Поппер и Джордж Сорос. Мы пока не будем затрагивать эту тему до поры, до времени.

Развлечение на моем чердаке

^ СОЗДАНИЕ ИСТОРИИ

В начале 1990-ых, подобно многим моим друзьям по количественным финансам, я увлекся самостоятельным конструированием различных генераторов Монте-Карло, волнуясь при этом, от мысли, что я создаю историю, как демиург. Генерация виртуальных историй и наблюдение отклонений (дисперсии) между различными результатами может быть очень волнующим. Такая дисперсия показывает степень сопротивления случайности. Здесь я убеждаюсь, что был чрезвычайно удачлив в своем выборе карьеры: один из привлекательных аспектов моей профессии количественного опционного трейдера в том, что 95 % моего дня остаются свободными, чтобы думать, читать и исследовать (или заниматься в тренажерном зале, на лыжных спусках, или, более эффективно, на скамье в парке). У меня есть также хорошо оборудованный чердак для работы.

Достижения компьютерной революции для нас заключались

67

не в наводнении нескончаемыми сообщениями электронной почты и не в доступе к комнатам для дискуссий; Для нас, эти достижения заключались во внезапном появлении быстрых процессоров, способных к генерации миллиона выборочных траекторий в минуту. Вспомните, что я никогда не рассматривал себя иначе, чем не восторженным решателем уравнений и редко проявлял мастерство в этом вопросе, будучи более приспособленным к составлению уравнений, чем к их решению. Внезапно, мой инструмент позволил мне решать наиболее тяжелые из уравнений с минимальными усилиями. Лишь немногие решения остались вне досягаемости.

^ ТОЛПА ЗОРГЛУБСОВ НА ЧЕРДАКЕ

Мой генератор Монте-Карло привел меня к нескольким интересным приключениям. В то время как мои коллеги были погружены в новости, объявления центрального банка, сообщения о доходах, экономические прогнозы, спортивные результаты и, не в последнюю очередь, офисные интриги, я начал играть с генератором в областях, пограничных с финансовой вероятностью. Естественной областью исследований такого рода для любителя будет эволюционная биология - в этом случае, привлекательны универсальность ее выводов и ее применения на финансовых рынках. Я начал моделировать популяции быстро мутирующих животных по имени зорглубсы в зависимости от климатических изменений и пришел к самым неожиданным заключениям -некоторые из этих результатов будут обсуждаться в Главе 5. Моя цель, как чистого любителя, убегающего от скуки деловой жизни, была в том, чтобы просто развить интуицию для таких событий -вид любительской интуиции, которая далеко отстоит от чрезмерно детальной искушенности профессионального исследователя. Я также играл с молекулярной биологией, генерируя случайные появления раковых клеток, и стал свидетелем некоторых удивительных аспектов их развития. Естественно, аналогом популяций зорглубсов должны были стать модели популяций "идиотичных быков", "стремительных медведей" и "осторожных" трейдеров при различных рыночных режимах, скажем так, при бумах и крахах и исследование их краткосрочных и долгосрочных

68

перспектив. При таких исходных данных, трейдеры "идиотичных быков", которые богатеют от повышения, использовали бы доходы, чтобы покупать большее количество активов, поднимая цены выше, до их разгрома, в конце концов. Медвежьи трейдеры, тем не менее, редко переживали крах при буме на рынке. Мои модели показывали, что почти никто, в действительности, в конечном счете не делает деньги; медведей прихлопывают словно мух при повышении, а быков, в конечном счете, вырезают с исчезновением бумажной прибыли, когда музыка останавливается. Но было одно исключение; некоторые из тех, кто торговал опционами (я назвал их, покупатели опциона) имели замечательную остающуюся мощь, и я хотел быть одним из них. Как им это удалось? Потому что они могли покупать страховку от "взрыва"; они могли спокойно спать по ночам, благодаря знанию, что если их карьере что-то и угрожает, то это не было бы следствием результата отдельного дня.

Если тон этой книги кажется склонным к культуре дарвинизма и эволюционного мышления, то это происходит не от формального обучения естествознанию, но от эволюционного способа мышления, преподаваемого моими симуляторами Монте-Карло.

Должен сказать, что я перерос желание производить случайные выборочные траектории, каждый раз, когда я хочу исследовать какую-либо идею - но благодаря игре с генератором Монте-Карло в течение ряда лет, я больше не могу визуализировать реализованный результат без ссылок на нереализованный. Я называю это "подводить итог под историями", позаимствовав выражение у колоритного физика Ричарда Фейнмана, который применил такие методы в исследовании динамики частиц.

Использование метода Монте-Карло для создания и переделывания истории, напомнило мне об экспериментальных новеллах (так называемые новые новеллы) таких авторов как Алаин Роббе-Гриллет, популярный в 1960-ых и 1970-ые. Там, одна и та же глава была написана и переписана автором, который каждый раз изменял какие-то места, подобно новой выборочной траектории. Так или иначе, автор становился освобожденным от прошлой ситуации, которую он сам же помогал создавать и позволял себе изменять линию повествования задним числом.

69

^ ОТРИЦАНИЕ ИСТОРИИ

Еще одна мысль об истории, замеченная с высоты метода Монте-Карло. Мудрость таких классических историй, как ис.тория Солона, подталкивает меня к тому, чтобы провести даже большее количество времени в компании классических историков, даже если история, подобно предупреждению Солона, извлекла выгоду из налета времени. Однако, это идет против природы: изучение истории, натурально, ничему нас, людей, не учит - факт, который виден невооруженным глазом в бесконечных повторениях одинаково развивающихся бумов и крахов на современных финансовых рынках. Под историями я понимаю события, анекдоты, если угодно, но не историческое теоретизирование, с историзмом большого масштаба, который стремится интерпретировать события в соответствии с теориями, основанными при раскрытии некоторых законов развития Истории - типа гегельянства или псевдонаучного историзма, ведущих к таким заключениям, как Конец Истории (псевдонаучного, потому что он вытягивает теории из прошлых событий без того, чтобы учесть факт, что такие комбинации событий могли бы явиться результатом случайности; псевдонаучного, главным образом, потому, что нет никакого способа проверить требования теории в управляемом эксперименте10). Это просто уровень моей желательной чувствительности, воздействующей на способ, которым я желал бы думать в отношении прошлых событий, будучи способным лучше заимствовать идеи других и усиливать их, исправить умственный дефект, который, кажется, блокирует мою способность учиться у других. Это - уважение к старшим, которое я хотел бы развивать, укрепляя благоговение, которое я инстинктивно чувствую при виде людей с седыми волосами, но которое разрушилось в моей жизни трейдера, где возраст и успех несколько разведены. На самом деле, у меня есть два пути изучения уроков истории: из прошлого, читая старших, и из будущего, благодаря моей игрушке Монте-Карло.

10 Примером псевдонаучного историзма я полагаю работы Ргапш Рикиуата, 1992, ТЪе Епй о!" Итогу апс! Ше Ьа$1 Мап, Не« Уог1с: Ргее Ргезз (прим. автора)


prakticheskaya-rabota-vnutrennyaya-sreda-organizma-immunitet.html
prakticheskaya-realizaciya-metodiki-opredeleniya-sovremennie-tehnologii-v-obrazovanii-sovremennnie-informacionnie.html
prakticheskaya-zadacha-uchebnoe-posobie-omsk-2007-g-g-levkin.html
prakticheskaya-znachimost-ponimayushaya-psihoterapiya-kak-psihotehnicheskaya-sistema.html
prakticheski-nichego-metallicheskogo-mislenno-poblagodariv-svoego-nevolnogo-spasitelya.html
prakticheskie-etapi-sentyabr-2012-fevral-2015-gg-ddyut-u-voznesenskogo-mosta.html
  • school.bystrickaya.ru/lekcii-po-ritorike.html
  • kontrolnaya.bystrickaya.ru/rabochij-plan-lekcii-34-chasa-1-2-3-4-nedelya-8-chasov-tema-zhurnalistika-pervogo-perioda-reformirovaniya-i-demokratizacii-obshestva-1953-1964-gg-lekciya-1.html
  • thescience.bystrickaya.ru/igor-shafarevich-stranica-17.html
  • textbook.bystrickaya.ru/klassnij-chas-tema-terrorizm-ego-istoki-i-posledstviya.html
  • bukva.bystrickaya.ru/socialnie-aspekti-nacionalnoj-bezopasnosti-sovremennogo-rossijskogo-obshestva.html
  • bukva.bystrickaya.ru/the-algonquin-round-table-essay-research-paper.html
  • knigi.bystrickaya.ru/reglament-vzaimodejstviya-otraslevih-funkcionalnih-organov-i-strukturnih-podrazdelenij-administracii-chajkovskogo-municipalnogo-rajona-uchrezhdenij-i-organizacij.html
  • portfolio.bystrickaya.ru/perspektivi-razvitiya-obshestva-godovoj-otchet-po-rezultatam-raboti-za-2007-god.html
  • learn.bystrickaya.ru/glava-5-duhovno-istoricheskij-metod-m-dvorzhaka-i-sociologiya-iskusstva-a-hauzera.html
  • credit.bystrickaya.ru/peterburg-izdatelstvo-afina-stranica-7.html
  • uchit.bystrickaya.ru/tablica-111-raschetnie-skorosti-dvizheniya-avtosamosvalov-pri-perevozke-grunta.html
  • prepodavatel.bystrickaya.ru/stili-rukovodstva-i-ih-vliyanie-na-psihologicheskij-klimat-kollektiva.html
  • shpargalka.bystrickaya.ru/vipolnenie-rabot-po-izgotovleniyu-i-ustanovke-nomernih-domovih-znakov-i-ukazatelej-naimenovaniya-ulic-v-gorodskom-okruge-samara-stranica-5.html
  • studies.bystrickaya.ru/glava-7-kazhdij-sam-tvorec-svoego-dolgoletiya-fyodor-grigorevich-uglov.html
  • zadachi.bystrickaya.ru/rannyaya-profilaktika-prestupnosti-nesovershennoletnih-chast-7.html
  • shpora.bystrickaya.ru/vsya-eta-knigaeres-ot-nachala-i-do-konca-no-eto-daleko-ne-polnoe-sobranie-eresej-kotorie-mogut-prijti-na-um-lyudyam-esli-im-udarili-v-golovu-misli-o-dobre-i-zle-stranica-13.html
  • exchangerate.bystrickaya.ru/i-a-anohina-diagnostika-kulturi-zdorovya-u-detej-stranica-3.html
  • klass.bystrickaya.ru/aksakal-samopoznaniya-ili-vmesto-poslesloviya-svedeniya-ob.html
  • paragraf.bystrickaya.ru/znamenitie-skulptori-vojna-mishej-i-lyagushek.html
  • nauka.bystrickaya.ru/v-d-kubarev-palash-s-sogdijskoj-nadpisyu-iz-drevnetyurkskogo-pogrebeniya-na-altae-severnaya-aziya-i-sosednie-territorii-v-srednie-veka-novosibirsk-1992.html
  • tasks.bystrickaya.ru/2-osnovnie-principi-trudovogo-prava-uchebno-metodicheskij-kompleks-po-discipline-trudovoe-pravo-dlya-napravleniya.html
  • thescience.bystrickaya.ru/i-i-smulskij-institut-kriosferi-zemli-so-ran-g-tyumen.html
  • klass.bystrickaya.ru/42-topologiya-globalnoj-vichislitelnoj-seti-koncepciya-vs-s-upravleniem-potokom-dannih-70-10-zakon-amdala-i.html
  • doklad.bystrickaya.ru/vot-vam-pervie-instrukcii-i-ukazaniya-prakticheskaya-rabota.html
  • grade.bystrickaya.ru/mintrans-rossii-gosudarstvennaya-sluzhba-grazhdanskoj-aviacii-postanovlenie-soveta.html
  • paragraph.bystrickaya.ru/kurs-33-lekcii-34-14chasa-semestr-55-lab-zanyatiya-17-8chasov-chasov-v-nedelyu-3-prakt-zanyatiya-ne-predusmotreni-kursovaya-rabota-ne-predusmotrena-srs-68-chasov.html
  • composition.bystrickaya.ru/plan-konspekt-uroka-prezentaciya-k-uroku-dopolnitelnij-material-stranica-4.html
  • laboratornaya.bystrickaya.ru/razvitie-visshih-psihicheskih-processov-6-stranica-21.html
  • teacher.bystrickaya.ru/glaz-opticheskaya-sistema-glaza.html
  • obrazovanie.bystrickaya.ru/prodolzhenie-tablici-l2-a-v-bezzubov-direktor-gup-spktb-neftegazmash.html
  • control.bystrickaya.ru/drobi-osnovnoe-svojstvo-drobi-sokrashenie-drobej-privedenie-drobej-k-obshemu-znamenatelyu-ponyatie-o-naimenshem-obshem-znamenatele-neskolkih-drobej-sravnenie-drobej-arifmeticheskie-dejstviya-s-drobyami.html
  • doklad.bystrickaya.ru/voprosi-k-ekzamenu-po-vtoroj-chasti-kursa-informatika.html
  • report.bystrickaya.ru/kalendarno-tematicheskij-plan-zanyatij-po-obzh-7-klass-.html
  • esse.bystrickaya.ru/razdel-1-grafa-1-informacionno-metodicheskij.html
  • reading.bystrickaya.ru/lekciya-2-proceduri-vvoda-vivoda-nekotorie-vstroennie-funkcii-turbo-paskalya-perechen-lekcij-lekciya-struktura-programmi-na-yazike-turbo.html
  • © bystrickaya.ru
    Мобильный рефератник - для мобильных людей.