catpad (catpad) wrote,
catpad
catpad

Вот вам ещё о японцах

Недавно kostia_inochkin поведал историю о японском водителе автобуса, который не мог решиться нажать на кнопку, чтобы остановить поезд. Вот вам точно такая же история, только без опасности для жизни. Но всё равно - принцип тот же.


Вчера прихожу на работу, и мне говорят, что вся система упала, потому что упал один из индексов одной из главных таблиц (кончились extents). Утром таблица почистилась, и всё восстановилось, но разгребать это дело теперь - задача совсем непростая. Я поднимаю на ноги весь Израиль, всю Австралию и весь остальной мир, и мне присылают простейший SQL, который увеличивает количество extents. Дело одной минуты - и опасность миновала.
Но не тут-то было. Иду к японцам (к кастомерам, то есть) с этим SQL-ем и говорю - если не хотите ещё одного падения, нужно СРОЧНО это сделать. А надо заметить, что на падениях системы они могут потерять огромные деньги. Кастомеры, как водится, собирают совещание и выносят вердикт: изменять ничего нельзя, подождём ещё день и посмотрим. "Посмотрим что ?" - говорю. - "Упадёт или нет ? Не сегодня так завтра упадёт, будем сидеть и смотреть ?". На это им ответить, конечно, нечего, но вердикт остаётся в силе.
Тогда я проверяю упавший индекс и вижу, что количество его extents снова достигло максимального значения. Показываю распечатку девице, которая якобы моя начальница. Её знания ограничиваются Аутлуком. "Что это такое ?" - спрашивает. Я говорю, что вот, если мы сейчас всё не изменим, то упасть может каждую минуту. "Это что - таблица ?" Я говорю - "нет, это индекс". "А что такое индекс ?" Начинаю рисовать на бумажке какие-то объяснения, понимая, что дело безнадёжно. "Нет", - говорит девица, - "я ничего не понимаю. А РАЗ Я НЕ ПОНИМАЮ, ТО И ИЗМЕНЯТЬ НИЧЕГО НЕЛЬЗЯ". В эту секунду раздаётся звонок - система упала. Девица в панике.
Я говорю - "останавливайте всё к чертям, данные пропадают!". Они собирают совещание - что делать ? Совещание длится час - никто не может взять на себя ответственность остановить систему, которая всё равно не работает, а только данные портит. Наконец, высочайшее разрешение получено, система остановлена, я меняю индекс (1 минута работы) - всё восстанавливается.
Мусор разгребать теперь, конечно, мне. Данные восстанавливать тоже мне.
На прошлой неделе была точно такая же история только в большем масштабе.
Вот вам и водитель с кнопкой.

И вот, что я вам скажу. В Японии всё работает только потому, что редко падает. Когда падает - это конец.

Subscribe

  • Post a new comment

    Error

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 28 comments