27 января 2019 г.

О предусмотрительности - 1

После окончания эпопеи с сервером подумал, а не поставить ли мне на мониторинг диск в рабочей станции. Полез смотреть и что увидел? Что с самого начала я именно это и сделал. И всё это время система исправно рапортовала что всё в порядке. Так что алертов не было просто потому что не было причин для беспокойства.

Я прям за себя порадовался

23 января 2019 г.

Про потерю данных - 2

Где-то месяц назад система мониторинга домашнего сервера сообщила мне что на 2-терабайтном зелёном Вестерне в 2 приёма внезапно образовалось полторы тысячи секторов, ожидающих ремаппинга. Сан-Хосе, подумал я, - у нас проблема.

К счастью, на этом диске не было ничего такого что терялось бы безвозвратно. О правильном размещении данных я позаботился с самого начала. Но тем не менее, файлы надо было спасать и какое-то время у меня это заняло, потому что скорость доступа деградировала значительно. Сначала попробовал сливать по сети, но столкнулся с постоянными таймаутами, от которых сетевое копирование всё время прерывалось. В результате копировал уже локально, но внутри виртуалки, прежде чем начинать заморачиваться и уходить глубже, к гипервизору. Странно, но в конце концов я всё даже перелил.

Пока шёл процесс, я стал смотреть что купить на замену. Немного подумав, решил перейти на следующий уровень и минимальным объёмом для себя установил 6 ТБ. Стал смотреть, чего есть из небыстрых, но холодных моделей и офигел. Во-первых, производителей осталось всего двое: Вестерн и Сигейт. Во-вторых, Вестерн прекратил выпуск зелёных дисков и теперь вместо неё выпускает красные и пурпурные. HGST теперь - кровавый энтерпрайз в Вестерне. Пышущие жаром 10-15 тыс. оборотов за несметные деньги - чересчур дорогое удовольствие для дома. В результате в шортлисте осталось 3 семейства: красное и пурпурное от Вестерна и барракуда от Сигейта. Цены Вестерна тоже не обрадовали, Сигейт стоил процентов на 15-20 дешевле.

Надо сказать, что у меня был неприятный опыт с разными моделями Сигейтов и я давно ничего от них не покупал, а тут решил попробовать. Позвонил знакомому поставщику, попросил подогнать мне диск. А он и говорит, что ровно эта модель привода устанавливается во внешний накопитель, который при этом стоит ещё на пару тысяч дешевле. Странная экономика, но кто я такой чтобы сопротивляться желанию ТАК сэкономить? В общем, на следующий день у меня был внешний диск от Сигейт с 6 ТБ внутри. По доброй установившейся традиции вскрыть диск просто так не получилось. Вместо болтов там всё на защёлках, половину которых я в процессе благополучно сломал. Полюбовался на новенький, с иголочки диск, муха не сидела - производство-то чистое всё же.

Открыл сервер, увидел сколько там накопилось дерьма за те годы что он тихо шуршал себе. Пыль и кошачья шерсть. Пообещал ему что обязательно его почищу, но позже. Подключил диск, убедился что XenServer его благополучно увидел. Поднял минимально необходимый для жизни комплект виртуалок и оставил его крутиться вхолостую. Через день посмотрел на SMART. МАМАДОРОГАЯ! У диска пробег 24 часа, 2 включения/отключения и количество ошибок поиска, исчисляющееся миллионами. А ошибок чтения - десятками миллионов! И эти числа непрерывно растут.

Звоню поставщику, описываю ситуацию, отправляю ужасные скриншоты. А он всё-таки продавец, ни разу не IT-про, поэтому некоторые вещи пришлось объяснять. Дошло, что с такими показателями не живут. Ладно, говорит, привози, поменяю. Привожу как было - россыпью. Он офигевает от увиденного, но делать нечего - пообещал же. Забрал. Через день курьер привозит новый.

Но я-то теперь умный. Прежде чем начинать разламывать коробку, я подключил диск как было задумано производителем - по USB и посмотрел SMART. К увиденному я был уже морально готов. Пробег - ноль часов и миллионы ошибок чтения и поиска. Нафиг такая экономия.

Начинаю  изучать чем отличается красная серия от пурпурной. Цифры одни и те же, а позиционирование отличается. Решил для себя, что раз красная - это NAS, то мне годится лучше чем пурпурная, предназначенная для видеонаблюдения (интересно, почему такое узкое позиционирование?). В процессе придумывается аббревиатура, описывающая это позиционирование. WORSE - Write Only Read Seldom. Думаю, с этой аббревиатурой им ни одного экземпляра не продать.

Звоню поставщику, договариваюсь что он заберёт этот несчастный Сигейт взад, а мне привезёт красный Вестерн. В общем, никакой экономии не случилось, потратил куда больше чем мне хотелось первоначально. Но с этим всегда так.

Как и обещал серверу, разобрал его, вычистил до состояния "Почти как новенький". В процессе нашёл один вентилятор, который так забился шерстью, что тихо умер. А вентилятор не копеечный, а Noctua. Так что пришлось потратиться ещё. Чтоб следующий раз так не попадать, сколхозил сеточки, которыми прикрыл все воздухозаборники.

Дальше было по накатанной. Собрать сервер, подключить диск, загрузиться, увидеть что всё в порядке. Ну и создавать тома, подключать к виртуалкам и всё такое.

Вот такие показатели теперь рапортует мне мониторинг. Красота.





А тем временем, на днях Backblaze опубликовали очередную статистику надёжности дисков, теперь за 2018 год. Купленный мной 6-терабайтный WDC там тоже есть и показывает достаточно высокие показатели отказов. Это неприятно. Остаётся надеяться, что мой экземпляр эту статистику посрамит.

5 января 2019 г.

Про потерю данных - 1

Про качество носителей и потерю данных я, кажется, писал неоднократно, но вот наболело. Причём так, что в одну запись не укладывается.

Не питаю никаких иллюзий насчёт качества флешек, поэтому практически не использую их в качестве носителя. Нынче проще перенести файлик через облако. Да и передать тоже. В последнее время для переноса некритичных файликов вообще использую телегу - там это очень удобно сделано.

Да что там флешки. У меня в прошлом году 3 телефона умерли, по всем признакам - именно флеш. Moto G первого поколения, какой-то LG, который мне дали поносить и какой-то Meizu, которым я успел попользоваться не больше недели. Может, конечно, это я такой радиоактивный, не знаю. Сейчас вот полгода хожу с Nokia 6, очень доволен. Не топ, но для покемонов годится. Принципиально в телефоне ничего не храню, чтобы не напрягаться когда он тоже умрёт. Единственно, что там не хочется потерять - это фотографии. Но тут есть решение. При помощи QuickPic они автоматически бэкапятся на файл сервер, как только телефон оказывается в локальной сети.

А вот недавно был ещё случай, мне ну очень понравилось.

В машине есть порт для флешки с музыкой. В начале осени, перед поездкой на малую родину, записал немного музыки, чтоб было чего слушать когда пропадёт московское радио. Вернулся в Москву, да и забыл про неё. И немудрено - порт-то в подлокотнике. Под новый год вспомнил, подумал что можно собрать новогодний плейлист и туда записать, тем более что решили с Аллой съездить во Владимир, пошляться там. Втыкаю флешку в компьютер, а там! Мамадорогая! Вся файловая система покоцана вдребезги пополам. Носитель вроде и открывается, но ни одного человеческого названия файла или папки просто нет. Восстанавливать там было нечего, да и незачем. Отформатировал. Вроде бэдблоков не нашлось. В отличие от прошлого раза, когда флешка была забыта в порту на год. В тот раз флешку пришлось просто выбросить.

25 мая 2018 г.

И снова фотографическое

После обсуждения предыдущей записи в фейсбуке и обдумывания совета перестать маяться ерундой и написать нужное самому, я задумался. Немного погуглил почитал про OpenCV, поискал кто как делает чего похожее. Купил по дешёвке на Packt книжку (а там так постоянно и происходят раздачи всякого полезного/нужного, правда вот за время моих наблюдений за ними по OpenCV ещё ничего не раздавали) с рецептами, почитал и её.

Час в одни выходные, пара - в другие. Потестировал. Какие-то фотографии получались в результате хорошо, какие-то - не особенно. Отложил.

На этой неделе почитал ещё, выкроил немного времени и всё переписал. Для отсканированных кадров - результат идеальный. Главное, сделать хотя бы 3 кадра, сдвигая пылинку - тогда она отлично усредняется. Главное - не использовать ORB для детектирования фич. А именно из-за него у меня поначалу не получалось. И это мне ещё лень искать где попроще взять opencv-contrib в котором xfeatures2d с патентованными алгоритмами.

А ещё попробовал использовать скрипт для удаления прохожих с фоток. Идея та же самая. Делается несколько фотографий с некоторым интервалом. В результате усреднения все прохожие отлично удаляются, а в результате остаётся безлюдный пейзаж. Ну, или улица с надолго запаркованными машинами и людьми, которые вышли покурить или просто надолго застряли. Я когда-то баловался с соответствующим фильтром в фотошопе. Результат был неплохим, только надо было обязательно зафиксировать камеру на штативе - чтобы ни-ни. И желательно - экспозицию, а то получалось не очень. А тут - можно снимать с рук и даже немного шевелиться, главное чтобы композиция не слишком нарушалась.

Теперь вот думаю в качестве постобработки к отсканированным старым негативам попробовать приделать Super Resolution, вроде обещаются совершенно фантастические результаты.

5 мая 2018 г.

Есть два типа...

...грузовых газельеров. Один сдвинется к обочине. А второй так и будет тащиться 70 при ограничении в 90

22 апреля 2018 г.

Негативы и страдания

Принёс с почты новый плёночный сканер. Когда-то у меня уже был сканер, со SCSI, это было чудовищно неудобно, а с некоторых пор стало ещё и невозможно, так что я от него избавился.

Начал пробовать и понял почему я возненавидел старый. Пыль и волосы! От них не избавиться, можно только передвинуть с места на место. Это не говоря уж о том, что 2 кошки в доме никак не способствуют стерильности воздуха.

И вот подумалось, что выходом было бы отсканировать кадр несколько раз, а потом наложить изображения одно на другое, автоматически привязать по каким-то объектам на фотографии чтобы компенсировать смещение, и усреднить, тем самым избавившись от посторонних примесей.

Быстрое гугление не принесло осмысленных результатов. Неужто ничего такого не существует? А?

6 марта 2018 г.

Ужасы нашего фотоархива

Занимаюсь тут неким проектом выходного дня (в другой раз расскажу). Для этого понадобилось навести видимость порядка в архиве фотографий. Ну, там безжалостно потереть плохие кадры, особенно если рядом есть нормальные. Повыбрасывать дубликаты. Принять наконец решение по поводу отретушированных - что оставить, что в помойку.

Ну понятно, чистые дубли файлов можно отыскать при помощи какого-нибудь DupeGuru (все хвалят). Но вот даже если есть 2 идентичных фото с немного отличающимися Exif, DupeGuru с этим уже не справится, нужны подходящие средства работы с изображениями.

Стал искать. Это какой-то ужас. Неужели шарвар теперь весь такой?

Возможности программы. Бла-бла-бла, всё отлично. Есть кнопка "Купить". В 99% случаев нигде нет таблички со сравнением возможностей бесплатной и платной версий. На что расчёт? Что установив и попробовав обкорнанную по самое не могу версию, я пожалею о затраченном времени и заплачу? Вот уж дудки.

На сайте везде крупно написано что бесплатно. Ставлю. Пытаюсь что-то сделать. Сразу же убеждаюсь что всё не так уж и бесплатно. Сделать почти нечего нельзя, есть кнопка "Купить", которая ведёт на незалинкованную ниоткуда с сайта страницу. Естественно, в 100% случаев никаких сравнений бесплатной и платной версий. Просто купи, жалко тебе, что ли.

Но особенно меня выморозил один песонаж. Забесплатно можно удалить 15 файлов. Не за один сеанс, а вообще. И при этом эта программа вписалась в автозагрузку и при каждом запуске операционной системы заявляла что надо бы забашлять, а то кушать очень хочется. И при этом она отказывалась работать с папкой типа D:\Temp, заявляя что эта папка системная и ей не хочется. В конце концов милостиво согласилась на путь UNC на сервере.

Но всё же пару реально бесплатных некастрированных программ нашёл. Одна, правда, не умеет в UNC и странно показывает превью. А вторая - так совсем подозрительно неплоха. Где бы теперь взять столько времени чтоб всё действительно разобрать. И отваги чтоб принимать тяжёлые решения.

23 января 2018 г.

Происхождение

Дочитываю тут очередную книгу Дэна Брауна. Ещё когда Кирш только начал вторую часть презентации, стало понятно, "куда мы идём".

Банально и предсказуемо.

Гораздо большая интрига была бы, если бы внезапно выяснилось бы, что это котики. Потому что мыши уже были у Дугласа Адамса.

Теперь остаётся дождаться ответа на вопрос "кто убийца?" Садовник или дворецкий?

22 января 2018 г.

jQuery

Интересно, есть ли тут кто-то, кто скажет, актуален ли по-прежнему jQuery в 2018 году, если необходимо на коленке сваять что-то незамысловатое?

6 декабря 2017 г.

Кажется

Кажется, несколько последних записей я начал со слова "кажется". А вы все, как вежливые люди, сделали вид что ничего не заметили. Note to self: не надо так

5 декабря 2017 г.

Вот ядрён батон!



Кажется, в новогодние каникулы придётся заниматься установкой на домашний сервер какого-нибудь RSS-агрегатора и читалки. После закрытия гуглеридера они вовремя появились, но, видимо, за 4 года не придумали нафига оно это им.

3 декабря 2017 г.

20 сентября 2017 г.

Криминальный талант

Вечером на полке лежало 3 сотенных бумажки. Утром - одна. Ещё одна - на полу. Третьей нигде не видно. И дело вовсе не в сквозняке. Кажется, кое у кого клептомания перешла на качественно новый уровень.



Готовит побег и запасается наличностью? Не всё же ей саморезы или ракушки тырить. Или тестировать системы хранения кошачьей (и не только) жрачки на возможность несанкционированного доступа

8 сентября 2017 г.

Кажется, пора начинать привыкать к какому-нибудь другому браузеру

На днях должна выйти 56 версия Firefox, а в ноябре, в 57 версии, все нынешние расширения превратятся в тыкву. Это видно уже сейчас:




Возможно, адблок переделают. Из того что мне абсолютно необходимо, точно не переживёт Tab Groups. Это будет уже второй раз, когда я потеряю совершенно необходимое мне расширение. И в интернетах по поводу происходящего царит настоящее уныние.

Используя лису с самых первых версий, я пребываю в печали.

23 августа 2016 г.

Операционная система как Information Manager? Не в этой жизни

В очередной раз, пытаясь растасовать несколько сотен книг по папкам, подумал что прогресс файловых систем по сути остановился. Почему для организации файлов я должен выдумывать какие-то жуткие иерархии когда мог бы использовать теги? Ведь в любой файловой системе у файла уже есть какие-то метаданные. Причём в большинстве случаев некоторые метаданные типа названия, даты-времени уже научились перемещать вместе с самим файлом между системами. А вот с другими метаданными до такого не додумались. Вот и приходится метаданные запихивать в сам файл, как в jpeg. Или использовать специализированные  приложения типа TagSpaces.

Но учитывая сколько кода к этому не приспособлено, мечта о тегах в ФС - из разряда несбыточных.

30 июля 2016 г.

Поиск уязвимостей открыт

Оказался я сегодня в одном московском Ашане. Впервые столкнулся с новой, несомненно прогрессивной, системой расчётов между магазином и покупателем.

На кассе кассир сканирует товар. По окончании просто выдаёт чек со штрих-кодом (1). Товар, кстати, не упаковывает, надо самому - что проблема, потому что надо следить за корректностью сканирования, телегой с вещами и успевать раскладывать по пакетам. С чеком 1 надо пройти дальше за кассы. Там стоят платёжные терминалы, которые принимают как карты, так и наличные. Терминалу надо отсканировать штрих-код на чеке 1. По окончании оплаты терминал выдаёт ещё один чек (2) со штрих-кодом и со списком покупок. Далее проходишь к выходу из кассовой зоны, где оказываешься перед закрытыми воротами. Чтобы ворота открылись, необходимо отсканировать штрих-код с чека 2.

Очевидно, это всё делается чтобы перенести нагрузку с кассира на покупателя: упаковка товара, оплата. Думаю, идея была в том, чтобы повысить пропускную способность касс.

Однако. Даже я, нисколько не security expert, сразу увидел механизм, позволяющий экономить (если не зарываться) до трети/половины семейного бюджета.

Идём в магазин вдвоём. Набираем товара. Оплачиваем двумя разными чеками - 1-1 и 2-1. В терминале оплачиваем чек 1-1, получаем чек 1-2. Весь товар складываем в одну телегу и счастливо улыбаясь выезжаем по чеку 1-2. Чек 2-1 благополучно прощаем магазину. В этом случае экономим 1/2 семейного бюджета.

Вариант посложнее. Как в первом случае, получаем 2 чека: 1-1 и 2-1. Оплачиваем оба чека, получаем 1-2 и 2-2. С одной телегой выходим по чеку 1-2. Чек 2-2 лежит в кармане. Разгружаемся, возвращаемся в магазин. Набираем товара, получаем чек 3-1. Вертимся около терминала, изображаем что платим. Выходим по чеку 2-2. Чек 3-1 прощаем магазину. Этот вариант экономит нам 1/3 бюджета.

Интересно, это реальная уязвимость или у них есть такие приборы, о которых они нам не расскажут?

29 июля 2016 г.

Сразу в мозг!

Иногда вот заходит человек в транспорт и не поймёшь - он разговаривает с голосами в голове или у него гарнитура. Впрочем, на некоторых посмотришь, и сразу ясно - гарнитура чисто для прикрытия.

9 июля 2016 г.

Личинка суверенного Чебурнета?

Пытаюсь сегодня открыть сайт tensorflow.org. Ничегошеньки. Просто пустота, даже не 404. Трассирую. Где-то начиная с 10 хопа - таймауты. Недоумеваю. Потом у меня случается приступ воображения, включаю TunnelBear и отлично попадаю на сайт.

Закон Яровой в действии в отдельном провайдере? Не думаю. У меня ещё до него другой не менее "экстремисцкий" сайт так же не открывался.

Но Чебурнетом попахивает, да. Онлайм (он же Ростелеком), если что.

22 мая 2016 г.

Блаженное незнание

А вот не сделай я систему мониторинга домашнего сервера, так и не знал бы, что системный диск каждый час прибавляет по 1-2 переназначенных секторов. Теперь вот надо думать о замене и перестановке.

Кстати, мониторинг написал в свободное время сам. Полный комплект костылей и велосипедов, зато освоено несколько новых средств

5 мая 2016 г.

Это просто совершенно невероятно

Ну вот как? Как можно было построить 2 развязки на севере МКАД между Дмитровкой и Ленинградкой таким образом чтоб в районе 78 километра было невозможно попасть с внешней стороны на внутреннюю?

2 развязки и ни одного вменяемого манёвра. Самое разумное - доехать до Ленинградки и там развернуться.

20 февраля 2016 г.

Кот Павлова

Проведя много несложных, но бесчеловечных экспериментов над животными выяснили, что молодой растущий кошачий организм жрёт вообще всё: и сгущёнку, и изюм, и зёрнышки яблок, и ещё миллион всего, что может оказаться в пределах его досягаемости.

Прыгучесть и бегучесть этого мелкого гнуса от такой вкусной и разнообразной пищи повышается многократно.

5 января 2016 г.

А у них ёлки

Вот есть производитель сетевого оборудования уровня энтерпрайз. Возникла необходимость связаться с техподдержкой. На автоответчике, там где раньше предлагалось выбрать с какой продуктовой линейкой (бытовой или энтерпрайз) имеем дело, сейчас бодрый голос сообщает что у них тоже каникулы. При этом 2 линия находится в другой стране, там где так не отмечают, но связаться с ней способа нет.

Удивительно. С кем бы поговорить о непрерывности бизнеса

20 ноября 2015 г.

Магия цифр

В начале года ушёл из МГТС с его помиравшим Стримом. Всю дорогу и до того и сейчас отказываюсь от навязываемой мне телефонии GPON - просто потому что не вижу никакого смысла. Это ведь нужно им, а не мне, а мне и на меди хорошо.

Пользуюсь интернетом от ОнЛайм и вполне доволен. Но вот вчерашняя новость заставила задуматься.

ОнЛайм на скорости 30 Мбит/с: 400 р/мес
Фиксированный телефон МГТС: 500 р/мес
Итого: 900 р/мес

МГТС 100 Мбит/с + фиксированный телефон: 600 р/мес

Понятно, что 100 Мбит - значение достаточно условное и your mileage may vary. Но магия цифр завораживает. Но МГТС.

Вопрос. Нужно ли оно мне?

9 сентября 2015 г.

Денёк, однако

День начался пораньше. Примерно в 7:30 утра пришло сообщение от мониторинга что из сети выпала контора. Больше часа понадобилось, чтобы дозвониться хоть до кого-нибудь у провайдера. Такие лапочки, узнали об этом от меня.

Ну ладно, часам к 12 справились, уныние в конторе сменилось лихорадочным оживлением.

А сейчас пошёл в туалет и на двери увидел приклеенную бумажку "Не работает". Оказывается, куда-то делась вся вода. Вот эта катастрофа похлеще отсутствия интернета будет.

6 сентября 2015 г.

Дорожное

По результатам свежей поездки на малую родину скажу вот что. Даже если и воруют, дороги таки строят. И не только федеральную. Довелось поездить в Орловской и Курской областях по огромному количеству дорог с индексом "Р". Обычные такие двухполосные хардтопы. Почти везде можно разогнаться до 130 без проблем совершенно. Правда, живописная извилистость расслабиться не даёт.

* * *

Вот едешь такой красивый в темноте по деревне, а тебе под колёса бросаются женщины, дети, собаки, кошки. И ёжики. Все, наверное, на крупные суммы застрахованы.