ru.unix.bsd

From: Alex Korchmar Eugene Grosbein wrote: EG>>> Если поискать - есть. AK>> ну вот я поискал - нету. AK>> Либо очень дорого и уже не продают. EG> Да где ж дорого, полно железа x86 занедорого. повторяю: железо x86 впятеро дороже и не умеет ничего из перечисленного за те деньги. AK>> Тем более что собственной zfs у вас уже тоже нет. EG> Она теперь общая будет, ну и FreeBSD 11 и 12 тоже никто не отменял поэтому freebsd которая не грузится ни на каком железе - тоже ненужна. Убунточка наше всьо. Она, кстати, для единообразия, и x86_64 могет. (32bit уже нет) EG> с прежней ZFS. Для изолированной хранилки - нормально. прежняя вряд ли утратила умение виснуть из-за интерлоков и крэшиться из-за битфлипа. И уже никогда не будет починена. EG> Hет, не озвучил. Первым делом не озвучил целевую задачу. ты все равно не поймешь задачу. Требования озвучены - low power и размер пачки сигарет. Потому что этих штук в кластере много. EG> Фильтры на забор воздуха снаружи и открытый шкаф и не жить в серверной. я не могу фильтры на окна поставить. Могу на шкаф, но воздух через них проходить не будет без принудительной вентиляции. Он через ближайшую не закрытую дырку норовит, почему-то. EG> Моя практика показывает, что ECC существенно переоценено. Вполне достаточно EG> не экономить на хороших модулях памяти без ECC и оно десятилетиями EG> работает без проблем и без ECC. а потом выясняется что битик таки флипнулся. Причем через десять лет этот файлик уже неоткуда взять неповрежденным. Впрочем, в моей нынешней схеме все еще хуже, поэтому я даже готов пожертвовать одним полноценным компьютером под метаданные, пока не придумал чем заменить софт. Hо есть подозрения, что ecc на китайских платах - китайский. То есть он есть, но не используется. EG> Ты схему-то нормально и не показывал, шифруешься как шпион. google: data storage clusters EG> Только говно в итоге. в итоге работает. EG> Hет. Просто надо различать: патчить это одно, это можно в одно рыло EG> справиться, а продавить патч в общее дерево это совсем другое, нельзя. Стая макак радостно через день все попереломает в ста местах. Поэтому любая трата времени на исправление опенсорся - сизифов труд. Разьве что это какая-нибудь эмбедовка, которая никогда не будет апгрейдиться. EG> это коммуникация, надо регулярно ругаться в листах, капать на мозги. EG> Это отдельный скилл и этим надо отдельно заниматься, этим никто не занимался EG> в случае со патчами slw@. занимались. Там на три страницы уговоров, хотя бы посмотреть в код. Hо в целом это и есть типикал опенсорсие. Перевод чужого времени и труда впустую. Вот когда приходит амазон с пачкой денег - патч в общее дерево попадает молча и без обсуждений - потому что это кого надо патч. Причем код может быть полным неработающим г-ном, как уже было с wireguard. Главное чтоб это кого нада был код. EG> В моём случае она активно используется под другие задачи, а мне неинтересно бегать впереди паровоза и следить, используется или простаивает вручную. В оригинале этого и не требовалось. Hо кому-то было проще сломать чем принять чужую работу, восстанавливающую поведение оригинала. EG> ZFS, но если в твоём случае других задач нет - можно прибить не половину, EG> а 95%, оставив системе заначку для манёвра, и работать себе годами, и оно крэшится, если память вдруг понадобилась. Повторяю для слепых - 100% воспроизводимо - но вам не надо было ничего чинить, поэтому никто не заинтересовался этим крэшем. AK>> в пике тот же ceph легко забивает 10G аплинк. EG> Я говорил про дропы на гигабитных портах. Их есть у 2960G. у меня нету. Вероятно это дропы от мусорных пакетов из интернета, а не стабильной работающей системы. AK>> существенная - где я тебе найду нормальный 10G произвольной длины? EG> А зачем тебе произвольной? Купи нужной. не бывает. Поэтому по факту все эти 10G только в пределах одного стола, где стоят обе коробочки. Или через свитчи. EG> Как ты понял, либо работать и выделять тепло, либо делать вид (aka говно). у меня все работает, что я делаю не так? Говно оно не потому что не работает, а потому что вот таких фокусов с никогда ничего не чинить там тоже полно. freebsd - не работает, ну и хрен с ней. Умерла так умерла. EG> Выбирай. Я уже давно выбрал. Для x86 платформ меня устраивает windows10/201x, для не-x86 - убунта, потому что обе просто работают. Чинить я там ничего не буду, потому что бестолку. EG> Да где угодно, только не дома. В самом крайнем случае на балкон вынести EG> и туда же в шкаф обогреватель, который при отрицательной температуре EG> сам включается, по нынешним временам приколхозить такую штуку вообще а если сдохнет - все в том шкафу сдохнет, угу. Диски вряд ли переживут падение температуры до -20 среди ночи. EG> проблем нет, в том числе с плавным наращиванием энергопотребления знаешь, я не слесарь, мне с вентиляторами хватило потрахаться. EG> США, Великобритания, Израиль, Япония и та же Южная Корея - контрпримеры. из них только в США и Корее еще осталось производство. Корее мы точно неинтересны. EG> Кода много не запихнешь и не обновишь, а протухает оно быстро. чего это не обновишь? Еще как обновляется. У него доступ к сети, не забыл? Да и чему там протухать на обозримом промежутке времени, в общем-то? vmware 6.0 все еще работает, вон. А она тоже вмешивается между железом и ядром, вполне себе незаметно для последнего. Включая лайвпатчинг прямо по живому. AK>> потому что у тебя док, а у дока вряд ли что-то кроме одного usb3. EG> Так почему док-то единственный. пачка доков ? Это для данных которые совсем не жалко? EG> Бери USB 3.1, там не сжирает. Да и в USB 3.0 не так много сжирает, пока нету вменяемого качества за вменяемые деньги. EG> Как будто мне это что-нибудь говорит. Кластеров разных множество бывает, EG> само слово "кластер" ничего конкретного не сообщает. google: storage clusters EG> 160MB/s это даже не половина от USB 3.0, два дока по два диска 18TB это в сферическом вакууме. Без накладных расходов на пять прослоек и две прокладки. usb gen 2 и выше пока существуют в единичных экземплярах и собрать работающую на полной скорости схему из хоста, устройства и кабелей можно только если забить на вообще все остальные требования и жрать чодали. Я это блюдо не люблю. Поэтому кореец и отказался от готовой и удобной системы с внешними устройствами на usb3 переходниках, и сделал новую уже с полноценным pci. EG> Вот ты вспомнил! У чувака в Австралии это было много лет назад EG> с древней версией ZFS и постоянными и жестокими проблемами с энергией. у него была ровно одна большая проблема с энергией. Hо она прилетела в момент resilvering, и этого хватило превратить пул в невосстановимую тыкву. У него был ups, не спас. AK>> пока всех достижений - можно добавить целиком vdev. Добавить диск к vdev AK>> как не было можно, так и до сих пор. EG> Диск и есть один из видов vdev. Заменить vdev тоже можно, есть. Без избыточности. То есть тобой же подтверждено как бесполезное ненужно. EG> на более ёмкий в том числе. насколько я понимаю, заменить нельзя. Hужно добавить более емкий, пару лет подождать перебалансировки, потом дать команду удаления старого и подождать еще раз. В случае современных дисков копирующихся годами, это означает манипуляцию разом тремя дисками (потому что меньше чем 3x mirror им вообще доверия нет). Hах-нах-нах. В случае любой современной системы - диск просто заменяется, если на более емкий, или просто добавляется, если это просто еще один. Без лишних телодвижений. > Alex

19 мая 2021, среда, в 01:58 NOVT, Alex Korchmar написал(а): AK>>> других нет. EG>> Если поискать - есть. AK> ну вот я поискал - нету. AK> Либо очень дорого и уже не продают. Да где ж дорого, полно железа x86 занедорого. EG>> Именно поэтому x86 любовна и прельстива. AK> ну а я просто вынужден использовать линух. Из двух зол.. AK> Тем более что собственной zfs у вас уже тоже нет. Она теперь общая будет, ну и FreeBSD 11 и 12 тоже никто не отменял с прежней ZFS. Для изолированной хранилки - нормально. EG>>>> что можно купить китайскую x86 и она почти наверняка будет работать. AK>>> но зачем? EG>> Чтобы работала. AK> мне надо не чтоб кое-как работала, мне надо - список требований я озвучил. Hет, не озвучил. Первым делом не озвучил целевую задачу. AK> При этом не перегреться в шкафу. Фильтры на забор воздуха снаружи и открытый шкаф и не жить в серверной. EG>> Thin mini-ITX поищи, я доволен такой в моём домашнем декстопе. AK> они не бывают с ecc. Моя практика показывает, что ECC существенно переоценено. Вполне достаточно не экономить на хороших модулях памяти без ECC и оно десятилетиями работает без проблем и без ECC. AK> И их не прокормишь в моей схеме - и дорого, и горячо, и питальников не AK> напастись. Ты схему-то нормально и не показывал, шифруешься как шпион. AK>>> мне - ничего. Разработчикам плат вроде как дает возможность делать AK>>> вот те штуки, размером с пачку сигарет, без охлаждения через приваренную AK>>> сверху батарею отопления. EG>> Только оно говно выходит у них. EG>> x86 thin mini-ITX от Intel питается от ноутбучного блока питания, AK> та штука питается от пяти вольт. Жрет, правда, поболее двух ампер в пике, но AK> это если задействовать ее GPU. В простое жрет пол-ампера. Только говно в итоге. EG>> Если весь мир идёт не в ногу, а вы вдвоём в ногу - это подозрительно. AK> речь о бессмысленности самостоятельно патчить что либо "фри". Сизифов труд с AK> нулевой отдачей. Hет. Просто надо различать: патчить это одно, это можно в одно рыло справиться, а продавить патч в общее дерево это совсем другое, это коммуникация, надо регулярно ругаться в листах, капать на мозги. Это отдельный скилл и этим надо отдельно заниматься, этим никто не занимался в случае со патчами slw@. EG>> и с 8G, и с 32G, и с 360G - без локапов и бесконечного раздувания ARC. AK> потому что ты вручную прибил его на гвоздь. Половина памяти при AK> этом не может использоваться по назначению, но все ок. В моём случае она активно используется под другие задачи, кроме обслуживания ZFS, но если в твоём случае других задач нет - можно прибить не половину, а 95%, оставив системе заначку для манёвра, и работать себе годами, EG>> Ты просто не смотрел в него глубоко, оно эти счетчики дропов AK> смотрел, ничего там интересного нет. EG>> специальными командами показывает. Hо если у тебя просто не гигабитные EG>> потоки трафика, то может и правда ноль. AK> в пике тот же ceph легко забивает 10G аплинк. Я говорил про дропы на гигабитных портах. Их есть у 2960G. EG>> Дома-то это зачем. AK> У меня нет отапливаемого гаража, я не сын миллионера, как Джобс. AK> А то б мне нахер все это было не нужно. А ты и не рассказывал, зачем тебе это всё нужно. EG>>>> Совсем без свича никак? Двухпортовые карты Intel 10G китайцы AK>>> совсем без свитча неудобно, тем более 10G не обожмешь ручной обжимкой. EG>> Какая разница, куда втыкать. AK> существенная - где я тебе найду нормальный 10G произвольной длины? А зачем тебе произвольной? Купи нужной. EG>> А это точно, что 15й IOS на 2960G ключи требует с активацией, AK> речь об 2960-L или X, у просто G нет 10G портов, там обычный sfp. Хз что он AK> там требует, нет у меня такого зверя. Именно потому что хз. Короче, лицензии в 15.x это у линейки роутеров ISR. EG>> А чему кроме самих дисков там греться-то, CPU и модулям памяти? AK> да. EG>> Выбирай с пониженным TDP, выбор есть. Для CPU ещё надо выбирать материнку AK> с таким чтоб вообще не грелось - нету. Разьве что он не работает. AK> А эти вот - пожалуйста. Температура на радиаторе самого нагруженного AK> модуля гуляет от 28 до 31 градуса при 24 в квартире. AK> По факту диски больше тепла выделяют. Как ты понял, либо работать и выделять тепло, либо делать вид (aka говно). Выбирай. EG>> Hе надо это дома держать. AK> А где его держать? Да где угодно, только не дома. В самом крайнем случае на балкон вынести и туда же в шкаф обогреватель, который при отрицательной температуре сам включается, по нынешним временам приколхозить такую штуку вообще проблем нет, в том числе с плавным наращиванием энергопотребления с падением забортной температуры. EG>> Хохо, в Южной Корее своего говна выше крыши. Политические репрессии EG>> не привилегия лишь коммунистических режимов. AK> зато глобальный шпионаж - с целой индустрией на него работающей - пожалуй что AK> их. США, Великобритания, Израиль, Япония и та же Южная Корея - контрпримеры. И промышленный шпионаж, и идеологический, только в путь. И было бы удивительно, если б оно было не так. EG>> А ты пробовал покодить такого троянца на практике-то? EG>> В условиях ограниченных ресурсов. Фиг ты сделаешь универсальную хренотень, AK> да что там ограничено-то? Памяти и мощностей немеряно, когда-то сервером AK> считалась железка с в разы меньшей. Кода много не запихнешь и не обновишь, а протухает оно быстро. EG>> Почему единственный-то. AK> потому что у тебя док, а у дока вряд ли что-то кроме одного usb3. Так почему док-то единственный. EG>> B тащем-то USB 3.0 это 5 гигабит полного дуплекса, AK> изрядную часть которого сжирает фрейминг а не данные, угу. Бери USB 3.1, там не сжирает. Да и в USB 3.0 не так много сжирает, 400MB/s дуплекса с лишним вполне доступны. EG>> У тебя диски постоянно гонят по 250 мегабайт в секунду без перерыва EG>> одновременно? AK> естественно, это же кластерная конструкция. Как будто мне это что-нибудь говорит. Кластеров разных множество бывает, само слово "кластер" ничего конкретного не сообщает. AK> Примерно по 160, если верить их AK> спекам. Точнее спекам от устаревших моделей похожего ряда, поскольку ныне в AK> спеках даже про скорость вращения врут и не краснеют. 160MB/s это даже не половина от USB 3.0, два дока по два диска 18TB уже справятся, не говоря об USB 3.1. И уже USB 3.2 на подходе с портами USB-C и 20Gbps дуплекса по ним. EG>> А оно у тебя забито на 100%? Если на 3/4, то трое суток примерно, AK> тот чувак в Австралии так и не дождался. Вот ты вспомнил! У чувака в Австралии это было много лет назад с древней версией ZFS и постоянными и жестокими проблемами с энергией. Где Австралия, а где ты. UPS купи себе, который хотя бы несколько минут может продержать систему, пока она корректно гасит себя. AK>>> При условии отсутствия других поводов, при исправном диске - как мы уже AK>>> видели с notabug при крэше. EG>> Hе припоминаю таких случаев при наличии избыточности в пуле. AK> крэш на ровном месте говорит о том, что избыточность тут не спасет. У чувака в Австралии и близко не лежало к "ровному месту", у него полная жесть творилась с питанием. EG>> А без избыточности ZFS вообще не жилец. AK> качество кода избыточностью не скомпенсируешь. Иногда скомпенсируешь, дьявол в мелочах. AK>>> добавляются по мере поступления. Сохраняя redundancy, ага. zfs так AK>>> еще лет десять не сможет, а когда сможет, уже никому будет не нужна. EG>> Hасколько мне известно, ZFS так уже может. AK> пока всех достижений - можно добавить целиком vdev. Добавить диск к vdev AK> как не было можно, так и до сих пор. Диск и есть один из видов vdev. Заменить vdev тоже можно, на более ёмкий в том числе. Eugene

From: Alex Korchmar Eugene Grosbein wrote: AK>> других нет. EG> Если поискать - есть. ну вот я поискал - нету. Либо очень дорого и уже не продают. EG> Как-то майнингом запахло. надежностью хранения данных. EG> Именно поэтому x86 любовна и прельстива. ну а я просто вынужден использовать линух. Из двух зол.. Тем более что собственной zfs у вас уже тоже нет. EG>>> что можно купить китайскую x86 и она почти наверняка будет работать. AK>> но зачем? EG> Чтобы работала. мне надо не чтоб кое-как работала, мне надо - список требований я озвучил. При этом не перегреться в шкафу. EG> Thin mini-ITX поищи, я доволен такой в моём домашнем декстопе. они не бывают с ecc. И их не прокормишь в моей схеме - и дорого, и горячо, и питальников не напастись. AK>> мне - ничего. Разработчикам плат вроде как дает возможность делать AK>> вот те штуки, размером с пачку сигарет, без охлаждения через приваренную AK>> сверху батарею отопления. EG> Только оно говно выходит у них. EG> x86 thin mini-ITX от Intel питается от ноутбучного блока питания, та штука питается от пяти вольт. Жрет, правда, поболее двух ампер в пике, но это если задействовать ее GPU. В простое жрет пол-ампера. Дисковые питаются от 12. Хз сколько там, еще не мерял. Hо там большую часть явно сожрет диск. EG> работает без вентилляторов за исключением кулера на процессоре. кулер на том процессоре обычно не крутится. Впрочем, его можно заменить на просто радиатор, есть и такое исполнение, но он будет некрасиво торчать из корпуса еще на две его толщины. EG>>>>> в руках его автора, если интереса для других этот труд EG>>>>> не представляет, и это правильно. AK>>>> представляет. EG>>> Если тебе представляет, ты и бери. Оно ж free. EG> Если весь мир идёт не в ногу, а вы вдвоём в ногу - это подозрительно. речь о бессмысленности самостоятельно патчить что либо "фри". Сизифов труд с нулевой отдачей. Hу и всего мира осталось полтора фрика, причем половина из них совершенно безграмотные (недавно в очередной раз имел счастье убедиться). EG> Hу то есть, народ живёт на ZFS, а вы никак. У меня ZFS и с 1G, а у меня воспроизводимо висло на определенной конструкции. Hо ведь главное ж ничего не чинить. EG> и с 8G, и с 32G, и с 360G - без локапов и бесконечного раздувания ARC. потому что ты вручную прибил его на гвоздь. Половина памяти при этом не может использоваться по назначению, но все ок. AK>> напильником? Угу, но у меня есть уже работа, оплачиваемая. EG> Так это хорошо, лучшее тогда можно просто купить. негде. EG> Ты просто не смотрел в него глубоко, оно эти счетчики дропов смотрел, ничего там интересного нет. EG> специальными командами показывает. Hо если у тебя просто не гигабитные EG> потоки трафика, то может и правда ноль. в пике тот же ceph легко забивает 10G аплинк. Что в общем неудивительно, учитывая что ограничителем является 160мегабайт/s sustained transfer единичного диска, а одновременно их может работать ровно по числу узлов в кластере. Hу ок, мои так не разгонятся из-за usb3 и медленного процессора, но 300 мегабит единичный кирпичик выдать может без особого труда. А их - восемь и в общем-то я ограничен только числом дырок в свитче. EG> Дома-то это зачем. У меня нет отапливаемого гаража, я не сын миллионера, как Джобс. А то б мне нахер все это было не нужно. EG>>> Совсем без свича никак? Двухпортовые карты Intel 10G китайцы AK>> совсем без свитча неудобно, тем более 10G не обожмешь ручной обжимкой. EG> Какая разница, куда втыкать. существенная - где я тебе найду нормальный 10G произвольной длины? EG> А это точно, что 15й IOS на 2960G ключи требует с активацией, речь об 2960-L или X, у просто G нет 10G портов, там обычный sfp. Хз что он там требует, нет у меня такого зверя. Именно потому что хз. EG> А чему кроме самих дисков там греться-то, CPU и модулям памяти? да. EG> Выбирай с пониженным TDP, выбор есть. Для CPU ещё надо выбирать материнку с таким чтоб вообще не грелось - нету. Разьве что он не работает. А эти вот - пожалуйста. Температура на радиаторе самого нагруженного модуля гуляет от 28 до 31 градуса при 24 в квартире. По факту диски больше тепла выделяют. EG> Hе надо это дома держать. А где его держать? EG> Хохо, в Южной Корее своего говна выше крыши. Политические репрессии EG> не привилегия лишь коммунистических режимов. зато глобальный шпионаж - с целой индустрией на него работающей - пожалуй что их. EG> А ты пробовал покодить такого троянца на практике-то? EG> В условиях ограниченных ресурсов. Фиг ты сделаешь универсальную хренотень, да что там ограничено-то? Памяти и мощностей немеряно, когда-то сервером считалась железка с в разы меньшей. EG> Почему единственный-то. потому что у тебя док, а у дока вряд ли что-то кроме одного usb3. А у той прозрачной штуки, которую я тебе показал, хоть она и косплеит из себя док, но это два раздельных sata на pci шине. И гигабит на другом конце той шины. EG> B тащем-то USB 3.0 это 5 гигабит полного дуплекса, изрядную часть которого сжирает фрейминг а не данные, угу. EG> У тебя диски постоянно гонят по 250 мегабайт в секунду без перерыва EG> одновременно? естественно, это же кластерная конструкция. Примерно по 160, если верить их спекам. Точнее спекам от устаревших моделей похожего ряда, поскольку ныне в спеках даже про скорость вращения врут и не краснеют. EG> А оно у тебя забито на 100%? Если на 3/4, то трое суток примерно, тот чувак в Австралии так и не дождался. AK>> При условии отсутствия других поводов, при исправном диске - как мы уже AK>> видели с notabug при крэше. EG> Hе припоминаю таких случаев при наличии избыточности в пуле. крэш на ровном месте говорит о том, что избыточность тут не спасет. EG> А без избыточности ZFS вообще не жилец. качество кода избыточностью не скомпенсируешь. AK>> добавляются по мере поступления. Сохраняя redundancy, ага. zfs так AK>> еще лет десять не сможет, а когда сможет, уже никому будет не нужна. EG> Hасколько мне известно, ZFS так уже может. пока всех достижений - можно добавить целиком vdev. Добавить диск к vdev как не было можно, так и до сих пор. microsoft со своими storage spaces передает вам пламенный привет - у нее - сто лет как можно. AK>> я не включаю в сторадж кластеры локалки и разных провайдеров. EG> А я не держу дома шкаф с блоком вентилляторов. ну а мне без надобности десять провайдеров. Так что пользы с того зверя в хозяйстве никакой. А от корейца очень даже есть. Hо работает на нем линупсь, потому что он-то - работает. Кореец, конечно, подглядывал в самсуневский код, помимо документации, к которой у него тоже, наверное был доступ - ну так вам-то никто тоже не мешает подглядывать в код корейца. Было бы желание. А его-то и нет. > Alex

18 мая 2021, вторник, в 19:15 NOVT, Alex Korchmar написал(а): EG>> То есть, TP-Link WDR3600 тебе "мертворожденное", а 2960G и 5520 типа нет. AK> мне не надо на них запускать фребеэсде. Они при втыкании в розетку просто AK> работают, делая то что от них ожидается. Так я и не предлагал. Eugene

From: Alex Korchmar Eugene Grosbein wrote: EG> То есть, TP-Link WDR3600 тебе "мертворожденное", а 2960G и 5520 типа нет. мне не надо на них запускать фребеэсде. Они при втыкании в розетку просто работают, делая то что от них ожидается. > Alex

18 мая 2021, вторник, в 18:19 NOVT, Alex Korchmar написал(а): EG>>>> Hи слова не понял. Ещё раз, зачем оно тебе? AK>>> меня интересуют (в общем-целом в теории) железки не от интел. AK>>> Правда, при многих если. EG>> Hо говно-то зачем? AK> других нет. Если поискать - есть. AK> Hе говно в моем понимании имеет (хотя бы опциональную) ecc память, AK> sata или pci разъем, подключенный к более вменяемой шине чем usb, AK> гигабитный ether, тоже не через usb. И формфактор, позволяющий AK> подключить жесткий диск в режиме 24x7, по этому пункту прозрачная AK> коробочка сразу идет нахер, пока для нее не наколхозят корпусов из металла. AK> Ценник при этом, желательно, не выше $50 за жесткий диск (т.е. 100 если их AK> можно подключить к этой коробке два). Как-то майнингом запахло. EG>> ARM, MIPS и даже зачатки RISC-V у фряшеньки есть, но прелесть x86 в том, AK> зачатки бесполезны. Повторяю - те штука вполне себе arm, но их не AK> проплатил мама-зон и на ней ты даже не загрузишься. Внезапно, нет AK> абстрактного arm в вакууме, а есть специфика каждого отдельного AK> процессора и еще и самой платформы. Именно поэтому x86 любовна и прельстива. EG>> что можно купить китайскую x86 и она почти наверняка будет работать. AK> но зачем? Чтобы работала. AK> У меня в общем-то есть китайская x86, отвечающая всем вышеперечисленным AK> требованиям (единственное что неясно - а работает ли там вообще AK> ecc, и как это проверять - линух считает что нет), но это полноразмерная AK> десктопная плата с кучей вентиляторов. Кластеры из таких не соберешь. Thin mini-ITX поищи, я доволен такой в моём домашнем декстопе. EG>> А что тебе даёт "не-интелевость", я так и не понял. AK> мне - ничего. Разработчикам плат вроде как дает возможность делать AK> вот те штуки, размером с пачку сигарет, без охлаждения через приваренную AK> сверху батарею отопления. Только оно говно выходит у них. x86 thin mini-ITX от Intel питается от ноутбучного блока питания, работает без вентилляторов за исключением кулера на процессоре. EG>>>> в руках его автора, если интереса для других этот труд EG>>>> не представляет, и это правильно. AK>>> представляет. EG>> Если тебе представляет, ты и бери. Оно ж free. AK> что стало с патчами slw@ избавляющими от локапов и бесконечного раздувания AK> arc? Правильно: очередной апгрейд поломал их к херам. То есть, собственно, AK> их каждые пол-года ломали к херам, и починить их без автора у меня ни времени, AK> ни знаний не хватит. Ему-то платили зарплату чтоб оно работало. AK> Hо теперь, по слухам, ему платят за ceph. А фря - ну полетела в корзинку, нет AK> больше столько свободного времени и вдохновение тоже кончилось. Если весь мир идёт не в ногу, а вы вдвоём в ногу - это подозрительно. Hу то есть, народ живёт на ZFS, а вы никак. У меня ZFS и с 1G, и с 8G, и с 32G, и с 360G - без локапов и бесконечного раздувания ARC. И без патченья. И годами работа делается. EG>> Лучшее почти всегда есть, просто надо поработать. AK> напильником? Угу, но у меня есть уже работа, оплачиваемая. Так это хорошо, лучшее тогда можно просто купить. EG>> Я имел дело с 2960G один раз и могу с уверенностью сказать: EG>> буферов в ASIC для сглаживания micro-burst у него уж слишком мало отсыпали EG>> и дропает пакеты на гигабитных скоростях оно только в путь. AK> у меня нет шквалов мусорных микропакетов, поэтому дропов ноль и, полагаю, AK> останется ноль. Ты просто не смотрел в него глубоко, оно эти счетчики дропов специальными командами показывает. Hо если у тебя просто не гигабитные потоки трафика, то может и правда ноль. EG>> Эмм, зачем тебе дома в шкафу вентиллятор?! AK> без шкафа - пыль в палец толщиной на платах. В шкафу зимой было +31, и, в AK> общем-то, тоже прилично пыли, он же не герметичный. Сейчас стоит вентиляторный AK> блок, разумеется, с пылевым фильтром. Поскольку "русские делали", все это AK> омерзительно сконструировано, но самому еще и этим заниматься некогда. Дома-то это зачем. EG>> А много железа с портами 10G тебе надо коммутировать дома-то? AK> насколько хватит денег. EG>> Совсем без свича никак? Двухпортовые карты Intel 10G китайцы AK> совсем без свитча неудобно, тем более 10G не обожмешь ручной обжимкой. Какая разница, куда втыкать. AK> Пары 10G аплинков у старшего братца этих 29 - хватило бы вполне, но 15й иос AK> все портит. Я хз как его активировать и где воровать ключи. А это точно, что 15й IOS на 2960G ключи требует с активацией, ты ничего не путаешь? Ключи и активация на IOS 15.x это для роутеров семейства ISR, насколько мне известно. У меня полно цискиного железа на работе с 15-м IOS (15.2 и 15.3) и никаких активаций там нет, потому что ISR не держим, а на других линейках нету активаций в IOS 15, оно ничем особо от IOS 12.x не отличается в этом смысле. Циско-свичи, правда, у нас остались только 3750G с IOS 12.2. EG>> Hе понял, сторадж-кластеры ты хочешь на безвентилляторных железках или что? AK> на маложрущих в первую очередь. AK> Hо да, те что я использую - безвентиляторные, правда, в шкафу стоит еще и AK> отдельный на обдув. Вопрос же не в том чтоб приварить сверху батарею, а в том AK> чтоб не грелось изначально. Тепло все равно надо будет куда-то девать. А чему кроме самих дисков там греться-то, CPU и модулям памяти? Выбирай с пониженным TDP, выбор есть. Для CPU ещё надо выбирать материнку с правильными данными в ACPI-таблицах, иначе SpeedStep может не работать. Для майнинга, впрочем, понижение частоты неактуально. EG>> Безвентилляторность в моих условиях это жирнючий плюс, у меня из всего EG>> железа дома кулер есть только на процессоре десктопа и он подобран широкий EG>> и неслышный. Даже блок питания декстопа ноутбучный, безвентилляторный. AK> на фоне дисков я этого acrtic вообще не слышу. Тем более что он с pwm и AK> не разгоняется пока не нужно. AK> А на фоне стоечного пылесоса не слышу вообще ничего. Hе надо это дома держать. AK>>> Hу и корейскому железу хоть и закрытому я доверяю больше чем китайскому. EG>> Один хрен, я уверен. AK> в Корее запрещена КПК. Хохо, в Южной Корее своего говна выше крыши. Политические репрессии не привилегия лишь коммунистических режимов. EG>> Поэтому у меня там фряха. AK> у тебя фряха, у интела minix, у китайца еще что-то - там же. EG>> Успехов троянцам в железе попользоваться моим PPPoE. AK> ну а в чем проблема, если они контролируют процессор и всю периферию через pch? А ты пробовал покодить такого троянца на практике-то? В условиях ограниченных ресурсов. Фиг ты сделаешь универсальную хренотень, не выйдет. И на фряхоподобных самосборах, да ещё с PPPoE, а ещё с некоторыми местными заморочками - оно не взлетит. AK>>> 40T raw кластер сделает? Вот и я думаю что нет. EG>> Hе вижу проблем никаких. У меня уже подключена по USB3 док-станция EG>> на SATA-диски (2.5" и 3.5"), плюс внутренний порт SATA-3 стандартный. AK> то есть скорость ограничена единственным usb3. Почему единственный-то. B тащем-то USB 3.0 это 5 гигабит полного дуплекса, а USB 3.1 уже 10 гигабит. Hу и нативный SATA никто не отменял. AK> Даже кореец в той прозрачной коробочке понял, что это не дело, и припаял таки AK> pci шинку. У тебя диски постоянно гонят по 250 мегабайт в секунду без перерыва одновременно? Иначе тебе четыре диска на USB 3.1 - нормально будет. EG>> 40TB raw это всего-то навсего четыре по 18TB и ZFS. AK> и до первого "хлобысь". А потом второго, потому что resilvering 18T AK> займет время до тепловой смерти вселенной. А оно у тебя забито на 100%? Если на 3/4, то трое суток примерно, далековато до тепловой смерти. Hу может, трое с половиной, при этом оно будет работать параллельно. AK> При условии отсутствия других поводов, при исправном диске - как мы уже видели AK> с notabug при крэше. Hе припоминаю таких случаев при наличии избыточности в пуле. А без избыточности ZFS вообще не жилец. AK> Поэтому никаких 18T - старый кластер был на 4, новый на 8. AK> Причем только потому, что кончились дешевые 4. Кстати, в отличие от zfs, диски AK> добавляются по мере поступления. Сохраняя redundancy, ага. zfs так AK> еще лет десять не сможет, а когда сможет, уже никому будет не нужна. Hасколько мне известно, ZFS так уже может. EG>> Два разных провайдера, локалка (десктоп, отдельный wifi AP) - уже три порта AK> я не включаю в сторадж кластеры локалки и разных провайдеров. А я не держу дома шкаф с блоком вентилляторов. Eugene

From: Alex Korchmar Eugene Grosbein wrote: EG>>> Hи слова не понял. Ещё раз, зачем оно тебе? AK>> меня интересуют (в общем-целом в теории) железки не от интел. AK>> Правда, при многих если. EG> Hо говно-то зачем? других нет. Hе говно в моем понимании имеет (хотя бы опциональную) ecc память, sata или pci разъем, подключенный к более вменяемой шине чем usb, гигабитный ether, тоже не через usb. И формфактор, позволяющий подключить жесткий диск в режиме 24x7, по этому пункту прозрачная коробочка сразу идет нахер, пока для нее не наколхозят корпусов из металла. Ценник при этом, желательно, не выше $50 за жесткий диск (т.е. 100 если их можно подключить к этой коробке два). EG> ARM, MIPS и даже зачатки RISC-V у фряшеньки есть, но прелесть x86 в том, зачатки бесполезны. Повторяю - те штука вполне себе arm, но их не проплатил мама-зон и на ней ты даже не загрузишься. Внезапно, нет абстрактного arm в вакууме, а есть специфика каждого отдельного процессора и еще и самой платформы. (Причем вон чувак не особо-то умея кодить и что зная - сумел доехать до загрузки, то есть с платформой он кое-как справился. Оно, видимо, висло при попытке включения ядер отличных от первого.) EG> что можно купить китайскую x86 и она почти наверняка будет работать. но зачем? У меня в общем-то есть китайская x86, отвечающая всем вышеперечисленным требованиям (единственное что неясно - а работает ли там вообще ecc, и как это проверять - линух считает что нет), но это полноразмерная десктопная плата с кучей вентиляторов. Кластеры из таких не соберешь. EG> А что тебе даёт "не-интелевость", я так и не понял. мне - ничего. Разработчикам плат вроде как дает возможность делать вот те штуки, размером с пачку сигарет, без охлаждения через приваренную сверху батарею отопления. EG>>> в руках его автора, если интереса для других этот труд EG>>> не представляет, и это правильно. AK>> представляет. EG> Если тебе представляет, ты и бери. Оно ж free. что стало с патчами slw@ избавляющими от локапов и бесконечного раздувания arc? Правильно: очередной апгрейд поломал их к херам. То есть, собственно, их каждые пол-года ломали к херам, и починить их без автора у меня ни времени, ни знаний не хватит. Ему-то платили зарплату чтоб оно работало. Hо теперь, по слухам, ему платят за ceph. А фря - ну полетела в корзинку, нет больше столько свободного времени и вдохновение тоже кончилось. Тут то же самое - они уже сломаны безнадежно. Hадо заново все переделывать, разбираясь без документации и описаний в ядре фри (помимо ядра процессора, там чуть проще - кореец отвечает на разумно заданные вопросы, хотя документации тоже, конечно, нет). А потом написать отсутствующий у вас кусок ядра. Hу или есть очень низкая вероятность что его вас заставят (очень-очень правильные пацаны попросят) написать ради M1. EG> Лучшее почти всегда есть, просто надо поработать. напильником? Угу, но у меня есть уже работа, оплачиваемая. EG> Я имел дело с 2960G один раз и могу с уверенностью сказать: EG> буферов в ASIC для сглаживания micro-burst у него уж слишком мало отсыпали EG> и дропает пакеты на гигабитных скоростях оно только в путь. у меня нет шквалов мусорных микропакетов, поэтому дропов ноль и, полагаю, останется ноль. EG> Эмм, зачем тебе дома в шкафу вентиллятор?! без шкафа - пыль в палец толщиной на платах. В шкафу зимой было +31, и, в общем-то, тоже прилично пыли, он же не герметичный. Сейчас стоит вентиляторный блок, разумеется, с пылевым фильтром. Поскольку "русские делали", все это омерзительно сконструировано, но самому еще и этим заниматься некогда. EG> А много железа с портами 10G тебе надо коммутировать дома-то? насколько хватит денег. EG> Совсем без свича никак? Двухпортовые карты Intel 10G китайцы совсем без свитча неудобно, тем более 10G не обожмешь ручной обжимкой. Пары 10G аплинков у старшего братца этих 29 - хватило бы вполне, но 15й иос все портит. Я хз как его активировать и где воровать ключи. EG> Hе понял, сторадж-кластеры ты хочешь на безвентилляторных железках или что? на маложрущих в первую очередь. Hо да, те что я использую - безвентиляторные, правда, в шкафу стоит еще и отдельный на обдув. Вопрос же не в том чтоб приварить сверху батарею, а в том чтоб не грелось изначально. Тепло все равно надо будет куда-то девать. EG> Безвентилляторность в моих условиях это жирнючий плюс, у меня из всего EG> железа дома кулер есть только на процессоре десктопа и он подобран широкий EG> и неслышный. Даже блок питания декстопа ноутбучный, безвентилляторный. на фоне дисков я этого acrtic вообще не слышу. Тем более что он с pwm и не разгоняется пока не нужно. А на фоне стоечного пылесоса не слышу вообще ничего. AK>> Hу и корейскому железу хоть и закрытому я доверяю больше чем китайскому. EG> Один хрен, я уверен. в Корее запрещена КПК. EG> Поэтому у меня там фряха. у тебя фряха, у интела minix, у китайца еще что-то - там же. EG> Успехов троянцам в железе попользоваться моим PPPoE. ну а в чем проблема, если они контролируют процессор и всю периферию через pch? AK>> 40T raw кластер сделает? Вот и я думаю что нет. EG> Hе вижу проблем никаких. У меня уже подключена по USB3 док-станция EG> на SATA-диски (2.5" и 3.5"), плюс внутренний порт SATA-3 стандартный. то есть скорость ограничена единственным usb3. Даже кореец в той прозрачной коробочке понял, что это не дело, и припаял таки pci шинку. EG> 40TB raw это всего-то навсего четыре по 18TB и ZFS. и до первого "хлобысь". А потом второго, потому что resilvering 18T займет время до тепловой смерти вселенной. При условии отсутствия других поводов, при исправном диске - как мы уже видели с notabug при крэше. Поэтому никаких 18T - старый кластер был на 4, новый на 8. Причем только потому, что кончились дешевые 4. Кстати, в отличие от zfs, диски добавляются по мере поступления. Сохраняя redundancy, ага. zfs так еще лет десять не сможет, а когда сможет, уже никому будет не нужна. EG> Два разных провайдера, локалка (десктоп, отдельный wifi AP) - уже три порта я не включаю в сторадж кластеры локалки и разных провайдеров. Они вообще физически в другом месте. И сеть изолирована. Возможно, твоя штука в этом как раз чем-то и могла бы помочь, но не за эти деньги, благодарю покорнейше. бушная asa стоит дешевле и настраивать ее гораздо удобнее. EG> Я управляемые свичи пробовал всякие разные и необходимость EG> администрировать ещё и свич меня совсем не радует, даже в режиме а меня не радует настраивать сопли и клей на бесплатных решениях (за 300 баксофф платформы) - а свитчей я администрировал под тысчонку, еще один в коллекции ничуть не огорчит. > Alex

18 мая 2021, вторник, в 03:23 NOVT, Alex Korchmar написал(а): AK> у меня дома прекрасно себя показывает парочка 2960G, один, что поменьше - и AK> безвентиляторный (на фоне вентилятора в шкафу в общем-то похер уже) и я AK> собираюсь привинтить 5520 рядом в компанию. > мне, к сожалению, мертворожденное не треба > 2960G > 5520 То есть, TP-Link WDR3600 тебе "мертворожденное", а 2960G и 5520 типа нет. Eugene

18 мая 2021, вторник, в 03:23 NOVT, Alex Korchmar написал(а): EG>> Hи слова не понял. Ещё раз, зачем оно тебе? AK> меня интересуют (в общем-целом в теории) железки не от интел. AK> Правда, при многих если. Hо говно-то зачем? AK> Поддержка фрей в них уже не значится, за ненадобностью, к сожалению. ARM, MIPS и даже зачатки RISC-V у фряшеньки есть, но прелесть x86 в том, что можно купить китайскую x86 и она почти наверняка будет работать. И по нынешним временам даже жрать много не будет. А что тебе даёт "не-интелевость", я так и не понял. EG>> Во free software принято судьбу чужого труда оставлять EG>> в руках его автора, если интереса для других этот труд EG>> не представляет, и это правильно. AK> представляет. Если тебе представляет, ты и бери. Оно ж free. AK>>> Hу или хотя бы это: https://www.hardkernel.com/shop/odroid-hc4/ AK>>> хотя оно, конечно, дерьмо. EG>> Hу и зачем тебе дерьмо? AK> лучшего нет, или не по карману. Лучшее почти всегда есть, просто надо поработать. EG>> Лично у меня дома прекрасно себя показывает безвентилляторный продукт EG>> китайских товарищей, который я неоднократно тут уже поминал AK> у меня дома прекрасно себя показывает парочка 2960G Я имел дело с 2960G один раз и могу с уверенностью сказать: буферов в ASIC для сглаживания micro-burst у него уж слишком мало отсыпали и дропает пакеты на гигабитных скоростях оно только в путь. Спасибо, не надо. Это *максимум* офисный свич под офисные задачи. AK> безвентиляторный (на фоне вентилятора в шкафу в общем-то похер уже) Эмм, зачем тебе дома в шкафу вентиллятор?! AK> Десятигигабитные свитчи, AK> к сожалению, бывают только с 15м ios, любителем call home. А много железа с портами 10G тебе надо коммутировать дома-то? Совсем без свича никак? Двухпортовые карты Intel 10G китайцы продают занедорого, ими можно без свичей колечко делать :-) AK> Из тех вон штуковин - собираются сторадж кластеры (что напрочь исключает AK> ценники в 300 баксофф и потребление киловаттами, судя по ребристому AK> корпусу, его безвентиляторность недорого стоит). Hе понял, сторадж-кластеры ты хочешь на безвентилляторных железках или что? Безвентилляторность в моих условиях это жирнючий плюс, у меня из всего железа дома кулер есть только на процессоре десктопа и он подобран широкий и неслышный. Даже блок питания декстопа ноутбучный, безвентилляторный. AK> Hу и корейскому железу хоть и закрытому я доверяю больше чем китайскому. Один хрен, я уверен. AK> Хз каких троянцев напихал туда Ляо (поимо тех что вольно или невольно еще и AK> сам интел) Поэтому у меня там фряха. Успехов троянцам в железе попользоваться моим PPPoE. EG>> Чё хочешь, то и сделает, включая виндовые виртуалки и нынче даже AK> 40T raw кластер сделает? Вот и я думаю что нет. Hе вижу проблем никаких. У меня уже подключена по USB3 док-станция на SATA-диски (2.5" и 3.5"), плюс внутренний порт SATA-3 стандартный. 40TB raw это всего-то навсего четыре по 18TB и ZFS. AK> а куда девать шесть гигабитных портов - мне неведомо. Два разных провайдера, локалка (десктоп, отдельный wifi AP) - уже три порта занято. С тремя свободными портами под эксперименты и под изолированный сегмент можно жить без управляемого свича с жужжащим кулером, локалку держать на дешевом, но быстром неуправляемом свиче. Я управляемые свичи пробовал всякие разные и необходимость администрировать ещё и свич меня совсем не радует, даже в режиме "настроил и забыл". Особенно если оно жужжит. Eugene

From: Alex Korchmar Eugene Grosbein wrote: EG> Hи слова не понял. Ещё раз, зачем оно тебе? меня интересуют (в общем-целом в теории) железки не от интел. Правда, при многих если. Поддержка фрей в них уже не значится, за ненадобностью, к сожалению. AK>> например: https://www.hardkernel.com/shop/odroid-xu4-special-price/ AK>> грант никому никто не дал, конечно, поэтому работа чувака, сумевшего AK>> хотя бы начальную стадию загрузки на нем запустить - была выброшена AK>> в помойку, ну как обычно в этом фресофтваре и принято поступать с AK>> чужим трудом. EG> Во free software принято судьбу чужого труда оставлять EG> в руках его автора, если интереса для других этот труд EG> не представляет, и это правильно. представляет. Hо фресофтваре на самом деле плевать на этих других, если они не рулят грантами, вот в чем фокус-то. AK>> Hу или хотя бы это: https://www.hardkernel.com/shop/odroid-hc4/ AK>> хотя оно, конечно, дерьмо. EG> Hу и зачем тебе дерьмо? лучшего нет, или не по карману. EG> Лично у меня дома прекрасно себя показывает безвентилляторный продукт EG> китайских товарищей, который я неоднократно тут уже поминал у меня дома прекрасно себя показывает парочка 2960G, один, что поменьше - и безвентиляторный (на фоне вентилятора в шкафу в общем-то похер уже) и я собираюсь привинтить 5520 рядом в компанию. Десятигигабитные свитчи, к сожалению, бывают только с 15м ios, любителем call home. В гуанороутерах у меня потребности нет, совсем. Из тех вон штуковин - собираются сторадж кластеры (что напрочь исключает ценники в 300 баксофф и потребление киловаттами, судя по ребристому корпусу, его безвентиляторность недорого стоит). Hу и корейскому железу хоть и закрытому я доверяю больше чем китайскому. Хз каких троянцев напихал туда Ляо (поимо тех что вольно или невольно еще и сам интел) EG> Чё хочешь, то и сделает, включая виндовые виртуалки и нынче даже 40T raw кластер сделает? Вот и я думаю что нет. а куда девать шесть гигабитных портов - мне неведомо. > Alex