Цинизм в IT

Как заставить CentOS 6 реагировать на нажатие кнопки выключения питания?

2012-02-01T12:30:00.001+04:00

Очень просто, нужно поставить и запустить демон acpid:

yum install -y acpid
/etc/init.d/acpid start

Обалденнная история Танка Т-34 !

2012-01-30T21:28:00.002+04:00

Крайне рекомендую всем к просмотру: http://www.youtube.com/watch?v=2VxNkJfuOoE&feature=player_embedded

Отличный модуль для Nginx для кэширования данных не в памяти, а на ssd

2012-01-30T17:32:00.003+04:00

http://labs.frickle.com/nginx_ngx_slowfs_cache/

Наиболее эффективно использовать данный модуль в случае, если данные хранятся на медленном диске, а для кэша используется ssd.

Посылка логов ошибок ядра по сети

2012-01-29T22:54:00.001+04:00

http://www.cyberciti.biz/tips/linux-netconsole-log-management-tutorial.html

fdisk: Partition 1 does not end on cylinder boundary.

2012-01-29T22:50:00.004+04:00

Судя по тому, что сам инсталлятор Debian разбивает разделы так, что вызывается данная ошибка, полагаю, ее можно игнорировать:

fdisk -l

Disk /dev/sda: 120.0 GB, 120034123776 bytes
255 heads, 63 sectors/track, 14593 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x0003146f

Device Boot Start End Blocks Id System
/dev/sda1 1 487 3905536 82 Linux swap / Solaris
Partition 1 does not end on cylinder boundary.
/dev/sda2 487 14594 113312769 5 Extended
/dev/sda5 487 14594 113312768 83 Linux

А можно и не игнорировать, нужно дать партеду флаг parted -a cylinder и после этого он сам выровнеет так, что fdisk будет доволен.

Также обращаю внимание, что первый раздел начинается не с нуля, с 1 го мегабайта!

OpenVZ + vSWAP = баги!

2012-01-29T19:55:00.003+04:00

Очень неприятный баг, по определенным причинам нам нужно, чтобы контейнеры создавались с basic шаблоном (CONFIGFILE="basic"), но это не получается, так как при запуске /etc/init.d/vz он стирает и вписывается туда vswap-256mb.

[root@ovz1 ~]# cat /etc/vz/vz.conf| grep CONFIG
CONFIGFILE="basic"
[root@ovz1 ~]# /etc/init.d/vz restart
Bringing down interface venet0: [ OK ]
Stopping OpenVZ: [ OK ]
Starting OpenVZ: [ OK ]
Bringing up interface venet0: [ OK ]
Set CONFIGFILE="vswap-256m" in /etc/vz/vz.conf [ВНИМАНИЕ!]
[root@ovz1 ~]# cat /etc/vz/vz.conf| grep CONFIG
CONFIGFILE="vswap-256m"

Фикса нет!

update: фикс от меня в файле /etc/init.d/vz.

Заменяем:

if test $kv -ge 42; then
if grep -q $cfg_old $VZCONF; then
sed -i "s/${cfg_old}/${cfg_new}/" $VZCONF
print_warning "Set $cfg_new in $VZCONF"
fi
fi

На:

if test $kv -ge 42; then
# TODO: PATHED BY FastVPS
# old if grep -q $cfg_old $VZCONF; then
grep -q $cfg_old $VZCONF

# if we not found old CONFIGFILE name, set vswap
if [ $? -ne 0 ]; then
sed -i "s/${cfg_old}/${cfg_new}/" $VZCONF
print_warning "Set $cfg_new in $VZCONF"
fi
fi

После этого сброса не будет.

Bugzilla OpenVZ: http://bugzilla.openvz.org/show_bug.cgi?id=2169

Восстановление поврежденной таблицы разделов

2012-01-28T05:57:00.002+04:00

Repair parition table linux / freebsd.

Лучший софт для сабжа - testdisk, восстанвоил обнуленную таблицу разделов и обнаружил FreeBSD слайс.

Об использовании Puppet autosign

2012-01-27T15:09:00.000+04:00

The autosign.conf file (located at /etc/puppet/autosign.conf by default, and configurable with the autosign setting) is a list of certnames or certname globs (one per line) whose certificate requests will automatically be signed.

As any host can provide any certname, autosigning should only be used with great care, and only in situations where you essentially trust any computer able to connect to the puppet master.

Иными словами, решение об автоподписи сертификатов определяется на основе хостнейма, который передала клиентская машина, то есть, он может быть подделан. Иными словами, автоподпись можно использовать лишь в случае, когда доступ к Паппет Мастеру ограничен лишь доверенными узлами.

Источник: http://docs.puppetlabs.com/guides/configuring.html

Чудесная инициатива правительства Эстонии

2012-01-25T17:59:00.000+04:00

Проект Helkur.ee создан Департаментом шоссейных дорог Эстонии. Здесь предоставляется возможность посредством отсылки SMS подарить человеку отражатель, который может спасти ему жизнь!

Каждый подаренный отражатель будет обозначен на нашей карте светящейся точкой, указывающей на место, где проживает его получатель. Давайте сообща наполним всю Эстонию светом любви и заботы!

http://www.helkur.ee/rus/home

Установка mtr на XenServer 5.6

2012-01-24T22:57:00.001+04:00

yum install --enablerepo=base mtr screen

Источник: http://platonic.techfiz.info/2010/03/30/enable-additional-yum-repo-on-xen-server/

Реконструкция Самарского аэропорта, Курумоч до 2014года!

2012-01-24T15:50:00.002+04:00

http://travel.samara24.ru/news/2012/01/19/kurumoch__rekonstrukcija_ne_za_gorami/#gal=1&gali=7

Can't locate MySQL.pm in @INC

2012-01-23T18:08:00.002+04:00

Причины ошибки:

From http://search.cpan.org/~capttofu/DBD-mysql-3.0008/lib/Mysql.pm#DESCRIPTION

"As of March 1998, the Msql and Mysql modules are obsoleted by the DBI drivers
DBD::mSQL and DBD::mysql, respectively. You are strongly encouraged to implement
new code with the DBI drivers. In fact, Msql and Mysql are currently implemented
as emulations on top of the DBI drivers."

Фикс:

cpan
force install Bundle::Mysql

Всех с наступающим Новым Годом!

2011-12-31T19:20:00.000+04:00

Желаю всем как можно больше аптайма, как можно больше новых релизов любимого ПО и любимых ОС :) Как можно меньше критичных багов! А еще побольше улыбок и удовлетворения от работы! :)

MySQL Memory storage: Dec 29 18:55:07 stat mysqld: 111229 18:55:07 [ERROR] /usr/sbin/mysqld: The table 'domains' is full

2011-12-29T20:01:00.001+04:00

Подобная ошибка также может быть выдана ПО, осуществляющим добавление данных в MEMORY таблицу, так как кончилось место, зарезервированное под таблицы данного типа, чтобы исправить проблему, нужно увеличить лимит.

vim /etc/mysql/my.cnf

В блок [mysqld] добавляем:

max_heap_table_size=2048M

Перезапускаем СУБД:

/etc/init.d/mysql restart

Логгирование выдачи интерактивных команд посредством утилиты script

2011-12-26T20:34:00.000+04:00

Суть задачки легко можно понять по сабжу поста. Честно говоря, был искренне удивлен, найдя столь стандартное решение.

Запускаем интерактивное ПО в оболочке и выполняем там какие-либо действия:

script -q -a /var/log/mylog -c 'telnet ya.ru 80'
Trying 87.250.251.3...
Connected to ya.ru.
Escape character is '^]'.
GET / HTTP/1.1

HTTP/1.1 400 Bad Request
Server: nginx
Date: Mon, 26 Dec 2011 16:31:18 GMT
Content-Type: text/html; charset=windows-1251
Content-Length: 166
Connection: close

400 Bad Request

400 Bad Request

nginx

Connection closed by foreign host.
root@ovzgate:~#

Просмтриваем лог программы, в котором отразились все действия:

cat /var/log/mylog
Script started on Mon Dec 26 19:31:08 2011
Trying 87.250.251.3...
Connected to ya.ru.
Escape character is '^]'.
GET / HTTP/1.1

HTTP/1.1 400 Bad Request
Server: nginx
Date: Mon, 26 Dec 2011 16:31:18 GMT
Content-Type: text/html; charset=windows-1251
Content-Length: 166
Connection: close

400 Bad Request

400 Bad Request

nginx

Connection closed by foreign host.

CentOS 6 + OpenVZ = ужас с зависимостями при обновлении

2011-12-26T17:46:00.007+04:00

Итак, имеется совершенно чистый CentOS 6 (без каких-либо репозиториев кроме стандартных) с установленным OpenVZ ядром. А также желание сделать: yum update (а также наличие обычных ядер в грядущем апдейте).

Это желание разбивается вдребезги конфликтом зависимостей kernel-firmware :

Error: Package: kernel-2.6.32-220.2.1.el6.x86_64 (updates)
Requires: kernel-firmware >= 2.6.32-220.2.1.el6
Installed: vzkernel-firmware-2.6.32-042stab044.11.noarch (@openvz-kernel-rhel6)
kernel-firmware = 2.6.32-131.21.1.el6
Available: kernel-firmware-2.6.32-220.el6.noarch (base)
kernel-firmware = 2.6.32-220.el6
Available: kernel-firmware-2.6.32-220.2.1.el6.noarch (updates)
kernel-firmware = 2.6.32-220.2.1.el6
You could try using --skip-broken to work around the problem
You could try running: rpm -Va --nofiles --nodigest

Если обновление ядра не критично, то можно забить и игнорировать ошибки:

yum update --skip-broken

А что делать если критично? Фиксить!

Итак, посмотрим, какие версии пакета firmware у нас есть:

rpm -qa |grep kernel-firm
vzkernel-firmware-2.6.32-042stab044.11.noarch

Попробуем его снести:

yum remove vzkernel-firmware-2.6.32-042stab044.11.noarch
Loaded plugins: fastestmirror
Setting up Remove Process
Resolving Dependencies
--> Running transaction check
---> Package vzkernel-firmware.noarch 0:2.6.32-042stab044.11 will be erased
--> Finished Dependency Resolution

Dependencies Resolved

=========================================================================================================================================================================================
Package Arch Version Repository Size
=========================================================================================================================================================================================
Removing:
vzkernel-firmware noarch 2.6.32-042stab044.11 @openvz-kernel-rhel6 3.9 M

Transaction Summary
=========================================================================================================================================================================================
Remove 1 Package(s)

Installed size: 3.9 M
Is this ok [y/N]: Y
Downloading Packages:
Running rpm_check_debug
Running Transaction Test
Transaction Test Succeeded
Running Transaction
Erasing : vzkernel-firmware-2.6.32-042stab044.11.noarch 1/1

Removed:
vzkernel-firmware.noarch 0:2.6.32-042stab044.11

Complete!

Пробуем снова обновиться:

yum update
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
* base: centosg4.centos.org
* extras: centosg4.centos.org
* openvz-kernel-rhel6: mirror.softaculous.com
* openvz-utils: mirror.softaculous.com
* updates: mirror.nsc.liu.se
Setting up Update Process
Resolving Dependencies
--> Running transaction check
---> Package kernel.x86_64 0:2.6.32-220.2.1.el6 will be installed
--> Processing Dependency: kernel-firmware >= 2.6.32-220.2.1.el6 for package: kernel-2.6.32-220.2.1.el6.x86_64
Package kernel-firmware is obsoleted by vzkernel-firmware, but obsoleting package does not provide for requirements
--> Finished Dependency Resolution
Error: Package: kernel-2.6.32-220.2.1.el6.x86_64 (updates)
Requires: kernel-firmware >= 2.6.32-220.2.1.el6
Available: kernel-firmware-2.6.32-220.el6.noarch (base)
kernel-firmware = 2.6.32-220.el6
Available: kernel-firmware-2.6.32-220.2.1.el6.noarch (updates)
kernel-firmware = 2.6.32-220.2.1.el6
Available: vzkernel-firmware-2.6.32-042stab044.11.noarch (openvz-kernel-rhel6)
kernel-firmware = 2.6.32-131.21.1.el6
You could try using --skip-broken to work around the problem
** Found 2 pre-existing rpmdb problem(s), 'yum check' output follows:
kernel-2.6.32-131.17.1.el6.x86_64 has missing requires of kernel-firmware >= ('0', '2.6.32', '131.17.1.el6')
vzkernel-2.6.32-042stab044.11.x86_64 has missing requires of kernel-firmware >= ('0', '2.6.32', '131.21.1.el6')

Увы, не помогло и появились ошибки, так как данный пакет нужен системе и от него зависит пара пакетов.

Ставим пакет обратно:

yum install -y vzkernel-firmware

отключаем rhel-6 kernel репо (напротив rhel6 enabled=1 меняем на enabled=0):

vi /etc/yum.repos.d/openvz.repo

Пробуем обновить:

yum update
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
* base: centosg4.centos.org
* extras: centosg4.centos.org
* openvz-utils: mirror.softaculous.com
* updates: mirror.nsc.liu.se
openvz-utils | 1.2 kB 00:00
Setting up Update Process
Resolving Dependencies
--> Running transaction check
---> Package kernel.x86_64 0:2.6.32-220.2.1.el6 will be installed
--> Processing Dependency: kernel-firmware >= 2.6.32-220.2.1.el6 for package: kernel-2.6.32-220.2.1.el6.x86_64
--> Running transaction check
---> Package kernel-firmware.noarch 0:2.6.32-220.2.1.el6 will be installed
--> Finished Dependency Resolution

Dependencies Resolved

=========================================================================================================================================================================================
Package Arch Version Repository Size
=========================================================================================================================================================================================
Installing:
kernel x86_64 2.6.32-220.2.1.el6 updates 24 M
Installing for dependencies:
kernel-firmware noarch 2.6.32-220.2.1.el6 updates 6.2 M

Transaction Summary
=========================================================================================================================================================================================
Install 2 Package(s)

Total download size: 31 M
Installed size: 120 M
Is this ok [y/N]: Y
Downloading Packages:
http://mirror.nsc.liu.se/CentOS/6.2/updates/x86_64/Packages/kernel-2.6.32-220.2.1.el6.x86_64.rpm: [Errno 14] PYCURL ERROR 7 - "couldn't connect to host"
Trying other mirror.
(1/2): kernel-2.6.32-220.2.1.el6.x86_64.rpm | 24 MB 00:05
(2/2): kernel-firmware-2.6.32-220.2.1.el6.noarch.rpm | 6.2 MB 00:01
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Total 1.1 MB/s | 31 MB 00:27
Running rpm_check_debug
Running Transaction Test

Transaction Check Error:
file /lib/firmware/3com/3C359.bin from install of kernel-firmware-2.6.32-220.2.1.el6.noarch conflicts with file from package vzkernel-firmware-2.6.32-042stab044.11.noarch
file /lib/firmware/3com/typhoon.bin from install of kernel-firmware-2.6.32-220.2.1.el6.noarch conflicts with file from package vzkernel-firmware-2.6.32-042stab044.11.noarch
file /lib/firmware/acenic/tg1.bin from install of kernel-firmware-2.6.32-220.2.1.el6.noarch conflicts with file from package vzkernel-firmware-2.6.32-042stab044.11.noarch
file /lib/firmware/acenic/tg2.bin from install of kernel-firmware-2.6.32-220.2.1.el6.noarch conflicts with file from package vzkernel-firmware-2.6.32-042stab044.11.noarch
file /lib/firmware/adaptec/starfire_rx.bin from install of kernel-firmware-2.6.32-220.2.1.el6.noarch conflicts with file from package vzkernel-firmware-2.6.32-042stab044.11.noarch
file /lib/firmware/adaptec/starfire_tx.bin from install of kernel-firmware-2.6.32-220.2.1.el6.noarch conflicts with file from package vzkernel-firmware-2.6.32-042stab044.11.noarch
file /lib/firmware/advansys/3550.bin from install of kernel-firmware-2.6.32-220.2.1.el6.noarch conflicts with file from package vzkernel-firmware-2.6.32-042stab044.11.noarch
file /lib/firmware/advansys/38C0800.bin from install of kernel-firmware-2.6.32-220.2.1.el6.noarch conflicts with file from package vzkernel-firmware-2.6.32-042stab044.11.noarch
file /lib/firmware/advansys/38C1600.bin from install of kernel-firmware-2.6.32-220.2.1.el6.noarch conflicts with file from package vzkernel-firmware-2.6.32-042stab044.11.noarch
file /lib/firmware/advansys/mcode.bin from install of kernel-firmware-2.6.32-220.2.1.el6.noarch conflicts with file from package vzkernel-firmware-2.6.32-042stab044.11.noarch
file /lib/firmware/atmsar11.fw from install of kernel-firmware-2.6.32-220.2.1.el6.noarch conflicts with file from package vzkernel-firmware-2.6.32-042stab044.11.noarch
Error Summary
-------------

Снова сносим нафиг пакет:

yum remove vzkernel-firmware-2.6.32-042stab044.11.noarch

И успешно выполняем апдейт:

yum update
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
* base: centosg4.centos.org
* extras: centosg4.centos.org
* openvz-utils: mirror.softaculous.com
* updates: mirror.nsc.liu.se
Setting up Update Process
Resolving Dependencies
--> Running transaction check
---> Package kernel.x86_64 0:2.6.32-220.2.1.el6 will be installed
--> Processing Dependency: kernel-firmware >= 2.6.32-220.2.1.el6 for package: kernel-2.6.32-220.2.1.el6.x86_64
--> Running transaction check
---> Package kernel-firmware.noarch 0:2.6.32-220.2.1.el6 will be installed
--> Finished Dependency Resolution

Dependencies Resolved

=========================================================================================================================================================================================
Package Arch Version Repository Size
=========================================================================================================================================================================================
Installing:
kernel x86_64 2.6.32-220.2.1.el6 updates 24 M
Installing for dependencies:
kernel-firmware noarch 2.6.32-220.2.1.el6 updates 6.2 M

Transaction Summary
=========================================================================================================================================================================================
Install 2 Package(s)

Total size: 31 M
Installed size: 120 M
Is this ok [y/N]: Y
Downloading Packages:
Running rpm_check_debug
Running Transaction Test
Transaction Test Succeeded
Running Transaction
Installing : kernel-firmware-2.6.32-220.2.1.el6.noarch 1/2
Installing : kernel-2.6.32-220.2.1.el6.x86_64 2/2

Installed:
kernel.x86_64 0:2.6.32-220.2.1.el6

Dependency Installed:
kernel-firmware.noarch 0:2.6.32-220.2.1.el6

Complete!

После этого, снова включаем репозиторий openvz (enabled=1) и еще раз обновляем систему:

yum update
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
* base: centosg4.centos.org
* extras: centosg4.centos.org
* openvz-kernel-rhel6: mirror.softaculous.com
* openvz-utils: mirror.softaculous.com
* updates: mirror.nsc.liu.se
openvz-kernel-rhel6 | 951 B 00:00
openvz-utils | 1.2 kB 00:00
Setting up Update Process
Resolving Dependencies
--> Running transaction check
---> Package kernel-firmware.noarch 0:2.6.32-220.2.1.el6 will be obsoleted
---> Package vzkernel-firmware.noarch 0:2.6.32-042stab044.11 will be obsoleting
--> Finished Dependency Resolution

Dependencies Resolved

=========================================================================================================================================================================================
Package Arch Version Repository Size
=========================================================================================================================================================================================
Installing:
vzkernel-firmware noarch 2.6.32-042stab044.11 openvz-kernel-rhel6 2.9 M
replacing kernel-firmware.noarch 2.6.32-220.2.1.el6

Transaction Summary
=========================================================================================================================================================================================
Install 1 Package(s)

Total download size: 2.9 M
Is this ok [y/N]: Y
Downloading Packages:
vzkernel-firmware-2.6.32-042stab044.11.noarch.rpm | 2.9 MB 00:00
Running rpm_check_debug
Running Transaction Test
Transaction Test Succeeded
Running Transaction
Installing : vzkernel-firmware-2.6.32-042stab044.11.noarch 1/2
Erasing : kernel-firmware-2.6.32-220.2.1.el6.noarch 2/2

Installed:
vzkernel-firmware.noarch 0:2.6.32-042stab044.11

Replaced:
kernel-firmware.noarch 0:2.6.32-220.2.1.el6

Complete!

Итого, kernel-firmware был почему-то замещен vzkernel-firmware. Скорее всего, при следующем апдейте ядра система вылетит снова. И баг, скорее всего, в OpenVZ репо, оно почему-то замещает собой стандартный пакет.

Итого, план фикса следующий:
1) Отключаем репо openvz (enabled=0): vi /etc/yum.repos.d/openvz.repo
2) Удаляем пакет: yum remove -y vzkernel-firmware
3) Обновляемся: yum update -y
4) Включаем репо openvz: vi /etc/yum.repos.d/openvz.repo
5) Обновляем систему (при этом, vzkernel-firmware будет установлен вновь): yum update -y
6) Устанавливаем новое ядро стандартным: vim /boot/grub/grub.conf
7) Радуемся :)

Описание бага в багзилле OpenVZ: http://bugzilla.openvz.org/show_bug.cgi?id=2129

Удобная работа с MySQL из Python посредством oursql

2011-12-21T16:22:00.001+04:00

Зачем? Во-первых, MySQL DB в чистом виде черезчур аскетичен и нет таких удобных вещей как плейсхолдеров (параметризированных запросов), а без них работать с MySQL совершенно не камильфо. Модуль написан на C, так что не стоит бояться тормозов.

Ставим зависимости:

apt-get install -y libmysqlclient-dev python-mysqldb

Собираем oursql:

pip install oursql

Вот пример кода, которого достаточно для удобной работы с MySQL:

#!/usr/bin/python

import oursql
import stat_config

conn = oursql.connect(host='127.0.0.1', user='db_user', passwd='db_password', db='db_name')

# return rows as dicts
curs = conn.cursor(oursql.DictCursor)

# return row as arrays
# curs = conn.cursor()

curs.execute("SELECT * FROM domains WHERE domain_id = ? LIMIT ?", (1, 10))

for row in curs:
print row

Визуально, модуль работает не просто быстро, а ОЧЕНЬ быстро! Что очень радует!

Офсайт: http://packages.python.org/oursql/

Профилирование проектов на Python

2011-12-21T14:59:00.001+04:00

apt-get install -y python-profiler

Запускаем скрипт:

python -m profile login_to_mysql.py
test data
6 function calls in 0.000 CPU seconds

Ordered by: standard name

ncalls tottime percall cumtime percall filename:lineno(function)
1 0.000 0.000 0.000 0.000 :0(execfile)
1 0.000 0.000 0.000 0.000 :0(setprofile)
1 0.000 0.000 0.000 0.000 :1()
1 0.000 0.000 0.000 0.000 login_to_mysql.py:3()
1 0.000 0.000 0.000 0.000 profile:0(execfile('login_to_mysql.py'))
0 0.000 0.000 profile:0(profiler)
1 0.000 0.000 0.000 0.000 testinclude.py:4()

Вот так вот легко и просто :)

Как собрать в MySQL таблице только уникальные данные?

2011-12-19T18:27:00.000+04:00

Вот потребовалось собирать в таблице только уникальные данные. Причем, требуется, чтобы при добавлении значение, которое уже есть в таблице, новая запись просто игнорировалась. Как это сделать?

Очень просто - добавить для поля ограничение UNIQUE, а при использовании INSERT использовать конструкцию вида: INSERT IGNORE INTO ips (ip) VALUES('11.22.33.44'). При этом, не будет выдаваться ошибка при вставке значения, которое уже имеется в таблице, но и не будет осуществляться само добавление.

Сборка libbgpdump на Debian 6 Squeeze

2011-12-19T13:35:00.000+04:00

Офсайт: http://www.ris.ripe.net/source/bgpdump/

apt-get install -y libbz2-dev
cd /usr/src
wget http://www.ris.ripe.net/source/bgpdump/libbgpdump-1.4.99.13.tgz
tar -xf libbgpdump-1.4.99.13.tgz
cd libbgpdump-1.4.99.13
./configure --prefix=/opt/libbgpdump
make install
./bgpdump --help
mv bgpdump /opt

Где можно взять актуальное содержимое Full BGP таблицы?

2011-12-19T13:20:00.004+04:00

Вот тут в текстовом формате: ftp://archive.routeviews.org/oix-route-views/

А вот тут в бинарном (MRT TABLE DUMP V2 ): ftp://archive.routeviews.org/bgpdata/2011.12/RIBS/

Подробнее о проекте: http://routeviews.org/

Получить номер ASN по IP адресу

2011-12-19T12:42:00.000+04:00

Для этого есть замечательный быстрый сервис (впрочем, искомую информацию всегда можно найти руками): http://asn.cymru.com/

Не работает LOAD DATA INFILE от рядового пользователя MySQL

2011-12-18T15:50:00.001+04:00

При этом, от рута LOAD DATA INFILE работает отлично.

Как пофиксить? Нужно нашему пользователю дать дополнительные права:

grant file on *.* to db_user@localhost;
flush privileges;

Использование замкнутых циклов в Python

2011-12-17T17:24:00.000+04:00

Возможно, с темой поста не все так гладко, но постараюсь описать, что я хотел. Имеется задача - создается заданное число классов и каждый класс должен получить при иницилизации 1 из нескольких (адреса серверов) идентификаторов. Как это реализовать красиво и нэтивно? Сразу в голову пришел кольцевой цикл и он, оказывается, уже есть в Питоне :)

Вот такой простенький код:

from itertools import cycle
my_cycle = cycle( [1,2,3] )
>>> print my_cycle.next()
1
>>> print my_cycle.next()
2
>>> print my_cycle.next()
3
>>> print my_cycle.next()
1
>>> print my_cycle.next()
2
>>> print my_cycle.next()
3

Просмотр статистики PowerDNS recursor

2011-12-17T00:11:00.001+04:00

rec_control get-all
all-outqueries 17950
dlg-only-drops 0
outgoing-timeouts 342
tcp-outqueries 0
throttled-out 14
throttled-outqueries 14
unreachables 58
answers-slow 307
answers0-1 228
answers1-10 0
answers10-100 2746
answers100-1000 3102
case-mismatches 0
chain-resends 2
client-parse-errors 0
edns-ping-matches 0
edns-ping-mismatches 0
ipv6-outqueries 0
no-packet-error 7896
noedns-outqueries 17949
noerror-answers 5694
noping-outqueries 0
nsset-invalidations 103
nxdomain-answers 15
over-capacity-drops 0
qa-latency 50242
questions 11548
resource-limits 0
server-parse-errors 0
servfail-answers 5839
spoof-prevents 0
tcp-client-overflow 0
tcp-questions 0
unauthorized-tcp 0
unauthorized-udp 0
unexpected-packets 0
cache-entries 15959
cache-hits 228
cache-misses 6155
concurrent-queries 0
negcache-entries 168
nsspeeds-entries 7474
packetcache-entries 6100
packetcache-hits 5165
packetcache-misses 6383
sys-msec 2129
throttle-entries 516
uptime 1055
user-msec 1760

Увеличение числа рабочих потоков у PowerDNS Recursor

2011-12-16T23:56:00.000+04:00

Осуществляется в файле:

vim /etc/powerdns/recursor.conf

Директивой:

threads=12

После этого необходим перезапуск (Debian 6 Squeeze):

/etc/init.d/pdns-recursor restart

Итого:

cat /var/log/daemon.log |grep pdns | grep threads
Dec 13 19:04:28 stat pdns_recursor[11710]: Launching 2 threads
Dec 15 18:39:33 stat pdns_recursor[3534]: Launching 2 threads
Dec 15 18:40:21 stat pdns_recursor[3569]: Launching 2 threads
Dec 16 21:37:11 stat pdns_recursor[15655]: Launching 2 threads
Dec 16 22:53:09 stat pdns_recursor[17691]: Launching 12 threads

Установка SQLAlchemy на Debian 6 Squeeze

2011-12-16T02:48:00.000+04:00

Ставим нужные пакеты (С-зависимости необходимы для сборки бинарных библиотек, ускоряющих работу SQLAlchemy):

apt-get install -y python-pip gcc python2.6-dev

Ставим библиотеку:

pip install sqlalchemy

Ставим библиотеку для поддержки требуемого движка СУБД:

apt-get install -y python-mysqldb

Убеждаемся, что все установилось корректно:

python
Python 2.6.6 (r266:84292, Dec 26 2010, 22:31:48)
[GCC 4.4.5] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import sqlalchemy
>>> sqlalchemy.__version__
'0.7.4'
>>>

Все!

Написано на базе инструкции: http://phpsuxx.blogspot.com/2009/10/pylons_18.html

Очень грамотная и правильная мысль при решении нетрвиальных задач

2011-12-16T02:10:00.003+04:00

Обращаю внимание именно на второй ответ!

При ответе на вопросы в рамках office hours (то есть ответы на вопросы от учеников от преподавателей курса) было как минимум два интерсных вопроса-ответа. Далее вольный перевод по памяти с моими возможными добавками:

Ученик: Почему вы делаете эти курсы бесплатно для всех?

Себастиан: Мы делаем это из-за вас (показывает в экран). because of you! Так восхитительно делиться знаниями с таким огномных количеством людей. У меня никогда не было такой огромной группы!

Ученик: Что вы посоветуете читать?

Себастиян: Ничего не читайте. Выберите задачу, которая вам интересна (она может быть даже уже решена кем-то) и попробуйте решить ее. И когда вы ее решите своим способом, то потом вы можете почитать как она решалась другими. И я так же гарантирую (что-то вроде этого слова), что пока вы решаете такого рода задачи вы увидите около 10 задач, которые еще не решены и вот их-то и будет понастоящему интересно решать.

Взято с: http://vostryakov.ru/blog/38-intoduction-ai/

pip или easy_install?

2011-12-16T02:03:00.004+04:00

Есди верить официальной документации pip, то именно его нужно использовать, так как он являестя более новой заменой для easy_install:

pip is a tool for installing and managing Python packages, such as those found in the Python Package Index. It’s a replacement for easy_install.

Кроме этого, у pip есть функция uninstall, которая ставит его на голову выше easy_install!

Установка на Debian:

apt-get install -y python-pip

Источник: http://www.pip-installer.org/en/latest/index.html

Встрчайте приемника Pylons - Pyramid !

2011-12-16T01:19:00.002+04:00

http://www.pylonsproject.org/

Простейшее многопоточное приложение на Python

2011-12-16T01:06:00.005+04:00

#!/usr/bin/python

from threading import Thread
import time

class testThread(Thread):
def __init__(self, number):
Thread.__init__(self)
self.number = number
def run(self):
time.sleep(2)
print "Hello from thread %d" % self.number

threads_list = []
for i in range (1,10):
test_thread_object = testThread(i)
threads_list.append(test_thread_object)
test_thread_object.start()

for thread in threads_list:
thread.join()

Вот трейс исполнения:

time python threads.py
Hello from thread 3Hello from thread 1
Hello from thread 5

Hello from thread 6
Hello from thread 4Hello from thread 2
Hello from thread 7Hello from thread 9

Hello from thread 8

real 0m2.050s
user 0m0.035s
sys 0m0.015s

Вообще, очень красиво и лаконично все. Да и по отзывам, в отличие от Перла, у Питона с многопоточностью все хорошо.

Источники: http://www.wellho.net/solutions/python-python-threads-a-first-example.html и http://docs.python.org/library/threading.html#thread-objects

Отличная статья по асинхронному DNS резволвингу посредством adns из Python

2011-12-15T19:42:00.000+04:00

http://www.catonmat.net/blog/asynchronous-dns-resolution/

Ставить сие чудо очень просто:

apt-get install -y python-adns

Результаты обоих вариантов (slow и fast) на моей машине примерно следующие:

python slow.py
It took 31.14 seconds to resolve 100 hosts.
python fast.py
It took 7.30 seconds to resolve 100 hosts.

Это при условии, что на машине работал локальный DNS резольвер (PowerDNS).

Ресурс для всех по IPv6 от RIPE !

2011-12-15T18:01:00.001+04:00

http://www.ipv6actnow.org/

Все, что Вы хотите знать об IPv6 Вы найдете на нем!

26 рекомендаций по улучшению безопасности PHP

2011-12-15T03:59:00.002+04:00

http://www.cyberciti.biz/tips/php-security-best-practices-tutorial.html

Какой, по мнению Red Hat, планировщик в Линукс лучше вссего для СУБД

2011-12-15T03:55:00.002+04:00

Deadline, потому что.

Вышел Solaris 11!

2011-12-15T03:48:00.002+04:00

Лучше поздно, чем никогда :) Не могу такое событие оставить без вниамния http://www.opennet.ru/opennews/art.shtml?num=32267

Новый язык программирования от Red Hat - Ceylon

2011-12-15T03:44:00.001+04:00

http://www.opennet.ru/opennews/art.shtml?num=32364

Виртуальная машина для выполнения PHP от Facebook

2011-12-15T03:35:00.000+04:00

Прошу: https://www.facebook.com/notes/facebook-engineering/the-hiphop-virtual-machine/10150415177928920 ! Весьма интересный проект, рекомендую с описанием ознакомиться всем.

Яндекс Спамооборона - RIP

2011-12-15T03:05:00.002+04:00

Все, коммерческая версия данного продукта более не продается: http://so.yandex.ru/news/2011/index.xml#2011-07-04, всем клиентам рекомендуют переход на SaaS решение "Яндекс Почта для домена".

Вспоминая, сколько дней у меня заняла борьба с кривостями скриптов, настоящая война с выжиранием ресурсов демоном so, а также проверка демона so на факт жизнедеятельонсти всевозможными могниторингами... хочется удалить приписку "RIP" и заменить на что-нибудь недоброе, но как говорят... либо никак, либо хорошо.

Сводная таблица сравнения гипервизоров

2011-12-15T02:43:00.002+04:00

http://www.vmguru.nl/wordpress/2011/11/updated-enterprise-hypervisor-comparison/

Добавление возможности управления виртуальными машинами через Web интерфейс на VmWare ESXi

2011-12-15T02:40:00.002+04:00

http://www.virtuallyghetto.com/2011/12/ghetto-webaccess-for-esxi.html

Супер инициатива в области виртулизации - Open Stack

2011-12-15T02:29:00.001+04:00

http://openstack.org/

Защита от DDoS сайтов в Chrome

2011-12-14T11:49:00.000+04:00

Если часто обновлять страничку, которая выдает код 5xx, то на 2й-3й раз Chrome выдаст предупреждение, что так делать не нужно:

In order to prevent Distributed Denial of Service (DDoS) attacks from being perpetrated by web pages and extensions that run within Chrome, the HTTP throttling mechanism keeps track of errors requesting a given URL (minus the query parameters), and after a few 5xx errors in a row, starts exponentially increasing an interval during which requests to the given URL are disallowed.

You may enable or disable the feature below. Please let us know if the feature is causing problems for your web site. More details and contact information at http://dev.chromium.org/throttling.

Throttle HTTP requests if the server has been overloaded or encountered an error.

Ускорение скорости резолвинга за счет использования PowerDNS recursor на Debian Squeeze

2011-12-13T20:11:00.000+04:00

Итак, имеем необходимость в частых DNS запросах:

time for i in `seq 1 100`; do host ya.ru > /dev/null; done

real 0m4.938s
user 0m0.160s
sys 0m0.149s
root@stat:~# time for i in `seq 1 1000`; do host ya.ru > /dev/null; done

real 0m50.746s
user 0m1.601s
sys 0m1.465s

Скорость, как видно, очень низкая и подобная скорость реакции может стать узким горлышком приложения.

Чтобы исправить подобное поведение, можно поставить локальный кэширующий DNS, мне нравится PowerDNS Recursor:

apt-get install -y powerdns-recursor

После установки необходимо сделать установленный DNS сервер основным в системе:

vim /etc/resolv.conf

И в самый верх добавляем следующее, а имеющиеся записи комментируем диезом:

nameserver 127.0.0.1

Повторяем тест:

time for i in `seq 1 1000`; do host ya.ru > /dev/null; done

real 0m3.400s
user 0m1.456s
sys 0m1.735s
root@stat:~# time for i in `seq 1 1000`; do host ya.ru > /dev/null; done

real 0m3.520s
user 0m1.532s
sys 0m1.735s
root@stat:~# time for i in `seq 1 1000`; do host ya.ru > /dev/null; done

real 0m3.487s
user 0m1.452s
sys 0m1.782s

Все, результат достигнут, на множестве одинаковых запросов будет достигаться серьезное повышение скорости работы.

HTTP PUT vs POST для загрузки файлов, что лучше?

2011-12-13T19:29:00.002+04:00

По инфе с stackoverflow:

The PUT method, though not as widely used as the POST method is perhaps the more efficient way of uploading files to a server. This is because in a POST upload the files neede to be combined together into a multipart message and this message has to be decoded at the server. In contrast, the PUT method allows you to simply write the contents of the file to the socket connection that is established with the server.

Информация из мана cURL подтверждает, что для загрузки файлов PUT - лучший вариант:

5. PUT

The perhaps best way to upload data to a HTTP server is to use PUT. Then
again, this of course requires that someone put a program or script on the
server end that knows how to receive a HTTP PUT stream.

Put a file to a HTTP server with curl:

curl --upload-file uploadfile http://www.example.com/receive.cgi

Вышел CentOS 6.1 !

2011-12-10T23:50:00.002+04:00

Ну наконец-то! Ссылка: http://www.centos.org/

Описание технологии vSwap в новых OpenVZ ядрах

2011-12-10T23:46:00.002+04:00

http://openvz.livejournal.com/39644.html

Как убрать warning у Python Paramiko: No handlers could be found for logger "paramiko.transport"

2011-12-10T16:10:00.000+04:00

Фиксится легко, достаточно перед кодом с paramiko указать логгер:

paramiko.util.log_to_file('paramiko.log')

Debian Squeeze и часовой пояс Киева

2011-12-02T17:41:00.001+04:00

В связи с рядом обсуждений в Раде, так не понятно, отменили переход на летнее время или нет. В итоге из-за этой неопределенности, в Debian Squeeze некорректные данные по часовой зоне Киева.

До фикса:

zdump -v /usr/share/zoneinfo/Europe/Kiev | grep 2011
/usr/share/zoneinfo/Europe/Kiev Sun Mar 27 00:59:59 2011 UTC = Sun Mar 27 02:59:59 2011 EET isdst=0 gmtoff=7200
/usr/share/zoneinfo/Europe/Kiev Sun Mar 27 01:00:00 2011 UTC = Sun Mar 27 04:00:00 2011 FET isdst=0 gmtoff=10800

Фикс (пакет от wheezy):

wget http://ftp.us.debian.org/debian/pool/main/t/tzdata/tzdata_2011n-1_all.deb
dpkg -i tzdata_2011n-1_all.deb

После фикса:

zdump -v /usr/share/zoneinfo/Europe/Kiev | grep 2011
/usr/share/zoneinfo/Europe/Kiev Sun Mar 27 00:59:59 2011 UTC = Sun Mar 27 02:59:59 2011 EET isdst=0 gmtoff=7200
/usr/share/zoneinfo/Europe/Kiev Sun Mar 27 01:00:00 2011 UTC = Sun Mar 27 04:00:00 2011 EEST isdst=1 gmtoff=10800
/usr/share/zoneinfo/Europe/Kiev Sun Oct 30 00:59:59 2011 UTC = Sun Oct 30 03:59:59 2011 EEST isdst=1 gmtoff=10800
/usr/share/zoneinfo/Europe/Kiev Sun Oct 30 01:00:00 2011 UTC = Sun Oct 30 03:00:00 2011 EET isdst=0 gmtoff=7200

Выпиcка из баг-трекера Debian: http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=647830

Установка CentOS 6 по VNC

2011-12-01T17:04:00.000+04:00

В инсталляторе корректируем первый пункт через tab и дописываем "vnc". После этого будет предложено выбрать сетевую карту и сконфигурировать ее.

После этого, машина напишет, что VNC запущен и укажет порт и айпи: Please manually connect your vnc client to 192.168.1.110:1 to begin install. После этого подключаемся VNC клиентом и ставим ОС. Очень актуально в случаях, когда по тем или иным причинам не запускается графический инсталлятор, но в то же время требуется кастомная разбивка, которая отсутсвтует в текстовой версии инсталлера.

Проблема с кастомной разбивкой дисков при CentOS 6 text install

2011-12-01T16:28:00.002+04:00

К сожалению, нет возможности настроить разделы вручную, об этом сказано в документации:

The text installer has limited capabilities compared to the GUI installer. Most notably there is no support for configuring partition layout, storage methods or package selection. Please refer to the official documentation for details. Here you can find some useful information on creating and using kickstart files which can be used to perform advanced configuring without the need for the GUI installer.

Источник: http://wiki.centos.org/Manuals/ReleaseNotes/CentOS6.0

Как запустить инсталлятор CentOS 6 в текстовом режиме?

2011-12-01T16:25:00.001+04:00

В окне выбора опций установки tab на первом пункте и дописываем через пробел: text.

Когда оканчивается поддержка дистрибутива Debian Lenny?

2011-11-28T12:21:00.000+04:00

Явно это нигде не указано:

Q: How long will security updates be provided?

A: The security team tries to support a stable distribution for about one year after the next stable distribution has been released, except when another stable distribution is released within this year. It is not possible to support three distributions; supporting two simultaneously is already difficult enough.

А Debian 6 Squeeze вышел 8 фефраля 2011 года: http://www.debian.org/releases/stable/index.ru.html

Путем недолгого продолжения логических рассуждений, понимаем, что окончание поддержки выпадает на февраль 2012 года.

Источник: http://www.debian.org/security/faq

FreeBSD - загрузка с USB

2011-11-25T12:52:00.001+04:00

При загрузке FreeBSD с usb, очень распространена ситуация, когда система не дождалась инициализации USB и выдала "кант маунт рут", но в dmesg при этом видно, что флешка подмонтировалась, но с задержкой.

Для борьбы с этим, нужно увеличить таймаут ожидания root устройства:

vi /boot/loader.conf

И добавить там:

kern.cam.boot_delay=10000

Источник: http://forums.freebsd.org/showthread.php?t=23349

VDSManager & CentOS 6 = все очень странно работает

2011-11-21T12:12:00.002+04:00

У нас чистый CentOS 6 с VDSManager создает контейнеры с некорректными настройками памяти - мы задаем гигабайт, два, пять, а памяти все равно 256 мб. А виной тому, что неявно используется не шаблон ve-basic, а шаблон ve-vswap:

ls /etc/vz/conf/ | grep vswap
ve-vswap-1024m.conf-sample
ve-vswap-256m.conf-sample
ve-vswap-512m.conf-sample

Который в принципе не совместим со старым типом к настроек UBC. Больше информации можете прочесть либо у меня в блоге http://phpsuxx.blogspot.com/2011/11/ubc-openvz-rhelcentos-6.html либо в оф источнике: http://wiki.openvz.org/VSwap

Порылись в проблеме поглубже, выяснилось следующее - так ведет себя новый vzctl, я сейчас просто руками создавал VPS и он сам вкатил щаблон ve-swap:

strace -o trace -f /usr/sbin/vzctl create 56131 --ostemplate debian-6.0-x86_64 --ipadd 176.9.219.67 --hostname test.ru

Лог стрейса внизу:

26170 link("/vz/lock/56131.lckqsZEVT", "/vz/lock/56131.lck") = 0
26170 unlink("/vz/lock/56131.lckqsZEVT") = 0
26170 rt_sigaction(SIGINT, {SIG_IGN, [], SA_RESTORER, 0x7fed4b433980}, NULL, 8) = 0
26170 stat("/etc/vz/conf/56131.conf", 0x7fffb7f445b0) = -1 ENOENT (No such file or directory)
26170 stat("/etc/vz/conf/ve-vswap-256m.conf-sample", {st_mode=S_IFREG|0644, st_size=1581, ...}) = 0
26170 stat("/etc/vz/conf/ve-vswap-256m.conf-sample", {st_mode=S_IFREG|0644, st_size=1581, ...}) = 0
26170 open("/etc/vz/conf/ve-vswap-256m.conf-sample", O_RDONLY) = 5
26170 open("/etc/vz/conf/56131.conf", O_RDWR|O_CREAT, 0100644) = 6
26170 read(5, "# Copyright (C) 2000-2011, Para"..., 4096) = 1581
26170 write(6, "# Copyright (C) 2000-2011, Para"..., 1581) = 1581
26170 read(5, "", 4096) = 0
26170 close(5) = 0
26170 close(6) = 0
26170 open("/etc/vz/conf/ve-vswap-256m.conf-sample", O_RDONLY) = 5
26170 stat("/etc/vz/conf/ve-vswap-256m.conf-sample", {st_mode=S_IFREG|0644, st_size=1581, ...}) = 0
26170 fstat(5, {st_mode=S_IFREG|0644, st_size=1581, ...}) = 0
26170 mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7fed4bdb3000
26170 read(5, "# Copyright (C) 2000-2011, Para"..., 4096) = 1581
26170 read(5, "", 4096) = 0

Иными словами, ранее он молча подозревал, что используется шаблон ve-basic, но с новой версии он юзает ve-swap, который не совместим со старым вариантом настроек UBC.

Вот так.. в итоге - без напильника ничего не работает вообще.

Итого фикс:

/etc/vz/vz.conf
@@ -33,7 +33,7 @@
## Defaults for containers
VE_ROOT=/vz/root/$VEID
VE_PRIVATE=/vz/private/$VEID
-CONFIGFILE="vswap-256m"
+CONFIGFILE="basic"
DEF_OSTEMPLATE="centos-5"

RandomPool_DeprecationWarning: This application uses RandomPool, which is BROKEN in older releases

2011-11-18T17:30:00.001+04:00

Имеем баг:

python -c "import paramiko"
/usr/lib/python2.6/dist-packages/Crypto/Util/randpool.py:40: RandomPool_DeprecationWarning: This application uses RandomPool, which is BROKEN in older releases. See http://www.pycrypto.org/randpool-broken
RandomPool_DeprecationWarning)

Чтобы пофиксить открываем Питон-файл:

vim /usr/lib/python2.6/dist-packages/Crypto/Util/randpool.py

И комментируем следующие строки:

#warnings.warn("This application uses RandomPool, which is BROKEN in older releases. See http://www.pycrypto.org/randpool-broken",
# RandomPool_DeprecationWarning)

После этого проблема исчезнет, но, обращаю внимания, это немного некорректный фикс.

Использование замены UBC в OpenVZ для RHEL/CentOS 6

2011-11-18T12:15:00.000+04:00

В версии OpenVZ для 2.6.32 есть два варианта ограничения ресурсов контейнера, старый классический UBC и новый - vSwap.

Для создания VPS с классическими лимитами можно использовать команду:

vzctl create 101 --ostemplate debian-5-x86_64 --config basic --hostname testvps.fastvps.ru

UB параметры контейнера будут иметь следующий вид:

cat /proc/user_beancounters
Version: 2.5
uid resource held maxheld barrier limit failcnt
101: kmemsize 2737572 4407296 14372700 14790164 0
lockedpages 0 0 2048 2048 0
privvmpages 1378 14003 65536 69632 0
shmpages 0 0 21504 21504 0
dummy 0 0 0 0 0
numproc 10 36 240 240 0
physpages 5174 10811 0 9223372036854775807 0
vmguarpages 0 0 33792 9223372036854775807 0
oomguarpages 914 914 26112 9223372036854775807 0
numtcpsock 4 4 360 360 0
numflock 1 4 188 206 0
numpty 0 0 16 16 0
numsiginfo 1 18 256 256 0
tcpsndbuf 69760 69760 1720320 2703360 0
tcprcvbuf 65536 65536 1720320 2703360 0
othersockbuf 6936 8456 1126080 2097152 0
dgramrcvbuf 0 1288 262144 262144 0
numothersock 32 33 360 360 0
dcachesize 1383859 1440285 3409920 3624960 0
numfile 127 245 9312 9312 0
dummy 0 0 0 0 0
dummy 0 0 0 0 0
dummy 0 0 0 0 0
numiptent 20 20 128 128 0

Конфиг контейнера тоже будет выглядить как и раньше:

cat /etc/vz/conf/101.conf
# Copyright (C) 2000-2011, Parallels, Inc. All rights reserved.
#
# This program is free software; you can redistribute it and/or modify
# it under the terms of the GNU General Public License as published by
# the Free Software Foundation; either version 2 of the License, or
# (at your option) any later version.
#
# This program is distributed in the hope that it will be useful,
# but WITHOUT ANY WARRANTY; without even the implied warranty of
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
# GNU General Public License for more details.
#
# You should have received a copy of the GNU General Public License
# along with this program; if not, write to the Free Software
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
#

# UBC parameters (in form of barrier:limit)
KMEMSIZE="14372700:14790164"
LOCKEDPAGES="2048:2048"
PRIVVMPAGES="65536:69632"
SHMPAGES="21504:21504"
NUMPROC="240:240"
PHYSPAGES="0:unlimited"
VMGUARPAGES="33792:unlimited"
OOMGUARPAGES="26112:unlimited"
NUMTCPSOCK="360:360"
NUMFLOCK="188:206"
NUMPTY="16:16"
NUMSIGINFO="256:256"
TCPSNDBUF="1720320:2703360"
TCPRCVBUF="1720320:2703360"
OTHERSOCKBUF="1126080:2097152"
DGRAMRCVBUF="262144:262144"
NUMOTHERSOCK="360:360"
DCACHESIZE="3409920:3624960"
NUMFILE="9312:9312"
AVNUMPROC="180:180"
NUMIPTENT="128:128"

# Disk quota parameters (in form of softlimit:hardlimit)
DISKSPACE="2G:2.2G"
DISKINODES="200000:220000"
QUOTATIME="0"

# CPU fair scheduler parameter
CPUUNITS="1000"
HOSTNAME="testvps.fastvps.ee"
VE_ROOT="/vz/root/$VEID"
VE_PRIVATE="/vz/private/$VEID"
OSTEMPLATE="debian-5.0-x86_64"
ORIGIN_SAMPLE="basic"
IP_ADDRESS="176.9.54.124"

vzctl create 101 --ostemplate debian-5-x86_64 --config vswap-256m --hostname testvps.fastvps.ru

В итоге получим следующий вид параметров BC:

cat /proc/user_beancounters
Version: 2.5
uid resource held maxheld barrier limit failcnt
101: kmemsize 3369468 4431872 121634816 134217728 0
lockedpages 0 0 32768 32768 0
privvmpages 2461 14151 9223372036854775807 9223372036854775807 0
shmpages 18 354 9223372036854775807 9223372036854775807 0
dummy 0 0 0 0 0
numproc 10 33 9223372036854775807 9223372036854775807 0
physpages 5989 10780 0 65536 0
vmguarpages 0 0 0 9223372036854775807 0
oomguarpages 1145 1145 0 9223372036854775807 0
numtcpsock 5 6 9223372036854775807 9223372036854775807 0
numflock 2 4 9223372036854775807 9223372036854775807 0
numpty 0 0 9223372036854775807 9223372036854775807 0
numsiginfo 0 21 9223372036854775807 9223372036854775807 0
tcpsndbuf 87200 104640 9223372036854775807 9223372036854775807 0
tcprcvbuf 81920 98304 9223372036854775807 9223372036854775807 0
othersockbuf 6936 28720 9223372036854775807 9223372036854775807 0
dgramrcvbuf 0 2312 9223372036854775807 9223372036854775807 0
numothersock 32 36 9223372036854775807 9223372036854775807 0
dcachesize 1535996 1595162 60817408 67108864 0
numfile 180 250 9223372036854775807 9223372036854775807 0
dummy 0 0 0 0 0
dummy 0 0 0 0 0
dummy 0 0 0 0 0
numiptent 20 20 9223372036854775807 9223372036854775807 0

И намного более простой конфиг VPS:

cat /etc/vz/conf/101.conf
# Copyright (C) 2000-2011, Parallels, Inc. All rights reserved.
#
# This program is free software; you can redistribute it and/or modify
# it under the terms of the GNU General Public License as published by
# the Free Software Foundation; either version 2 of the License, or
# (at your option) any later version.
#
# This program is distributed in the hope that it will be useful,
# but WITHOUT ANY WARRANTY; without even the implied warranty of
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
# GNU General Public License for more details.
#
# You should have received a copy of the GNU General Public License
# along with this program; if not, write to the Free Software
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
#

# This config is valid for VSwap-enabled kernel (which currently means
# any RHEL6-based kernel, i.e. 042test* or 042stab*).

# UBC parameters (in form of barrier:limit)
PHYSPAGES="0:256M"
SWAPPAGES="0:512M"
KMEMSIZE="116M:128M"
DCACHESIZE="58M:64M"
LOCKEDPAGES="128M"
PRIVVMPAGES="unlimited"
SHMPAGES="unlimited"
NUMPROC="unlimited"
VMGUARPAGES="0:unlimited"
OOMGUARPAGES="0:unlimited"
NUMTCPSOCK="unlimited"
NUMFLOCK="unlimited"
NUMPTY="unlimited"
NUMSIGINFO="unlimited"
TCPSNDBUF="unlimited"
TCPRCVBUF="unlimited"
OTHERSOCKBUF="unlimited"
DGRAMRCVBUF="unlimited"
NUMOTHERSOCK="unlimited"
NUMFILE="unlimited"
NUMIPTENT="unlimited"

# Disk quota parameters (in form of softlimit:hardlimit)
DISKSPACE="2G:2.2G"
DISKINODES="200000:220000"
QUOTATIME="0"

# CPU fair scheduler parameter
CPUUNITS="1000"
HOSTNAME="testvps.fastvps.ru"
VE_ROOT="/vz/root/$VEID"
VE_PRIVATE="/vz/private/$VEID"
OSTEMPLATE="debian-5.0-x86_64"
ORIGIN_SAMPLE="vswap-256m"
IP_ADDRESS="176.9.54.124"
NAMESERVER="213.133.98.98 213.133.100.100 213.133.99.99"

Вот так :)

Больше информации: http://wiki.openvz.org/VSwap

Fibre vs fiber

2011-11-13T18:40:00.001+04:00

Имея дело с оптико-волоконным оборудованием, часто встречаешься с обоими вариантами написания. Так в чем же отличие?

Очень просто, fiber - предпочитаемое написание в случае Американского английского, а fibre в случае Британского, Канадского, Австралийского и Индийского английского.

Источник: http://www.grammarist.com/spelling/fiber-fibre/

В каких отношениях находятся Quagga и Zebra?

2011-11-11T23:01:00.002+04:00

Quagga - это продвинутый вариант Zebrba, так как Zebra уже несколько лет как остановилась в развитии: http://ru.wikipedia.org/wiki/Quagga

Несколько слов об RC моделизме, введение

2011-11-10T00:30:00.002+04:00

http://rc-mania.uaprom.net/a23557-chto-takoe-modelizm.html

Пример дополненной реальности на примере виртуальных RC моделей

2011-11-08T01:39:00.002+04:00

http://www.youtube.com/watch?v=kM6QDd0XqQ4

Потрясающий пример хайтек архитектуры - ансамбль в стиле лампового оборудования :)

2011-11-07T23:26:00.000+04:00

Источник: http://drugoi.livejournal.com/3647173.html#cutid1

Проверка существования юридического лица в РФ

2011-10-16T20:00:00.001+04:00

http://egrul.nalog.ru/

libcap-ng на CentOS 6

2011-10-12T13:59:00.002+04:00

Весьма полезная утилитка:

yum install -y libcap-ng-utils

/usr/bin/netcap
ppid pid acct command type port capabilities
1 1439 root sshd tcp 22 full
1 1516 root master tcp 25 full
1 1334 rpcuser rpc.statd tcp 55144 net_bind_service +
1439 2129 root sshd tcp 22 full
1 1439 root sshd tcp6 22 full
1 1334 rpcuser rpc.statd tcp6 41515 net_bind_service +
1 1334 rpcuser rpc.statd udp 46340 net_bind_service +
1 1334 rpcuser rpc.statd udp 662 net_bind_service +
1 1334 rpcuser rpc.statd udp6 60407 net_bind_service +

Ручная генерация содержимого shadow файла на примере Debian 6 Squeeze

2011-10-07T14:37:00.003+04:00

Итак, препарировать будем Debian 6.

Вот такой вид имеет запись в shadow файле для пользователя root:

cat /etc/shadow| grep root
root:$6$KlLePXXM$vak689Mz42.4HncLulKHvzWFqiVQ1KzBe6h1BZqf9.E1q9w8VJtAs9TbYbSh9h4F5rwISZqD4s9PXLvZsTjEc1:15250:0:99999:7:::

Где, 6 - это тип хеша, используемого для генерации пароля, 6 соответствует SHA-512. Далее идет salt (соль) строка "KlLePXXM", с ней хешируется наш пароль для повышения его криптостойкости. Соль может достигать 16 символов в длину. Далее следует как раз хеш пароля: vak689Mz42.4HncLulKHvzWFqiVQ1KzBe6h1BZqf9.E1q9w8VJtAs9TbYbSh9h4F5rwISZqD4s9PXLvZsTjEc1.

Вот так можно воспроизвести мой пароль, приведенный выше, это qwerty11:

mkpasswd -m sha-512 --salt=KlLePXXM qwerty11

В ответ будет выдана строка:

$6$KlLePXXM$vak689Mz42.4HncLulKHvzWFqiVQ1KzBe6h1BZqf9.E1q9w8VJtAs9TbYbSh9h4F5rwISZqD4s9PXLvZsTjEc1

Как видите, они идентичны.

К сожалению, данная утилита отсутствует в RH (RHEL 6) дистрибутивах и там нужно искать обходной путь, я его нашел (источник):

perl -e 'print crypt(q/qwerty11/, q/$6$KlLePXXM$/), "\n"'
$6$KlLePXXM$vak689Mz42.4HncLulKHvzWFqiVQ1KzBe6h1BZqf9.E1q9w8VJtAs9TbYbSh9h4F5rwISZqD4s9PXLvZsTjEc1

Источник: http://www.kernel.org/doc/man-pages/online/pages/man3/crypt.3.html

sed - удаление строки из файла

2011-10-07T14:09:00.002+04:00

Это довольно просто:

sed '/nrg/d' '/etc/shadow'

При этом будет удалена строка, содержащая подстроку "nrg".

ext4 & Debian 6 Squeeze

2011-10-07T13:31:00.002+04:00

Разработчики Debian рекомендуют ext4 (production ready) как стандартную ФС начиная с Debian Squeeze 6

Источник: http://wiki.debian.org/Ext4

Сколько места нужно grub?

2011-10-03T17:52:00.000+04:00

The GRUB development team generally recommends embedding GRUB before the first partition, unless you have special requirements. You must ensure that the first partition starts at least 31 KiB (63 sectors) from the start of the disk; on modern disks, it is often a performance advantage to align partitions on larger boundaries anyway, so the first partition might start 1 MiB from the start of the disk.

Источник: http://www.gnu.org/software/grub/manual/grub.html

guestfish и очень медленный tar-in

2011-10-03T15:13:00.002+04:00

Это победить очень легко, вместо:

moount /dev/vda1 /

используем:

mount-options "" /dev/vda1 /

Источник: http://libguestfs.org/FAQ.html#slowwrites

Замена OpenSSH ключей на Debian 6 Squeeze

2011-10-03T13:52:00.000+04:00

Итак, стоит задача - регенерировать ключи OpenSSH сервера.

Певроначальная попытка просто удалить ключи в надежде, что регенерируются сами ничего не дала, к сожалению:

rm /etc/ssh/ssh_host_*

При перезагрузке была выдана ошибка:

Starting OpenBDS Secure Shell Server: sshd
Could not load host key: /etc/ssh/ssh_host_rsa_key
Could not load host key: /etc/ssh/ssh_host_dsa_key

Чтобы ее не выдавало, нужно было сразу выполнить команду:

dpkg-reconfigure openssh-server

Он создаст новые ключи и задача будет выполнена.

Источник: http://www.cyberciti.biz/faq/howto-regenerate-openssh-host-keys/

Continious Release или обновление CentOS до версии 6.1

2011-10-03T12:47:00.001+04:00

Если Вы используете CentOS 6 и хотите иметь обновленное ПО как в RHEL 6.1, то сделать это так:

64 бита:

wget http://mirror.centos.org/centos/6/extras/x86_64/RPMS/centos-release-cr-6-0.el6.centos.x86_64.rpm
rpm -ihv centos-release-cr-6-0.el6.centos.x86_64.rpm

32 бита:

wget http://mirror.centos.org/centos/6/extras/i386/RPMS/centos-release-cr-6-0.el6.centos.i686.rpm
rpm -ihv centos-release-cr-6-0.el6.centos.i686.rpm

После этого запускаем yum update и ждем пока система будет обновлена до актуальной версии. Обращаю внимание, данное "пред обновление" в будущем не вызовет никаких проблем (по заявлениям мейнтенеров CentOS) и как только выйдет CentOS 6.1 обновиться до новой версии будет очень просто.

Источник: http://lists.centos.org/pipermail/centos-announce/2011-September/018078.html

Как добавить SRPM репо в CentOS 6 (CentOS 6.0 source repository, SRPM)

2011-10-02T20:40:00.000+04:00

Создаем файл репозитория:

vim /etc/yum.repos.d/CentOS-SRPMS.repo

Добавляем в него следующую информацию:

[base-SRPMS]
name=CentOS-$releasever - Base SRPMS
baseurl=http://mirror.centos.org/centos/$releasever/os/SRPMS
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6

[updates-SRPMS]
name=CentOS-$releasever - Updates SRPMS
baseurl=http://mirror.centos.org/centos/$releasever/updates/SRPMS
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6

VirtualBox + Mac OS 32 бита + 64 битный Core 2 Duo = запуск 64 разрядной Windows 2008

2011-09-20T02:25:00.000+04:00

file /bin/bash/bin/bash: Mach-O universal binary with 2 architectures/bin/bash (for architecture i386): Mach-O executable i386/bin/bash (for architecture ppc7400): Mach-O executable ppc

Как такое вообще возможно на 32 битной версии Mac OS?А вот так:

1.6 64-bit guestsStarting with Version 2.0, VirtualBox also supports 64-bit guest operating systems.Starting with Version 2.1, you can even run 64-bit guests on a 32-bit host operating system, so long as you have sufficient hardware.In detail, 64-bit guests are supported under the following conditions: 1. You need a 64-bit processor with hardware virtualization support (see chapter 1.2, Software vs. hardware virtualization (VT-x and AMD-V), page 10). 2. You must enable hardware virtualization for the particular VM for which you want 64-bit support; software virtualization is not supported for 64-bit VMs. Note: On most systems, the hardware virtualization features first need to be enabled in the BIOS before VirtualBox can use them. 3. If you want to use 64-bit guest support on a 32-bit host operating system, you must also select a 64-bit operating system for the particular VM. Since supporting 64 bits on 32-bit hosts incurs additional overhead, VirtualBox only enables this support upon explicit request.On 64-bit hosts, 64-bit guest support is always enabled, so you can simply install a 64-bit operating system in the guest.

Источник: http://geekswithblogs.net/twickers/archive/2009/02/06/129243.aspx

Windows 7 + VirtualBox = не работает printscreen

2011-09-20T01:43:00.002+04:00

Нужно делать скриншот вот так: Host (нажать и отпустить), Alt+PrintScreen!http://forum.virtualbox.org/viewtopic.php?f=9&t=8434&start=0&hilit=printscreen

Работа с WIndows SMB из Mac OS

2011-09-20T00:12:00.000+04:00

Достаточно в Сафари указать идентификатор протокола и все заработает: smb://192.168.1.5

nmap для Mac OS X

2011-09-19T21:24:00.001+04:00

http://nmap.org/download.html#macosx

Отличная статья про RESTful PHP

2011-09-19T14:59:00.002+04:00

http://habrahabr.ru/blogs/php/46032/

Копирование профиля пользователя в Windows 2008

2011-09-19T01:44:00.003+04:00

http://copyprofile.blogspot.com/

Статистические данные проекта speed test

2011-09-13T23:51:00.002+04:00

http://www.netindex.com/

Работа с geoip из Perl в Debian

2011-09-13T23:47:00.000+04:00

Устанавливаем ПО:

apt-get install -y libgeo-ip-perl

Вызываем из кода:

perl -e 'use Geo::IP; my $gi = Geo::IP->open("/usr/share/GeoIP/GeoIP.dat", GEOIP_STANDARD); print $gi->country_code_by_addr("81.21.yy.xx");'

В ответ скриптом будет выдан

Снижение энергопотребления серверов, серия статей от IBM

2011-09-12T19:44:00.000+04:00

http://www.ibm.com/developerworks/views/linux/libraryview.jsp?search_by=cpufreq

Как расшифровывается KVM?

2011-09-10T22:34:00.001+04:00

Очень банально - Keyboard Video Mouse.

Что такое WD IntelliPower

2011-09-10T21:35:00.000+04:00

IntelliPower is a fine-tuned balance of spin speed, transfer rate, and caching algorithms designed to deliver both significant power savings and solid performance. Additionally, GreenPower drives consume less current during start up allowing more drives to spin up simultaneously resulting in faster system readiness.

Источник: http://wdc.custhelp.com/app/answers/detail/a_id/3665/p/227%2C294/session/L3RpbWUvMTMxNTY3NjAyMS9zaWQvX0ludXdMRGs%3D

Отличные статьи про KVM и cgroups

2011-09-05T13:48:00.001+04:00

http://libc6.org/virtualization/

OpenVZ для CentOS 6 признан стабильным! Ура!

2011-09-02T16:25:00.001+04:00

http://openvz.livejournal.com/38801.html

Вышел Parallels Virtuozzo Containers 4.6 !

2011-09-02T15:55:00.000+04:00

Ограничение I/O диска

Задавайте ограничения на пропускную способность, доступную контейнерам для выполнения I/O-операций на диске. Ограничение пропускной способности I/O диска поможет предотвратить воздействие отдельных контейнеров на производительность всех остальных. Обеспечивает сервис-провайдерам защиту от DoS-атак и перерасхода ресурсов подписчиками. Позволяет предлагать VPS или облачные услуги с ограничением I/O диска.

Ограничения I/O диска при резервном копировании и миграции

Задайте ограничения на характеристики I/O диска для определенных процессов, включая резервное копирование, восстановление и миграцию, чтобы исключить риск снижения производительности всего сервера.

Учет I/O диска

Подробная статистика I/O диска доступна для каждого контейнера. С помощью этой статистики сервис-провайдеры могут следить за характеристиками I/O и процессами отдельных контейнеров. Эту информацию можно использовать для выявления контейнеров, которые создают самую большую нагрузку на I/O диска, что позволяет своевременно увидеть возможности для дополнительных продаж.

Улучшения vzstat

Помимо статистики учета i/o диска также доступна улучшенная статистика расхода процессорных ресурсов. Статистическую информацию можно легко получить через групповой и текстовый режимы, что упрощает интеграцию со сценариями и сторонними решениями.

Офссылка: http://www.parallels.com/ru/products/pvcl/whatsnew/#accounting

Размер полной BGP таблицы

2011-09-01T12:07:00.001+04:00

По данным вики, в апреле 2010 года было 310,000 префиксов.

А вот картинка с отображением динамики роста полной BGP таблицы до наших дней.
http://bgp.potaroo.net/

А вот актуальные в данный момент данные по размеру таблицы в цифрах: http://bgp.potaroo.net/index-bgp.html

Хорошая статья про различия в LXC и OpenVZ

2011-09-01T11:53:00.001+04:00

http://ru-openvz.livejournal.com/1970.html

Отладка плагинов munin

2011-08-25T16:49:00.002+04:00

Осуществляет вот примерно такой командой:

/usr/bin/munin-cron --debug --nofork --host srv1.domain.ru --service if_eth0

Презентации с KVM forum 2011

2011-08-24T14:35:00.001+04:00

http://www.linux-kvm.org/page/KVM_Forum_2011

Потребление электричества Датацентрами мира

2011-08-23T11:49:00.000+04:00

По оценкам Greenpeace, потребление электроэнергии всеми Дата-Центрами мира, составляет от 1,5 до 2 процентов от общемирового спроса и с каждый год эта потребность увеличивается на 12%. Если бы Интернет был страной, то он бы занял пятое место по объему потребления электроэнергии после России и Японии.

Источник: http://telecombloger.ru/7971

Подсчет pps в Линуксе

2011-08-18T16:35:00.000+04:00

Если с просмотром утилизации канала в Линукс нет никаких проблем, что с просмотром числа пакетов в секунду на приеме/передаче - небольшие сложности.

Вариант 1: iptraf

Устанавливаем:

yum install -y iptraf
apt-get install -y iptraf

Используем:
iptraf - Detailed interface statistics │ - eth0

Вариант 2: tcpstat

Устаналиваем:

apt-get install -y tcpstat
yum install -y tcpstat

Используем:

tcpstat -o "%p\n" -i eth0 1

В ответ будет выдано примерно следующее:

418.00
606.00
559.00
1645.00
1695.00
491.00
334.00
536.00
416.00

Вариант 3: собственный скрипт.

Написать его крайне легко, а для получения данных можно использовать приведенные ниже источники:

ifconfig eth0 | grep pack
RX packets:6494715125 errors:0 dropped:28045132 overruns:0 frame:0
TX packets:7270808826 errors:0 dropped:0 overruns:0 carrier:0
cat /sys/class/net/eth0/statistics/tx_packets
cat /sys/class/net/eth0/statistics/rx_packets

Online конвертер pps в bps и наоборот

2011-08-18T14:26:00.001+04:00

http://www.ccievault.net/index.php/tools

Курсы по сетевому оборудованию Juniper на русском

2011-08-16T12:23:00.001+04:00

https://www.juniper.net/us/en/training/technical_education/jsl_international_editions/russian/course_start.html

Об архитектуре интернета

2011-08-15T18:59:00.001+04:00

http://habrahabr.ru/blogs/sysadm/55181/

Ужастики про BGP

2011-08-15T18:22:00.001+04:00

http://to-the-future.livejournal.com/450700.html

BGP full view - нужен или нет?

2011-08-15T15:14:00.001+04:00

http://habrahabr.ru/blogs/internet/113906/

IMIX трафик

2011-08-15T11:28:00.001+04:00

http://en.wikipedia.org/wiki/Internet_Mix

ИТ часть терминала D Шереметьево

2011-08-14T20:51:00.002+04:00

http://nag.ru/articles/article/19382/it-puteshestvie-po-terminalu-d.html