4 changed files with 216 additions and 1 deletions
@ -0,0 +1,18 @@ |
|||||||
|
[global] |
||||||
|
auth client required = cephx |
||||||
|
auth cluster required = cephx |
||||||
|
auth service required = cephx |
||||||
|
auth supported = cephx |
||||||
|
cluster network = 192.168.7.0/24 |
||||||
|
public network = 192.168.7.0/24 |
||||||
|
filestore xattr use omap = true |
||||||
|
fsid = 4c8be4e5-a8c8-498e-ab13-21be5319accb |
||||||
|
keyring = /etc/pve/priv/$cluster.admin.keyring |
||||||
|
osd journal size = 1024 |
||||||
|
osd pool default min size = 1 |
||||||
|
osd pool default size = 2 |
||||||
|
osd pool default pg num = 333 |
||||||
|
osd pool default pgp num = 333 |
||||||
|
osd crush chooseleaf type = 1 |
||||||
|
mon initial members = node2 |
||||||
|
mon host = 192.168.7.5:6789 |
||||||
@ -0,0 +1,56 @@ |
|||||||
|
#!/usr/bin/env perl |
||||||
|
|
||||||
|
use strict; |
||||||
|
use warnings; |
||||||
|
|
||||||
|
use File::Find; |
||||||
|
use Fcntl ':mode'; |
||||||
|
|
||||||
|
my $tstat = { file => 0, dir => 0, other => 0 }; |
||||||
|
my $sstat = {}; |
||||||
|
my ($mode, $size, $slot); |
||||||
|
|
||||||
|
sub handler { |
||||||
|
($mode, $size) = (stat $_)[2,7]; |
||||||
|
|
||||||
|
if (S_ISDIR($mode)) { $tstat->{dir}++ } |
||||||
|
elsif (S_ISREG($mode)) { $tstat->{file}++ } |
||||||
|
else { $tstat->{other}++ } |
||||||
|
|
||||||
|
if ($size >= (1024 ** 2)) { |
||||||
|
$sstat->{'>1024k'}++; |
||||||
|
return; |
||||||
|
} |
||||||
|
if ($size >= 1024 * 100) { |
||||||
|
$sstat->{'100k - 1024k'}++; |
||||||
|
return; |
||||||
|
} |
||||||
|
if ($size >= (1024 * 10)) { |
||||||
|
$sstat->{'10k - 100k'}++; |
||||||
|
return; |
||||||
|
} |
||||||
|
if ($size >= 1024) { |
||||||
|
$sstat->{'1k - 10k'}++; |
||||||
|
return; |
||||||
|
} |
||||||
|
if ($size < 1024) { |
||||||
|
$sstat->{'0k - 1k'}++; |
||||||
|
return; |
||||||
|
} |
||||||
|
} |
||||||
|
|
||||||
|
File::Find::find({wanted => \&handler}, 'ports/'); |
||||||
|
|
||||||
|
print "Stats for file types\n"; |
||||||
|
print "--------------------\n"; |
||||||
|
foreach my $key (sort keys %{ $tstat }) { |
||||||
|
printf " %7d | %s\n", $tstat->{$key}, $key; |
||||||
|
} |
||||||
|
|
||||||
|
print "Stats for file sizes\n"; |
||||||
|
print "--------------------\n"; |
||||||
|
foreach my $key (sort keys %{ $sstat }) { |
||||||
|
printf " %7d | %s\n", $sstat->{$key}, $key; |
||||||
|
} |
||||||
|
|
||||||
|
exit 0; |
||||||
@ -0,0 +1,141 @@ |
|||||||
|
--- |
||||||
|
title: Сравнение производительности Sheepdog/Ceph |
||||||
|
tags: software, sheepdog, ceph, репост |
||||||
|
--- |
||||||
|
|
||||||
|
Выкладываю данные по тестированию производительности ceph и sheepdog. |
||||||
|
|
||||||
|
Тестовый стенд: 3 почти одинаковых сервера с двумя дисками по 500Гб. |
||||||
|
С каждого диска в конце откушено по 450Гб под данные и отдано под разные системы. |
||||||
|
В качестве хранилища чанков используется ext4 (sheepdog) и xfs (ceph). |
||||||
|
Тип объекта - реплиируемый, количество копий и там и там выставлено в 2. |
||||||
|
chunk size везде равен 4мб. |
||||||
|
|
||||||
|
--- |
||||||
|
|
||||||
|
[Конфиг](ceph.conf) кластера ceph. |
||||||
|
|
||||||
|
Порядок тестирования: |
||||||
|
|
||||||
|
* создаётся блочное устройство в нужной системе |
||||||
|
* подключается к виртуалке |
||||||
|
* ставится чистая freebsd 10.3 |
||||||
|
* качается дерево исходников (1й бенчмарк, линейная запись) |
||||||
|
* распаковывается (2й бенчмарк, запись множества мелких файлов) |
||||||
|
* удаляется (3й бенчмарк, чистая работа с метаданными фс) |
||||||
|
* свободное место на разделе заполняется нулями, с целью вызвать полное выделение места под диск (cat /dev/zero > zero.bin; rm zero.bin) |
||||||
|
* распаковывается 2й раз (4й бенчмарк, то же самое что и второй, но при полностью выделенном месте) |
||||||
|
* качается архив с деревом портов (5й бенчмарк, линейная запись) |
||||||
|
* распаковывается (6й бенчмарк) |
||||||
|
* удаляется |
||||||
|
|
||||||
|
При смене дисковой системы сама виртуалка не удаляется, только перетыкаются диски. |
||||||
|
|
||||||
|
Результаты (время, H:M:S): |
||||||
|
|
||||||
|
.---.-------------------------.----------.----------. |
||||||
|
| # | теста | sheepdog | ceph | |
||||||
|
:---+-------------------------+----------+----------: |
||||||
|
| 1 | fetch src.txz (320Mb) | 0:00:52 | 0:01:45 | |
||||||
|
:---+-------------------------+----------+----------: |
||||||
|
| 2 | tar -xJf src.txz | 0:03:50 | 0:41:29 | |
||||||
|
:---+-------------------------+----------+----------: |
||||||
|
| 3 | rm -rf src/ | 0:00:17 | 0:00:39 | |
||||||
|
:---+-------------------------+----------+----------: |
||||||
|
| 4 | tar -xJf src.txz | 0:07:26 | 0:51:25 | |
||||||
|
:---+-------------------------+----------+----------: |
||||||
|
| 5 | fetch ports.txz (220Mb) | 0:00:24 | 0:00:57 | |
||||||
|
:---+-------------------------+----------+----------: |
||||||
|
| 6 | tar -xJf ports.txz | 0:10:03 | 1:47:17 | |
||||||
|
'---'-------------------------'----------'----------' |
||||||
|
|
||||||
|
Статистика по архивам ([скрипт подсчёта](fs-stat.pl)): |
||||||
|
|
||||||
|
.-------------------------.-----------.-----------. |
||||||
|
| Показатель | src.txz | ports.txz | |
||||||
|
:-------------------------+-----------+-----------: |
||||||
|
| Обычных файлов | 124960 | 295333 | |
||||||
|
| Директорий | 7042 | 36725 | |
||||||
|
| Прочих типов файлов | 0 | 0 | |
||||||
|
:-------------------------+-----------+-----------: |
||||||
|
| Размер <1кб | 27335 | 235632 | |
||||||
|
| Размер 1-10кб | 75354 | 89000 | |
||||||
|
| Размер 10-100кб | 26991 | 6157 | |
||||||
|
| Размер 100-1024кб | 2225 | 1135 | |
||||||
|
| Размер >=1024кб | 97 | 134 | |
||||||
|
'-------------------------'-----------'-----------' |
||||||
|
|
||||||
|
Параметры rbd: |
||||||
|
|
||||||
|
rbd image 'vm-108-disk-1': |
||||||
|
size 32768 MB in 8192 objects |
||||||
|
order 22 (4096 kB objects) |
||||||
|
block_name_prefix: rbd_data.14082ae8944a |
||||||
|
format: 2 |
||||||
|
features: layering |
||||||
|
|
||||||
|
Состояние ceph-кластера: |
||||||
|
|
||||||
|
# ...после теста 3 |
||||||
|
cluster fc4c3641-892b-4bcb-94a3-8447e831a904 |
||||||
|
health HEALTH_OK |
||||||
|
monmap e2: 2 mons at {node2=192.168.7.5:6789/0,node3=192.168.7.6:6789/0}, election epoch 4, quorum 0,1 node2,node3 |
||||||
|
osdmap e29: 3 osds: 3 up, 3 in |
||||||
|
pgmap v803: 392 pgs, 4 pools, 1466 MB data, 425 objects |
||||||
|
6113 MB used, 1144 GB / 1150 GB avail |
||||||
|
392 active+clean |
||||||
|
# ...после теста 4 |
||||||
|
cluster fc4c3641-892b-4bcb-94a3-8447e831a904 |
||||||
|
health HEALTH_OK |
||||||
|
monmap e2: 2 mons at {node2=192.168.7.5:6789/0,node3=192.168.7.6:6789/0}, election epoch 4, quorum 0,1 node2,node3 |
||||||
|
osdmap e29: 3 osds: 3 up, 3 in |
||||||
|
pgmap v5706: 392 pgs, 4 pools, 16984 MB data, 4289 objects |
||||||
|
36924 MB used, 1114 GB / 1150 GB avail |
||||||
|
392 active+clean |
||||||
|
# ...после всех тестов и удаления rbd |
||||||
|
cluster fc4c3641-892b-4bcb-94a3-8447e831a904 |
||||||
|
health HEALTH_OK |
||||||
|
monmap e2: 2 mons at {node2=192.168.7.5:6789/0,node3=192.168.7.6:6789/0}, election epoch 4, quorum 0,1 node2,node3 |
||||||
|
osdmap e29: 3 osds: 3 up, 3 in |
||||||
|
pgmap v10514: 392 pgs, 4 pools, 8 bytes data, 1 objects |
||||||
|
3209 MB used, 1147 GB / 1150 GB avail |
||||||
|
392 active+clean |
||||||
|
|
||||||
|
Состояние sheepdog после всех тестов: |
||||||
|
|
||||||
|
Cluster status: running, auto-recovery enabled |
||||||
|
Cluster store: plain with 2 redundancy policy |
||||||
|
Cluster vnode mode: node |
||||||
|
Cluster created at Wed Feb 1 23:20:29 2017 |
||||||
|
|
||||||
|
Epoch Time Version |
||||||
|
2017-02-26 14:33:19 11 [192.168.7.4:7000, 192.168.7.5:7000, 192.168.7.6:7000] |
||||||
|
|
||||||
|
Замеры потребления ресурсов, в мб (ps -o rss,vsz,cmd ax | grep cmd). |
||||||
|
|
||||||
|
.-------------------------.-----------.-----------.-----------. |
||||||
|
| Показатель | node1 | node2 | node3 | |
||||||
|
:-------------------------+-----------+-----------+-----------: |
||||||
|
| после 4 теста | |
||||||
|
:-------------------------+-----------+-----------+-----------: |
||||||
|
| ceph / osd | 139 / 753 | 124 / 748 | 139 / 764 | |
||||||
|
| ceph / mon | --- / --- | 151 / 339 | 70 / 245 | |
||||||
|
| sheepdog | 10 / 617 | 18 /1825 | 12 / 724 | |
||||||
|
:-------------------------+-----------+-----------+-----------: |
||||||
|
| после всех тестов | |
||||||
|
:-------------------------+-----------+-----------+-----------: |
||||||
|
| ceph / osd | 141 / 755 | 124 / 747 | 138 / 763 | |
||||||
|
| ceph / mon | --- / --- | 193 / 384 | 86 / 261 | |
||||||
|
| sheepdog | 10 / 617 | 18 /1796 | 12 / 706 | |
||||||
|
'-------------------------'-----------'-----------'-----------' |
||||||
|
|
||||||
|
Примечание: на sheepdog'е во время теста висели ещё виртуалки (в замороженном состоянии). |
||||||
|
Кроме того, нетрудно заметить, что тестируемая виртуалка располагалась на второй ноде. |
||||||
|
На первой ноде монитора ceph'а не было, на второй он был основным, третьей - резервным. |
||||||
|
|
||||||
|
Выводы |
||||||
|
------ |
||||||
|
|
||||||
|
Однако, на мелких файлах рвёт как тузик грелку. |
||||||
|
Используйте на свой страх и риск, решение всё ещё нестабильно. |
||||||
|
Все данные потерять - это врятли, а вот побить в процессе recovery - это запросто. |
||||||
Loading…
Reference in new issue