Автор Тема: самодельное СХД, SRP, OpenSolaris (OpenIndiana), InfiniBand, Win2k3 x64  (Прочитано 16928 раз)

Оффлайн Korang

  • Новичок
  • *
  • Сообщений: 11
  • Репутация: +8/-0
    • ICQ клиент - 603203778
    • Просмотр профиля
Доброе время суток!!!
Нужна помощь.
Есть сервер на Win2k3, который подключен к серверу с ОС OpenSolaris по SRP (интерфейс InfiniBand).

Проблема - маленькая скорость Рандом чтения.

Помогите настроить карточки и системы на максимальную производительность.

Карточки: Mellanox ConnectX VPI (MT26428)

Доступные настройки в Windows (привожу с настройками по умолчанию):
GUID bitwise mask - 0
Large Send Offload - Disabled
MC leave rescan (sec) - 260
Number of retries connecting to bc - 50
Payload Mtu size - 2044
Receive Pool Ratio - 1
Receive Queue depth -512
Receive Queue Low Watermark -4
Recv Checksum Offload - Enable (if support)
SA Query Retry Count - 10
SA Query Timeout (ms) - 1000
Send Checksum Offload - Enabled (if support)
Send Queue Depth - 512

Какие и где настройки с Solaris лучше сделать?

Илья

  • Гость
Re: самодельное СХД, SRP, OpenSolaris (OpenIndiana), InfiniBand, Win2k3 x64
« Ответ #1 : Декабрь 08, 2010, 09:28:25 pm »
А, что такое рандом чтение просто на русский перевел получилось, что я низнаю, что это такое может обратно на английский переведешь может подскажу пока сам не понимаю, что такое чтение рандом.

Оффлайн keremet

  • Global Moderator
  • ROOT
  • *****
  • Сообщений: 463
  • Репутация: +237/-0
    • Просмотр профиля
    • OpenSolaris
Re: самодельное СХД, SRP, OpenSolaris (OpenIndiana), InfiniBand, Win2k3 x64
« Ответ #2 : Декабрь 09, 2010, 12:57:50 am »
InfiniBand ни разу не настраивал, но предполагаю, что для настройки можно использовать команду ndd. Список настроек для моей сетевухи: $ pfexec ndd /dev/yukonx \?
?                             (read only)
device                        (read and write)
instance                      (read only)
link_status                   (read only)
Speed_A                       (read and write)
Speed_B                       (read and write)
LinkMode_A                    (read and write)
LinkMode_B                    (read and write)
FlowControl_A                 (read and write)
FlowControl_B                 (read and write)
Role_A                        (read and write)
Role_B                        (read and write)
ActivePort                    (read only)
PreferredPort                 (read and write)
RlmtMode                      (read and write)
port_count                    (read only)
adapter_id                    (read only)
pci_ids                       (read only)
hw_revision                   (read only)
ring_sizes                    (read only)
hw_checksum                   (read only)
int_mod                       (read only)
port_props                    (read only)
dual_net                      (read only)
vlan_props                    (read only)
vct_cap                       (read only)
vct_port                      (read and write)
vct_start                     (read only)
vct_result                    (read only)
vct_status                    (read only)

Оффлайн jSnake

  • ROOT
  • *****
  • Сообщений: 107
  • Репутация: +132/-0
    • ICQ клиент - 279320039
    • Просмотр профиля
    • E-mail
Re: самодельное СХД, SRP, OpenSolaris (OpenIndiana), InfiniBand, Win2k3 x64
« Ответ #3 : Декабрь 09, 2010, 11:52:13 am »
А, что такое рандом чтение просто на русский перевел получилось, что я низнаю, что это такое может обратно на английский переведешь может подскажу пока сам не понимаю, что такое чтение рандом.
http://ru.wikipedia.org/wiki/Произвольный_доступ

Оффлайн Korang

  • Новичок
  • *
  • Сообщений: 11
  • Репутация: +8/-0
    • ICQ клиент - 603203778
    • Просмотр профиля
Re: самодельное СХД, SRP, OpenSolaris (OpenIndiana), InfiniBand, Win2k3 x64
« Ответ #4 : Декабрь 09, 2010, 01:31:07 pm »
Не помогло ndd
e:~# ndd /dev/ibp0 \?
open of /dev/ibp0 failed: Invalid argument


Оффлайн Korang

  • Новичок
  • *
  • Сообщений: 11
  • Репутация: +8/-0
    • ICQ клиент - 603203778
    • Просмотр профиля
Re: самодельное СХД, SRP, OpenSolaris (OpenIndiana), InfiniBand, Win2k3 x64
« Ответ #6 : Декабрь 09, 2010, 02:10:28 pm »
Вот дополнительная информация:


> А про железо поподробнее? Какие драйвы, какая скорость получается в цифрах

> На самом сервере опенсоляриса скорость нормальная? или на нем тоже маленькая?


Железо openSolaris:
CPU: 2x Intel Xeon CPU X5650 @ 2.67GHz, 6 Core
RAM: 48GB (8+8+8+8+8+8+4)
RAID: LSI MegaSAS 9260 -i8 (RAID10  - 4.8TB 15K диски 10шт.) - таргеты как блоковое устройство, не через ZFS    - драйвер mr_sas
LAN: Mellanox Technologies MT26428[ConnectX VPI PCIe 2.0 5TG/s -IB QDR / 10GigE] 40 GB/sec   - драйвер hermon

Железо Windows:
CPU: 2x Intel Xeon CPU X5650 @ 2.67GHz, 6 Core
RAM: 32GB (8+8+8+8)
RAID: Adaptec ech10-r RAID 10, установлена только для системы  - драйвер Adaptec с сайта производителя
LAN: Mellanox Technologies MT26428[ConnectX VPI PCIe 2.0 5TG/s -IB QDR / 10GigE] 40 GB/sec   - драйвер Mellanox VPI 2.1.2 с сайта производителя + FIX для работы SRP протокола (получен через Support Mellanox)

Скорость интерфейса 40 ГБ/сек

Скорость в цифрах:
Тест SQLIO с Windows сервера к LUN на Solaris (LUN'ы калибровались с отступом 1024)

Диск размеченый 8К

--- Random Read o4 b8---
IOs/sec: 108444.28
MBs/sec:   847.22
------------------------
- Sequential Read o4 b8-
IOs/sec: 108382.54
MBs/sec:   846.73
------------------------
- Random Read o4 b64---
IOs/sec: 24392.86
MBs/sec:  1524.55
------------------------
- Sequential Read o4 b8-
IOs/sec: 24178.48
MBs/sec:  1511.15
------------------------
тут вроде нормально, все траблы начинаются с 64К размеченым диском

Диск размеченый 64К

--- Random Read o4 b8---
IOs/sec:  6328.88
MBs/sec:    49.44
------------------------
- Sequential Read o4 b8-
IOs/sec: 24172.90
MBs/sec:   188.85
------------------------
--- Random Read o4 b64--
IOs/sec:  1439.97
MBs/sec:    89.99
------------------------
- Sequential Read o4 b64-
IOs/sec:  3522.63
MBs/sec:   220.16
------------------------

В рандом риде о4 b64 в 64к размеченом диске должно быть минимум 2500 IOs/sec

вот так вот.
« Последнее редактирование: Декабрь 09, 2010, 02:15:01 pm от Korang »

Оффлайн Korang

  • Новичок
  • *
  • Сообщений: 11
  • Репутация: +8/-0
    • ICQ клиент - 603203778
    • Просмотр профиля
Re: самодельное СХД, SRP, OpenSolaris (OpenIndiana), InfiniBand, Win2k3 x64
« Ответ #7 : Декабрь 09, 2010, 02:11:07 pm »
А если попробовать без цифры?
# ndd /dev/ibp \?

admin@open-dbstorage:~# ndd /dev/ibp \?
operation failed: Invalid argument

Оффлайн Korang

  • Новичок
  • *
  • Сообщений: 11
  • Репутация: +8/-0
    • ICQ клиент - 603203778
    • Просмотр профиля
Re: самодельное СХД, SRP, OpenSolaris (OpenIndiana), InfiniBand, Win2k3 x64
« Ответ #8 : Декабрь 10, 2010, 08:30:28 pm »
Идем дальше.....

Заменили райд на LSI Logic SAS2008 PCI-Express Fusion-MPT SAS-2, т.е вместо рейда стал САС с миррором через ZFS
Добавили 4 SSD диска от Intel для кеша чтения и отдельно кеша записи

заюзали ZFS, скорость возрасла в 2.5 раза но и это не предел в технологии.

Как можно увеличить скорость работы сети? какие могут быть утилиты / параметры для TCP (протокол поверх SRP), сетевые интерфейсы InfiniBand 40G/sec

идеи, предложения ?

Оффлайн keremet

  • Global Moderator
  • ROOT
  • *****
  • Сообщений: 463
  • Репутация: +237/-0
    • Просмотр профиля
    • OpenSolaris
Re: самодельное СХД, SRP, OpenSolaris (OpenIndiana), InfiniBand, Win2k3 x64
« Ответ #9 : Декабрь 12, 2010, 05:59:58 pm »
Наверно, я уже достал с ndd, но к случаю с TCP одна просто обязана подойти.
Отображение всех параметров TCP:
ndd /dev/tcp \?
Просмотр значения параметра tcp_time_wait_interval:
ndd /dev/tcp tcp_time_wait_interval


Оффлайн Korang

  • Новичок
  • *
  • Сообщений: 11
  • Репутация: +8/-0
    • ICQ клиент - 603203778
    • Просмотр профиля
Re: самодельное СХД, SRP, OpenSolaris (OpenIndiana), InfiniBand, Win2k3 x64
« Ответ #10 : Декабрь 13, 2010, 12:38:18 pm »
ndd не похдодит для конфигурации IB интерфейсов, там IPv4/6 over RDMA =)