Низкая скорость сети между серверами Astra Orel

Urick

New member
Сообщения
10
#1
Здравствуйте!

Прошу помощи с проблемой низкой скорости при копировании файлов по сети между серверами Астра.
Ситуация следующая. Есть 3 одинаковых железки (не виртуалки). На одной из них установлена RedHat 7 (RH1), на 2х других - Астра Орел (A1 и A2). При копировании файлов с RH1 на А1 или А2, скорость 100МБайт/с. В обратную сторону с любой из Астр на RH1 такая же картина - 100МБайт/с. Однако, при копировании файлов между Астрами, в любую сторону, скорость копирования не превышает 4МБайт/с.
Сервера по железу одинаковые, соединены в один коммутатор, патчкорды "фирменные", IP адресация в одной подсети...
Подскажите, пожалуйста, в чем может быть проблема?

PS. Ранее по ошибке такой же вопрос разместил в разделе Astra Linux Special Edition, там пока никто не ответил.
 

cogniter

Moderator
Team Astra Linux
Сообщения
389
#2
Тестирование можно произвести с помощью пакета iperf который можно скачать по ссылке

https://iperf.fr/download/ubuntu/iperf_2.0.5+dfsg1-2_amd64.deb

Далее установить пакет и выполнить в терминале на тест-сервере команду sudo iperf -s . После в терминале тестируемого оборудования выполнить команду:

Сервер, промышленный компьютер
Код:
script -c 'iperf -c $ip_server -P 100 -r -t 600' $файл_лога (где $файл_лога путь к файлу в котором сохранится результаты тестирования)
Настольный ПК, рабочая станция
Код:
script -c 'iperf -c $ip_server -P 50 -r -t 300' $файл_лога (где $файл_лога путь к файлу в котором сохранится результаты тестирования)
Планшетный компьютер, мобильное устройство
Код:
script -c 'iperf -c $ip_server  -r -t 300' $файл_лога (где $файл_лога путь к файлу в котором сохранится результаты тестирования)
 

Urick

New member
Сообщения
10
#3
Здравствуйте!

Спасибо что отозвались.

пока есть предварительные результаты
Сервер iperf минут через 10 работы упал с ошибкой
socket failed: Too many open files
connect failed: Bad file descriptor

лог файл клиента приложил

PS. Поправлю лимиты пользователя, выложу полные результаты.
 

Вложения

Urick

New member
Сообщения
10
#5
Врятли лимиты, при копировании одного файла. Пробовал и по tftp и поверх ssh - scp и rsync. Скорость одинаковая в обе стороны.
PS. Что-то iperf подвис и не шевелится.
 

cogniter

Moderator
Team Astra Linux
Сообщения
389
#6
модель сетевой карты и версию Астры в студию
 

Urick

New member
Сообщения
10
#7
$ sudo lshw -class network
*-network:0
description: Ethernet interface
product: NetXtreme II BCM57810 10 Gigabit Ethernet
vendor: Broadcom Limited
physical id: 0
bus info: pci@0000:04:00.0
logical name: eth0
version: 10
serial: fc:15:b4:17:d5:e0
size: 1Gbit/s
width: 64 bits
clock: 33MHz
capabilities: pm vpd msix pciexpress bus_master cap_list rom ethernet physical fibre autonegotiation
configuration: autonegotiation=on broadcast=yes driver=bnx2x driverversion=1.712.30-0 duplex=full firmware=bc 7.10.39 ip=10.128.26.75 latency=0 link=yes multicast=yes port=fibre speed=1Gbit/s
resources: irq:93 memory:f6000000-f67fffff memory:f5800000-f5ffffff memory:f57f0000-f57fffff memory:f1000000-f107ffff memory:f5000000-f51fffff memory:f3f00000-f3f7ffff

$ sudo cat /proc/version
Linux version 4.15.3-1-generic (root@build4) (gcc version 6.3.0 20170516 (Debian 6.3.0-18+deb9u1)) #astra16 SMP Tue Sep 4 12:09:16 UTC 2018
 

Urick

New member
Сообщения
10
#8
Еще один тест снова завершился с ошибкой на стороне сервера iperf
Jan 26 06:55:16 astra1 kernel: [3846053.854703] TCP: request_sock_TCP: Possible SYN flooding on port 5001. Sending cookies. Check SNMP counters.

Под конец сервер заблокировал соединения, но в целом тест выполнился. Лог клиента приложил,

Честно говоря, как-то мне результаты ни о чем особо не сказали, кроме подтверждения того, что на низком протокольном уровне сетевые карты нормально держат 1Гб/с. Ну это и так было понятно, т.к. копирование с/на сервер RedHat проходит нормально.
 

Вложения

Urick

New member
Сообщения
10
#9
В продолжение темы.
Решение пока не найдено. Поставлен эксперимент на виртуальных машинах.

Между Astra Common:
worker@Temp11:~$ scp /tmp/orel-current.iso worker@172.26.12.192:/tmp/
worker@172.26.12.192's password:
orel-current.iso 100% 617MB 11.8MB/s 00:52

Из Astra Common на обычный Debian:
worker@Temp11:~$ scp /tmp/orel-current.iso dbadmin@172.26.12.118:/tmp/
dbadmin@172.26.12.118's password:
orel-current.iso 100% 617MB 103.8MB/s 00:05

Астра 01:
sudo lshw -class network
*-network
description: Ethernet interface
product: VMXNET3 Ethernet Controller
vendor: VMware
physical id: 0
bus info: pci@0000:0b:00.0
logical name: eth0
version: 01
serial: 00:50:56:9c:2c:fe
size: 10Gbit/s
capacity: 10Gbit/s
width: 32 bits
clock: 33MHz
capabilities: pm pciexpress msi msix bus_master cap_list rom ethernet physical logical tp 1000bt-fd 10000bt-fd
configuration: autonegotiation=off broadcast=yes driver=vmxnet3 driverversion=1.4.14.0-k-NAPI duplex=full ip=172.26.12.191 latency=0 link=yes multicast=yes port=twisted pair speed=10Gbit/s
resources: irq:19 memory:fd4fc000-fd4fcfff memory:fd4fd000-fd4fdfff memory:fd4fe000-fd4fffff ioport:5000(size=16) memory:fd400000-fd40ffff

sudo cat /proc/version
Linux version 4.15.3-1-generic (root@build4) (gcc version 6.3.0 20170516 (Debian 6.3.0-18+deb9u1)) #astra16 SMP Tue Sep 4 12:09:16 UTC 2018
sudo cat /etc/astra_version
CE 2.12.4 (orel)

Астра 02:
$ sudo lshw -class network
*-network
description: Ethernet interface
product: VMXNET3 Ethernet Controller
vendor: VMware
physical id: 0
bus info: pci@0000:0b:00.0
logical name: eth0
version: 01
serial: 00:50:56:9c:46:53
size: 10Gbit/s
capacity: 10Gbit/s
width: 32 bits
clock: 33MHz
capabilities: pm pciexpress msi msix bus_master cap_list rom ethernet physical logical tp 1000bt-fd 10000bt-fd
configuration: autonegotiation=off broadcast=yes driver=vmxnet3 driverversion=1.4.14.0-k-NAPI duplex=full ip=172.26.12.192 latency=0 link=yes multicast=yes port=twisted pair speed=10Gbit/s
resources: irq:19 memory:fd4fc000-fd4fcfff memory:fd4fd000-fd4fdfff memory:fd4fe000-fd4fffff ioport:5000(size=16) memory:fd400000-fd40ffff

sudo cat /proc/version
Linux version 4.15.3-1-generic (root@build4) (gcc version 6.3.0 20170516 (Debian 6.3.0-18+deb9u1)) #astra16 SMP Tue Sep 4 12:09:16 UTC 2018
sudo cat /etc/astra_version
CE 2.12.4 (orel)

Debian:
sudo lshw -class network
*-network
description: Ethernet interface
product: 82545EM Gigabit Ethernet Controller (Copper)
vendor: Intel Corporation
physical id: 1
bus info: pci@0000:02:01.0
logical name: eth0
version: 01
serial: 00:0c:29:2c:92:08
size: 1Gbit/s
capacity: 1Gbit/s
width: 64 bits
clock: 66MHz
capabilities: pm pcix bus_master cap_list rom ethernet physical logical tp 10bt 10bt-fd 100bt 100bt-fd 1000bt-fd autonegotiation
configuration: autonegotiation=on broadcast=yes driver=e1000 driverversion=7.3.21-k8-NAPI duplex=full ip=172.26.12.118 latency=0 link=yes mingnt=255 multicast=yes port=twisted pair speed=1Gbit/s
resources: irq:19 memory:fd5c0000-fd5dffff memory:fdff0000-fdffffff ioport:2000(size=64) memory:fd500000-fd50ffff

sudo cat /proc/version
Linux version 4.9.0-0.bpo.5-amd64 (debian-kernel@lists.debian.org) (gcc version 4.9.2 (Debian 4.9.2-10) ) #1 SMP Debian 4.9.65-3+deb9u2~bpo8+1 (2017-01-05)
sudo cat /etc/debian_version
8.8

Судя по результатам, дело не в железе как таковом.
 

Fd1501h

Moderator
Сообщения
671
#10
В продолжение темы.
Решение пока не найдено. Поставлен эксперимент на виртуальных машинах.

Между Astra Common:
worker@Temp11:~$ scp /tmp/orel-current.iso worker@172.26.12.192:/tmp/
worker@172.26.12.192's password:
orel-current.iso 100% 617MB 11.8MB/s 00:52

Из Astra Common на обычный Debian:
worker@Temp11:~$ scp /tmp/orel-current.iso dbadmin@172.26.12.118:/tmp/
dbadmin@172.26.12.118's password:
orel-current.iso 100% 617MB 103.8MB/s 00:05

Астра 01:
sudo lshw -class network
*-network
description: Ethernet interface
product: VMXNET3 Ethernet Controller
vendor: VMware
physical id: 0
bus info: pci@0000:0b:00.0
logical name: eth0
version: 01
serial: 00:50:56:9c:2c:fe
size: 10Gbit/s
capacity: 10Gbit/s
width: 32 bits
clock: 33MHz
capabilities: pm pciexpress msi msix bus_master cap_list rom ethernet physical logical tp 1000bt-fd 10000bt-fd
configuration: autonegotiation=off broadcast=yes driver=vmxnet3 driverversion=1.4.14.0-k-NAPI duplex=full ip=172.26.12.191 latency=0 link=yes multicast=yes port=twisted pair speed=10Gbit/s
resources: irq:19 memory:fd4fc000-fd4fcfff memory:fd4fd000-fd4fdfff memory:fd4fe000-fd4fffff ioport:5000(size=16) memory:fd400000-fd40ffff

sudo cat /proc/version
Linux version 4.15.3-1-generic (root@build4) (gcc version 6.3.0 20170516 (Debian 6.3.0-18+deb9u1)) #astra16 SMP Tue Sep 4 12:09:16 UTC 2018
sudo cat /etc/astra_version
CE 2.12.4 (orel)

Астра 02:
$ sudo lshw -class network
*-network
description: Ethernet interface
product: VMXNET3 Ethernet Controller
vendor: VMware
physical id: 0
bus info: pci@0000:0b:00.0
logical name: eth0
version: 01
serial: 00:50:56:9c:46:53
size: 10Gbit/s
capacity: 10Gbit/s
width: 32 bits
clock: 33MHz
capabilities: pm pciexpress msi msix bus_master cap_list rom ethernet physical logical tp 1000bt-fd 10000bt-fd
configuration: autonegotiation=off broadcast=yes driver=vmxnet3 driverversion=1.4.14.0-k-NAPI duplex=full ip=172.26.12.192 latency=0 link=yes multicast=yes port=twisted pair speed=10Gbit/s
resources: irq:19 memory:fd4fc000-fd4fcfff memory:fd4fd000-fd4fdfff memory:fd4fe000-fd4fffff ioport:5000(size=16) memory:fd400000-fd40ffff

sudo cat /proc/version
Linux version 4.15.3-1-generic (root@build4) (gcc version 6.3.0 20170516 (Debian 6.3.0-18+deb9u1)) #astra16 SMP Tue Sep 4 12:09:16 UTC 2018
sudo cat /etc/astra_version
CE 2.12.4 (orel)

Debian:
sudo lshw -class network
*-network
description: Ethernet interface
product: 82545EM Gigabit Ethernet Controller (Copper)
vendor: Intel Corporation
physical id: 1
bus info: pci@0000:02:01.0
logical name: eth0
version: 01
serial: 00:0c:29:2c:92:08
size: 1Gbit/s
capacity: 1Gbit/s
width: 64 bits
clock: 66MHz
capabilities: pm pcix bus_master cap_list rom ethernet physical logical tp 10bt 10bt-fd 100bt 100bt-fd 1000bt-fd autonegotiation
configuration: autonegotiation=on broadcast=yes driver=e1000 driverversion=7.3.21-k8-NAPI duplex=full ip=172.26.12.118 latency=0 link=yes mingnt=255 multicast=yes port=twisted pair speed=1Gbit/s
resources: irq:19 memory:fd5c0000-fd5dffff memory:fdff0000-fdffffff ioport:2000(size=64) memory:fd500000-fd50ffff

sudo cat /proc/version
Linux version 4.9.0-0.bpo.5-amd64 (debian-kernel@lists.debian.org) (gcc version 4.9.2 (Debian 4.9.2-10) ) #1 SMP Debian 4.9.65-3+deb9u2~bpo8+1 (2017-01-05)
sudo cat /etc/debian_version
8.8

Судя по результатам, дело не в железе как таковом.
Дело в драйвере виртуальной сетевой карты.
 

Urick

New member
Сообщения
10
#11
Дело в драйвере виртуальной сетевой карты.
Два разных драйвера - виртуальной сетевой карты и реально железной сетевой карты вдруг ведут себя одинаково? Допускаю...
Но как можно объяснить нормальную скорость копирования на сервер с другой ОС?
Как-то не скадывается.
 

Urick

New member
Сообщения
10
#12
В продолжение.
Выполнил трассировку сессии копирования WireShark'ом.
Из подозрительного - только несколько согласований размера TCP window, где-то посередине сессии:
1548747979309.png


Ну посогласовывали и успокоились, как бы ничего криминального... Тем более, под конец сессии окно снова выросло
1548748276641.png


Вот даже не знаю, куда дальше копнуть. Есть у кого-нибудь идеи?
 

rkislov

New member
Сообщения
158
#13
На виртуальных машинах для астры попробуйте openvswitch, имел похожие результаты на Бресте, пришлось полностью отказать от bridge-tools и перейти на openvswitch-switch. Скорость взлетела в разы
 

Urick

New member
Сообщения
10
#14
Спасибо!
На виртуальных при случае попробую, но это не так актуально.
Мне важнее разобраться почему такое непонятное поведение на железных серверах.