新石器Wiki

この文書は読取専用です。文書のソースを閲覧することは可能ですが、変更はできません。もし変更したい場合は管理者に連絡してください。
【Ubuntu/Linux】CPUコアのシールド分離
==============================
リアルタイム性が要求されるネットワーク通信を含むプログラムなど、さまざまなイベントに応答する際にレイテンシーを最小限に抑える必要がある。
これを行う為に、割り込み (IRQ) とさまざまな CPU 上のユーザープロセスを相互に分離する手法について備忘録を残す。

尚、シールドモデルの考え方など下記の資料が参考になる。

{{https://www.concurrent-rt.co.jp/external/TechSup/PDF/RedHawkLinux_UsersGuide8.2_Jpn.pdf}}


プロセスのCPUコア分離
-----------------
リアルタイム性が必要なユーザプログラム（プロセス）を実行するCPUコアを分離する。
### コア除外の設定

`/etc/default/grub`ファイルに以下設定をしコア`#2,#3`をスケジュールから除外。

`GRUB_CMDLINE_LINUX_DEFAULT="isolcpus=2,3"`  （連番のCPU番号指定は`2-3`と書いてもよい）

<code bash>
$ sudo update-grub
$ sudo reboot
</code>

上記設定は、カーネルの起動引数に `isolcpus=2,3` を渡すもの。尚、カーネル起動コマンドに設定されているかの確認は下記。

<code bash>
$ cat /proc/cmdline
BOOT_IMAGE=/vmlinuz-5.15.0-52-generic root=/dev/mapper/ubuntu--vg-ubuntu--lv ro isolcpus=2,3
</code>

尚、Ubuntu 22.04 Serverでは、何故か？上記では固定出来なかったので、下記コマンドで行った。

<code bash>
$ sudo ps -e -o pid= | xargs -n 1 taskset -p 0xFFFFFFF3
</code>
### コア固定の設定
実行するプログラムを、コア`#2,#3`に固定し実行。

<code bash>
$ sudo taskset -c 2-3 <progfile>
</code>

### 実行コアの確認

<code bash>
$ ps
    PID TTY          TIME CMD
   1067 pts/0    00:00:00 bash
   2466 pts/0    00:00:00 ps

$ taskset -pc 1067
プロセス ID 1067 の現在の親和性リスト: 0,1
</code>

割り込みのCPUコア固定
-----------------
上記でコア分離したプロセスが使用するNICカードの割り込みを、分離したコア側に割り当てる。

### IRQ バランスからの CPU の除外
`/etc/default/irqbalance` ファイルを編集して、コア`#2,#3`のCPUコアをIRQ バランシングから除外する。

<code text /etc/default/irqbalance>
IRQBALANCE_BANNED_CPUS=0000000c
</code>

`IRQBALANCE_BANNED_CPUS`の指定がなければ、前記の`isolcpus=`の指定を参照する模様。


### NICカードの IRQ への CPU アフィニティーの手動割り当て
`/proc/interrupts` ファイルを参照して、各デバイスが使用している IRQ を確認する。

<code bash>
$ cat /proc/interrupts
            CPU0       CPU1       CPU2       CPU3
   0:         17          0          0          0  IR-IO-APIC    2-edge      timer
   6:          0          0          0          1  IR-IO-APIC    6-edge      ttyS2
   8:          0          0          1          0  IR-IO-APIC    8-edge      rtc0
   9:          0          5          0          0  IR-IO-APIC    9-fasteoi   acpi
 ...
</code>

該当するIRQ番号専用の`smp_affinity`ファイルに割り当てるCPUコアのbitマスク値を書き込む。このファイルは、`/proc/irq/(IRQ番号)/` ディレクトリにある。  
例えば、IRQ 番号 130 の割り込みを CPU `#2,#3` でのみ実行するよう指示するには下記。

<code bash>
$ sudo echo c > /proc/irq/130/smp_affinity
</code>

尚、設定されたかどうかを、`smap_affinity_list`ファイルを表示して確認する。

<code bash>
$ cat /proc/irq/130/smp_affinity_list
</code>
### スクリプトによる IRQ への CPU アフィニティーの自動割り当て
`smp_affinity`の指定は、再起動した時には元に戻るので、下記のようなPerlスクリプトを実行して自動設定する。

<code perl irq_shield.pl>
#!/usr/bin/perl
#
# 指定NICインタフェースの割り込みをコア2,3に割り当てる。
#

use strict;
use warnings;

my $infile = "/proc/interrupts";
my $nicname = "enp3s0";                 # 検索するNICインタフェース名
my $mode = 0;                           # 動作モード

if (@ARGV >= 1) {
    $nicname = $ARGV[0];
}
if (@ARGV >= 2) {
    if ($ARGV[1] eq "set") {
	$mode = 1;
    }
    if ($ARGV[1] eq "debug") {
	$mode = 2;
    }
}

open(IN, "$infile") || die "can not open $infile\n";

while ( <IN> ) {
    if ( $_ =~ /\b$nicname/ ) {
	my @a = split();
	$a[0] =~ s/:$//;                # IRQ番号、先頭ワードの末尾':'文字を削除

	if ($mode == 0) {
	    print;
	}
	else {
	    if ($mode == 1) {           # set ?
		system("echo c > /proc/irq/$a[0]/smp_affinity"); # コア2,3
	    }
	    print "echo c > /proc/irq/$a[0]/smp_affinity\n";
	}
    }
}

close(IN);
</code>


上記スクリプトを管理者権限で実行する。

<code bash>
$ sudo ./irq_shield.pl enp1s0 set
</code>


その他
-----

### CPUに負荷をかける
stressコマンドで、CPUのコア#2に演算負荷をかける。

<code bash>
$ taskset -c 2 stress -c 1
</code>

### CPU負荷状況の確認
下記コマンドでCPUの負荷状況を表示。

<code bash>
$ dstat -c -C 0,1,2,3
-----cpu0-usage----------cpu1-usage----------cpu2-usage----------cpu3-usage----
usr sys idl wai stl:usr sys idl wai stl:usr sys idl wai stl:usr sys idl wai stl
  5   4  91   0   0:  7   2  90   0   0: 17   0  83   0   0:  0   0 100   0   0
 11   6  83   0   0:  9   0  91   0   0: 99   1   0   0   0:  1   1  98   0   0
 11   4  85   0   0:  8   0  92   0   0: 98   2   0   0   0:  0   1  99   0   0
  9   4  86   0   0:  5   0  95   0   0: 99   1   0   0   0:  1   1  98   0   0
  9   7  84   0   0:  8   1  91   0   0: 99   1   0   0   0:  0   2  98   0   0
 14   5  81   0   0:  7   0  93   0   0:100   0   0   0   0:  0   1  99   0   0
 12   5  83   0   0:  8   0  92   0   0: 99   1   0   0   0:  0   1  99   0   0
  9   5  86   0   0:  4   1  95   0   0: 99   1   0   0   0:  0   2  98   0   0
 14   6  80   0   0:  5   0  95   0   0: 98   2   0   0   0:  2   0  98   0   0
 10   5  85   0   0:  6   0  94   0   0:100   0   0   0   0:  0   1  99   0   0
 10   7  83   0   0:  4   0  96   0   0:100   0   0   0   0:  0   0 100   0   0
</code>
### CPU Affinityの一覧表示
全プロセスのCPU Affinityを一覧表示するPerlスクリプト。

<code perl cpu_pslist.pl>
#!/usr/bin/perl
#
# CPU affinityの一覧を表示する。
#

use strict;
use warnings;

my @result;
my $mode = 0;

if (@ARGV >= 1) {
    if ($ARGV[0] eq "tree") {
	$mode = 1;
    }
}

if ($mode == 0) {
    @result = `ps aux`;
}
else {
    @result = `ps auxf`;
}

foreach my $line(@result)
{
    my @a = split(/\s+/, $line);	# 複数の空白や改行でで分割

    if ($a[1] eq "PID") {
	print "AFFIN " . $line;
    }
    else {
	my $affi = `taskset -pc $a[1] 2>&1`; # エラー出力は標準へ
	if ($? == 0) {			# コマンド実行のリターンコード
	    my @b = split(/\s+/, $affi);	# 複数の空白や改行で分割
	    my $str = sprintf("%-6s", $b[$#b]); # CPU affinity
	    print $str . $line;
	}
    }
}
</code>


参考
----

1. [[https://access.redhat.com/documentation/ja-jp/red_hat_enterprise_linux_for_real_time/8/html/optimizing_rhel_8_for_real_time_for_low_latency_operation/assembly_binding-interrupts-and-processes_optimizing-rhel8-for-real-time-for-low-latency-operation#doc-wrapper|第12章 割り込みとユーザープロセスを分離してシステムレイテンシーを最小限に抑える]]
2. [[https://access.redhat.com/documentation/ja-jp/red_hat_enterprise_linux_for_real_time/7/html/tuning_guide/interrupt_and_process_binding|2.4. 割り込みおよびプロセスバインディング]]
3. [[https://docs.oracle.com/cd/E26853_01/coh.371/b71688/tune_perftune.htm|6 パフォーマンス・チューニング]]
4. [[https://www.slideshare.net/syuu1228/interrupt-affinity|Interrupt Affinityについて]]
5. [[https://web.mit.edu/rhel-doc/4/RH-DOCS/rhel-rg-ja-4/s1-proc-directories.html|5.3. /proc/配下のディレクトリ]]
6. [[https://qiita.com/knakahara/items/825d2f052b07c0a2599e|irqbalance を NetBSD に移植してみる]]
7. [[https://rheb.hatenablog.com/entry/nfv_tuning|レッドハットが考えるNFV環境向けのチューニング]]
8. [[https://www.web-dev-qa-db-ja.com/ja/linux/isolcpusがアクティブ化されているかどうかを検出する方法/962607069/|isolcpusがアクティブ化されているかどうかを検出する方法]]
9. [[https://qiita.com/nakat-t/items/4542e84c4b72b78740e8|プロセス・スレッドを特定のCPUコアでのみ動作させる方法]]
10. [[https://www.rcannings.com/systemd-core-isolation/|SYSTEMD CORE ISOLATION]]
11. [[https://access.redhat.com/documentation/ja-jp/red_hat_enterprise_linux/6/html/performance_tuning_guide/sect-red_hat_enterprise_linux-performance_tuning_guide-tool_reference-irqbalance|3.4. irqbalance]]
12. [[https://qiita.com/gyaneman/items/f77c2633a5ac92f05302|プロセス・スレッドにCPUアフィニティを設定する方法]]
13. [[https://access.redhat.com/documentation/ja-jp/red_hat_enterprise_linux/8/html/managing_monitoring_and_updating_the_kernel/assembly_configuring-cpu-affinity-and-numa-policies-using-systemd_managing-monitoring-and-updating-the-kernel|第28章 systemd を使用した CPU のアフィニティーおよび NUMA ポリシーの設定]]
14. [[https://access.redhat.com/documentation/ja-jp/red_hat_enterprise_linux/7/html/performance_tuning_guide/sect-red_hat_enterprise_linux-performance_tuning_guide-tuning_scheduling_policy-isolating_cpus|6.3.6.2. CPU の分離]]
15. [[https://blog.amedama.jp/entry/stress-command|stress コマンドを使ってマシンに負荷をかける]]
16. {{https://www.concurrent-rt.co.jp/external/TechSup/PDF/RedHawkLinux_UsersGuide8.2_Jpn.pdf}}