Skip to contentSkip to conversation

docs/zh_CN: add vm page_migration translation

PATCH Superseded Yanteng Si 3 participants 6 messages May 16, 2022 – May 17, 2022

Subsystems (2)

v3 of 4 Superseded Latest is v4 →

lore
Share & tools
lore

Yanteng Si

author
#0 lore raw

v3 cover docs/zh_CN: add vm page_migration translation

v3:
Modify some words under Xiangcheng's advice.

v2:
Resolving conflicts on next-20220513.

v1:
Translate .../vm/page_migration.rst and .../vm/vmalloced-kernel-stacks.rst into Chinese.

Yanteng Si (2):
docs/zh_CN: add vm page_migration translation docs/zh_CN: add vm vmalloced-kernel-stacks translation

 Documentation/translations/zh_CN/vm/index.rst |   4 +-
 .../translations/zh_CN/vm/page_migration.rst  | 228 ++++++++++++++++++
 .../zh_CN/vm/vmalloced-kernel-stacks.rst      | 133 ++++++++++
 3 files changed, 363 insertions(+), 2 deletions(-)
 create mode 100644 Documentation/translations/zh_CN/vm/page_migration.rst
 create mode 100644 Documentation/translations/zh_CN/vm/vmalloced-kernel-stacks.rst
Signature · 1 line
2.27.0
author
#1 lore raw

PATCH v3 1/2 docs/zh_CN: add vm page_migration translation

Translate .../vm/page_migration.rst into Chinese.

---
 Documentation/translations/zh_CN/vm/index.rst |   2 +-
 .../translations/zh_CN/vm/page_migration.rst  | 228 ++++++++++++++++++
 2 files changed, 229 insertions(+), 1 deletion(-)
 create mode 100644 Documentation/translations/zh_CN/vm/page_migration.rst
Documentation/translations/zh_CN/vm/index.rst +1 -1
index a1c6d529b6ff..551f58bf7b55 100644
@@ -36,6 +36,7 @@ TODO:待引用文档集被翻译完毕后请及时修改此处)
    numa
    overcommit-accounting
    page_frags
+   page_migration
    page_owner
    page_table_check
    remap_file_pages
@@ -47,7 +48,6 @@ TODOLIST:
 * arch_pgtable_helpers
 * free_page_reporting
 * hugetlbfs_reserv
-* page_migration
 * slub
 * transhuge
 * unevictable-lru
Documentation/translations/zh_CN/vm/page_migration.rst new file +228 -0

228 lines not on this page · raw message

Signature · 1 line
2.27.0
#2 lore raw
Quoted 34 lines · Yanteng Si

Translate .../vm/page_migration.rst into Chinese.

---
 Documentation/translations/zh_CN/vm/index.rst |   2 +-
 .../translations/zh_CN/vm/page_migration.rst  | 228 ++++++++++++++++++
 2 files changed, 229 insertions(+), 1 deletion(-)
 create mode 100644 Documentation/translations/zh_CN/vm/page_migration.rst
Documentation/translations/zh_CN/vm/index.rst +1 -1
index a1c6d529b6ff..551f58bf7b55 100644
@@ -36,6 +36,7 @@ TODO:待引用文档集被翻译完毕后请及时修改此处)
    numa
    overcommit-accounting
    page_frags
+   page_migration
    page_owner
    page_table_check
    remap_file_pages
@@ -47,7 +48,6 @@ TODOLIST:
 * arch_pgtable_helpers
 * free_page_reporting
 * hugetlbfs_reserv
-* page_migration
 * slub
 * transhuge
 * unevictable-lru
Documentation/translations/zh_CN/vm/page_migration.rst new file +0 -0
new file mode 100644
index 000000000000..417861fbc3e0

[...]

Quoted 12 lines
Documentation/translations/zh_CN/vm/page_migration.rst new file +12 -0
+
+非LRU页面迁移
+=============
+
+尽管迁移最初的目的是为了减少NUMA的内存访问延迟,但压缩也使用迁移来创建高阶页面。
+
+目前实现的问题是,它被设计为只迁移*LRU*页。然而,有一些潜在的非LRU页面可以在驱动中
+被迁移,例如,zsmalloc,virtio-balloon页面。
+
+对于virtio-balloon页面,迁移代码路径的某些部分已经被钩住,并添加了virtio-balloon
+的特定函数来拦截迁移逻辑。这对一个驱动来说太特殊了,所以其他想让自己的页面可移动的驱
+动就必须在迁移路径中添加自己的特定钩子。

Documentation/translations/zh_CN/vm/page_migration.rst line 137

Quoted 10 lines
Documentation/translations/zh_CN/vm/page_migration.rst new file +10 -0
+
+为了克服这个问题,VM支持非LRU页面迁移,它为非LRU可移动页面提供了通用函数,而在迁移
+路径中没有特定的驱动程序钩子。
+
+如果一个驱动程序想让它的页面可移动,它应该定义三个函数,这些函数是
+struct address_space_operations的函数指针。
+
+1. ``bool (*isolate_page) (struct page *page, isolate_mode_t mode);``
+
+   VM对驱动的isolate_page()函数的期望是,如果驱动成功隔离了该页,则返回×true×。

*true*

Documentation/translations/zh_CN/vm/page_migration.rst line 200

Quoted 11 lines
Documentation/translations/zh_CN/vm/page_migration.rst new file +10 -0
+   返回true后,VM会将该页标记为PG_isolated,这样多个CPU的并发隔离就会跳过该
+   页进行隔离。如果驱动程序不能隔离该页,它应该返回*false*。
+
[...]
+
+   * PG_isolated
+
+     为了防止几个CPU同时进行隔离,VM在lock_page()下将隔离的页面标记为PG_isolated。
+     因此,如果一个CPU遇到PG_isolated非LRU可移动页面,它可以跳过它。驱动程序不需要
+     操作这个标志,因为VM会自动设置/清除它。请记住,如果驱动程序看到PG_isolated页,
+     这意味着VM已经被虚拟机隔离,所以它不应该碰page.lru字段。PG_isolated标志与

Emmm, I mean 虚拟机 -> VM
Sorry for the miss leading, seemis only strict mono font could understand it.

Please fix these two, and pick my review-by :)

Thanks,
Wu

Quoted 3 lines
Documentation/translations/zh_CN/vm/page_migration.rst new file +2 -0
+     PG_reclaim标志是同义的,所以驱动程序不应该为自己的目的使用PG_isolated。
+
[...]
#3 lore raw
Quoted 53 lines · Wu X.C. <[email protected]> 于2022年5月17日周二 11:25写道:
Quoted 34 lines · Yanteng Si

Translate .../vm/page_migration.rst into Chinese.

---
 Documentation/translations/zh_CN/vm/index.rst |   2 +-
 .../translations/zh_CN/vm/page_migration.rst  | 228 ++++++++++++++++++
 2 files changed, 229 insertions(+), 1 deletion(-)
 create mode 100644 Documentation/translations/zh_CN/vm/page_migration.rst
Documentation/translations/zh_CN/vm/index.rst +1 -1
index a1c6d529b6ff..551f58bf7b55 100644
@@ -36,6 +36,7 @@ TODO:待引用文档集被翻译完毕后请及时修改此处)
    numa
    overcommit-accounting
    page_frags
+   page_migration
    page_owner
    page_table_check
    remap_file_pages
@@ -47,7 +48,6 @@ TODOLIST:
 * arch_pgtable_helpers
 * free_page_reporting
 * hugetlbfs_reserv
-* page_migration
 * slub
 * transhuge
 * unevictable-lru
Documentation/translations/zh_CN/vm/page_migration.rst new file +0 -0
new file mode 100644
index 000000000000..417861fbc3e0

[...]

Quoted 16 lines
Documentation/translations/zh_CN/vm/page_migration.rst new file +16 -0
+
+非LRU页面迁移
+=============
+
+尽管迁移最初的目的是为了减少NUMA的内存访问延迟,但压缩也使用迁移来创建高阶页面。
+
+目前实现的问题是,它被设计为只迁移*LRU*页。然而,有一些潜在的非LRU页面可以在驱动中
+被迁移,例如,zsmalloc,virtio-balloon页面。
+
+对于virtio-balloon页面,迁移代码路径的某些部分已经被钩住,并添加了virtio-balloon
+的特定函数来拦截迁移逻辑。这对一个驱动来说太特殊了,所以其他想让自己的页面可移动的驱
+动就必须在迁移路径中添加自己的特定钩子。
+
+为了克服这个问题,VM支持非LRU页面迁移,它为非LRU可移动页面提供了通用函数,而在迁移
+路径中没有特定的驱动程序钩子。
+
Quoted 8 lines

Documentation/translations/zh_CN/vm/page_migration.rst line 137

Quoted 6 lines

+如果一个驱动程序想让它的页面可移动,它应该定义三个函数,这些函数是

Documentation/translations/zh_CN/vm/page_migration.rst new file +5 -0
+struct address_space_operations的函数指针。
+
+1. ``bool (*isolate_page) (struct page *page, isolate_mode_t mode);``
+
+   VM对驱动的isolate_page()函数的期望是,如果驱动成功隔离了该页,则返回×true×。

*true*

OK!

Quoted 14 lines

Documentation/translations/zh_CN/vm/page_migration.rst line 200

Quoted 12 lines
Documentation/translations/zh_CN/vm/page_migration.rst new file +10 -0
+   返回true后,VM会将该页标记为PG_isolated,这样多个CPU的并发隔离就会跳过该
+   页进行隔离。如果驱动程序不能隔离该页,它应该返回*false*。
+
[...]
+
+   * PG_isolated
+
+     为了防止几个CPU同时进行隔离,VM在lock_page()下将隔离的页面标记为PG_isolated。
+     因此,如果一个CPU遇到PG_isolated非LRU可移动页面,它可以跳过它。驱动程序不需要
+     操作这个标志,因为VM会自动设置/清除它。请记住,如果驱动程序看到PG_isolated页,
+     这意味着VM已经被虚拟机隔离,所以它不应该碰page.lru字段。PG_isolated标志与

Emmm, I mean 虚拟机 -> VM

OK!

Thanks,
Yanteng

Quoted 12 lines

Sorry for the miss leading, seemis only strict mono font could understand it.

Please fix these two, and pick my review-by :)

Thanks,
Wu

Quoted 3 lines
Documentation/translations/zh_CN/vm/page_migration.rst new file +2 -0
+     PG_reclaim标志是同义的,所以驱动程序不应该为自己的目的使用PG_isolated。
+
[...]
author
#4 lore raw

PATCH v3 2/2 docs/zh_CN: add vm vmalloced-kernel-stacks translation

In reply to Yanteng Si

Translate .../vm/vmalloced-kernel-stacks.rst into Chinese.

---
 Documentation/translations/zh_CN/vm/index.rst |   2 +-
 .../zh_CN/vm/vmalloced-kernel-stacks.rst      | 133 ++++++++++++++++++
 2 files changed, 134 insertions(+), 1 deletion(-)
 create mode 100644 Documentation/translations/zh_CN/vm/vmalloced-kernel-stacks.rst
Documentation/translations/zh_CN/vm/index.rst +1 -1
index 551f58bf7b55..d9ac73159dbc 100644
@@ -41,6 +41,7 @@ TODO:待引用文档集被翻译完毕后请及时修改此处)
    page_table_check
    remap_file_pages
    split_page_table_lock
+   vmalloced-kernel-stacks
    z3fold
    zsmalloc
 
@@ -51,4 +52,3 @@ TODOLIST:
 * slub
 * transhuge
 * unevictable-lru
-* vmalloced-kernel-stacks
Documentation/translations/zh_CN/vm/vmalloced-kernel-stacks.rst new file +133 -0

133 lines not on this page · raw message

Signature · 1 line
2.27.0
Reviewed-by on v3 2/2
#5 lore raw

Re: [PATCH v3 2/2] docs/zh_CN: add vm vmalloced-kernel-stacks translation

Quoted 3 lines · Yanteng Si

Translate .../vm/vmalloced-kernel-stacks.rst into Chinese.

Thanks,
Wu

Quoted 164 lines
---
 Documentation/translations/zh_CN/vm/index.rst |   2 +-
 .../zh_CN/vm/vmalloced-kernel-stacks.rst      | 133 ++++++++++++++++++
 2 files changed, 134 insertions(+), 1 deletion(-)
 create mode 100644 Documentation/translations/zh_CN/vm/vmalloced-kernel-stacks.rst
Documentation/translations/zh_CN/vm/index.rst +1 -1
index 551f58bf7b55..d9ac73159dbc 100644
@@ -41,6 +41,7 @@ TODO:待引用文档集被翻译完毕后请及时修改此处)
    page_table_check
    remap_file_pages
    split_page_table_lock
+   vmalloced-kernel-stacks
    z3fold
    zsmalloc
 
@@ -51,4 +52,3 @@ TODOLIST:
 * slub
 * transhuge
 * unevictable-lru
-* vmalloced-kernel-stacks
Documentation/translations/zh_CN/vm/vmalloced-kernel-stacks.rst new file +133 -0
new file mode 100644
index 000000000000..ad23f274f6d7
@@ -0,0 +1,133 @@
+.. SPDX-License-Identifier: GPL-2.0
+.. include:: ../disclaimer-zh_CN.rst
+
+:Original: Documentation/vm/vmalloced-kernel-stacks.rst
+
+:翻译:
+
+ 司延腾 Yanteng Si <[email protected]>
+
+:校译:
+
+====================
+支持虚拟映射的内核栈
+====================
+
+:作者: Shuah Khan <[email protected]>
+
+.. contents:: :local:
+
+概览
+----
+
+这是介绍 `虚拟映射内核栈功能 <https://lwn.net/Articles/694348/>` 的代码
+和原始补丁系列的信息汇总。
+
+简介
+----
+
+内核堆栈溢出通常难以调试,并使内核容易被(恶意)利用。问题可能在稍后的时间出现,使其难以
+隔离和究其根本原因。
+
+带有保护页的虚拟映射内核堆栈如果溢出,会被立即捕获,而不会放任其导致难以诊断的损
+坏。
+
+HAVE_ARCH_VMAP_STACK和VMAP_STACK配置选项能够支持带有保护页的虚拟映射堆栈。
+当堆栈溢出时,这个特性会引发可靠的异常。溢出后堆栈跟踪的可用性以及对溢出本身的
+响应取决于架构。
+
+.. note::
+        截至本文撰写时, arm64, powerpc, riscv, s390, um, 和 x86 支持VMAP_STACK。
+
+HAVE_ARCH_VMAP_STACK
+--------------------
+
+能够支持虚拟映射内核栈的架构应该启用这个bool配置选项。要求是:
+
+- vmalloc空间必须大到足以容纳许多内核堆栈。这可能排除了许多32位架构。
+- vmalloc空间的堆栈需要可靠地工作。例如,如果vmap页表是按需创建的,当堆栈指向
+  具有未填充页表的虚拟地址时,这种机制需要工作,或者架构代码(switch_to()和
+  switch_mm(),很可能)需要确保堆栈的页表项在可能未填充的堆栈上运行之前已经填
+  充。
+- 如果堆栈溢出到一个保护页,就应该发生一些合理的事情。“合理”的定义是灵活的,但
+  在没有记录任何东西的情况下立即重启是不友好的。
+
+VMAP_STACK
+----------
+
+VMAP_STACK bool配置选项在启用时分配虚拟映射的任务栈。这个选项依赖于
+HAVE_ARCH_VMAP_STACK。
+
+- 如果你想使用带有保护页的虚拟映射的内核堆栈,请启用该选项。这将导致内核栈溢出
+  被立即捕获,而不是难以诊断的损坏。
+
+.. note::
+
+        使用KASAN的这个功能需要架构支持用真实的影子内存来支持虚拟映射,并且
+        必须启用KASAN_VMALLOC。
+
+.. note::
+
+        启用VMAP_STACK时,无法在堆栈分配的数据上运行DMA。
+
+内核配置选项和依赖性不断变化。请参考最新的代码库:
+
+`Kconfig <https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/tree/arch/Kconfig>`
+
+分配方法
+--------
+
+当一个新的内核线程被创建时,线程堆栈是由页级分配器分配的虚拟连续的内存页组成。这
+些页面被映射到有PAGE_KERNEL保护的连续的内核虚拟空间。
+
+alloc_thread_stack_node()调用__vmalloc_node_range()来分配带有PAGE_KERNEL
+保护的栈。
+
+- 分配的堆栈被缓存起来,以后会被新的线程重用,所以在分配/释放堆栈给任务时,要手动
+  进行memcg核算。因此,__vmalloc_node_range被调用时没有__GFP_ACCOUNT。
+- vm_struct被缓存起来,以便能够找到在中断上下文中启动的空闲线程。 free_thread_stack()
+  可以在中断上下文中调用。
+- 在arm64上,所有VMAP的堆栈都需要有相同的对齐方式,以确保VMAP的堆栈溢出检测正常
+  工作。架构特定的vmap堆栈分配器照顾到了这个细节。
+- 这并不涉及中断堆栈--参考原始补丁
+
+线程栈分配是由clone()、fork()、vfork()、kernel_thread()通过kernel_clone()
+启动的。留点提示在这,以便搜索代码库,了解线程栈何时以及如何分配。
+
+大量的代码是在:
+`kernel/fork.c <https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/tree/kernel/fork.c>`.
+
+task_struct中的stack_vm_area指针可以跟踪虚拟分配的堆栈,一个非空的stack_vm_area
+指针可以表明虚拟映射的内核堆栈已经启用。
+
+::
+
+        struct vm_struct *stack_vm_area;
+
+堆栈溢出处理
+------------
+
+前守护页和后守护页有助于检测堆栈溢出。当堆栈溢出到守护页时,处理程序必须小心不要再
+次溢出堆栈。当处理程序被调用时,很可能只留下很少的堆栈空间。
+
+在x86上,这是通过处理表明内核堆栈溢出的双异常堆栈的缺页异常来实现的。
+
+用守护页测试VMAP分配
+--------------------
+
+我们如何确保VMAP_STACK在分配时确实有前守护页和后守护页的保护?下面的 lkdtm 测试
+可以帮助检测任何回归。
+
+::
+
+        void lkdtm_STACK_GUARD_PAGE_LEADING()
+        void lkdtm_STACK_GUARD_PAGE_TRAILING()
+
+结论
+----
+
+- vmalloced堆栈的percpu缓存似乎比高阶堆栈分配要快一些,至少在缓存命中时是这样。
+- THREAD_INFO_IN_TASK完全摆脱了arch-specific thread_info,并简单地将
+  thread_info(仅包含标志)和'int cpu'嵌入task_struct中。
+- 一旦任务死亡,线程栈就可以被释放(无需等待RCU),然后,如果使用vmapped栈,就
+  可以将整个栈缓存起来,以便在同一cpu上重复使用。
Signature · 1 line
2.27.0