linux的hugepage的配置

來源:互聯網
上載者:User

author:skate
time:2011/12/16

linux的hugepage的配置

 

linux雖然沒有aix,hp unix那麼強悍,但linux也是非常優秀的,為了提升linux的效能,它採用了很多
io,memory的調度機制,linux使用記憶體的方式是採用vm的方式,即linux把實體記憶體和swap共同虛擬成
記憶體來對外提供,有時使用者看似使用記憶體,可實際上是使用磁碟,那如何避免使用swap磁碟空間呢?

linux管理記憶體的單位是頁(pages),一般情況下是4k的page,當我們使用的大記憶體時(>8G),管理這麼大的記憶體
就會給系統造成很大的負擔,再加上頻繁的pagein/pageout,會成為系統的瓶頸。

 

1.hugepage介紹
2.實踐配置

1.hugepage介紹
hugepage是在linux2.6核心被引入的,主要提供4k的page和比較大的page的選擇

當我們訪問記憶體時,首先訪問”page table“,然後linux在通過“page table”的
mapping來訪問真實實體記憶體(ram+swap)。為了提升效能,linux在cpu中申請
固定大小的buffer,被稱為TLB,TLB中儲存有“page table”的部分內容,這也遵循
了,讓資料儘可能的靠近cpu原則。在TLB中通過hugetlb來指向hugepage。這些被分配
的hugepage作為記憶體檔案系統hugetlbfs(類似tmpfs)提供給進程使用。

普通4k page

 

啟用hugepage

 

hugepage特點
linux系統啟動,hugepage就被分配並保留,不會pagein/pageout,除非人為幹預,如改變hugepage的配置等;
根據linux核心的版本和HW的架構,hugepage的大小從2M到256M不等。因為採用大page,所以也減少TLB
和page table的管理壓力

為什麼使用hugepage

對於大記憶體(>8G),hugepage對於提高在linux上的oracle效能是非常有協助的
 1)Larger Page Size and Less of Pages:減少了HugeTLB 的工作量
 2)No Page Table Lookups:因為hugepage是不swappable的,所有就沒有page table lookups。
 3)No Swapping: 在Linux下,hugepage是不支援swapping
 4)No 'kswapd' Operations:在linux下進程“kswapd”是管理swap的,如果是大記憶體,那pages的數量就非常大,
                           那“kswapd”就會被頻繁的調用,從而會影響效能。
 
 

2.實踐配置

A. oracle10g配置

平台:
hw:x86_64
os:RHEL5.4
kernel: 2.6.18-164.el5
db:oracle10.2

 

1). 用root使用者設定檔“/etc/security/limits.conf”,添加memlock,他的大小略小於總記憶體,例如:64GB,配置如下:

[root@skatedb ~]# vi /etc/security/limits.conf

##skate add
*   soft   memlock    60397977
*   hard   memlock    60397977

##skate add

2).用oracle重新登入,檢查memlock的設定是否生效
[oracle@skatedb ~]$ ulimit -l
60397977

3).確定所有的oracle資料庫執行個體都啟動,包括asm執行個體,然後用如下指令碼計算參數“vm.nr_hugepages"的大小

------------------hugepages_settings.sh----------------------------

#!/bin/bash
#
# hugepages_settings.sh
#
# Linux bash script to compute values for the
# recommended HugePages/HugeTLB configuration
#
# Note: This script does calculation for all shared memory
# segments available when the script is run, no matter it
# is an Oracle RDBMS shared memory segment or not.
#
# This script is provided by Doc ID 401749.1 from My Oracle Support
# http://support.oracle.com

# Welcome text
echo "
This script is provided by Doc ID 401749.1 from My Oracle Support
(http://support.oracle.com) where it is intended to compute values for
the recommended HugePages/HugeTLB configuration for the current shared
memory segments. Before proceeding with the execution please make sure
that:
 * Oracle Database instance(s) are up and running
 * Oracle Database 11g Automatic Memory Management (AMM) is not setup
   (See Doc ID 749851.1)
 * The shared memory segments can be listed by command:
     # ipcs -m

Press Enter to proceed..."

read

# Check for the kernel version
KERN=`uname -r | awk -F. '{ printf("%d.%d\n",$1,$2); }'`

# Find out the HugePage size
HPG_SZ=`grep Hugepagesize /proc/meminfo | awk '{print $2}'`

# Initialize the counter
NUM_PG=0

# Cumulative number of pages required to handle the running shared memory segments
for SEG_BYTES in `ipcs -m | awk '{print $5}' | grep "[0-9][0-9]*"`
do
   MIN_PG=`echo "$SEG_BYTES/($HPG_SZ*1024)" | bc -q`
   if [ $MIN_PG -gt 0 ]; then
      NUM_PG=`echo "$NUM_PG+$MIN_PG+1" | bc -q`
   fi
done

RES_BYTES=`echo "$NUM_PG * $HPG_SZ * 1024" | bc -q`

# An SGA less than 100MB does not make sense
# Bail out if that is the case
if [ $RES_BYTES -lt 100000000 ]; then
   echo "***********"
   echo "** ERROR **"
   echo "***********"
   echo "Sorry! There are not enough total of shared memory segments allocated for
HugePages configuration. HugePages can only be used for shared memory segments
that you can list by command:

   # ipcs -m

of a size that can match an Oracle Database SGA. Please make sure that:
 * Oracle Database instance is up and running
 * Oracle Database 11g Automatic Memory Management (AMM) is not configured"
   exit 1
fi

# Finish with results
case $KERN in
   '2.4') HUGETLB_POOL=`echo "$NUM_PG*$HPG_SZ/1024" | bc -q`;
          echo "Recommended setting: vm.hugetlb_pool = $HUGETLB_POOL" ;;
   '2.6') echo "Recommended setting: vm.nr_hugepages = $NUM_PG" ;;
    *) echo "Unrecognized kernel version $KERN. Exiting." ;;
esac

# End

-----------------------hugepages_settings.sh-----------------------

 

也可以手工計算nr_hugepages>=SGA_Target/Hugepagesize

然後把nr_hugepages追加寫入檔案“/etc/sysctl.conf”,假如這裡計算的nr_hugepages=15000

 

[root@skatedb ~]# vi /etc/sysctl.conf

##skate add
vm.nr_hugepages=15000

##skate add

 

使其修改生效

[root@skatedb ~]# sysctl -p

4).停止oracle資料庫,reboot伺服器

5).檢查hugepage是否生效

[root@skatedb ~]# grep HugePages /proc/meminfo
HugePages_Total: 15000
HugePages_Free:   4779
HugePages_Rsvd:   4676

如果HugePages_Total=HugePages_Free,說明HugePages配置沒起作用。

 

B. oracle11g配置

平台:
hw:x86_64
os:RHEL5 (Taroon)
kernel: 2.6.18-194.el5
db:oracle 11.2.0.2.0

 

oracle11g的新特性是通過啟用參數MEMORY_TARGET/MEMORY_MAX_TARGET,啟用AMM的
oracle11g的所有SGA記憶體的分配方式都是通過在/dev/shm下建立檔案,而已這種方
式分配的sga是不啟用hugepage的,AMM和hugepage是不相容的,因為/dev/shm是tmpfs
檔案系統,而tmpfs檔案系統是不支援AMM動態調整sga大小的,所以要想使用hugepage
的特性就要關閉AMM特性。兩個如何取捨就看你了。

停止oracle11g的AMM
直接把MEMORY_MAX_TARGET和MEMORY_TARGET設定為‘0’,就抱如下的錯誤

ORA-00843: Parameter not taking MEMORY_MAX_TARGET into account
ORA-00849: SGA_TARGET 35433480192 cannot be set to more than MEMORY_MAX_TARGET 0.
ORA-01078: failure in processing system parameters

如果只設定MEMORY_TARGET=0,hugepage是不起作用的。所以採用不設定這兩個參數,
就可以關閉oracle11g的AMM了。建立pfile.ora檔案,然後在檔案裡刪除兩個參數
"MEMORY_TARGET/MEMORY_MAX_TARGET"。就是因為這個關閉AMM的地方測試了半天,
才通過。

停止了oracle11g的AMM後,在按著oracle10g的配置方法就可以啟動hugepage了。

 

參考文檔:
oracle:ID 361323.1,ID 361468.1
http://www.dbafan.com/blog/?p=435

 

 

------end------

 

 

 

相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.