Linux時間子系統之四：定時器的引擎：clock_event_device

早期的核心版本中，進程的調度基於一個稱之為tick的時鐘滴答，通常使用時鐘中斷來定時地產生tick訊號，每次tick定時中斷都會進行進程的統計和調度，並對tick進行計數，記錄在一個jiffies變數中，定時器的設計也是基於jiffies。這時候的核心代碼中，幾乎所有關於時鐘的操作都是在machine級的代碼中實現，很多公用的代碼要在每個平台上重複實現。隨後，隨著通用時鐘架構的引入，核心需要支援高精度的定時器，為此，通用時間架構為定時器硬體定義了一個標準的介面：clock_event_device，machine級的代碼只要按這個標準介面實現相應的硬體控制功能，剩下的與平台無關的特性則統一由通用時間架構層來實現。

/*****************************************************************************************************/

聲明：本博內容均由http://blog.csdn.net/droidphone原創，轉載請註明出處，謝謝！

/*****************************************************************************************************/

1.  時鐘事件軟體架構

本系列文章的第一節中，我們曾經討論了時鐘源裝置：clocksource，現在又來一個時鐘事件裝置：clock_event_device，它們有何區別？看名字，好像都是給系統提供時鐘的裝置，實際上，clocksource不能被編程，沒有產生事件的能力，它主要被用於timekeeper來實現對真即時間進行精確的統計，而clock_event_device則是可程式化的，它可以工作在周期觸發或單次觸發模式，系統可以對它進行編程，以確定下一次事件觸發的時間，clock_event_device主要用於實現普通定時器和高精度定時器，同時也用於產生tick事件，供給進程調度子系統使用。時鐘事件裝置與通用時間架構中的其他模組的關係如所示：

                                                                  圖1.1   clock_event_device軟體架構

• 與clocksource一樣，系統中可以存在多個clock_event_device，系統會根據它們的精度和能力，選擇合適的clock_event_device對系統提供時鐘事件服務。在smp系統中，為了減少處理器間的通訊開銷，基本上每個cpu都會具備一個屬於自己的本地clock_event_device，獨立地為該cpu提供時鐘事件服務，smp中的每個cpu基於本地的clock_event_device，建立自己的tick_device，普通定時器和高精度定時器。
• 在軟體架構上看，clock_event_device被分為了兩層，與硬體相關的被放在了machine層，而與硬體無關的通用代碼則被集中到了通用時間架構層，這符合核心對軟體的設計需求，平台的開發人員只需實現平台相關的介面即可，無需關注複雜的上層時間架構。
• tick_device是基於clock_event_device的進一步封裝，用於代替原有的時鐘滴答中斷，給核心提供tick事件，以完成進程的調度和進程資訊統計，Server Load Balancer和時間更新等操作。

2.  時鐘事件裝置相關資料結構2.1  struct clock_event_device

時鐘事件裝置的核心資料結構是clock_event_device結構，它代表著一個時鐘硬體裝置，該裝置就好像是一個具有事件觸發能力（通常就是指中斷）的clocksource，它不停地計數，當計數值達到預先編程設定的數值那一刻，會引發一個時鐘事件中斷，繼而觸發該裝置的事件處理回呼函數，以完成對時鐘事件的處理。clock_event_device結構的定義如下：

struct clock_event_device {void(*event_handler)(struct clock_event_device *);int(*set_next_event)(unsigned long evt,  struct clock_event_device *);int(*set_next_ktime)(ktime_t expires,  struct clock_event_device *);ktime_tnext_event;u64max_delta_ns;u64min_delta_ns;u32mult;u32shift;enum clock_event_modemode;unsigned intfeatures;unsigned longretries;void(*broadcast)(const struct cpumask *mask);void(*set_mode)(enum clock_event_mode mode,    struct clock_event_device *);unsigned longmin_delta_ticks;unsigned longmax_delta_ticks;const char*name;intrating;intirq;const struct cpumask*cpumask;struct list_headlist;} ____cacheline_aligned;

event_handler  該欄位是一個回呼函數指標，通常由通用架構層設定，在時間中斷到來時，machine底層的的中斷服務程式會調用該回調，架構層利用該回調實現對時鐘事件的處理。

set_next_event  設定下一次時間觸發的時間，使用類似於clocksource的cycle計數值（離現在的cycle差值）作為參數。

set_next_ktime  設定下一次時間觸發的時間，直接使用ktime時間作為參數。

max_delta_ns  可設定的最大時間差，單位是納秒。

min_delta_ns  可設定的最小時間差，單位是納秒。

mult shift  與clocksource中的類似，只不過是用於把納秒轉換為cycle。

mode  該時鐘事件裝置的工作模式，兩種主要的工作模式分別是：

• CLOCK_EVT_MODE_PERIODIC  周期觸發模式，設定後按給定的周期不停地觸發事件；
• CLOCK_EVT_MODE_ONESHOT  單次觸發模式，只在設定好的觸發時刻觸發一次；

set_mode  函數指標，用於設定時鐘事件裝置的工作模式。

rating  表示該裝置的精度等級。

list  系統中註冊的時鐘事件裝置用該欄位掛在全域鏈表變數clockevent_devices上。

2.2  全域變數clockevent_devices系統中所有註冊的clock_event_device都會掛在該鏈表下面，它在kernel/time/clockevents.c中定義：

static LIST_HEAD(clockevent_devices);

2.3  全域變數clockevents_chain通用時間架構初始化時會註冊一個通知鏈（NOTIFIER），當系統中的時鐘時間裝置的狀態發生變化時，利用該通知鏈通知系統的其它模組。

/* Notification for clock events */static RAW_NOTIFIER_HEAD(clockevents_chain);

3.  clock_event_device的初始化和註冊每一個machine，都要定義一個自己的machine_desc結構，該結構定義了該machine的一些最基本的特性，其中需要設定一個sys_timer結構指標，machine級的代碼負責定義sys_timer結構，sys_timer的聲明很簡單：

struct sys_timer {void(*init)(void);void(*suspend)(void);void(*resume)(void);#ifdef CONFIG_ARCH_USES_GETTIMEOFFSETunsigned long(*offset)(void);#endif};

通常，我們至少要定義它的init欄位，系統初始化階段，該init回調會被調用，該init回呼函數的主要作用就是完成系統中的clocksource和clock_event_device的硬體初始化工作，以samsung的exynos4為例，在V3.4核心的代碼樹中，machine_desc的定義如下：

MACHINE_START(SMDK4412, "SMDK4412")/* Maintainer: Kukjin Kim <kgene.kim@samsung.com> *//* Maintainer: Changhwan Youn <chaos.youn@samsung.com> */.atag_offset= 0x100,.init_irq= exynos4_init_irq,.map_io= smdk4x12_map_io,.handle_irq= gic_handle_irq,.init_machine= smdk4x12_machine_init,.timer= &exynos4_timer,.restart= exynos4_restart,MACHINE_END

定義的sys_timer是exynos4_timer，它的定義和init回調定義如下：

static void __init exynos4_timer_init(void){if (soc_is_exynos4210())mct_int_type = MCT_INT_SPI;elsemct_int_type = MCT_INT_PPI;exynos4_timer_resources();exynos4_clocksource_init();exynos4_clockevent_init();}struct sys_timer exynos4_timer = {.init= exynos4_timer_init,};

exynos4_clockevent_init函數顯然是初始化和註冊clock_event_device的合適時機，在這裡，它註冊了一個rating為250的clock_event_device，並把它指定給cpu0：

static struct clock_event_device mct_comp_device = {.name= "mct-comp",.features       = CLOCK_EVT_FEAT_PERIODIC | CLOCK_EVT_FEAT_ONESHOT,.rating= 250,.set_next_event= exynos4_comp_set_next_event,.set_mode= exynos4_comp_set_mode,};......static void exynos4_clockevent_init(void){clockevents_calc_mult_shift(&mct_comp_device, clk_rate, 5);        ......mct_comp_device.cpumask = cpumask_of(0);clockevents_register_device(&mct_comp_device);setup_irq(EXYNOS4_IRQ_MCT_G0, &mct_comp_event_irq);}

因為這個階段其它cpu核尚未開始工作，所以該clock_event_device也只是在啟動階段給系統提供服務，實際上，因為exynos4是一個smp系統，具備2-4個cpu核心，前面說過，smp系統中，通常會使用各個cpu的本地定時器來為每個cpu單獨提供時鐘事件服務，繼續翻閱代碼，在系統初始化的後段，kernel_init會被調用，它會調用smp_prepare_cpus，其中會調用percpu_timer_setup函數，在arch/arm/kernel/smp.c中，為每個cpu定義了一個clock_event_device：

/* * Timer (local or broadcast) support */static DEFINE_PER_CPU(struct clock_event_device, percpu_clockevent);

percpu_timer_setup最終會調用exynos4_local_timer_setup函數完成對本地clock_event_device的初始化工作：

static int __cpuinit exynos4_local_timer_setup(struct clock_event_device *evt){    ......evt->name = mevt->name;evt->cpumask = cpumask_of(cpu);evt->set_next_event = exynos4_tick_set_next_event;evt->set_mode = exynos4_tick_set_mode;evt->features = CLOCK_EVT_FEAT_PERIODIC | CLOCK_EVT_FEAT_ONESHOT;evt->rating = 450;clockevents_calc_mult_shift(evt, clk_rate / (TICK_BASE_CNT + 1), 5);    ......clockevents_register_device(evt);    ......enable_percpu_irq(EXYNOS_IRQ_MCT_LOCALTIMER, 0);    ......return 0;}

由此可見，每個cpu的本地clock_event_device的rating是450，比啟動階段的250要高，顯然，之前註冊給cpu0的精度要高，系統會用本地clock_event_device替換掉原來分配給cpu0的clock_event_device，至於怎麼替換？我們先停一停，到這裡我們一直在討論machine層級的初始化和註冊，讓我們回過頭來，看看架構層的初始化。在繼續之前，讓我們看看整個clock_event_device的初始化的調用順序圖表：

                                                                                           圖3.1  clock_event_device的系統初始化

由上面的圖示可以看出，架構層的初始化步驟很簡單，又start_kernel開始，調用tick_init，它位於kernel/time/tick-common.c中，也只是簡單地調用clockevents_register_notifier，同時把類型為notifier_block的tick_notifier作為參數傳入，回看2.3節，clockevents_register_notifier註冊了一個通知鏈，這樣，當系統中的clock_event_device狀態發生變化時（新增，刪除，掛起，喚醒等等），tick_notifier中的notifier_call欄位中設定的回呼函數tick_notify就會被調用。接下來start_kernel調用了time_init函數，該函數通常定義在體系相關的代碼中，正如前面所討論的一樣，它主要完成machine層級對時鐘系統的初始化工作，最終通過clockevents_register_device註冊系統中的時鐘事件裝置，把每個時鐘時間裝置掛在clockevent_device全域鏈表上，最後通過clockevent_do_notify觸發架構層事先註冊好的通知鏈，其實就是調用了tick_notify函數，我們主要關注CLOCK_EVT_NOTIFY_ADD通知，其它通知請自行參考代碼，下面是tick_notify的簡化版本：

static int tick_notify(struct notifier_block *nb, unsigned long reason,       void *dev){switch (reason) {case CLOCK_EVT_NOTIFY_ADD:return tick_check_new_device(dev);case CLOCK_EVT_NOTIFY_BROADCAST_ON:case CLOCK_EVT_NOTIFY_BROADCAST_OFF:case CLOCK_EVT_NOTIFY_BROADCAST_FORCE:            ......case CLOCK_EVT_NOTIFY_BROADCAST_ENTER:case CLOCK_EVT_NOTIFY_BROADCAST_EXIT:            ......case CLOCK_EVT_NOTIFY_CPU_DYING:            ......case CLOCK_EVT_NOTIFY_CPU_DEAD:            ......case CLOCK_EVT_NOTIFY_SUSPEND:            ......case CLOCK_EVT_NOTIFY_RESUME:            ......}return NOTIFY_OK;}

可見，對於新註冊的clock_event_device，會發出CLOCK_EVT_NOTIFY_ADD通知，最終會進入函數：tick_check_new_device，這個函數比對當前cpu所使用的與新註冊的clock_event_device之間的特性，如果認為新的clock_event_device更好，則會進行切換工作。下一節將會詳細的討論該函數。到這裡，每個cpu已經有了自己的clock_event_device，在這以後，架構層的代碼會根據核心的配置項（CONFIG_NO_HZ、CONFIG_HIGH_RES_TIMERS），對註冊的clock_event_device進行不同的設定，從而為系統的tick和高精度定時器提供服務，這些內容我們留在本系列的後續文章進行討論。

4.  tick_device當核心沒有配置成支援高精度定時器時，系統的tick由tick_device產生，tick_device其實是clock_event_device的簡單封裝，它內嵌了一個clock_event_device指標和它的工作模式：

struct tick_device {struct clock_event_device *evtdev;enum tick_device_mode mode;};

在kernel/time/tick-common.c中，定義了一個per-cpu的tick_device全域變數，tick_cpu_device：

/* * Tick devices */DEFINE_PER_CPU(struct tick_device, tick_cpu_device);

前面曾經說過，當machine的代碼為每個cpu註冊clock_event_device時，通知回呼函數tick_notify會被調用，進而進入tick_check_new_device函數，下面讓我們看看該函數如何工作，首先，該函數先判斷註冊的clock_event_device是否可用於本cpu，然後從per-cpu變數中取出本cpu的tick_device：

static int tick_check_new_device(struct clock_event_device *newdev){        ......cpu = smp_processor_id();if (!cpumask_test_cpu(cpu, newdev->cpumask))goto out_bc;td = &per_cpu(tick_cpu_device, cpu);curdev = td->evtdev;

如果不是本地clock_event_device，會做進一步的判斷：如果不能把irq綁定到本cpu，則放棄處理，如果本cpu已經有了一個本地clock_event_device，也放棄處理：

if (!cpumask_equal(newdev->cpumask, cpumask_of(cpu))) {                ......if (!irq_can_set_affinity(newdev->irq))goto out_bc;                ......if (curdev && cpumask_equal(curdev->cpumask, cpumask_of(cpu)))goto out_bc;}

反之，如果本cpu已經有了一個clock_event_device，則根據是否支援單觸發模式和它的rating值，決定是否替換原來舊的clock_event_device：

if (curdev) {if ((curdev->features & CLOCK_EVT_FEAT_ONESHOT) &&    !(newdev->features & CLOCK_EVT_FEAT_ONESHOT))goto out_bc;  // 新的不支援單觸發，但舊的支援，所以不能替換if (curdev->rating >= newdev->rating)goto out_bc;  // 舊的比新的精度高，不能替換}

在這些判斷都通過之後，說明或者來cpu還沒有綁定tick_device，或者是新的更好，需要替換：

if (tick_is_broadcast_device(curdev)) {clockevents_shutdown(curdev);curdev = NULL;}clockevents_exchange_device(curdev, newdev);tick_setup_device(td, newdev, cpu, cpumask_of(cpu));

上面的tick_setup_device函數負責重新綁定當前cpu的tick_device和新註冊的clock_event_device，如果發現是當前cpu第一次註冊tick_device，就把它設定為TICKDEV_MODE_PERIODIC模式，如果是替換舊的tick_device，則根據新的tick_device的特性，設定為TICKDEV_MODE_PERIODIC或TICKDEV_MODE_ONESHOT模式。可見，在系統的啟動階段，tick_device是工作在周期觸發模式的，直到架構層在合適的時機，才會開啟單觸發模式，以便支援NO_HZ和HRTIMER。5.  tick事件的處理--最簡單的情況clock_event_device最基本的應用就是實現tick_device，然後給系統定期地產生tick事件，通用時間架構對clock_event_device和tick_device的處理相當複雜，因為涉及配置項：CONFIG_NO_HZ和CONFIG_HIGH_RES_TIMERS的組合，兩個配置項就有4種組合，這四種組合的處理都有所不同，所以這裡我先只討論最簡單的情況：

• CONFIG_NO_HZ == 0;
• CONFIG_HIGH_RES_TIMERS == 0;

在這種配置模式下，我們回到上一節的tick_setup_device函數的最後：

if (td->mode == TICKDEV_MODE_PERIODIC)tick_setup_periodic(newdev, 0);elsetick_setup_oneshot(newdev, handler, next_event);

因為啟動期間，第一個註冊的tick_device必然工作在TICKDEV_MODE_PERIODIC模式，所以tick_setup_periodic會設定clock_event_device的事件回調欄位event_handler為tick_handle_periodic，工作一段時間後，就算有新的支援TICKDEV_MODE_ONESHOT模式的clock_event_device需要替換，再次進入tick_setup_device函數，tick_setup_oneshot的handler參數也是之前設定的tick_handle_periodic函數，所以我們考察tick_handle_periodic即可：

void tick_handle_periodic(struct clock_event_device *dev){int cpu = smp_processor_id();ktime_t next;tick_periodic(cpu);if (dev->mode != CLOCK_EVT_MODE_ONESHOT)return;next = ktime_add(dev->next_event, tick_period);for (;;) {if (!clockevents_program_event(dev, next, false))return;if (timekeeping_valid_for_hres())tick_periodic(cpu);next = ktime_add(next, tick_period);}}

該函數首先調用tick_periodic函數，完成tick事件的所有處理，如果是周期觸發模式，處理結束，如果工作在單觸發模式，則計算並設定下一次的觸發時刻，這裡用了一個迴圈，是為了防止當該函數被調用時，clock_event_device中的計時實際上已經經過了不止一個tick周期，這時候，tick_periodic可能被多次調用，使得jiffies和時間可以被正確地更新。tick_periodic的代碼如下：

static void tick_periodic(int cpu){if (tick_do_timer_cpu == cpu) {write_seqlock(&xtime_lock);/* Keep track of the next tick event */tick_next_period = ktime_add(tick_next_period, tick_period);do_timer(1);write_sequnlock(&xtime_lock);}update_process_times(user_mode(get_irq_regs()));profile_tick(CPU_PROFILING);}

如果當前cpu負責更新時間，則通過do_timer進行以下操作：

• 更新jiffies_64變數；
• 更新牆上時鐘；
• 每10個tick，更新一次cpu的負載資訊；

調用update_peocess_times，完成以下事情：

• 更新進程的時間統計資訊；
• 觸發TIMER_SOFTIRQ軟體中斷，以便系統處理傳統的低解析度定時器；
• 檢查rcu的callback；
• 通過scheduler_tick觸發調度系統進行進程統計和調度工作；