index.xml

<?xml version="1.0" encoding="utf-8" standalone="yes" ?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
  <channel>
    <title>Tacy - Notes</title>
    <link>http://tacy.github.io/</link>
    <description>Recent content on Tacy - Notes</description>
    <generator>Hugo -- gohugo.io</generator>
    <language>en</language>
    <lastBuildDate>Sun, 20 Aug 2017 21:38:52 +0800</lastBuildDate>
    
        <atom:link href="http://tacy.github.io/index.xml" rel="self" type="application/rss+xml" />
    
    
    <item>
      <title>About</title>
      <link>http://tacy.github.io/about/</link>
      <pubDate>Sun, 20 Aug 2017 21:38:52 +0800</pubDate>
      
      <guid>http://tacy.github.io/about/</guid>
      
        <description>&lt;p&gt;IT老民工，一个女儿的爸爸，会点编程，喜欢Linux和开源，什么都会点，什么都不精通，喜欢解决技术问题，对新教育兴趣浓厚。&lt;/p&gt;

&lt;p&gt;工作环境： archlinux/emacs/mbp/vscode/android&lt;/p&gt;

&lt;p&gt;这个blog用hugo和github page支撑，emacs编写&lt;/p&gt;

&lt;p&gt;就这样。&lt;/p&gt;

&lt;p&gt;我的社交信息都在下面，欢迎关注&lt;/p&gt;
</description>
      
    </item>
    
    <item>
      <title>Jetty接入异常</title>
      <link>http://tacy.github.io/post/java-cause-accept-except/</link>
      <pubDate>Thu, 19 Sep 2019 00:00:00 +0000</pubDate>
      
      <guid>http://tacy.github.io/post/java-cause-accept-except/</guid>
      
        <description>

&lt;h1 id=&#34;故障现象&#34;&gt;故障现象&lt;/h1&gt;

&lt;p&gt;客户现场测试，部署的一个集成平台，Java，基于RHEL，在自己机器上测试一切正常，部署到客户机器怎么都无法调通，后台也没有任何日志。&lt;/p&gt;

&lt;h1 id=&#34;分析解决&#34;&gt;分析解决&lt;/h1&gt;

&lt;p&gt;现场反馈是在k8s容器里面部署不行，后面了解到的情况是即使直接部署在虚拟机上也是无法调通，也就可以排除容器网络的问题。&lt;/p&gt;

&lt;p&gt;首先怀疑是网络问题，同事的反馈显示，端口是能正常telnet的，curl也能看到连接正常：
&lt;img src=&#34;http://tacy.github.io/img/jetty2.jpg&#34; alt=&#34;jetty curl&#34; /&gt;&lt;/p&gt;

&lt;p&gt;上图能看到连接已经建立了，但是server端迟迟没有返回。由于这里已经是直接本地调用了，查看了一下iptables，没发现有rule会影响29090端口的服务调用，自然怀疑是集成平台本身出了问题。&lt;/p&gt;

&lt;p&gt;接着就查看了一下集成平台的java线程栈，没有发现有线程挂住的情况，里面的线程都是空的，结合日志情况看，服务是没有被调用的。&lt;/p&gt;

&lt;p&gt;用抓包&lt;code&gt;tcpdump -i lo tcp -w esb.pcap&lt;/code&gt;分析了一下，确认请求是已经收到了：
&lt;img src=&#34;http://tacy.github.io/img/jetty3.jpg&#34; alt=&#34;jetty wireshark&#34; /&gt;&lt;/p&gt;

&lt;p&gt;也就是说从tcp协议层，包已经被接收了，为什么会出现这样的情况呢？按理来说，接收到包，中断，然后应用介入，acceptor读取请求，但是从线程栈看，没发现有什么异常情况。&lt;/p&gt;

&lt;p&gt;用&lt;code&gt;ss -tni -o &amp;quot;dport = :29090&lt;/code&gt;确认一下
&lt;img src=&#34;http://tacy.github.io/img/jetty4.jpg&#34; alt=&#34;jetty ss&#34; /&gt;&lt;/p&gt;

&lt;p&gt;从输出看，recv-q里面有88字节待读取。结合抓包截图，看到我们的请求大小就是88字节，也就是说，协议层面没有问题，包已经送达了，也没有overflow drop问题，问题确认出现在java层面，怀疑nio问题，我的最初怀疑是jdk，最后通过降低jetty版本解决，时间有限，没有再做更多分析。&lt;/p&gt;
</description>
      
    </item>
    
    <item>
      <title>java应用未关闭的http连接分析</title>
      <link>http://tacy.github.io/post/java-http-connect-unclose/</link>
      <pubDate>Thu, 18 Jul 2019 00:00:00 +0000</pubDate>
      
      <guid>http://tacy.github.io/post/java-http-connect-unclose/</guid>
      
        <description>&lt;p&gt;正常情况下，我们创建的http连接都需要主动关闭（也有很多http连接池管理的实现帮助你，你也需要release回到池中）。但依然有些丑陋的代码，忘记主动关闭，这些没有关闭的连接最终都会被回收，用不同的方式。&lt;/p&gt;

&lt;p&gt;存在两种方式：&lt;/p&gt;

&lt;p&gt;一种是连接发起端垃圾回收。由于http对象没有任何引用，gc会把它回收掉，这种情况下，连接不是采用四次挥手的正常端口模式，而是通过发送RESET包断开，没有处理的数据也会直接扔掉。&lt;/p&gt;

&lt;p&gt;一种是服务端断开。由于keepalive存在，一般服务端都会有keepalive超时设置。如果到了超时时间，客户端没有断开连接，服务端会主动断开。这种情况下，服务端会采用四次挥手方式断开连接，但是由于客户端对象已经没有任何引用，不会调用close方法，客户端虽然接收到了服务端发过来的fin包，但是不会回fin包，所以连接无法正常断开：客户端将处于close-wait状态，等待gc回收，服务端将处于fin-wait-2状态，并等待超时，进入time-wait状态。&lt;/p&gt;

&lt;p&gt;如果你在系统中看到大量的reset包，或者看到tcp连接处于close-wait/fin-wait-2状态，一般情况下都是连接没有正常关闭导致。&lt;/p&gt;
</description>
      
    </item>
    
    <item>
      <title>Axis2 performance improve</title>
      <link>http://tacy.github.io/post/axis2-performance-improve/</link>
      <pubDate>Thu, 28 Mar 2019 00:00:00 +0000</pubDate>
      
      <guid>http://tacy.github.io/post/axis2-performance-improve/</guid>
      
        <description>&lt;p&gt;上面一篇关于连接超时的文章，就是由于axis2客户端实现导致，下面是我用测试代码（启了4个线程，每个线程做4次调用）运行过程中的抓包：
&lt;img src=&#34;http://tacy.github.io/img/axis2-1.png&#34; alt=&#34;axis2 client&#34; /&gt;
可以看到，每次调用都会新建立一个连接，无法重用&lt;/p&gt;

&lt;p&gt;优化了一下，下面是修改过后的代码运行的抓包
&lt;img src=&#34;http://tacy.github.io/img/axis2-2.png&#34; alt=&#34;axis2 client&#34; /&gt;
连接都被重用了&lt;/p&gt;

&lt;p&gt;下面是实现代码片段：&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-java&#34; data-lang=&#34;java&#34;&gt;	&lt;span class=&#34;kd&#34;&gt;private&lt;/span&gt; &lt;span class=&#34;kd&#34;&gt;static&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;ConfigurationContext&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;defaultConfigurationContext&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;createDefaultConfigurationContext&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;();&lt;/span&gt;

	&lt;span class=&#34;kd&#34;&gt;private&lt;/span&gt; &lt;span class=&#34;kd&#34;&gt;static&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;ConfigurationContext&lt;/span&gt; &lt;span class=&#34;nf&#34;&gt;createDefaultConfigurationContext&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;(){&lt;/span&gt;
		&lt;span class=&#34;c1&#34;&gt;// reuse HTTP connections if possible.
&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;&lt;/span&gt;		&lt;span class=&#34;n&#34;&gt;MultiThreadedHttpConnectionManager&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;mgr&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;k&#34;&gt;new&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;MultiThreadedHttpConnectionManager&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;();&lt;/span&gt;
		&lt;span class=&#34;n&#34;&gt;HttpConnectionManagerParams&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;params&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;mgr&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;na&#34;&gt;getParams&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;();&lt;/span&gt;
		&lt;span class=&#34;k&#34;&gt;if&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;params&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;==&lt;/span&gt; &lt;span class=&#34;kc&#34;&gt;null&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;{&lt;/span&gt;
			&lt;span class=&#34;n&#34;&gt;params&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;k&#34;&gt;new&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;HttpConnectionManagerParams&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;();&lt;/span&gt;
			&lt;span class=&#34;n&#34;&gt;mgr&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;na&#34;&gt;setParams&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;params&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;);&lt;/span&gt;
		&lt;span class=&#34;o&#34;&gt;}&lt;/span&gt;
		&lt;span class=&#34;n&#34;&gt;params&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;na&#34;&gt;setMaxTotalConnections&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;40&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;);&lt;/span&gt;
		&lt;span class=&#34;n&#34;&gt;params&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;na&#34;&gt;setDefaultMaxConnectionsPerHost&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;20&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;);&lt;/span&gt;
		&lt;span class=&#34;n&#34;&gt;IdleConnectionTimeoutThread&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;ict&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;k&#34;&gt;new&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;IdleConnectionTimeoutThread&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;();&lt;/span&gt;
		&lt;span class=&#34;n&#34;&gt;ict&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;na&#34;&gt;addConnectionManager&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;mgr&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;);&lt;/span&gt;
		&lt;span class=&#34;n&#34;&gt;ict&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;na&#34;&gt;setConnectionTimeout&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;15000&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;);&lt;/span&gt;
		&lt;span class=&#34;n&#34;&gt;ict&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;na&#34;&gt;start&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;();&lt;/span&gt;
		&lt;span class=&#34;n&#34;&gt;HttpClient&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;httpClient&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;k&#34;&gt;new&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;HttpClient&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;mgr&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;);&lt;/span&gt;
		&lt;span class=&#34;n&#34;&gt;ConfigurationContext&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;defaultConfigurationContext&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;kc&#34;&gt;null&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;;&lt;/span&gt;
		&lt;span class=&#34;k&#34;&gt;try&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;{&lt;/span&gt;
			&lt;span class=&#34;n&#34;&gt;defaultConfigurationContext&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;ConfigurationContextFactory&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;na&#34;&gt;createDefaultConfigurationContext&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;();&lt;/span&gt;
		&lt;span class=&#34;o&#34;&gt;}&lt;/span&gt; &lt;span class=&#34;k&#34;&gt;catch&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;Exception&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;e&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;{&lt;/span&gt;
			&lt;span class=&#34;c1&#34;&gt;// TODO Auto-generated catch block
&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;&lt;/span&gt;			&lt;span class=&#34;n&#34;&gt;e&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;na&#34;&gt;printStackTrace&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;();&lt;/span&gt;
		&lt;span class=&#34;o&#34;&gt;}&lt;/span&gt;
		&lt;span class=&#34;n&#34;&gt;defaultConfigurationContext&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;na&#34;&gt;setProperty&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;HTTPConstants&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;na&#34;&gt;CACHED_HTTP_CLIENT&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;,&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;httpClient&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;);&lt;/span&gt;
		&lt;span class=&#34;k&#34;&gt;return&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;defaultConfigurationContext&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;;&lt;/span&gt;
	&lt;span class=&#34;o&#34;&gt;}&lt;/span&gt;

	&lt;span class=&#34;o&#34;&gt;...&lt;/span&gt;

	&lt;span class=&#34;n&#34;&gt;ServiceClient&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;sender&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;k&#34;&gt;new&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;ServiceClient&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;defaultConfigurationContext&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;,&lt;/span&gt;&lt;span class=&#34;kc&#34;&gt;null&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;);&lt;/span&gt;
	&lt;span class=&#34;n&#34;&gt;OMElement&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;result&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;sender&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;na&#34;&gt;sendReceive&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;method&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;);&lt;/span&gt;
	&lt;span class=&#34;n&#34;&gt;sender&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;na&#34;&gt;cleanupTransport&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;();&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;</description>
      
    </item>
    
    <item>
      <title>tcp connect can&#39;t establish</title>
      <link>http://tacy.github.io/post/network-troubleshooting-tcp-connect-cant-established/</link>
      <pubDate>Tue, 12 Mar 2019 00:00:00 +0000</pubDate>
      
      <guid>http://tacy.github.io/post/network-troubleshooting-tcp-connect-cant-established/</guid>
      
        <description>

&lt;p&gt;最近碰到一起网络故障，有代表意义，记录下过程&lt;/p&gt;

&lt;h1 id=&#34;故障现象&#34;&gt;故障现象&lt;/h1&gt;

&lt;p&gt;客户系统频繁报调用超时，检查后端服务提供方日志，并没有发现服务调用异常情况，服务调用时长都控制在5S以内。&lt;/p&gt;

&lt;h1 id=&#34;故障分析&#34;&gt;故障分析&lt;/h1&gt;

&lt;p&gt;分析调用方日志，由于我们在sdk里面提供了uuid作为requestid，调用方的异常日志都记录了该字段。我们通过该字段去查后端服务的日志，在日志中并没有发现该requestid。也就是会说，请求并没有调用到后端服务，问题应该出现在网络上。&lt;/p&gt;

&lt;p&gt;由于网络环境比较复杂，中间有防火墙和F5以及多层交换设备，我们先是在客户端进行了简单的抓包。&lt;/p&gt;

&lt;p&gt;通过异常日志中的requestid，在捕获包中查找（通过tcp contains过滤），结果却找不到对应的数据包，也就是说请求并没有发出去，怀疑tcp连接应该是没有建立。&lt;/p&gt;

&lt;p&gt;继续分析，发现网络中存在大量的syn包重传，下面截取了一个典型的例子：
&lt;img src=&#34;http://tacy.github.io/img/tcp-tw-reuse-1.png&#34; alt=&#34;wireshark sack&#34; /&gt;&lt;/p&gt;

&lt;p&gt;可以看到，tcp进行了5次syn包重传（linux默认），花了60多秒的时间，而调用方的服务调用超时设置的是60秒，也就是说连接没有建立，请求直接超时了。这也就解释了为什么在后台服务提供方的日志中并没有发现对应的requestid。&lt;/p&gt;

&lt;p&gt;检查调用方和服务提供方网络，并没有发现明显的异常，为什么偏偏只丢syn包呢？接下来又在F5端和服务提供方网络进行抓包分析，发现异常。&lt;/p&gt;

&lt;p&gt;先来看看F5的包：&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-text&#34; data-lang=&#34;text&#34;&gt;140994 689.875661 10.24.20.249 → 10.24.20.26  TCP 0 0 0.000000000 0 29200 57011 → 8080 [SYN] Seq=0 Win=29200 Len=0 MSS=1460 SACK_PERM=1 TSval=3135523389 TSecr=0 WS=128
144871 719.924532  10.24.20.26 → 10.24.20.249 TCP 1 887 30.048871000 0 220 [TCP ACKed unseen segment] 8080 → 57011 [FIN, ACK] Seq=1 Ack=887 Win=220 Len=0 TSval=2612910209 TSecr=3135523404
144872 719.924548  10.24.20.51 → 10.24.18.13  TCP 1 1 0.000000000 0 220 8080 → 57011 [FIN, ACK] Seq=1 Ack=1 Win=220 Len=0 TSval=2612910209 TSecr=3135523404
144877 719.963860  10.24.18.13 → 10.24.20.51  TCP 1 2 0.039312000 0 625 57011 → 8080 [ACK] Seq=1 Ack=2 Win=625 Len=0 TSval=3135553478 TSecr=2612910209
144878 719.963869 10.24.20.249 → 10.24.20.26  TCP 887 2 0.039337000 0 80000 [TCP Previous segment not captured] 57011 → 8080 [ACK] Seq=887 Ack=2 Win=80000 Len=0 TSval=3135553478 TSecr=2612910209
148017 741.416886  10.24.18.13 → 10.24.20.51  TCP 1 2 21.453026000 0 625 57011 → 8080 [FIN, ACK] Seq=1 Ack=2 Win=625 Len=0 TSval=3135574931 TSecr=2612910209
148018 741.416892 10.24.20.249 → 10.24.20.26  TCP 887 2 21.453023000 0 80000 57011 → 8080 [FIN, ACK] Seq=887 Ack=2 Win=80000 Len=0 TSval=3135574931 TSecr=2612910209
148021 741.417014  10.24.20.26 → 10.24.20.249 TCP 2 888 0.000122000 0 220 [TCP ACKed unseen segment] 8080 → 57011 [ACK] Seq=2 Ack=888 Win=220 Len=0 TSval=2612931702 TSecr=3135574931
148022 741.417047  10.24.20.51 → 10.24.18.13  TCP 2 2 0.000161000 0 220 8080 → 57011 [ACK] Seq=2 Ack=2 Win=220 Len=0 TSval=2612931702 TSecr=3135574931
150058 750.708540 10.24.20.249 → 10.24.20.26  TCP 0 0 0.000000000 0 29200 [TCP Port numbers reused] 57011 → 8080 [SYN] Seq=0 Win=29200 Len=0 MSS=1460 SACK_PERM=1 TSval=3134415069 TSecr=0 WS=128
150136 751.711154  10.24.18.14 → 10.24.20.51  TCP 0 0 0.000000000 0 29200 57011 → 8080 [SYN] Seq=0 Win=29200 Len=0 MSS=1460 SACK_PERM=1 TSval=3134416072 TSecr=0 WS=128
150137 751.711159 10.24.20.249 → 10.24.20.26  TCP 0 0 1.002619000 0 29200 [TCP Retransmission] 57011 → 8080 [SYN] Seq=0 Win=29200 Len=0 MSS=1460 SACK_PERM=1 TSval=3134416072 TSecr=0 WS=128
150545 753.715177  10.24.18.14 → 10.24.20.51  TCP 0 0 2.004023000 0 29200 [TCP Retransmission] 57011 → 8080 [SYN] Seq=0 Win=29200 Len=0 MSS=1460 SACK_PERM=1 TSval=3134418076 TSecr=0 WS=128
150546 753.715187 10.24.20.249 → 10.24.20.26  TCP 0 0 2.004028000 0 29200 [TCP Retransmission] 57011 → 8080 [SYN] Seq=0 Win=29200 Len=0 MSS=1460 SACK_PERM=1 TSval=3134418076 TSecr=0 WS=128
151292 757.719161  10.24.18.14 → 10.24.20.51  TCP 0 0 4.003984000 0 29200 [TCP Retransmission] 57011 → 8080 [SYN] Seq=0 Win=29200 Len=0 MSS=1460 SACK_PERM=1 TSval=3134422080 TSecr=0 WS=128
151293 757.719183 10.24.20.249 → 10.24.20.26  TCP 0 0 4.003996000 0 29200 [TCP Retransmission] 57011 → 8080 [SYN] Seq=0 Win=29200 Len=0 MSS=1460 SACK_PERM=1 TSval=3134422080 TSecr=0 WS=128
152398 765.735191  10.24.18.14 → 10.24.20.51  TCP 0 0 8.016030000 0 29200 [TCP Retransmission] 57011 → 8080 [SYN] Seq=0 Win=29200 Len=0 MSS=1460 SACK_PERM=1 TSval=3134430096 TSecr=0 WS=128
152399 765.735201 10.24.20.249 → 10.24.20.26  TCP 0 0 8.016018000 0 29200 [TCP Retransmission] 57011 → 8080 [SYN] Seq=0 Win=29200 Len=0 MSS=1460 SACK_PERM=1 TSval=3134430096 TSecr=0 WS=128
158405 781.783166  10.24.18.14 → 10.24.20.51  TCP 0 0 16.047975000 0 29200 [TCP Retransmission] 57011 → 8080 [SYN] Seq=0 Win=29200 Len=0 MSS=1460 SACK_PERM=1 TSval=3134446144 TSecr=0 WS=128
158406 781.783177 10.24.20.249 → 10.24.20.26  TCP 0 0 16.047976000 0 29200 [TCP Retransmission] 57011 → 8080 [SYN] Seq=0 Win=29200 Len=0 MSS=1460 SACK_PERM=1 TSval=3134446144 TSecr=0 WS=128
175385 881.982585  10.24.20.51 → 10.107.209.51 TCP 1 1 0.000000000 0 229 8080 → 57011 [FIN, ACK] Seq=1 Ack=1 Win=229 Len=0 TSval=2613072267 TSecr=333623407
175394 882.059551 10.107.209.51 → 10.24.20.51  TCP 1 2 0.076966000 0 5988 57011 → 8080 [ACK] Seq=1 Ack=2 Win=5988 Len=0 TSval=333653945 TSecr=2613072267&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;249代表F5地址，26是服务提供方服务器地址，上面信息显示，F5重用了端口（包150058）和26进行连接，连发了5个syn包，看起来是丢包了。&lt;/p&gt;

&lt;p&gt;但是我们来看看服务提供方包：&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-text&#34; data-lang=&#34;text&#34;&gt;136316 654.713264 10.24.20.249 → 10.24.20.26  TCP 0 0 0.000000000 0 29200 57011 → 8080 [SYN] Seq=0 Win=29200 Len=0 MSS=1460 SACK_PERM=1 TSval=3135523389 TSecr=0 WS=128
136317 654.713292  10.24.20.26 → 10.24.20.249 TCP 0 1 0.000028000 0 28960 8080 → 57011 [SYN, ACK] Seq=0 Ack=1 Win=28960 Len=0 MSS=1460 SACK_PERM=1 TSval=2612880161 TSecr=3135523389 WS=128
136318 654.713558 10.24.20.249 → 10.24.20.26  TCP 1 1 0.000266000 0 29312 57011 → 8080 [ACK] Seq=1 Ack=1 Win=29312 Len=0 TSval=3135523390 TSecr=2612880161
136319 654.713747 10.24.20.249 → 10.24.20.26  HTTP 1 1 0.000189000 182 29312 POST /default/WSWorkItemManagerService?wsdl HTTP/1.1
136320 654.713759  10.24.20.26 → 10.24.20.249 TCP 1 183 0.000012000 0 28800 8080 → 57011 [ACK] Seq=1 Ack=183 Win=28800 Len=0 TSval=2612880161 TSecr=3135523390
136321 654.713814 10.24.20.249 → 10.24.20.26  HTTP 183 1 0.000055000 704 29312 Continuation
136322 654.713824  10.24.20.26 → 10.24.20.249 TCP 1 887 0.000010000 0 28160 8080 → 57011 [ACK] Seq=1 Ack=887 Win=28160 Len=0 TSval=2612880161 TSecr=3135523390
136323 654.727617  10.24.20.26 → 10.24.20.249 HTTP 1 887 0.013793000 8192 28160 HTTP/1.1 200 OK [Unreassembled Packet]
136324 654.727706  10.24.20.26 → 10.24.20.249 HTTP 8193 887 0.000089000 5792 28160 Continuation
136325 654.727915 10.24.20.249 → 10.24.20.26  TCP 887 8193 0.000209000 0 45696 57011 → 8080 [ACK] Seq=887 Ack=8193 Win=45696 Len=0 TSval=3135523404 TSecr=2612880175
136326 654.727928  10.24.20.26 → 10.24.20.249 HTTP 13985 887 0.000013000 11386 28160 Continuation
136327 654.728040 10.24.20.249 → 10.24.20.26  TCP 887 11089 0.000112000 0 51456 57011 → 8080 [ACK] Seq=887 Ack=11089 Win=51456 Len=0 TSval=3135523404 TSecr=2612880175
136328 654.728049 10.24.20.249 → 10.24.20.26  TCP 887 11089 0.000009000 0 54272 [TCP Window Update] 57011 → 8080 [ACK] Seq=887 Ack=11089 Win=54272 Len=0 TSval=3135523404 TSecr=2612880175 SLE=12537 SRE=13985
136329 654.728056 10.24.20.249 → 10.24.20.26  TCP 887 13985 0.000007000 0 57216 57011 → 8080 [ACK] Seq=887 Ack=13985 Win=57216 Len=0 TSval=3135523404 TSecr=2612880175
136330 654.728202 10.24.20.249 → 10.24.20.26  TCP 887 25371 0.000146000 0 80000 57011 → 8080 [ACK] Seq=887 Ack=25371 Win=80000 Len=0 TSval=3135523404 TSecr=2612880175
142165 684.762029  10.24.20.26 → 10.24.20.249 TCP 25371 887 30.033827000 0 28160 8080 → 57011 [FIN, ACK] Seq=25371 Ack=887 Win=28160 Len=0 TSval=2612910209 TSecr=3135523404
142174 684.801477 10.24.20.249 → 10.24.20.26  TCP 887 25372 0.039448000 0 80000 57011 → 8080 [ACK] Seq=887 Ack=25372 Win=80000 Len=0 TSval=3135553478 TSecr=2612910209
146703 706.254510 10.24.20.249 → 10.24.20.26  TCP 887 25372 21.453033000 0 80000 57011 → 8080 [FIN, ACK] Seq=887 Ack=25372 Win=80000 Len=0 TSval=3135574931 TSecr=2612910209
146704 706.254518  10.24.20.26 → 10.24.20.249 TCP 25372 888 0.000008000 0 28160 8080 → 57011 [ACK] Seq=25372 Ack=888 Win=28160 Len=0 TSval=2612931702 TSecr=3135574931
148567 715.546271 10.24.20.249 → 10.24.20.26  TCP 0 0 0.000000000 0 29200 [TCP Port numbers reused] 57011 → 8080 [SYN] Seq=0 Win=29200 Len=0 MSS=1460 SACK_PERM=1 TSval=3134415069 TSecr=0 WS=128
148568 715.546299  10.24.20.26 → 10.24.20.249 TCP 1 3942326266 0.000028000 0 220 8080 → 57011 [ACK] Seq=1 Ack=3942326266 Win=220 Len=0 TSval=2612940994 TSecr=3135574931
148672 716.548784 10.24.20.249 → 10.24.20.26  TCP 0 0 1.002485000 0 29200 [TCP Retransmission] 57011 → 8080 [SYN] Seq=0 Win=29200 Len=0 MSS=1460 SACK_PERM=1 TSval=3134416072 TSecr=0 WS=128
148673 716.548800  10.24.20.26 → 10.24.20.249 TCP 1 3942326266 0.000016000 0 220 [TCP Dup ACK 148568#1] 8080 → 57011 [ACK] Seq=1 Ack=3942326266 Win=220 Len=0 TSval=2612941996 TSecr=3135574931
149153 718.552810 10.24.20.249 → 10.24.20.26  TCP 0 0 2.004010000 0 29200 [TCP Retransmission] 57011 → 8080 [SYN] Seq=0 Win=29200 Len=0 MSS=1460 SACK_PERM=1 TSval=3134418076 TSecr=0 WS=128
149154 718.552831  10.24.20.26 → 10.24.20.249 TCP 1 3942326266 0.000021000 0 220 [TCP Dup ACK 148568#2] 8080 → 57011 [ACK] Seq=1 Ack=3942326266 Win=220 Len=0 TSval=2612944000 TSecr=3135574931
150128 722.556839 10.24.20.249 → 10.24.20.26  TCP 0 0 4.004008000 0 29200 [TCP Retransmission] 57011 → 8080 [SYN] Seq=0 Win=29200 Len=0 MSS=1460 SACK_PERM=1 TSval=3134422080 TSecr=0 WS=128
150129 722.556858  10.24.20.26 → 10.24.20.249 TCP 1 3942326266 0.000019000 0 220 [TCP Dup ACK 148568#3] 8080 → 57011 [ACK] Seq=1 Ack=3942326266 Win=220 Len=0 TSval=2612948004 TSecr=3135574931
151923 730.572850 10.24.20.249 → 10.24.20.26  TCP 0 0 8.015992000 0 29200 [TCP Retransmission] 57011 → 8080 [SYN] Seq=0 Win=29200 Len=0 MSS=1460 SACK_PERM=1 TSval=3134430096 TSecr=0 WS=128
151924 730.572871  10.24.20.26 → 10.24.20.249 TCP 1 3942326266 0.000021000 0 220 [TCP Dup ACK 148568#4] 8080 → 57011 [ACK] Seq=1 Ack=3942326266 Win=220 Len=0 TSval=2612956020 TSecr=3135574931
155688 746.620837 10.24.20.249 → 10.24.20.26  TCP 0 0 16.047966000 0 29200 [TCP Retransmission] 57011 → 8080 [SYN] Seq=0 Win=29200 Len=0 MSS=1460 SACK_PERM=1 TSval=3134446144 TSecr=0 WS=128
155689 746.620857  10.24.20.26 → 10.24.20.249 TCP 1 3942326266 0.000020000 0 220 [TCP Dup ACK 148568#5] 8080 → 57011 [ACK] Seq=1 Ack=3942326266 Win=220 Len=0 TSval=2612972068 TSecr=3135574931&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;tcp连接正常终止在包（142165，142174，146703，146704），接下来249在9秒之后，重用了同样的端口向26发起连接（包148567），26接收到syn包之后，回了一个ack包？不是一个syn/ack包？而且ack number = 3942326266&lt;/p&gt;

&lt;p&gt;其实容易理解，由于26是active close一方，当连接终止之后，依然处于time_wait状态，这个时候，249重用了端口进行新的连接，可是这个连接在26上依然存在（处于time_wait状态），看到249发过来的syn包，和自己目前连接的sequence number一比，发现比自己目前的sequence number小，直接回一个ACK包告诉对方你给我发什么乱七八糟的东西，我期待下一个包的sequence number是3942326266，然后默默的把249发过来的SYN包扔掉了。。。&lt;/p&gt;

&lt;h1 id=&#34;解决思路&#34;&gt;解决思路&lt;/h1&gt;

&lt;p&gt;tcp连接的time_wait状态是用来保护连接的，linux把这个值写死在代码中（TCP_TIMEWAIT_LEN=60秒），除非自己编译源代码修改（不建议缩短这个值，容易导致连接损坏，或者连接关闭不完全）&lt;/p&gt;

&lt;p&gt;在本系统中，由于服务提供方（26）设置的线程keepalive时间为30S，30S之后，会主动断开连接，连接就会进入time_wait状态；客户端连接被释放之后，很快用这个端口再次发起连接，导致了连接无法建立正常，我们简单的把keepalive参数设置为不超时，暂时缓解了该问题。&lt;/p&gt;

&lt;h1 id=&#34;后续&#34;&gt;后续&lt;/h1&gt;

&lt;p&gt;由于系统中，前端和后端调用量很大，中间的F5很容易导致类似问题，优化方向参考：&lt;/p&gt;

&lt;ol&gt;
&lt;li&gt;增加客户端的可用端口数量(net.ipv4.ip_local_port_range)&lt;/li&gt;
&lt;li&gt;增加F5的出口ip数量，缓解端口问题&lt;/li&gt;
&lt;li&gt;增加服务端的server监听ip，缓解端口重用问题&lt;/li&gt;
&lt;li&gt;修改调用端代码，重用tcp连接&lt;/li&gt;
&lt;/ol&gt;

&lt;h1 id=&#34;参考&#34;&gt;参考&lt;/h1&gt;

&lt;ol&gt;
&lt;li&gt;TCP连接的状态变化参考下图：
&lt;img src=&#34;http://tacy.github.io/img/tcp-state-diagram-v2.svg&#34; alt=&#34;tcp state diagram&#34; /&gt;&lt;/li&gt;
&lt;/ol&gt;

&lt;p&gt;2.&lt;/p&gt;
</description>
      
    </item>
    
    <item>
      <title>binary notes</title>
      <link>http://tacy.github.io/post/binary/</link>
      <pubDate>Sat, 05 Jan 2019 00:00:00 +0000</pubDate>
      
      <guid>http://tacy.github.io/post/binary/</guid>
      
        <description>

&lt;p&gt;编译之后产生的二进制文件，有很多种不同的格式，一般在linux下，elf是最常用的，如果没有特殊说明，这里指的都是elf格式的二进制文件&lt;/p&gt;

&lt;h1 id=&#34;elf&#34;&gt;ELF&lt;/h1&gt;

&lt;h2 id=&#34;readelf&#34;&gt;readelf&lt;/h2&gt;

&lt;ul&gt;
&lt;li&gt;To retrieve a section header table:&lt;code&gt;readelf -S &amp;lt;object&amp;gt;&lt;/code&gt;&lt;/li&gt;
&lt;li&gt;To retrieve a program header table: &lt;code&gt;readelf -l &amp;lt;object&amp;gt;&lt;/code&gt;&lt;/li&gt;
&lt;li&gt;To retrieve a symbol table: &lt;code&gt;readelf -s &amp;lt;object&amp;gt;&lt;/code&gt;&lt;/li&gt;
&lt;li&gt;To retrieve the ELF file header data: &lt;code&gt;readelf -e &amp;lt;object&amp;gt;&lt;/code&gt;&lt;/li&gt;
&lt;li&gt;To retrieve relocation entries: &lt;code&gt;readelf -r &amp;lt;object&amp;gt;&lt;/code&gt;&lt;/li&gt;
&lt;li&gt;To retrieve a dynamic segment: &lt;code&gt;readelf -d &amp;lt;object&amp;gt;&lt;/code&gt;&lt;/li&gt;
&lt;/ul&gt;

&lt;h1 id=&#34;little-endian-big-endian&#34;&gt;little endian &amp;amp; big endian&lt;/h1&gt;

&lt;p&gt;little endian： 9A9B9C9D   =&amp;gt;   (9D-&amp;gt;0x1000, 9C-&amp;gt;0x1001, 9B-&amp;gt;0x1002, 9A-&amp;gt;0x1003)
big endian则相反，存储成 （9A-&amp;gt;0x1000, 9B-&amp;gt;0x1001, 9C-&amp;gt;0x1002, 9D-&amp;gt;0x1003)&lt;/p&gt;

&lt;p&gt;x86架构用的是little endian&lt;/p&gt;

&lt;h1 id=&#34;stack-frame&#34;&gt;stack frame&lt;/h1&gt;

&lt;h2 id=&#34;x86-1&#34;&gt;x86&lt;sup class=&#34;footnote-ref&#34; id=&#34;fnref:1&#34;&gt;&lt;a href=&#34;#fn:1&#34;&gt;1&lt;/a&gt;&lt;/sup&gt;&lt;/h2&gt;

&lt;p&gt;x86在调用的时候，参数不会入register，都是压在栈里面，callee直接通过esp偏移找参数，简单代码示例：&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;void
bar(int a, int b)
{
    int x, y;

    x = 555;
    y = a+b;
}

void
foo(void) {
    bar(111,222);
}&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;foo被调用的时候，会把111，222存入到当前自己的stack frame，注意是从右到做入栈，所以他会做如下操作：&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;nv&#34;&gt;esp&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; 当前esp - &lt;span class=&#34;m&#34;&gt;8&lt;/span&gt;
&lt;span class=&#34;m&#34;&gt;222&lt;/span&gt; 存入esp-4
&lt;span class=&#34;m&#34;&gt;111&lt;/span&gt; 存入esp-8
开始调用bar，之前先把返回地址存入栈 &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;4bytes&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;接下来，调用bar：&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;保存foo的ebp &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;4bytes&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
把esp塞入ebp，目前esp在的位置就是bar的ebp
&lt;span class=&#34;nv&#34;&gt;esp&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; 当前esp - &lt;span class=&#34;m&#34;&gt;16&lt;/span&gt;
&lt;span class=&#34;m&#34;&gt;555&lt;/span&gt; 存入当前esp - &lt;span class=&#34;m&#34;&gt;4&lt;/span&gt;
取出a的值从&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;%ebp&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;+8, 放入%eax
取出b的值从&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;%ebp&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;+12,放入%edx
求和放入ebp-8
弹出保存的ebp，放入%ebp，重设esp为返回地址&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h2 id=&#34;x64-2&#34;&gt;x64&lt;sup class=&#34;footnote-ref&#34; id=&#34;fnref:2&#34;&gt;&lt;a href=&#34;#fn:2&#34;&gt;2&lt;/a&gt;&lt;/sup&gt;&lt;/h2&gt;

&lt;p&gt;看看下面代码，基本上你就大概知道x64是使用寄存器和栈一起在函数调用之间传递参数：&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-c++&#34; data-lang=&#34;c++&#34;&gt;&lt;span class=&#34;kt&#34;&gt;int&lt;/span&gt; &lt;span class=&#34;nf&#34;&gt;foobar&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;kt&#34;&gt;int&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;a&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;,&lt;/span&gt; &lt;span class=&#34;kt&#34;&gt;int&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;b&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;,&lt;/span&gt; &lt;span class=&#34;kt&#34;&gt;int&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;c&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;,&lt;/span&gt; &lt;span class=&#34;kt&#34;&gt;int&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;d&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;,&lt;/span&gt; &lt;span class=&#34;kt&#34;&gt;int&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;e&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;,&lt;/span&gt; &lt;span class=&#34;kt&#34;&gt;int&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;f&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;,&lt;/span&gt; &lt;span class=&#34;kt&#34;&gt;int&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;g&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;)&lt;/span&gt;
&lt;span class=&#34;p&#34;&gt;{&lt;/span&gt;
    &lt;span class=&#34;kt&#34;&gt;int&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;aa&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;a&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;+&lt;/span&gt; &lt;span class=&#34;mi&#34;&gt;1&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
    &lt;span class=&#34;kt&#34;&gt;int&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;bb&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;b&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;+&lt;/span&gt; &lt;span class=&#34;mi&#34;&gt;2&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
    &lt;span class=&#34;kt&#34;&gt;int&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;cc&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;c&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;+&lt;/span&gt; &lt;span class=&#34;mi&#34;&gt;3&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
    &lt;span class=&#34;kt&#34;&gt;int&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;dd&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;d&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;+&lt;/span&gt; &lt;span class=&#34;mi&#34;&gt;4&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
    &lt;span class=&#34;kt&#34;&gt;int&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;ee&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;e&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;+&lt;/span&gt; &lt;span class=&#34;mi&#34;&gt;5&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
    &lt;span class=&#34;kt&#34;&gt;int&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;ff&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;f&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;+&lt;/span&gt; &lt;span class=&#34;mi&#34;&gt;6&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
    &lt;span class=&#34;kt&#34;&gt;int&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;gg&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;g&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;+&lt;/span&gt; &lt;span class=&#34;mi&#34;&gt;6&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
    &lt;span class=&#34;kt&#34;&gt;int&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;sum&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;aa&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;+&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;bb&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;+&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;cc&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;+&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;dd&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;+&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;ee&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;+&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;ff&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;+&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;gg&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;

    &lt;span class=&#34;k&#34;&gt;return&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;aa&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;*&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;bb&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;*&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;cc&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;*&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;dd&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;*&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;ee&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;*&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;ff&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;*&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;gg&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;+&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;sum&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
&lt;span class=&#34;p&#34;&gt;}&lt;/span&gt;

&lt;span class=&#34;kt&#34;&gt;int&lt;/span&gt; &lt;span class=&#34;nf&#34;&gt;main&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;()&lt;/span&gt;
&lt;span class=&#34;p&#34;&gt;{&lt;/span&gt;
    &lt;span class=&#34;kt&#34;&gt;int&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;a&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;foobar&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;mi&#34;&gt;33&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;,&lt;/span&gt; &lt;span class=&#34;mi&#34;&gt;44&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;,&lt;/span&gt; &lt;span class=&#34;mi&#34;&gt;55&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;,&lt;/span&gt; &lt;span class=&#34;mi&#34;&gt;66&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;,&lt;/span&gt; &lt;span class=&#34;mi&#34;&gt;77&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;,&lt;/span&gt; &lt;span class=&#34;mi&#34;&gt;88&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;,&lt;/span&gt; &lt;span class=&#34;mi&#34;&gt;99&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;);&lt;/span&gt;
    &lt;span class=&#34;k&#34;&gt;return&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;a&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;+&lt;/span&gt; &lt;span class=&#34;mi&#34;&gt;1&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
&lt;span class=&#34;p&#34;&gt;}&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;汇编代码&lt;code&gt;gcc -fno-asynchronous-unwind-tables -masm=intel -S simple.c -o simple.s&lt;/code&gt;&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-assembly&#34; data-lang=&#34;assembly&#34;&gt;        .file   &amp;#34;simple.c&amp;#34;
        .intel_syntax noprefix
        .text
        .globl  foobar
        .type   foobar, @function
foobar:
        push    rbp
        mov     rbp, rsp
        mov     DWORD PTR -36[rbp], edi
        mov     DWORD PTR -40[rbp], esi
        mov     DWORD PTR -44[rbp], edx
        mov     DWORD PTR -48[rbp], ecx
        mov     DWORD PTR -52[rbp], r8d
        mov     DWORD PTR -56[rbp], r9d
        mov     eax, DWORD PTR -36[rbp]
        add     eax, 1
        mov     DWORD PTR -32[rbp], eax
        mov     eax, DWORD PTR -40[rbp]
        add     eax, 2
        mov     DWORD PTR -28[rbp], eax
        mov     eax, DWORD PTR -44[rbp]
        add     eax, 3
        mov     DWORD PTR -24[rbp], eax
        mov     eax, DWORD PTR -48[rbp]
        add     eax, 4
        mov     DWORD PTR -20[rbp], eax
        mov     eax, DWORD PTR -52[rbp]
        add     eax, 5
        mov     DWORD PTR -16[rbp], eax
        mov     eax, DWORD PTR -56[rbp]
        add     eax, 6
        mov     DWORD PTR -12[rbp], eax
        mov     eax, DWORD PTR 16[rbp]
        add     eax, 6
        mov     DWORD PTR -8[rbp], eax
        mov     edx, DWORD PTR -32[rbp]
        mov     eax, DWORD PTR -28[rbp]
        add     edx, eax
        mov     eax, DWORD PTR -24[rbp]
        add     edx, eaxn
        mov     eax, DWORD PTR -20[rbp]
        add     edx, eax
        mov     eax, DWORD PTR -16[rbp]
        add     edx, eax
        mov     eax, DWORD PTR -12[rbp]
        add     edx, eax
        mov     eax, DWORD PTR -8[rbp]
        add     eax, edx
        mov     DWORD PTR -4[rbp], eax
        mov     eax, DWORD PTR -32[rbp]
        imul    eax, DWORD PTR -28[rbp]
        imul    eax, DWORD PTR -24[rbp]
        imul    eax, DWORD PTR -20[rbp]
        imul    eax, DWORD PTR -16[rbp]
        imul    eax, DWORD PTR -12[rbp]
        imul    eax, DWORD PTR -8[rbp]
        mov     edx, eax
        mov     eax, DWORD PTR -4[rbp]
        add     eax, edx
        pop     rbp
        ret
        .size   foobar, .-foobar
        .globl  main
        .type   main, @function
main:
        push    rbp
        mov     rbp, rsp
        sub     rsp, 16
        push    99
        mov     r9d, 88
        mov     r8d, 77
        mov     ecx, 66
        mov     edx, 55
        mov     esi, 44
        mov     edi, 33
        call    foobar
        add     rsp, 8
        mov     DWORD PTR -4[rbp], eax
        mov     eax, DWORD PTR -4[rbp]
        add     eax, 1
        leave
        ret
        .size   main, .-main
        .ident  &amp;#34;GCC: (GNU) 8.2.1 20180831&amp;#34;
        .section        .note.GNU-stack,&amp;#34;&amp;#34;,@progbits&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;caller负责把前面六个参数入寄存器（整型和指针类型，其他类型请参考规范calling conventions），依次是edi,esi,edx,ecx,r8d,r9d，第七个以后的参数入栈。说明一下，由于这里的参数都是整型，4字节，所以寄存器都是用的4字节寄存器，如果是8字节，e改为r，例如rdi&lt;/p&gt;

&lt;p&gt;callee会先保存caller的rbp（当前的frame pointer），然后保存当前rsp（strack pointer）为自己栈帧的rbp，接下来移动rsp，分配栈空间给参数或者内部变量使用。&lt;/p&gt;

&lt;p&gt;callee会把返回结果放入到eax，如果结果超过8byte，可以增加一个寄存器edx来存放返回结果，如果超过16字节，可能会更复杂点，caller会在自己的栈分配一块空间，然后把指针当成callee的第一个参数放入rdi，其他参数依次往后移一位。caller可以从eax获取到返回结果（或者更复杂）。可以看kernel代码&lt;code&gt;arch/x86/entry/calling.h&lt;/code&gt;:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-assembly&#34; data-lang=&#34;assembly&#34;&gt; x86 function call convention, 64-bit:
 -------------------------------------
  arguments           |  callee-saved      | extra caller-saved | return
 [callee-clobbered]   |                    | [callee-clobbered] |
 ---------------------------------------------------------------------------
 rdi rsi rdx rcx r8-9 | rbx rbp [*] r12-15 | r10-11             | rax, rdx [**]

 ( rsp is obviously invariant across normal function calls. (gcc can &amp;#39;merge&amp;#39;
   functions when it sees tail-call optimization possibilities) rflags is
   clobbered. Leftover arguments are passed over the stack frame.)

 [*]  In the frame-pointers case rbp is fixed to the stack frame.

 [**] for struct return values wider than 64 bits the return convention is a
      bit more complex: up to 128 bits width we return small structures
      straight in rax, rdx. For structures larger than that (3 words or
      larger) the caller puts a pointer to an on-stack return struct
      [allocated in the caller&amp;#39;s stack frame] into the first argument - i.e.
      into rdi. All other arguments shift up by one in this case.
      Fortunately this case is rare in the kernel.&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;如果编译的时候启用了&lt;code&gt;-fomit-frame-pointer&lt;/code&gt;选项，会优化掉rbp的使用，也就是不使用rbp做frame pointer，优化后的结果：&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-assembly&#34; data-lang=&#34;assembly&#34;&gt;main:
        sub     rsp, 16
        push    99
        mov     r9d, 88
        mov     r8d, 77
        mov     ecx, 66
        mov     edx, 55
        mov     esi, 44
        mov     edi, 33
        call    foobar
        add     rsp, 8
        mov     DWORD PTR 12[rsp], eax
        mov     eax, DWORD PTR 12[rsp]
        add     eax, 1
        add     rsp, 16
        ret
        .size   main, .-main
        .ident  &amp;#34;GCC: (GNU) 8.2.1 20180831&amp;#34;
        .section        .note.GNU-stack,&amp;#34;&amp;#34;,@progbits&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h1 id=&#34;x84-64-date-types&#34;&gt;x84-64 date types&lt;/h1&gt;

&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;C declaration&lt;/th&gt;
&lt;th&gt;Intel data type&lt;/th&gt;
&lt;th&gt;GAS suffix&lt;/th&gt;
&lt;th&gt;x86-64 Size (Bytes)&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;

&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;char&lt;/td&gt;
&lt;td&gt;Byte&lt;/td&gt;
&lt;td&gt;b&lt;/td&gt;
&lt;td&gt;1&lt;/td&gt;
&lt;/tr&gt;

&lt;tr&gt;
&lt;td&gt;short&lt;/td&gt;
&lt;td&gt;Word&lt;/td&gt;
&lt;td&gt;w&lt;/td&gt;
&lt;td&gt;2&lt;/td&gt;
&lt;/tr&gt;

&lt;tr&gt;
&lt;td&gt;int&lt;/td&gt;
&lt;td&gt;Double word&lt;/td&gt;
&lt;td&gt;l&lt;/td&gt;
&lt;td&gt;4&lt;/td&gt;
&lt;/tr&gt;

&lt;tr&gt;
&lt;td&gt;unsigned&lt;/td&gt;
&lt;td&gt;Double word&lt;/td&gt;
&lt;td&gt;l&lt;/td&gt;
&lt;td&gt;4&lt;/td&gt;
&lt;/tr&gt;

&lt;tr&gt;
&lt;td&gt;long&lt;/td&gt;
&lt;td&gt;int&lt;/td&gt;
&lt;td&gt;Quad word&lt;/td&gt;
&lt;td&gt;q&lt;/td&gt;
&lt;/tr&gt;

&lt;tr&gt;
&lt;td&gt;unsigned long&lt;/td&gt;
&lt;td&gt;Quad word&lt;/td&gt;
&lt;td&gt;q&lt;/td&gt;
&lt;td&gt;8&lt;/td&gt;
&lt;/tr&gt;

&lt;tr&gt;
&lt;td&gt;char *&lt;/td&gt;
&lt;td&gt;Quad word&lt;/td&gt;
&lt;td&gt;q&lt;/td&gt;
&lt;td&gt;8&lt;/td&gt;
&lt;/tr&gt;

&lt;tr&gt;
&lt;td&gt;float&lt;/td&gt;
&lt;td&gt;Single precision&lt;/td&gt;
&lt;td&gt;s&lt;/td&gt;
&lt;td&gt;4&lt;/td&gt;
&lt;/tr&gt;

&lt;tr&gt;
&lt;td&gt;double&lt;/td&gt;
&lt;td&gt;Double precision&lt;/td&gt;
&lt;td&gt;d&lt;/td&gt;
&lt;td&gt;8&lt;/td&gt;
&lt;/tr&gt;

&lt;tr&gt;
&lt;td&gt;long double&lt;/td&gt;
&lt;td&gt;Extended precision&lt;/td&gt;
&lt;td&gt;t&lt;/td&gt;
&lt;td&gt;16&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;

&lt;p&gt;char * 指针64bit&lt;/p&gt;

&lt;h1 id=&#34;pie-pic-3-4-5&#34;&gt;PIE / PIC&lt;sup class=&#34;footnote-ref&#34; id=&#34;fnref:3&#34;&gt;&lt;a href=&#34;#fn:3&#34;&gt;3&lt;/a&gt;&lt;/sup&gt;&lt;sup class=&#34;footnote-ref&#34; id=&#34;fnref:4&#34;&gt;&lt;a href=&#34;#fn:4&#34;&gt;4&lt;/a&gt;&lt;/sup&gt;&lt;sup class=&#34;footnote-ref&#34; id=&#34;fnref:5&#34;&gt;&lt;a href=&#34;#fn:5&#34;&gt;5&lt;/a&gt;&lt;/sup&gt;&lt;/h1&gt;

&lt;p&gt;在我的archlinux上（2018年12月的更新），gcc默认启用了pic和pie，会导致加载地址随机：&lt;/p&gt;

&lt;p&gt;PIC全名Postion Independent Codes，实现共享库的加载地址不固定，地址需要loader在加载时确定。&lt;/p&gt;

&lt;p&gt;PIE是指Position Independent Executables, 实现可执行文件的加载地址不固定（没有PIE之前，可执行文件默认会从固定地址加载，例如0x400000作为base加载地址&lt;sup class=&#34;footnote-ref&#34; id=&#34;fnref:6&#34;&gt;&lt;a href=&#34;#fn:6&#34;&gt;6&lt;/a&gt;&lt;/sup&gt;）。&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;➜  cat simple.c
#include &amp;lt;stdio.h&amp;gt;
int foobar(int *a, int b, int c, int d, int e, int f, int g)
{
    int aa = *a + 1;
    int bb = b + 2;
    int cc = c + 3;
    int dd = d + 4;
    int ee = e + 5;
    int ff = f + 6;
    int gg = g + 6;
    int sum = aa + bb + cc + dd + ee + ff + gg;

    return aa * bb * cc * dd * ee * ff * gg + sum;
}

int main()
{
    int b = 111;
    int a = foobar(&amp;amp;b, 44, 55, 66, 77, 88, 99);
    printf(&amp;#34;hello world&amp;#34;);
    return a + 1;
}&lt;/pre&gt;&lt;/div&gt;
&lt;h2 id=&#34;默认编译-fpic-fpie&#34;&gt;默认编译（-fPIC -fPIE）：&lt;/h2&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;➜  binary-study &amp;gt; objdump -t simple|grep text
0000000000001050 l    d  .text  0000000000000000              .text
0000000000001080 l     F .text  0000000000000000              deregister_tm_clones
00000000000010b0 l     F .text  0000000000000000              register_tm_clones
00000000000010f0 l     F .text  0000000000000000              __do_global_dtors_aux
0000000000001140 l     F .text  0000000000000000              frame_dummy
00000000000012e0 g     F .text  0000000000000005              __libc_csu_fini
0000000000001149 g     F .text  00000000000000a3              foobar
0000000000001270 g     F .text  0000000000000065              __libc_csu_init
0000000000001050 g     F .text  000000000000002f              _start
00000000000011ec g     F .text  000000000000007b              main

➜  binary-study &amp;gt; gdb simple
...
Reading symbols from simple...(no debugging symbols found)...done.
(gdb) b main
Breakpoint 1 at 0x11f0    # 这个地址不是虚拟地址，真正的地址需要运行时确认
(gdb) info b
Num     Type           Disp Enb Address            What
1       breakpoint     keep y   0x00000000000011f0 &amp;lt;main+4&amp;gt;
(gdb) run
Starting program: /home/tacy/workspace/binary-study/simple

Breakpoint 1, 0x00005555555551f0 in main ()   # 地址确认，替换成真正的虚拟地址
(gdb) info b
Num     Type           Disp Enb Address            What
1       breakpoint     keep y   0x00005555555551f0 &amp;lt;main+4&amp;gt;
        breakpoint already hit 1 time
(gdb) info address main
Symbol &amp;#34;main&amp;#34; is at 0x5555555551ec in a file compiled without debugging.


➜  binary-study &amp;gt;  cat /proc/`pidof simple`/maps   # 加载地址，不是传统的0x4000000
555555554000-555555555000 r--p 00000000 08:06 10403523                   /home/tacy/workspace/binary-study/simple
555555555000-555555556000 r-xp 00001000 08:06 10403523                   /home/tacy/workspace/binary-study/simple
555555556000-555555557000 r--p 00002000 08:06 10403523                   /home/tacy/workspace/binary-study/simple
555555557000-555555558000 r--p 00002000 08:06 10403523                   /home/tacy/workspace/binary-study/simple
555555558000-555555559000 rw-p 00003000 08:06 10403523                   /home/tacy/workspace/binary-study/simple&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;编译的时候开启pic和pie，symbol的地址需要在运行时确认（必须先运行才知道地址）&lt;/p&gt;

&lt;h2 id=&#34;禁用pie和pic&#34;&gt;禁用PIE和PIC&lt;/h2&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;➜  binary-study gcc -no-pie simple.c -o simple
➜  binary-study objdump -t simple|grep text
0000000000401050 l    d  .text  0000000000000000              .text
0000000000401090 l     F .text  0000000000000000              deregister_tm_clones
00000000004010c0 l     F .text  0000000000000000              register_tm_clones
0000000000401100 l     F .text  0000000000000000              __do_global_dtors_aux
0000000000401130 l     F .text  0000000000000000              frame_dummy
00000000004012d0 g     F .text  0000000000000005              __libc_csu_fini
0000000000401136 g     F .text  00000000000000a3              foobar
0000000000401260 g     F .text  0000000000000065              __libc_csu_init
0000000000401080 g     F .text  0000000000000005              .hidden _dl_relocate_static_pie
0000000000401050 g     F .text  000000000000002f              _start
00000000004011d9 g     F .text  0000000000000079              main
➜  binary-study gdb simple
...
Reading symbols from simple...(no debugging symbols found)...done.
(gdb) info address main
Symbol &amp;#34;main&amp;#34; is at 0x4011d9 in a file compiled without debugging.
(gdb) b main
Breakpoint 1 at 0x4011dd
(gdb) run
Starting program: /home/tacy/workspace/binary-study/simple

Breakpoint 1, 0x00000000004011dd in main ()
(gdb)

➜  binary-study cat /proc/`pidof simple`/maps
00400000-00401000 r--p 00000000 08:06 10358659                           /home/tacy/workspace/binary-study/simple
00401000-00402000 r-xp 00001000 08:06 10358659                           /home/tacy/workspace/binary-study/simple
00402000-00403000 r--p 00002000 08:06 10358659                           /home/tacy/workspace/binary-study/simple
00403000-00404000 r--p 00002000 08:06 10358659                           /home/tacy/workspace/binary-study/simple
00404000-00405000 rw-p 00003000 08:06 10358659                           /home/tacy/workspace/binary-study/simple&lt;/pre&gt;&lt;/div&gt;
&lt;h2 id=&#34;启用enable-default-pie编译选项的gcc&#34;&gt;启用enable-default-pie编译选项的gcc&lt;/h2&gt;

&lt;p&gt;如果你的gcc启用了enable-default-pie，那么你编译程序的时候，默认就带上&lt;code&gt;-fPIC -fPIE&lt;/code&gt;参数（可以通过-Q -v观察）&lt;/p&gt;

&lt;p&gt;想要禁用pic/pie，按照下面方式编译：&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;➜  binary-study&amp;gt; gcc -mcmodel&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;large -fno-PIC -c piepic.c -o piepic.o
➜  binary-study&amp;gt; gcc -mcmodel&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;large -no-pie -Wl,-O1,--sort-common,--as-needed,-z,relro,-z,now  -shared -o libpiepic.so piepic.o
➜  binary-study&amp;gt; file libpiepic.so
libpiepic.so: ELF &lt;span class=&#34;m&#34;&gt;64&lt;/span&gt;-bit LSB shared object, x86-64, version &lt;span class=&#34;m&#34;&gt;1&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;SYSV&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;, dynamically linked, BuildID&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;sha1&lt;span class=&#34;o&#34;&gt;]=&lt;/span&gt;3b01764ad66d87aa17a43c5cc52ccae070638ad6, not stripped
➜  binary-study readelf -r libpiepic.so

Relocation section &lt;span class=&#34;s1&#34;&gt;&amp;#39;.rela.dyn&amp;#39;&lt;/span&gt; at offset 0x3f8 contains &lt;span class=&#34;m&#34;&gt;12&lt;/span&gt; entries:
  Offset          Info           Type           Sym. Value    Sym. Name + Addend
0000000010ef  &lt;span class=&#34;m&#34;&gt;000000000008&lt;/span&gt; R_X86_64_RELATIVE                    400c
0000000010f9  &lt;span class=&#34;m&#34;&gt;000000000008&lt;/span&gt; R_X86_64_RELATIVE                    &lt;span class=&#34;m&#34;&gt;2000&lt;/span&gt;
&lt;span class=&#34;m&#34;&gt;000000001114&lt;/span&gt;  &lt;span class=&#34;m&#34;&gt;000000000008&lt;/span&gt; R_X86_64_RELATIVE                    &lt;span class=&#34;m&#34;&gt;2012&lt;/span&gt;
000000003e08  &lt;span class=&#34;m&#34;&gt;000000000008&lt;/span&gt; R_X86_64_RELATIVE                    10e0
000000003e10  &lt;span class=&#34;m&#34;&gt;000000000008&lt;/span&gt; R_X86_64_RELATIVE                    &lt;span class=&#34;m&#34;&gt;1090&lt;/span&gt;
&lt;span class=&#34;m&#34;&gt;000000004000&lt;/span&gt;  &lt;span class=&#34;m&#34;&gt;000000000008&lt;/span&gt; R_X86_64_RELATIVE                    &lt;span class=&#34;m&#34;&gt;4000&lt;/span&gt;
&lt;span class=&#34;m&#34;&gt;000000001108&lt;/span&gt;  &lt;span class=&#34;m&#34;&gt;000300000001&lt;/span&gt; R_X86_64_64       &lt;span class=&#34;m&#34;&gt;0000000000000000&lt;/span&gt; printf@GLIBC_2.2.5 + &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;
00000000111e  &lt;span class=&#34;m&#34;&gt;000200000001&lt;/span&gt; R_X86_64_64       &lt;span class=&#34;m&#34;&gt;0000000000000000&lt;/span&gt; puts@GLIBC_2.2.5 + &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;
000000003fe0  &lt;span class=&#34;m&#34;&gt;000100000006&lt;/span&gt; R_X86_64_GLOB_DAT &lt;span class=&#34;m&#34;&gt;0000000000000000&lt;/span&gt; _ITM_deregisterTMClone + &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;
000000003fe8  &lt;span class=&#34;m&#34;&gt;000400000006&lt;/span&gt; R_X86_64_GLOB_DAT &lt;span class=&#34;m&#34;&gt;0000000000000000&lt;/span&gt; __gmon_start__ + &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;
000000003ff0  &lt;span class=&#34;m&#34;&gt;000500000006&lt;/span&gt; R_X86_64_GLOB_DAT &lt;span class=&#34;m&#34;&gt;0000000000000000&lt;/span&gt; _ITM_registerTMCloneTa + &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;
000000003ff8  &lt;span class=&#34;m&#34;&gt;000600000006&lt;/span&gt; R_X86_64_GLOB_DAT &lt;span class=&#34;m&#34;&gt;0000000000000000&lt;/span&gt; __cxa_finalize@GLIBC_2.2.5 + &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;
➜  binary-study&amp;gt; gcc -no-pie -o client_nopie client_piepic.c libpiepic.so
➜  binary-study ./client_nopie   &lt;span class=&#34;c1&#34;&gt;# ASLR设置为1的情况&lt;/span&gt;
shared_v at 0xca3f800c
hello
value at 0x40403c
➜  binary-study ./client_nopie   &lt;span class=&#34;c1&#34;&gt;# ASLR设置为1的情况，设置为2，全部随机加载了&lt;/span&gt;
shared_v at 0xa421900c
hello
value at 0x40403c&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;默认情况下的编译方式（启用pie/pic）：&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;➜  binary-study gcc -c piepic.c -o piepic.o
➜  binary-study gcc -Wl,-O1,--sort-common,--as-needed,-z,relro,-z,now  -shared -o libpiepic.so piepic.o
➜  binary-study readelf -r libpiepic.so

Relocation section &lt;span class=&#34;s1&#34;&gt;&amp;#39;.rela.dyn&amp;#39;&lt;/span&gt; at offset 0x3f8 contains &lt;span class=&#34;m&#34;&gt;7&lt;/span&gt; entries:
  Offset          Info           Type           Sym. Value    Sym. Name + Addend
000000003dc8  &lt;span class=&#34;m&#34;&gt;000000000008&lt;/span&gt; R_X86_64_RELATIVE                    &lt;span class=&#34;m&#34;&gt;1110&lt;/span&gt;
000000003dd0  &lt;span class=&#34;m&#34;&gt;000000000008&lt;/span&gt; R_X86_64_RELATIVE                    10c0
&lt;span class=&#34;m&#34;&gt;000000004000&lt;/span&gt;  &lt;span class=&#34;m&#34;&gt;000000000008&lt;/span&gt; R_X86_64_RELATIVE                    &lt;span class=&#34;m&#34;&gt;4000&lt;/span&gt;
000000003fe0  &lt;span class=&#34;m&#34;&gt;000100000006&lt;/span&gt; R_X86_64_GLOB_DAT &lt;span class=&#34;m&#34;&gt;0000000000000000&lt;/span&gt; _ITM_deregisterTMClone + &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;
000000003fe8  &lt;span class=&#34;m&#34;&gt;000400000006&lt;/span&gt; R_X86_64_GLOB_DAT &lt;span class=&#34;m&#34;&gt;0000000000000000&lt;/span&gt; __gmon_start__ + &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;
000000003ff0  &lt;span class=&#34;m&#34;&gt;000500000006&lt;/span&gt; R_X86_64_GLOB_DAT &lt;span class=&#34;m&#34;&gt;0000000000000000&lt;/span&gt; _ITM_registerTMCloneTa + &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;
000000003ff8  &lt;span class=&#34;m&#34;&gt;000600000006&lt;/span&gt; R_X86_64_GLOB_DAT &lt;span class=&#34;m&#34;&gt;0000000000000000&lt;/span&gt; __cxa_finalize@GLIBC_2.2.5 + &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;

Relocation section &lt;span class=&#34;s1&#34;&gt;&amp;#39;.rela.plt&amp;#39;&lt;/span&gt; at offset 0x4a0 contains &lt;span class=&#34;m&#34;&gt;2&lt;/span&gt; entries:
  Offset          Info           Type           Sym. Value    Sym. Name + Addend
000000003fd0  &lt;span class=&#34;m&#34;&gt;000200000007&lt;/span&gt; R_X86_64_JUMP_SLO &lt;span class=&#34;m&#34;&gt;0000000000000000&lt;/span&gt; puts@GLIBC_2.2.5 + &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;
000000003fd8  &lt;span class=&#34;m&#34;&gt;000300000007&lt;/span&gt; R_X86_64_JUMP_SLO &lt;span class=&#34;m&#34;&gt;0000000000000000&lt;/span&gt; printf@GLIBC_2.2.5 + &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;
➜  binary-study gcc -o client client_piepic.c libpiepic.so
➜  binary-study ./client
shared_v at 0x3d4d900c
hello
value at 0xb29303c
➜  binary-study ./client
shared_v at 0xbbe9700c
hello
value at 0xc892303c&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;不启用pic和pie，symbol的地址在编译的时候就确认了，可以直接使用&lt;/p&gt;

&lt;p&gt;0 &amp;gt; /proc/sys/kernel/randomize_va_space&lt;/p&gt;

&lt;h1 id=&#34;readelf-1&#34;&gt;readelf&lt;/h1&gt;

&lt;p&gt;elf格式工具，可以用来查看elf文件信息，例如segment，header，relocs等&lt;/p&gt;

&lt;h1 id=&#34;gcc&#34;&gt;gcc&lt;/h1&gt;

&lt;h2 id=&#34;编译共享库&#34;&gt;编译共享库&lt;/h2&gt;

&lt;p&gt;gcc -march=x86-64 -mtune=generic -O2 -pipe -fstack-protector-strong -fno-plt -fno-PIC -c piepic.c -o piepic.o&lt;/p&gt;

&lt;p&gt;显示编译选项启用情况： gcc -Q -v &lt;input file&gt;&lt;/p&gt;

&lt;p&gt;有main：
gcc -fno-PIC  -no-pie -fno-stack-protector -c simple.c -o simple.o
gcc -shared -no-pie -o libsimple.so simple.o  # no-pie必须在shared后面&lt;/p&gt;

&lt;h1 id=&#34;resource&#34;&gt;resource&lt;/h1&gt;

&lt;ol&gt;
&lt;li&gt;&lt;a href=&#34;http://tacy.github.io/resource/x86-64.pdf&#34;&gt;Notes on x86-64 programming&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;&lt;a href=&#34;http://tacy.github.io/resource/asm64-handout.pdf&#34;&gt;x86-64 Machine-Level Programming&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;&lt;a href=&#34;https://blog.k3170makan.com/2018/09/introduction-to-elf-format-elf-header.html&#34;&gt;Introduction to the ELF Format&lt;/a&gt;&lt;/li&gt;
&lt;/ol&gt;
&lt;div class=&#34;footnotes&#34;&gt;

&lt;hr /&gt;

&lt;ol&gt;
&lt;li id=&#34;fn:1&#34;&gt;&lt;a href=&#34;https://www.cs.rutgers.edu/~pxk/419/notes/frames.html&#34;&gt;stack frame for x86&lt;/a&gt;
 &lt;a class=&#34;footnote-return&#34; href=&#34;#fnref:1&#34;&gt;&lt;sup&gt;[return]&lt;/sup&gt;&lt;/a&gt;&lt;/li&gt;
&lt;li id=&#34;fn:2&#34;&gt;&lt;a href=&#34;Stack frame layout on x86-64&#34;&gt;stack frame for x64&lt;/a&gt;
 &lt;a class=&#34;footnote-return&#34; href=&#34;#fnref:2&#34;&gt;&lt;sup&gt;[return]&lt;/sup&gt;&lt;/a&gt;&lt;/li&gt;
&lt;li id=&#34;fn:3&#34;&gt;&lt;a href=&#34;https://codywu2010.wordpress.com/2014/11/29/about-elf-pie-pic-and-else/&#34;&gt;about ELF – PIE, PIC and else&lt;/a&gt;
 &lt;a class=&#34;footnote-return&#34; href=&#34;#fnref:3&#34;&gt;&lt;sup&gt;[return]&lt;/sup&gt;&lt;/a&gt;&lt;/li&gt;
&lt;li id=&#34;fn:4&#34;&gt;&lt;a href=&#34;https://eli.thegreenplace.net/2011/08/25/load-time-relocation-of-shared-libraries&#34;&gt;Load-time relocation of shared libraries&lt;/a&gt;
 &lt;a class=&#34;footnote-return&#34; href=&#34;#fnref:4&#34;&gt;&lt;sup&gt;[return]&lt;/sup&gt;&lt;/a&gt;&lt;/li&gt;
&lt;li id=&#34;fn:5&#34;&gt;&lt;a href=&#34;https://eli.thegreenplace.net/2011/11/11/position-independent-code-pic-in-shared-libraries-on-x64&#34;&gt;Position Independent Code (PIC) in shared libraries on x64&lt;/a&gt;
 &lt;a class=&#34;footnote-return&#34; href=&#34;#fnref:5&#34;&gt;&lt;sup&gt;[return]&lt;/sup&gt;&lt;/a&gt;&lt;/li&gt;
&lt;li id=&#34;fn:6&#34;&gt;&lt;a href=&#34;https://blogs.msdn.microsoft.com/oldnewthing/20141003-00/?p=43923&#34;&gt;Why is 0x00400000 the default base address for an executable?&lt;/a&gt;
 &lt;a class=&#34;footnote-return&#34; href=&#34;#fnref:6&#34;&gt;&lt;sup&gt;[return]&lt;/sup&gt;&lt;/a&gt;&lt;/li&gt;
&lt;/ol&gt;
&lt;/div&gt;
</description>
      
    </item>
    
    <item>
      <title>Linux trace</title>
      <link>http://tacy.github.io/post/trace/</link>
      <pubDate>Wed, 02 Jan 2019 00:00:00 +0000</pubDate>
      
      <guid>http://tacy.github.io/post/trace/</guid>
      
        <description>

&lt;p&gt;对于linux下的trace，我建议你参考Brendan Gregg的文章：&lt;a href=&#34;http://www.brendangregg.com/blog/2015-07-08/choosing-a-linux-tracer.html&#34;&gt;Choosing a linux tracer&lt;/a&gt;，里面详细列出了linux下每个tracer的介绍，本文里主要介绍ftrace，讨论function相关的部分，event和计数器不涉及。&lt;/p&gt;

&lt;p&gt;下面我们从两个维度来看看ftrace在linux中的使用，首先是根据运行态：分为kernel和userland；其次根据trace方式：分为静态分析和动态分析。&lt;/p&gt;

&lt;h2 id=&#34;kernel&#34;&gt;Kernel&lt;/h2&gt;

&lt;p&gt;kernel空间下，静态分析是指tracepoint，动态分析是指kprobe&lt;/p&gt;

&lt;h3 id=&#34;静态分析&#34;&gt;静态分析&lt;/h3&gt;

&lt;p&gt;是指代码里面已经埋下了探针（probe），可以对这些探针进行分析，没有探针的地方不能trace，探针列表可以通过perf查看：&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;c1&#34;&gt;#sudo perf list tracepoint&lt;/span&gt;
...
syscalls:sys_enter_getcpu                          &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;Tracepoint event&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;
syscalls:sys_exit_getcpu                           &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;Tracepoint event&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;
tcp:tcp_destroy_sock                               &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;Tracepoint event&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;
tcp:tcp_probe                                      &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;Tracepoint event&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;
...&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;静态分析有两种方式：ftrace和perf&lt;/p&gt;

&lt;h4 id=&#34;ftrace-7-8&#34;&gt;ftrace&lt;sup class=&#34;footnote-ref&#34; id=&#34;fnref:7&#34;&gt;&lt;a href=&#34;#fn:7&#34;&gt;1&lt;/a&gt;&lt;/sup&gt;&lt;sup class=&#34;footnote-ref&#34; id=&#34;fnref:8&#34;&gt;&lt;a href=&#34;#fn:8&#34;&gt;2&lt;/a&gt;&lt;/sup&gt;&lt;/h4&gt;

&lt;p&gt;ftrace是linux下的主要trace框架，linux实现了一个tracefs文件系统（类似proc的虚文件系统，驻留在内存），挂载在/sys/kernel/debug/tracing目录下，里面包括所有ftrace相关的内容，ftrace就是通过配置该目录下的文件，完成tracing。&lt;/p&gt;

&lt;p&gt;ftrace里面涉及到静态分析的除了tracepoint之外，另外还有一个部分叫function，分别介绍&lt;/p&gt;

&lt;h5 id=&#34;function&#34;&gt;function&lt;/h5&gt;

&lt;p&gt;traceing目录下，带function字样的文件都和function有关，文件available_filter_functions里面包括了所有能trace的function（在没有添加任何filter的情况下）。如果你需要开启function tracer（更多的tracer，查看文件available_tracers，里面包括了系统支持哪些tracer），只需要执行命令：&lt;code&gt;echo function &amp;gt; current_tracer&lt;/code&gt;，启用之后，你能查看function trace的输出和输出格式定义：&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;c1&#34;&gt;#cat trace|head -10&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;# tracer: function&lt;/span&gt;
#
&lt;span class=&#34;c1&#34;&gt;#                              _-----=&amp;gt; irqs-off&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#                             / _----=&amp;gt; need-resched&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#                            | / _---=&amp;gt; hardirq/softirq&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#                            || / _--=&amp;gt; preempt-depth&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#                            ||| /     delay&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#           TASK-PID   CPU#  ||||    TIMESTAMP  FUNCTION&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#              | |       |   ||||       |         |&lt;/span&gt;
           gdbus-1275  &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;001&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; .... &lt;span class=&#34;m&#34;&gt;11758&lt;/span&gt;.901088: unix_poll &amp;lt;-sock_poll&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;如果你查看trace的内容，你会发现内容太多，你很难找到有价值的东西，绝大部分时候，你不是对整个系统的调用感兴趣，你只想看你关心的内容，ftrace提供了function filter来进行trace过滤：通过设置&lt;code&gt;set_ftrace_filter  set_ftrace_notrace  set_ftrace_pid&lt;/code&gt;三个文件，你能过滤出来需要trace的function。&lt;/p&gt;

&lt;p&gt;最简单的做法是看看available_filter_functions里面有些什么，里面的这些function都是可以用，例如我关心tcp_sendmsg：&lt;code&gt;echo tcp_sendmsg &amp;gt; set_ftrace_filter&lt;/code&gt;，这样function tracer就只会记录tcp_sendmsg这个function。当然filter也支持“*”号通配符，支持三种写法：“*key/&lt;em&gt;key&lt;/em&gt;/key*”。也支持模块过滤“echo :mod:ext3 &amp;gt; set_ftrace_filter”&lt;/p&gt;

&lt;p&gt;另外，filter也支持“Format: &lt;function&gt;:&lt;trigger&gt;[:count]”这类的写法，通过它你能实现：某个function调用了，就触发一个预先定义的action（tracingoff/tracingon/stacktrace/snapshot/dump/cpudump），执行相关操作。例如：&lt;code&gt;echo do_trap:traceoff:3 &amp;gt; set_ftrace_filter&lt;/code&gt;，do_trap调用三次，执行停止trace操作。&lt;/p&gt;

&lt;p&gt;如果你需要看到调用栈，可以设置：&lt;code&gt;echo 1 &amp;gt; options/func_stack_trace&lt;/code&gt;，但是必须注意，该操作容易导致问题，务必需要先设置filter，缩小trace范围，否则容易导致系统问题。&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# cat available_filter_functions |grep tcp_sendmsg&lt;/span&gt;
bpf_tcp_sendmsg
tcp_sendmsg_locked
tcp_sendmsg
&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# echo tcp_sendmsg &amp;gt; set_ftrace_filter&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# echo function &amp;gt; current_tracer&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# cat trace&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;# tracer: function&lt;/span&gt;
#
&lt;span class=&#34;c1&#34;&gt;#                              _-----=&amp;gt; irqs-off&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#                             / _----=&amp;gt; need-resched&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#                            | / _---=&amp;gt; hardirq/softirq&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#                            || / _--=&amp;gt; preempt-depth&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#                            ||| /     delay&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#           TASK-PID   CPU#  ||||    TIMESTAMP  FUNCTION&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#              | |       |   ||||       |         |&lt;/span&gt;
           vvv-631   &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;003&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; .... &lt;span class=&#34;m&#34;&gt;33440&lt;/span&gt;.208482: tcp_sendmsg &amp;lt;-sock_sendmsg
  NetworkManager-555   &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;002&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; .... &lt;span class=&#34;m&#34;&gt;33446&lt;/span&gt;.836585: tcp_sendmsg &amp;lt;-sock_sendmsg
            curl-26180 &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;001&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; .... &lt;span class=&#34;m&#34;&gt;33449&lt;/span&gt;.150367: tcp_sendmsg &amp;lt;-sock_sendmsg
           vvv-4083  &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;002&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; .... &lt;span class=&#34;m&#34;&gt;33456&lt;/span&gt;.700836: tcp_sendmsg &amp;lt;-sock_sendmsg

&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# echo &amp;gt; current_tracer&lt;/span&gt;
bash: echo: write error: Invalid argument
&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# echo nop &amp;gt;current_tracer&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# echo &amp;gt; set_ftrace_filter&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;#&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;总的来说，function tracer最大的问题就是给出的信息太模糊，有用的信息太少，也无法扩展（你只能enable它）。很多时候，虽然知道function被调用，知道调用的pid和comm，但光有这些信息对于解决问题是不够的。&lt;/p&gt;

&lt;h5 id=&#34;tracepoint&#34;&gt;tracepoint&lt;/h5&gt;

&lt;p&gt;下面我们来看看tracepoint相关内容。tracing目录下有一个events目录，里面就是所有的kernel tracepoint，包含了所有的tracepoint，每一个tracepoint都以目录存在，目录下面是针对该tracepoint的配置文件。&lt;/p&gt;

&lt;p&gt;trace方法就是找到对应的tracepoint，例如tcp_probe，进入到该目录下（events/tcp/tcp_probe），通过命令&lt;code&gt;echo 1 &amp;gt; enable&lt;/code&gt;激活该探针，然后你就可以回到tracing目录下，查看trace文件内容，里面能看到trace内容，输出格式可以参考探针目录下的format文件。&lt;/p&gt;

&lt;p&gt;另外你也能设置filter，根据条件过滤事件；你也能设置triger，当条件满足的时候，触发定义的action，例如stracktrace，输出栈到trace文件&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tcp_receive_reset&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# ls&lt;/span&gt;
&lt;span class=&#34;nb&#34;&gt;enable&lt;/span&gt;  filter  format  hist  id  trigger

&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tcp_receive_reset&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# cat format&lt;/span&gt;
name: tcp_receive_reset
ID: &lt;span class=&#34;m&#34;&gt;1133&lt;/span&gt;
format:
        field:unsigned short common_type&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;       offset:0&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;       size:2&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; signed:0&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
        field:unsigned char common_flags&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;       offset:2&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;       size:1&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; signed:0&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
        field:unsigned char common_preempt_count&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;       offset:3&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;       size:1&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; signed:0&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
        field:int common_pid&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;   offset:4&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;       size:4&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; signed:1&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;

        field:const void * skaddr&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;      offset:8&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;       size:8&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; signed:0&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
        field:__u16 sport&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;      offset:16&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;      size:2&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; signed:0&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
        field:__u16 dport&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;      offset:18&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;      size:2&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; signed:0&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
        field:__u8 saddr&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;4&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;    offset:20&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;      size:4&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; signed:0&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
        field:__u8 daddr&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;4&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;    offset:24&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;      size:4&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; signed:0&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
        field:__u8 saddr_v6&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;16&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;        offset:28&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;      size:16&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;        signed:0&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
        field:__u8 daddr_v6&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;16&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;        offset:44&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;      size:16&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;        signed:0&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
        field:__u64 sock_cookie&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;        offset:64&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;      size:8&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; signed:0&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;

print fmt: &lt;span class=&#34;s2&#34;&gt;&amp;#34;sport=%hu dport=%hu saddr=%pI4 daddr=%pI4 saddrv6=%pI6c daddrv6=%pI6c sock_cookie=%llx&amp;#34;&lt;/span&gt;, REC-&amp;gt;sport, REC-&amp;gt;dport, REC-&amp;gt;saddr, REC-&amp;gt;daddr, REC-&amp;gt;saddr_v6, REC-&amp;gt;daddr_v6, REC-&amp;gt;sock_cookie&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;enable文件用来控制开关，filter可以用来做事件过滤，format是tracepoint的输出内容定义，hist做事件统计，id就是tracepoint的标识，trigger可以条件触发action。&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# echo 1 &amp;gt; events/tcp/tcp_receive_reset/enable&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# cat trace&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;# tracer: nop&lt;/span&gt;
#
&lt;span class=&#34;c1&#34;&gt;#                              _-----=&amp;gt; irqs-off&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#                             / _----=&amp;gt; need-resched&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#                            | / _---=&amp;gt; hardirq/softirq&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#                            || / _--=&amp;gt; preempt-depth&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#                            ||| /     delay&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#           TASK-PID   CPU#  ||||    TIMESTAMP  FUNCTION&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#              | |       |   ||||       |         |&lt;/span&gt;
            curl-26346 &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;001&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; .... &lt;span class=&#34;m&#34;&gt;33819&lt;/span&gt;.317760: tcp_receive_reset: &lt;span class=&#34;nv&#34;&gt;sport&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;44248&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;dport&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;8080&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;saddr&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;.0.0.0 &lt;span class=&#34;nv&#34;&gt;daddr&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;.0.0.0 &lt;span class=&#34;nv&#34;&gt;saddrv6&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;::1 &lt;span class=&#34;nv&#34;&gt;daddrv6&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;::1 &lt;span class=&#34;nv&#34;&gt;sock_cookie&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;1&lt;/span&gt;
            curl-26346 &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;001&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; .... &lt;span class=&#34;m&#34;&gt;33819&lt;/span&gt;.317892: tcp_receive_reset: &lt;span class=&#34;nv&#34;&gt;sport&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;49690&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;dport&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;8080&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;saddr&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;127&lt;/span&gt;.0.0.1 &lt;span class=&#34;nv&#34;&gt;daddr&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;127&lt;/span&gt;.0.0.1 &lt;span class=&#34;nv&#34;&gt;saddrv6&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;::ffff:127.0.0.1 &lt;span class=&#34;nv&#34;&gt;daddrv6&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;::ffff:127.0.0.1 &lt;span class=&#34;nv&#34;&gt;sock_cookie&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;2&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# echo 0 &amp;gt; events/tcp/tcp_receive_reset/enable&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;#&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;上面的输出更友好，基本上你关心的内容都给你输出了：通过上面内容，你能知道curl从127.0.0.1:8080接收到一个reset包。&lt;/p&gt;

&lt;p&gt;tracepoint能帮助你解决很多问题，当然tracepoint数量有限，有可能你关心的点正好没有，只能等着看新版本的kernel能否提供&lt;/p&gt;

&lt;h4 id=&#34;perf&#34;&gt;perf&lt;/h4&gt;

&lt;p&gt;perf位于kernel源代码的tools下，linux的主要性能分析工具之一，perf提供很多功能，这里我们只谈它和tracepoint有关的部分（perf不能操作ftrace中的function tracer），以tcp_probe这个tracepoint为例，操作也很简单：&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch ~&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# perf record -e &amp;#39;tcp:tcp_probe&amp;#39; -a&lt;/span&gt;
^C&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt; perf record: Woken up &lt;span class=&#34;m&#34;&gt;1&lt;/span&gt; &lt;span class=&#34;nb&#34;&gt;times&lt;/span&gt; to write data &lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt; perf record: Captured and wrote &lt;span class=&#34;m&#34;&gt;1&lt;/span&gt;.460 MB perf.data &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;3&lt;/span&gt; samples&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;

&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch ~&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# perf script&lt;/span&gt;
 irq/69-brcmf_pc &lt;span class=&#34;m&#34;&gt;19366&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;003&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;99975&lt;/span&gt;.473448: tcp:tcp_probe: &lt;span class=&#34;nv&#34;&gt;src&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;192&lt;/span&gt;.168.1.21:44404 &lt;span class=&#34;nv&#34;&gt;dest&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;203&lt;/span&gt;.208.xx.xx:443 &lt;span class=&#34;nv&#34;&gt;mark&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;0&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;data_len&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;0&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;snd_nxt&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;0x66d5014 &lt;span class=&#34;nv&#34;&gt;snd_una&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;0x66d5014 &lt;span class=&#34;nv&#34;&gt;snd_cwnd&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;16&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;ssthresh&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;21&lt;/span&gt;&amp;gt;
 irq/69-brcmf_pc &lt;span class=&#34;m&#34;&gt;19366&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;003&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;99977&lt;/span&gt;.000673: tcp:tcp_probe: &lt;span class=&#34;nv&#34;&gt;src&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;192&lt;/span&gt;.168.1.21:59262 &lt;span class=&#34;nv&#34;&gt;dest&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;xx.201.xx.119:80 &lt;span class=&#34;nv&#34;&gt;mark&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;0&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;data_len&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;60&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;snd_nxt&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;0x6ec6b07d &lt;span class=&#34;nv&#34;&gt;snd_una&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;0x6ec6b07d &lt;span class=&#34;nv&#34;&gt;snd_cwnd&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;55&lt;/span&gt; ssthresh&amp;gt;
 irq/69-brcmf_pc &lt;span class=&#34;m&#34;&gt;19366&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;003&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;99977&lt;/span&gt;.057786: tcp:tcp_probe: &lt;span class=&#34;nv&#34;&gt;src&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;192&lt;/span&gt;.168.1.21:59262 &lt;span class=&#34;nv&#34;&gt;dest&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;xx.201.xx.119:80 &lt;span class=&#34;nv&#34;&gt;mark&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;0&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;data_len&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;0&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;snd_nxt&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;0x6ec6b0a1 &lt;span class=&#34;nv&#34;&gt;snd_una&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;0x6ec6b07d &lt;span class=&#34;nv&#34;&gt;snd_cwnd&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;55&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;ssthresh&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&amp;gt;
&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch ~&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;#&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h4 id=&#34;小结&#34;&gt;小结&lt;/h4&gt;

&lt;p&gt;静态分析方法比较简单，无需太多代码方面的知识，只需要通过配置即可完成。用户能通过对合适的tracepoint进行分析，找出有用的信息，从而解决一些疑难问题。但是静态分析受限于预先埋下的探针，另外探针输出的内容也无法增加，在一些情况下，满足不了trace的需求。&lt;/p&gt;

&lt;h3 id=&#34;动态分析&#34;&gt;动态分析&lt;/h3&gt;

&lt;p&gt;下面我们来看看动态分析，动态分析，顾名思义，就是当某函数没有预先在代码中埋下探针的时候，系统能够动态给它添加探针的分析方式。在kernel中，这些动态添加的探针也被称为kprobe。kernel把所有的symbol输出在/proc/kallsyms文件中，你可以对这里面的所有symbol添加探针。kprobe可以说是linux中最牛逼的trace手段。&lt;/p&gt;

&lt;p&gt;动态分析也支持ftrace和perf两种方式。两者的选择：优先选择perf，主要原因是perf会做错误检验，不容易导致问题，ftrace的话就需要你特别小心，这里可是在kernel层面的操作，一个不小心，系统可能会挂起或者中断。&lt;/p&gt;

&lt;h4 id=&#34;ftrace-6&#34;&gt;ftrace&lt;sup class=&#34;footnote-ref&#34; id=&#34;fnref:6&#34;&gt;&lt;a href=&#34;#fn:6&#34;&gt;3&lt;/a&gt;&lt;/sup&gt;&lt;/h4&gt;

&lt;p&gt;/proc/kallsyms里面所有的symbol都能添加kprobe，kprobe和function tracer无关，无需启用function tracer。你只需定义好event，写入到traceing目录下的kprobe_events文件即可，ftrace会自动在/sys/kernel/debug/tracing/events下创建kprobe目录，并在该目录下为每个kprobe创建类似tracepoint的目录，之后你只需要通过enable文件来控制启用还是禁用。kprobe event的语法定义如下：&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;Synopsis of kprobe_events
-------------------------
  p&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;:&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;GRP/&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;EVENT&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;MOD:&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;SYM&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;+offs&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;MEMADDR &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;FETCHARGS&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;	: Set a probe
  r&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;MAXACTIVE&lt;span class=&#34;o&#34;&gt;][&lt;/span&gt;:&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;GRP/&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;EVENT&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;MOD:&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;SYM&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;+0&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;FETCHARGS&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;	: Set a &lt;span class=&#34;k&#34;&gt;return&lt;/span&gt; probe
  -:&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;GRP/&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;EVENT						: Clear a probe

 GRP		: Group name. If omitted, use &lt;span class=&#34;s2&#34;&gt;&amp;#34;kprobes&amp;#34;&lt;/span&gt; &lt;span class=&#34;k&#34;&gt;for&lt;/span&gt; it.
 EVENT		: Event name. If omitted, the event name is generated
		  based on SYM+offs or MEMADDR.
 MOD		: Module name which has given SYM.
 SYM&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;+offs&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;	: Symbol+offset where the probe is inserted.
 MEMADDR	: Address where the probe is inserted.
 MAXACTIVE	: Maximum number of instances of the specified &lt;span class=&#34;k&#34;&gt;function&lt;/span&gt; that
		  can be probed simultaneously, or &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt; &lt;span class=&#34;k&#34;&gt;for&lt;/span&gt; the default value
		  as defined in Documentation/kprobes.txt section &lt;span class=&#34;m&#34;&gt;1&lt;/span&gt;.3.1.

 FETCHARGS	: Arguments. Each probe can have up to &lt;span class=&#34;m&#34;&gt;128&lt;/span&gt; args.
  %REG		: Fetch register REG
  @ADDR		: Fetch memory at ADDR &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;ADDR should be in kernel&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
  @SYM&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;+&lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;-offs&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;	: Fetch memory at SYM +&lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;- offs &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;SYM should be a data symbol&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
  &lt;span class=&#34;nv&#34;&gt;$stackN&lt;/span&gt;	: Fetch Nth entry of stack &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;N &amp;gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
  &lt;span class=&#34;nv&#34;&gt;$stack&lt;/span&gt;	: Fetch stack address.
  &lt;span class=&#34;nv&#34;&gt;$retval&lt;/span&gt;	: Fetch &lt;span class=&#34;k&#34;&gt;return&lt;/span&gt; value.&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;*&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
  &lt;span class=&#34;nv&#34;&gt;$comm&lt;/span&gt;		: Fetch current task comm.
  +&lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;-offs&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;FETCHARG&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; : Fetch memory at FETCHARG +&lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;- offs address.&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;**&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
  &lt;span class=&#34;nv&#34;&gt;NAME&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;FETCHARG : Set NAME as the argument name of FETCHARG.
  FETCHARG:TYPE : Set TYPE as the &lt;span class=&#34;nb&#34;&gt;type&lt;/span&gt; of FETCHARG. Currently, basic types
		  &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;u8/u16/u32/u64/s8/s16/s32/s64&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;, hexadecimal types
		  &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;x8/x16/x32/x64&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;, &lt;span class=&#34;s2&#34;&gt;&amp;#34;string&amp;#34;&lt;/span&gt; and bitfield are supported.

  &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;*&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; only &lt;span class=&#34;k&#34;&gt;for&lt;/span&gt; &lt;span class=&#34;k&#34;&gt;return&lt;/span&gt; probe.
  &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;**&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; this is useful &lt;span class=&#34;k&#34;&gt;for&lt;/span&gt; fetching a field of data structures.&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;我们来创建一个event：&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# echo &amp;#39;p:tcp_sendmsg tcp_sendmsg&amp;#39; &amp;gt; /sys/kernel/debug/tracing/kprobe_events&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# cat kprobe_events&lt;/span&gt;
p:kprobes/tcp_sendmsg tcp_sendmsg
&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# ls events/kprobes/tcp_sendmsg/&lt;/span&gt;
&lt;span class=&#34;nb&#34;&gt;enable&lt;/span&gt;  filter  format  hist  id  trigger
&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# cat events/kprobes/tcp_sendmsg/format&lt;/span&gt;
name: tcp_sendmsg
ID: &lt;span class=&#34;m&#34;&gt;1638&lt;/span&gt;
format:
        field:unsigned short common_type&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;       offset:0&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;       size:2&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; signed:0&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
        field:unsigned char common_flags&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;       offset:2&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;       size:1&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; signed:0&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
        field:unsigned char common_preempt_count&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;       offset:3&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;       size:1&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; signed:0&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
        field:int common_pid&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;   offset:4&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;       size:4&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; signed:1&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;

        field:unsigned long __probe_ip&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; offset:8&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;       size:8&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; signed:0&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;

print fmt: &lt;span class=&#34;s2&#34;&gt;&amp;#34;(%lx)&amp;#34;&lt;/span&gt;, REC-&amp;gt;__probe_ip&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;定义好之后，启用该probe进行trace（设置enable等于1）:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# echo 1 &amp;gt; events/kprobes/tcp_sendmsg/enable&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# cat trace |head -10&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;# tracer: nop&lt;/span&gt;
#
&lt;span class=&#34;c1&#34;&gt;#                              _-----=&amp;gt; irqs-off&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#                             / _----=&amp;gt; need-resched&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#                            | / _---=&amp;gt; hardirq/softirq&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#                            || / _--=&amp;gt; preempt-depth&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#                            ||| /     delay&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#           TASK-PID   CPU#  ||||    TIMESTAMP  FUNCTION&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#              | |       |   ||||       |         |&lt;/span&gt;
            curl-21745 &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;001&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; ...1 &lt;span class=&#34;m&#34;&gt;27996&lt;/span&gt;.148112: tcp_sendmsg: &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;tcp_sendmsg+0x0/0x40&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# echo 0 &amp;gt; events/kprobes/tcp_sendmsg/enable&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;输出结果看起来和ftrace的function tracer差不多，这就尴尬了？我们想要看到调用参数&lt;/p&gt;

&lt;p&gt;继续努力，接下来，我们看看怎么输出调用参数，先看看tcp_sendmsg代码：&lt;/p&gt;

&lt;p&gt;（下面的操作依赖kernel debug info的安装）&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch src&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# gdb /lib/modules/4.19.12-arch1-1-ARCH/build/vmlinux&lt;/span&gt;
...
For help, &lt;span class=&#34;nb&#34;&gt;type&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;help&amp;#34;&lt;/span&gt;.
Type &lt;span class=&#34;s2&#34;&gt;&amp;#34;apropos word&amp;#34;&lt;/span&gt; to search &lt;span class=&#34;k&#34;&gt;for&lt;/span&gt; commands related to &lt;span class=&#34;s2&#34;&gt;&amp;#34;word&amp;#34;&lt;/span&gt;...
Reading symbols from /lib/modules/4.19.12-arch1-1-ARCH/build/vmlinux...done.
&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;gdb&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; directory /home/tacy/workspace/archlinux-linux/
Source directories searched: /home/tacy/workspace/archlinux-linux:&lt;span class=&#34;nv&#34;&gt;$cdir&lt;/span&gt;:&lt;span class=&#34;nv&#34;&gt;$cwd&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;gdb&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; li tcp_sendmsg
&lt;span class=&#34;m&#34;&gt;1434&lt;/span&gt;            &lt;span class=&#34;k&#34;&gt;return&lt;/span&gt; err&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
&lt;span class=&#34;m&#34;&gt;1435&lt;/span&gt;    &lt;span class=&#34;o&#34;&gt;}&lt;/span&gt;
&lt;span class=&#34;m&#34;&gt;1436&lt;/span&gt;    EXPORT_SYMBOL_GPL&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;tcp_sendmsg_locked&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
&lt;span class=&#34;m&#34;&gt;1437&lt;/span&gt;
&lt;span class=&#34;m&#34;&gt;1438&lt;/span&gt;    int tcp_sendmsg&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;struct sock *sk, struct msghdr *msg, size_t size&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
&lt;span class=&#34;m&#34;&gt;1439&lt;/span&gt;    &lt;span class=&#34;o&#34;&gt;{&lt;/span&gt;
&lt;span class=&#34;m&#34;&gt;1440&lt;/span&gt;            int ret&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
&lt;span class=&#34;m&#34;&gt;1441&lt;/span&gt;
&lt;span class=&#34;m&#34;&gt;1442&lt;/span&gt;            lock_sock&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;sk&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
&lt;span class=&#34;m&#34;&gt;1443&lt;/span&gt;            &lt;span class=&#34;nv&#34;&gt;ret&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; tcp_sendmsg_locked&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;sk, msg, size&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;上面的代码输出显示，tcp_sendmsg有3个调用参数。我们希望能把发送包的大小（size）输出的trace结果中。这里，你首先需要知道，在X64架构下，calling的参数存放规范（参考System V ABI AMD64&lt;sup class=&#34;footnote-ref&#34; id=&#34;fnref:9&#34;&gt;&lt;a href=&#34;#fn:9&#34;&gt;4&lt;/a&gt;&lt;/sup&gt;&lt;sup class=&#34;footnote-ref&#34; id=&#34;fnref:10&#34;&gt;&lt;a href=&#34;#fn:10&#34;&gt;5&lt;/a&gt;&lt;/sup&gt;，找到每个register定义），根据规范，我们知道第三个参数的寄存器使用的是rdx。&lt;/p&gt;

&lt;p&gt;下面我们重新定义一个probe，覆盖之前的：&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# echo &amp;#39;probe:tcp_sendmsg tcp_sendmsg size=%dx&amp;#39; &amp;gt; kprobe_events&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# cat events/kprobes/tcp_sendmsg/format&lt;/span&gt;
name: tcp_sendmsg
ID: &lt;span class=&#34;m&#34;&gt;1639&lt;/span&gt;
format:
        field:unsigned short common_type&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;       offset:0&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;       size:2&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; signed:0&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
        field:unsigned char common_flags&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;       offset:2&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;       size:1&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; signed:0&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
        field:unsigned char common_preempt_count&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;       offset:3&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;       size:1&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; signed:0&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
        field:int common_pid&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;   offset:4&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;       size:4&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; signed:1&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;

        field:unsigned long __probe_ip&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; offset:8&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;       size:8&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; signed:0&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
        field:u64 size&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; offset:16&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;      size:8&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; signed:0&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;

print fmt: &lt;span class=&#34;s2&#34;&gt;&amp;#34;(%lx) size=0x%Lx&amp;#34;&lt;/span&gt;, REC-&amp;gt;__probe_ip, REC-&amp;gt;size
&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# echo 1 &amp;gt; events/kprobes/tcp_sendmsg/enable&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# cat trace&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;# tracer: nop&lt;/span&gt;
#
&lt;span class=&#34;c1&#34;&gt;#                              _-----=&amp;gt; irqs-off&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#                             / _----=&amp;gt; need-resched&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#                            | / _---=&amp;gt; hardirq/softirq&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#                            || / _--=&amp;gt; preempt-depth&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#                            ||| /     delay&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#           TASK-PID   CPU#  ||||    TIMESTAMP  FUNCTION&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#              | |       |   ||||       |         |&lt;/span&gt;
            curl-22314 &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;000&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; ...1 &lt;span class=&#34;m&#34;&gt;29227&lt;/span&gt;.292645: tcp_sendmsg: &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;tcp_sendmsg+0x0/0x40&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;size&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;0x4c
&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# echo 0 &amp;gt; events/kprobes/tcp_sendmsg/enable&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;干的不错，能看到包大小了，能不能继续进一步，看看socket信息呢？&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;gdb&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; print &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;int&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;&amp;amp;&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;((&lt;/span&gt;struct sock *&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;-&amp;gt;__sk_common
&lt;span class=&#34;nv&#34;&gt;$1&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;gdb&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; print &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;int&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;&amp;amp;&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;((&lt;/span&gt;struct sock_common *&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;-&amp;gt;skc_daddr
&lt;span class=&#34;nv&#34;&gt;$2&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;gdb&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; print &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;int&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;&amp;amp;&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;((&lt;/span&gt;struct sock_common *&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;-&amp;gt;skc_rcv_saddr
&lt;span class=&#34;nv&#34;&gt;$3&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;4&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;gdb&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; print &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;int&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;&amp;amp;&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;((&lt;/span&gt;struct sock_common *&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;-&amp;gt;skc_dport
&lt;span class=&#34;nv&#34;&gt;$4&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;12&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;gdb&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; print &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;int&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;&amp;amp;&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;((&lt;/span&gt;struct sock_common *&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;-&amp;gt;skc_num
&lt;span class=&#34;nv&#34;&gt;$5&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;14&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# echo &amp;#39;probe:tcp_sendmsg tcp_sendmsg dst=+0(%di):x32 dport=+12(%di):x16 src=+4(%di):x32 sport=+14(%di):x16 size=%dx&amp;#39; &amp;gt; kprobe_events&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# echo 1 &amp;gt; events/kprobes/tcp_sendmsg/enable&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# tail -2 trace&lt;/span&gt;
            curl-25876 &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;001&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; ...1 &lt;span class=&#34;m&#34;&gt;37339&lt;/span&gt;.320598: tcp_sendmsg: &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;tcp_sendmsg+0x0/0x40&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;dst&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;0x64e959ca &lt;span class=&#34;nv&#34;&gt;dport&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;0x5000 &lt;span class=&#34;nv&#34;&gt;src&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;0x670aa8c0 &lt;span class=&#34;nv&#34;&gt;sport&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;0xa4f0 &lt;span class=&#34;nv&#34;&gt;size&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;0x4c
            curl-25878 &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;000&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; ...1 &lt;span class=&#34;m&#34;&gt;37340&lt;/span&gt;.118164: tcp_sendmsg: &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;tcp_sendmsg+0x0/0x40&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;dst&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;0x64e959ca &lt;span class=&#34;nv&#34;&gt;dport&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;0x5000 &lt;span class=&#34;nv&#34;&gt;src&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;0x670aa8c0 &lt;span class=&#34;nv&#34;&gt;sport&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;0xa4f2 &lt;span class=&#34;nv&#34;&gt;size&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;0x4c
&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# echo 0 &amp;gt; events/kprobes/tcp_sendmsg/enable&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;这个就厉害啦，少年，有没有跃跃欲试的感觉，还不赶紧操练一下去（写个脚本把地址转换一下呗）！&lt;/p&gt;

&lt;p&gt;总结一下就是，终于寻得屠龙宝刀在手。。。唯一的遗憾就是不能做复杂程序处理。&lt;/p&gt;

&lt;h4 id=&#34;perf-1&#34;&gt;perf&lt;/h4&gt;

&lt;p&gt;首先需要说明的是，perf无法操作ftrace里面的function tracer，它只能定义和操作kprobe（当然也可以定义uprobe，后面会有描述），perf-probe其实操作的也是/sys/kernel/debug/tracing/kprobe_event。但是通过perf-probe定义probe的好处就是会有校验，不容易出错&lt;/p&gt;

&lt;p&gt;还是以tcp_sendmsg为例，添加和使用probe的方式：&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch ~&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;#perf probe --add tcp_sendmsg  // 无参数版本&lt;/span&gt;
Added new event:
  probe:tcp_sendmsg    &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;on tcp_sendmsg&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;

You can now use it in all perf tools, such as:

        perf record -e probe:tcp_sendmsg -aR sleep &lt;span class=&#34;m&#34;&gt;1&lt;/span&gt;


&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch ~&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# perf probe --list&lt;/span&gt;
  probe:tcp_sendmsg    &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;on tcp_sendmsg@net/ipv4/tcp.c&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;

&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch ~&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# perf probe -d probe:tcp_sendmsg  //删除&lt;/span&gt;

&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# perf probe &amp;#39;tcp_sendmsg tcp_sendmsg dst=+0(%di):x32 dport=+12(%di):x16 src=+4(%di):x32 sport=+14(%di):x16 size=%dx&amp;#39;  //有参数&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;有了probe之后，你就可以对该probe进行trace操作了，操作方法和静态分析中的perf类似&lt;/p&gt;

&lt;p&gt;如果你的kernel安装了debug info，perf能更简单的定义probe，同样上面显示socket信息的tcp_sendmsg，如果有debuginfo，你不用去找寄存器和偏移，直接使用变量名：&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# perf probe &amp;#39;tcp_sendmsg size sk-&amp;gt;__sk_common.skc_daddr sk-&amp;gt;__sk_common.skc_dport sk-&amp;gt;__sk_common.skc_rcv_saddr sk-&amp;gt;__sk_common.skc_num&amp;#39;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;另外，在有debuginfo的情况下，你可以不借助gdb，直接用perf查看代码和变量：&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;c1&#34;&gt;# perf probe -L tcp_sendmsg:0+10   # 查看tcp_sendmsg代码0~10行，如果你的源文件放在自己目录里面，通过-x参数指定&lt;/span&gt;
&amp;lt;tcp_sendmsg@/home/tacy/workspace/archlinux-linux/net/ipv4/tcp.c:0&amp;gt;
      &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;  int tcp_sendmsg&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;struct sock *sk, struct msghdr *msg, size_t size&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
      &lt;span class=&#34;m&#34;&gt;1&lt;/span&gt;  &lt;span class=&#34;o&#34;&gt;{&lt;/span&gt;
      &lt;span class=&#34;m&#34;&gt;2&lt;/span&gt;         int ret&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;

      &lt;span class=&#34;m&#34;&gt;4&lt;/span&gt;         lock_sock&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;sk&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
      &lt;span class=&#34;m&#34;&gt;5&lt;/span&gt;         &lt;span class=&#34;nv&#34;&gt;ret&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; tcp_sendmsg_locked&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;sk, msg, size&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
      &lt;span class=&#34;m&#34;&gt;6&lt;/span&gt;         release_sock&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;sk&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;

      &lt;span class=&#34;m&#34;&gt;8&lt;/span&gt;         &lt;span class=&#34;k&#34;&gt;return&lt;/span&gt; ret&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
      &lt;span class=&#34;m&#34;&gt;9&lt;/span&gt;  &lt;span class=&#34;o&#34;&gt;}&lt;/span&gt;
         EXPORT_SYMBOL&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;tcp_sendmsg&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;

         /*

&lt;span class=&#34;c1&#34;&gt;# perf probe -V tcp_sendmsg        # 查看tcp_sendmsg参数&lt;/span&gt;
Available variables at tcp_sendmsg
        @&amp;lt;tcp_sendmsg+0&amp;gt;
                int     ret
                size_t  size
                struct msghdr*  msg
                struct sock*    sk

&lt;span class=&#34;c1&#34;&gt;# perf probe --add &amp;#39;tcp_sendmsg size&amp;#39;  # 使用tcp_sendmsg参数，输出到结果中&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;# perf probe -V tcp_sendmsg:+9  # 可以查看函数内部变量，内部变量也能输出&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h4 id=&#34;小结-1&#34;&gt;小结&lt;/h4&gt;

&lt;p&gt;动态分析方法和静态分析方法相比，需要你具备代码级别的知识，对kernel代码越熟悉，对linux的tracer就像玩一样，感觉没啥解决不了的问题，这方面可以参考大牛Brendan Gregg。&lt;/p&gt;

&lt;p&gt;同时，通过kprobe，也是让你学习了解kernel的一个最佳途径，无需修改代码，直接进行debug。&lt;/p&gt;

&lt;h2 id=&#34;userland&#34;&gt;Userland&lt;/h2&gt;

&lt;p&gt;Usersland的trace同样包括静态和动态两部分，但是这两部分我们也统一称为uprobe&lt;sup class=&#34;footnote-ref&#34; id=&#34;fnref:5&#34;&gt;&lt;a href=&#34;#fn:5&#34;&gt;6&lt;/a&gt;&lt;/sup&gt;，你可以在ftrace目录（/sys/kernel/debug/tracing）下的uprobe_events文件中找到你定义的所有uprobe event。&lt;/p&gt;

&lt;p&gt;uprobe event定义：&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;Synopsis of uprobe_tracer
-------------------------
  p&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;:&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;GRP/&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;EVENT&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; PATH:OFFSET &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;FETCHARGS&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; : Set a uprobe
  r&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;:&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;GRP/&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;EVENT&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; PATH:OFFSET &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;FETCHARGS&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; : Set a &lt;span class=&#34;k&#34;&gt;return&lt;/span&gt; uprobe &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;uretprobe&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
  -:&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;GRP/&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;EVENT                           : Clear uprobe or uretprobe event

  GRP           : Group name. If omitted, &lt;span class=&#34;s2&#34;&gt;&amp;#34;uprobes&amp;#34;&lt;/span&gt; is the default value.
  EVENT         : Event name. If omitted, the event name is generated based
                  on PATH+OFFSET.
  PATH          : Path to an executable or a library.
  OFFSET        : Offset where the probe is inserted.

  FETCHARGS     : Arguments. Each probe can have up to &lt;span class=&#34;m&#34;&gt;128&lt;/span&gt; args.
   %REG         : Fetch register REG
   @ADDR	: Fetch memory at ADDR &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;ADDR should be in userspace&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
   @+OFFSET	: Fetch memory at OFFSET &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;OFFSET from same file as PATH&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
   &lt;span class=&#34;nv&#34;&gt;$stackN&lt;/span&gt;	: Fetch Nth entry of stack &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;N &amp;gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
   &lt;span class=&#34;nv&#34;&gt;$stack&lt;/span&gt;	: Fetch stack address.
   &lt;span class=&#34;nv&#34;&gt;$retval&lt;/span&gt;	: Fetch &lt;span class=&#34;k&#34;&gt;return&lt;/span&gt; value.&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;*&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
   &lt;span class=&#34;nv&#34;&gt;$comm&lt;/span&gt;	: Fetch current task comm.
   +&lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;-offs&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;FETCHARG&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; : Fetch memory at FETCHARG +&lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;- offs address.&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;**&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
   &lt;span class=&#34;nv&#34;&gt;NAME&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;FETCHARG     : Set NAME as the argument name of FETCHARG.
   FETCHARG:TYPE     : Set TYPE as the &lt;span class=&#34;nb&#34;&gt;type&lt;/span&gt; of FETCHARG. Currently, basic types
		       &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;u8/u16/u32/u64/s8/s16/s32/s64&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;, hexadecimal types
		       &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;x8/x16/x32/x64&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;, &lt;span class=&#34;s2&#34;&gt;&amp;#34;string&amp;#34;&lt;/span&gt; and bitfield are supported.&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h3 id=&#34;静态分析-1&#34;&gt;静态分析&lt;/h3&gt;

&lt;p&gt;一般称为USDT Probe，需要预先在代码中加探针（开发人员可以参考&lt;a href=&#34;https://www.sourceware.org/systemtap/wiki/AddingUserSpaceProbingToApps&#34;&gt;Adding User Space Probing to an Application&lt;/a&gt;，学习如何在代码里面埋探针），这类探针技术也叫DTRACE，来源于Solaris，很多软件支持，但是需要在编译时启用，例如java，就需要在编译时启用enable-dtrace编译参数(启用dtrace编译需要依赖systemtap-sdt-dev包，至少jdk编译需要）&lt;/p&gt;

&lt;p&gt;同样，我们也可以通过ftrace和perf两种方式操作它。但是ftrace操作方法复杂（主要是需要小心操作地址），方法参考&lt;a href=&#34;http://www.brendangregg.com/blog/2015-07-03/hacking-linux-usdt-ftrace.html&#34;&gt;Hacking Linux USDT with Ftrace&lt;/a&gt;。&lt;/p&gt;

&lt;p&gt;下面我们用openjdk为例，说明用户空间的静态分析方法。&lt;/p&gt;

&lt;p&gt;首先需要你的JDK启用了enable-dtrace，其次启动java应用的时候加上参数&lt;code&gt;-XX:+ExtendedDTraceProbes&lt;/code&gt;，查看USDT probe：&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;readelf -n /usr/lib/jvm/java-10-openjdk/lib/server/libjvm.so
Displaying notes found in: .note.gnu.build-id
  Owner                 Data size       Description
  GNU                  0x00000014       NT_GNU_BUILD_ID &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;unique build ID bitstring&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
    Build ID: deaa14871e0101bc717a00461519385ebdb010fd

Displaying notes found in: .note.stapsdt
  Owner                 Data size       Description
  stapsdt              0x0000004d       NT_STAPSDT &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;SystemTap probe descriptors&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
    Provider: hotspot
    Name: class__loaded
    Location: 0x00000000005b5d7a, Base: 0x0000000000dbb1b2, Semaphore: 0x0000000000000000
    Arguments: &lt;span class=&#34;m&#34;&gt;8&lt;/span&gt;@%r13 -4@%r14d &lt;span class=&#34;m&#34;&gt;8&lt;/span&gt;@%rax &lt;span class=&#34;m&#34;&gt;1&lt;/span&gt;@%r12b
  stapsdt              0x0000004c       NT_STAPSDT &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;SystemTap probe descriptors&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
    Provider: hotspot
    Name: class__unloaded
    Location: 0x00000000005b5f11, Base: 0x0000000000dbb1b2, Semaphore: 0x0000000000000000
    Arguments: &lt;span class=&#34;m&#34;&gt;8&lt;/span&gt;@%rbx -4@%r13d &lt;span class=&#34;m&#34;&gt;8&lt;/span&gt;@%rax &lt;span class=&#34;m&#34;&gt;1&lt;/span&gt;@&lt;span class=&#34;nv&#34;&gt;$0&lt;/span&gt;
  stapsdt              0x00000071       NT_STAPSDT &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;SystemTap probe descriptors&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
    Provider: hotspot
    Name: method__compile__begin&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;确保出处中有stapsdt字样，说明你的jdk启用了dtrace。&lt;/p&gt;

&lt;h4 id=&#34;ftrace&#34;&gt;ftrace&lt;/h4&gt;

&lt;p&gt;我们用method&lt;strong&gt;entry这个probe为例，讲述如何通过ftrace来trace该probe。参考前面uprobe event的定义&lt;code&gt;p[:[GRP/]EVENT] PATH:OFFSET [FETCHARGS] : Set a uprobe&lt;/code&gt;，我们需要找到method&lt;/strong&gt;entry在libjvm.so中的位置，可以通过readelf找到：&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tacy&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# readelf -n /usr/lib/jvm/java-10-openjdk/lib/server/libjvm.so |grep -A5 NT_STAPSDT&lt;/span&gt;
  stapsdt              0x00000062       NT_STAPSDT &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;SystemTap probe descriptors&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
    Provider: hotspot
    Name: method__entry
    Location: 0x0000000000bd21e5, Base: 0x0000000000dbb1b2, Semaphore: 0x0000000000000000
    Arguments: -8@%rax &lt;span class=&#34;m&#34;&gt;8&lt;/span&gt;@%rdx -4@%ecx &lt;span class=&#34;m&#34;&gt;8&lt;/span&gt;@%rsi -4@%edi &lt;span class=&#34;m&#34;&gt;8&lt;/span&gt;@%r8 -4@%r9d&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;method__entry的位置在0x0000000000bd21e5，代表该symbol在libjvm.so中的偏移，直接使用&lt;/p&gt;

&lt;p&gt;偏移地址需要多解释一下，共享类库(.so)的偏移一般可以直接使用，但是可执行文件需要分情况，有些可执行文件启用了PIE，这类文件和共享类库类似，偏移也可以直接使用，有些没有启用PIE，这类地址需要减去加载的base地址（例如0x400000）。一般情况情况不会弄错，因为启用了PIE的可执行文件，你看到的地址会小于加载的base地址，减了之后就编程负数了，这显然不正确，而且启用了PIE的可执行文件，一般你查看的时候显示也是shared object，例如：&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-1c-enterprise&#34; data-lang=&#34;1c-enterprise&#34;&gt;[root@tacyArch tacy]# file /usr/bin/zsh
/usr/bin/zsh: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically linked, interpreter /lib64/ld-linux-x86-64.so.2, for GNU/Linux 3.2.0, BuildID[sha1]=13f8b646263f84e3a6b12418b6d328a5c9ef835a, stripped&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;readelf的输出中，可以看到method__entry的arguments，总共有7个（这里我也没搞明白为啥register的使用不用遵守System V ABI AMD64规范），具体每个参数的定义就需要去看代码了，我机器上找不到stp文件，只能看在线&lt;a href=&#34;https://github.com/mpujari/systemtap-tapset-openjdk9/blob/master/tapset-1.8.0/hotspot-1.8.0.stp.in#L411&#34;&gt;stp&lt;/a&gt;，有源代码也可以搜索源代码，用关键字&lt;code&gt;SharedRuntime::dtrace_method_entry&lt;/code&gt;搜索，我的openjdk10在文件&lt;code&gt;hotspot/share/runtime/sharedRuntime.cpp&lt;/code&gt;中，引用在下面：&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;/* hotspot.method_entry &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;extended probe&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
   Triggers when a method is entered.
   Sets thread_id to the current java thread id, class to the name of
   the class, method to the name of the method, and sig to the
   signature string of the method.
   Needs -XX:+ExtendedDTraceProbes.
*/
probe hotspot.method_entry &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;
  process&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;@ABS_CLIENT_LIBJVM_SO@&amp;#34;&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;.mark&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;method__entry&amp;#34;&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;,
  process&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;@ABS_SERVER_LIBJVM_SO@&amp;#34;&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;.mark&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;method__entry&amp;#34;&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;{&lt;/span&gt;
  &lt;span class=&#34;nv&#34;&gt;name&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;method_entry&amp;#34;&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
  &lt;span class=&#34;nv&#34;&gt;thread_id&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;$arg1&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
  &lt;span class=&#34;nv&#34;&gt;class&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; user_string_n&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;$arg2&lt;/span&gt;, &lt;span class=&#34;nv&#34;&gt;$arg3&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
  &lt;span class=&#34;nv&#34;&gt;method&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; user_string_n&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;$arg4&lt;/span&gt;, &lt;span class=&#34;nv&#34;&gt;$arg5&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
  &lt;span class=&#34;nv&#34;&gt;sig&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; user_string_n&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;$arg6&lt;/span&gt;, &lt;span class=&#34;nv&#34;&gt;$arg7&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
  &lt;span class=&#34;nv&#34;&gt;probestr&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; sprintf&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;%s(thread_id=%d,class=&amp;#39;%s&amp;#39;,method=&amp;#39;%s&amp;#39;,sig=&amp;#39;%s&amp;#39;)&amp;#34;&lt;/span&gt;,
		     name, thread_id, class, method, sig&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;}&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;大致搞清楚每个参数的定义：arg1是线程id，arge2看起来里面包含了classname，arg3是classname的长度，依次类推，下面我们就可以来定义probe了：&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tacy&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# echo &amp;#39;p:uprobes/method_entry /usr/lib/jvm/java-10-openjdk/lib/server/libjvm.so:0x0000000000bd21e5 arg1=%ax:s64 arg2=+0(%dx):string arg3=%cx:s32 arg4=+0(%si):string arg5=%di:s32 arg6=+0(%r8):string arg7=%r9:s32&amp;#39; &amp;gt; uprobe_events&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;搞定，可以测试一下效果：&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# echo 1 &amp;gt;events/uprobes/method_entry/enable&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# echo 0 &amp;gt;events/uprobes/method_entry/enable&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# cat trace|grep hello&lt;/span&gt;
 http-nio-8080-e-31172 &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;003&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; d... &lt;span class=&#34;m&#34;&gt;51704&lt;/span&gt;.118354: method_entry: &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;0x7f80e000d1e5&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg1&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;24&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg2&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;hello/Greeting&amp;lt;init&amp;gt;(JLjava/lang/String;)V&amp;#34;&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg3&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;14&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg4&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&amp;lt;init&amp;gt;(JLjava/lang/String;)V&amp;#34;&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg5&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;6&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg6&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;(JLjava/lang/String;)V&amp;#34;&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg7&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;22&lt;/span&gt;
 http-nio-8080-e-31172 &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;003&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; d... &lt;span class=&#34;m&#34;&gt;51704&lt;/span&gt;.134194: method_entry: &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;0x7f80e000d1e5&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg1&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;24&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg2&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;hello/GreetinggetId()J&amp;#34;&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg3&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;14&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg4&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;getId()J&amp;#34;&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg5&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;5&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg6&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;()J&amp;#34;&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg7&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;3&lt;/span&gt;
 http-nio-8080-e-31172 &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;003&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; d... &lt;span class=&#34;m&#34;&gt;51704&lt;/span&gt;.134229: method_entry: &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;0x7f80e000d1e5&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg1&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;24&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg2&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;hello/GreetinggetContent&amp;amp;()Ljava/lang/String;&amp;#34;&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg3&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;14&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg4&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;getContent&amp;amp;()Ljava/lang/String;&amp;#34;&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg5&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;10&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg6&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;()Ljava/lang/String;&amp;#34;&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg7&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;20&lt;/span&gt;
 http-nio-8080-e-31173 &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;002&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; d... &lt;span class=&#34;m&#34;&gt;51704&lt;/span&gt;.628421: method_entry: &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;0x7f80e000d1e5&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg1&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;25&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg2&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;hello/GreetinggetId()J&amp;#34;&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg3&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;14&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg4&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;getId()J&amp;#34;&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg5&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;5&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg6&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;()J&amp;#34;&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg7&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;3&lt;/span&gt;
 http-nio-8080-e-31173 &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;002&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; d... &lt;span class=&#34;m&#34;&gt;51704&lt;/span&gt;.628476: method_entry: &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;0x7f80e000d1e5&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg1&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;25&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg2&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;hello/GreetinggetContent&amp;amp;()Ljava/lang/String;&amp;#34;&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg3&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;14&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg4&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;getContent&amp;amp;()Ljava/lang/String;&amp;#34;&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg5&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;10&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg6&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;()Ljava/lang/String;&amp;#34;&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg7&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;20&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;上面我们用grep来过滤我们想看到的class，其实不用这么麻烦，参考events的filter&lt;sup class=&#34;footnote-ref&#34; id=&#34;fnref:14&#34;&gt;&lt;a href=&#34;#fn:14&#34;&gt;7&lt;/a&gt;&lt;/sup&gt;，你可以直接过滤掉你不想看到的内容：&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# echo &amp;#39;arg2 ~ &amp;#34;hello*&amp;#34;&amp;#39; &amp;gt; events/uprobes/method_entry/filter&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;牛，java的方法调用一览无遗，用这个来profile method响应时间，不用对应用做任何调整，想想都觉得不可思议（如果你需要获取每个method的调用时间，你需要定义一个return probe，参考uprobe event定义）&lt;/p&gt;

&lt;h4 id=&#34;perf-2&#34;&gt;perf&lt;/h4&gt;

&lt;p&gt;方法参考&lt;a href=&#34;http://www.brendangregg.com/perf.html#StaticUserTracing&#34;&gt;Static User Tracing&lt;/a&gt;，我简单描述一下jdk实现&lt;/p&gt;

&lt;p&gt;为了perf能操作USDT Probe，需要把它添加到perf buildcache：&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;/****************** sdt需要先添加到perf里面：**************/
/* 注意，perf操作sdt，建议切换到root运行，否则可能出一些奇怪问题，例如无法添加sdt到probe */
&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# perf buildid-cache --add /usr/lib/jvm/java-10-openjdk/lib/server/libjvm.so&lt;/span&gt;

&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# perf list sdt&lt;/span&gt;

List of pre-defined events &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;to be used in -e&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;:

  sdt_hotspot:class__initialization__clinit          &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;SDT event&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;
  sdt_hotspot:class__initialization__concurrent      &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;SDT event&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;
  sdt_hotspot:class__initialization__end             &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;SDT event&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;
  sdt_hotspot:class__initialization__erroneous       &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;SDT event&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;
  sdt_hotspot:class__initialization__error           &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;SDT event&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;
  sdt_hotspot:class__initialization__recursive       &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;SDT event&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;
  sdt_hotspot:class__initialization__required        &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;SDT event&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;
  sdt_hotspot:class__initialization__super__failed   &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;SDT event&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;
  sdt_hotspot:class__loaded                          &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;SDT event&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;
  sdt_hotspot:class__unloaded                        &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;SDT event&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;
  sdt_hotspot:compiled__method__load                 &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;SDT event&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;
  sdt_hotspot:compiled__method__unload               &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;SDT event&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;
  sdt_hotspot:gc__begin                              &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;SDT event&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;
  sdt_hotspot:gc__end                                &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;SDT event&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;
  sdt_hotspot:mem__pool__gc__begin                   &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;SDT event&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;
  sdt_hotspot:mem__pool__gc__end                     &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;SDT event&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;
  sdt_hotspot:method__compile__begin                 &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;SDT event&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;
  sdt_hotspot:method__compile__end                   &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;SDT event&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;添加到buildcache之后，你才能用他们定义uprobe，执行trace操作，下面用gc&lt;strong&gt;begin示例（method&lt;/strong&gt;entry获取参数方法和ftrace一致，只是不需要去找offset）：&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tacy&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# perf probe --add sdt_hotspot:gc__begin                                                                                                                 [20/1846]&lt;/span&gt;
Added new events:
  sdt_hotspot:gc__begin &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;on %gc__begin in /usr/lib/jvm/java-10-openjdk/lib/server/libjvm.so&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
  sdt_hotspot:gc__begin_1 &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;on %gc__begin in /usr/lib/jvm/java-10-openjdk/lib/server/libjvm.so&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
  sdt_hotspot:gc__begin_2 &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;on %gc__begin in /usr/lib/jvm/java-10-openjdk/lib/server/libjvm.so&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
  sdt_hotspot:gc__begin_3 &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;on %gc__begin in /usr/lib/jvm/java-10-openjdk/lib/server/libjvm.so&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;

You can now use it in all perf tools, such as:

        perf record -e sdt_hotspot:gc__begin_3 -aR sleep &lt;span class=&#34;m&#34;&gt;1&lt;/span&gt;


&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tacy&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# perf record -e &amp;#39;sdt_hotspot:gc__begin,sdt_hotspot:gc__begin_1,sdt_hotspot:gc__begin_2,sdt_hotspot:gc__begin_3&amp;#39; -a&lt;/span&gt;

^C&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt; perf record: Woken up &lt;span class=&#34;m&#34;&gt;1&lt;/span&gt; &lt;span class=&#34;nb&#34;&gt;times&lt;/span&gt; to write data &lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt; perf record: Captured and wrote &lt;span class=&#34;m&#34;&gt;1&lt;/span&gt;.706 MB perf.data &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;11&lt;/span&gt; samples&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;

&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tacy&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# perf script&lt;/span&gt;
       VM Thread  &lt;span class=&#34;m&#34;&gt;7050&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;000&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;97761&lt;/span&gt;.385404: sdt_hotspot:gc__begin_2: &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;7f2cebede940&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg1&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;
       VM Thread  &lt;span class=&#34;m&#34;&gt;6178&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;000&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;97762&lt;/span&gt;.596125: sdt_hotspot:gc__begin_2: &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;7f5430da5940&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg1&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;
       VM Thread  &lt;span class=&#34;m&#34;&gt;6178&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;003&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;97762&lt;/span&gt;.863885: sdt_hotspot:gc__begin_2: &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;7f5430da5940&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg1&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;
       VM Thread  &lt;span class=&#34;m&#34;&gt;6178&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;002&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;97763&lt;/span&gt;.374132: sdt_hotspot:gc__begin_3: &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;7f5430da5e31&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
       VM Thread  &lt;span class=&#34;m&#34;&gt;6178&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;002&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;97763&lt;/span&gt;.374145: sdt_hotspot:gc__begin_2: &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;7f5430da5940&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg1&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;
       VM Thread  &lt;span class=&#34;m&#34;&gt;6178&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;002&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;97763&lt;/span&gt;.388108: sdt_hotspot:gc__begin_2: &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;7f5430da5940&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg1&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;
       VM Thread  &lt;span class=&#34;m&#34;&gt;6178&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;001&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;97764&lt;/span&gt;.320487: sdt_hotspot:gc__begin_2: &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;7f5430da5940&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg1&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;
       VM Thread  &lt;span class=&#34;m&#34;&gt;6178&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;000&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;97765&lt;/span&gt;.442266: sdt_hotspot:gc__begin_3: &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;7f5430da5e31&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
       VM Thread  &lt;span class=&#34;m&#34;&gt;6178&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;000&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;97765&lt;/span&gt;.442274: sdt_hotspot:gc__begin_2: &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;7f5430da5940&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg1&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;
       VM Thread  &lt;span class=&#34;m&#34;&gt;6178&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;001&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;97765&lt;/span&gt;.462569: sdt_hotspot:gc__begin_2: &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;7f5430da5940&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg1&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;
       VM Thread  &lt;span class=&#34;m&#34;&gt;6178&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;002&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;97766&lt;/span&gt;.663314: sdt_hotspot:gc__begin_2: &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;7f5430da5940&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;arg1&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h3 id=&#34;动态分析-1&#34;&gt;动态分析&lt;/h3&gt;

&lt;p&gt;动态添加uprobe和操作USDT probe差不多，简单说一下perf的方法&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# perf probe -x /lib64/libc.so.6 -F|grep malloc|head -10&lt;/span&gt;
cache_malloced
malloc
malloc_check
malloc_consolidate
malloc_get_state@GLIBC_2.2.5
malloc_hook_ini
malloc_info
malloc_init_state
malloc_printerr
malloc_set_state@GLIBC_2.2.5

&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# perf probe -x /lib64/libc.so.6 malloc&lt;/span&gt;
Added new event:
  probe_libc:malloc    &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;on malloc in /usr/lib/libc-2.28.so&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;

You can now use it in all perf tools, such as:

        perf record -e probe_libc:malloc -aR sleep &lt;span class=&#34;m&#34;&gt;1&lt;/span&gt;

&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch tracing&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# cd&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch ~&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# perf record -e probe_libc:malloc -a&lt;/span&gt;
^C&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt; perf record: Woken up &lt;span class=&#34;m&#34;&gt;1&lt;/span&gt; &lt;span class=&#34;nb&#34;&gt;times&lt;/span&gt; to write data &lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt; perf record: Captured and wrote &lt;span class=&#34;m&#34;&gt;1&lt;/span&gt;.900 MB perf.data &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;3349&lt;/span&gt; samples&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;

&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@tacyArch ~&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# perf script |head -10&lt;/span&gt;
     soffice.bin   &lt;span class=&#34;m&#34;&gt;312&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;001&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;53221&lt;/span&gt;.883430: probe_libc:malloc: &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;7f2503f9a8d0&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
     soffice.bin   &lt;span class=&#34;m&#34;&gt;312&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;001&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;53221&lt;/span&gt;.883453: probe_libc:malloc: &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;7f2503f9a8d0&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
            java &lt;span class=&#34;m&#34;&gt;30971&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;003&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;53221&lt;/span&gt;.941838: probe_libc:malloc: &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;7f3682e238d0&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
            java &lt;span class=&#34;m&#34;&gt;30971&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;003&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;53221&lt;/span&gt;.941875: probe_libc:malloc: &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;7f3682e238d0&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
            java &lt;span class=&#34;m&#34;&gt;30971&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;003&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;53221&lt;/span&gt;.941887: probe_libc:malloc: &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;7f3682e238d0&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
            java &lt;span class=&#34;m&#34;&gt;30971&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;003&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;53221&lt;/span&gt;.966116: probe_libc:malloc: &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;7f3682e238d0&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
            java &lt;span class=&#34;m&#34;&gt;30971&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;003&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;53221&lt;/span&gt;.966164: probe_libc:malloc: &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;7f3682e238d0&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
            java &lt;span class=&#34;m&#34;&gt;30971&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;003&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;53221&lt;/span&gt;.966260: probe_libc:malloc: &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;7f3682e238d0&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
            java &lt;span class=&#34;m&#34;&gt;30971&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;003&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;53221&lt;/span&gt;.966272: probe_libc:malloc: &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;7f3682e238d0&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
     soffice.bin   &lt;span class=&#34;m&#34;&gt;312&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;001&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;53221&lt;/span&gt;.983791: probe_libc:malloc: &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;7f2503f9a8d0&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h2 id=&#34;总结&#34;&gt;总结&lt;/h2&gt;

&lt;p&gt;上面介绍的内容，操作起来有一定复杂度，大牛Brendan Gregg提供了&lt;a href=&#34;https://github.com/brendangregg/perf-tools&#34;&gt;perf-tools&lt;/a&gt;工具集来简化操作，里面提供了很多非常实用的工具，大力推荐。另外大牛的&lt;a href=&#34;http://www.brendangregg.com/blog/2015-07-03/hacking-linux-usdt-ftrace.html&#34;&gt;blog&lt;/a&gt;建议反复阅读&lt;/p&gt;

&lt;p&gt;ftrace最大的问题是不可编程，无法做更多扩展，但是它不需要太新的kernel，对目前很多生产环境来说，这非常关键，而且ftrace也在持续改进，建议follow另一位大牛@srostedt（kernel ftrace maintainer）。&lt;/p&gt;

&lt;p&gt;至于目前最热门的ebpf/bcc&lt;sup class=&#34;footnote-ref&#34; id=&#34;fnref:12&#34;&gt;&lt;a href=&#34;#fn:12&#34;&gt;8&lt;/a&gt;&lt;/sup&gt;，强烈建议学习，优点就是一句话：可编程。kernel至少都需要4.1（推荐4.8以上），RHEL7.6官方已经支持&lt;sup class=&#34;footnote-ref&#34; id=&#34;fnref:11&#34;&gt;&lt;a href=&#34;#fn:11&#34;&gt;9&lt;/a&gt;&lt;/sup&gt;。&lt;/p&gt;

&lt;h2 id=&#34;相关知识&#34;&gt;相关知识&lt;/h2&gt;

&lt;h3 id=&#34;assambly-gdb&#34;&gt;assambly &amp;amp; gdb&lt;/h3&gt;

&lt;h3 id=&#34;dynamic-symbol-static-symbol&#34;&gt;dynamic symbol / static symbol&lt;/h3&gt;

&lt;p&gt;dynamic symbol是指动态链接的程序对外依赖的共享库symbol，程序运行时必须。static symbol这个需要编译时打开&lt;code&gt;-g&lt;/code&gt;开关才能看到，调试用&lt;/p&gt;
&lt;div class=&#34;footnotes&#34;&gt;

&lt;hr /&gt;

&lt;ol&gt;
&lt;li id=&#34;fn:7&#34;&gt;&lt;a href=&#34;https://www.kernel.org/doc/Documentation/trace/ftrace.txt&#34;&gt;ftrace document&lt;/a&gt;
 &lt;a class=&#34;footnote-return&#34; href=&#34;#fnref:7&#34;&gt;&lt;sup&gt;[return]&lt;/sup&gt;&lt;/a&gt;&lt;/li&gt;
&lt;li id=&#34;fn:8&#34;&gt;&lt;a href=&#34;https://lwn.net/Articles/370423/&#34;&gt;Secrets of the Ftrace function tracer&lt;/a&gt;
 &lt;a class=&#34;footnote-return&#34; href=&#34;#fnref:8&#34;&gt;&lt;sup&gt;[return]&lt;/sup&gt;&lt;/a&gt;&lt;/li&gt;
&lt;li id=&#34;fn:6&#34;&gt;&lt;a href=&#34;https://www.kernel.org/doc/Documentation/trace/kprobetrace.txt&#34;&gt;kprobe trace&lt;/a&gt;
 &lt;a class=&#34;footnote-return&#34; href=&#34;#fnref:6&#34;&gt;&lt;sup&gt;[return]&lt;/sup&gt;&lt;/a&gt;&lt;/li&gt;
&lt;li id=&#34;fn:9&#34;&gt;&lt;a href=&#34;http://cs.lmu.edu/~ray/notes/nasmtutorial/&#34;&gt;NASM Tutorial&lt;/a&gt;
 &lt;a class=&#34;footnote-return&#34; href=&#34;#fnref:9&#34;&gt;&lt;sup&gt;[return]&lt;/sup&gt;&lt;/a&gt;&lt;/li&gt;
&lt;li id=&#34;fn:10&#34;&gt;&lt;a href=&#34;https://github.com/hjl-tools/x86-psABI/wiki/x86-64-psABI-1.0.pdf&#34;&gt;X86 psABI&lt;/a&gt;
 &lt;a class=&#34;footnote-return&#34; href=&#34;#fnref:10&#34;&gt;&lt;sup&gt;[return]&lt;/sup&gt;&lt;/a&gt;&lt;/li&gt;
&lt;li id=&#34;fn:5&#34;&gt;&lt;a href=&#34;https://www.kernel.org/doc/Documentation/trace/uprobetracer.txt&#34;&gt;uprobe tracer&lt;/a&gt;
 &lt;a class=&#34;footnote-return&#34; href=&#34;#fnref:5&#34;&gt;&lt;sup&gt;[return]&lt;/sup&gt;&lt;/a&gt;&lt;/li&gt;
&lt;li id=&#34;fn:14&#34;&gt;&lt;a href=&#34;https://www.kernel.org/doc/Documentation/trace/events.txt&#34;&gt;Event Tracing&lt;/a&gt;
 &lt;a class=&#34;footnote-return&#34; href=&#34;#fnref:14&#34;&gt;&lt;sup&gt;[return]&lt;/sup&gt;&lt;/a&gt;&lt;/li&gt;
&lt;li id=&#34;fn:12&#34;&gt;&lt;a href=&#34;https://github.com/iovisor/bcc/blob/master/INSTALL.md&#34;&gt;iovisor bcc&lt;/a&gt;
 &lt;a class=&#34;footnote-return&#34; href=&#34;#fnref:12&#34;&gt;&lt;sup&gt;[return]&lt;/sup&gt;&lt;/a&gt;&lt;/li&gt;
&lt;li id=&#34;fn:11&#34;&gt;&lt;a href=&#34;https://github.com/iovisor/bcc/blob/master/INSTALL.md&#34;&gt;bcc install&lt;/a&gt;
 &lt;a class=&#34;footnote-return&#34; href=&#34;#fnref:11&#34;&gt;&lt;sup&gt;[return]&lt;/sup&gt;&lt;/a&gt;&lt;/li&gt;
&lt;/ol&gt;
&lt;/div&gt;
</description>
      
    </item>
    
    <item>
      <title>gdb notes</title>
      <link>http://tacy.github.io/post/gdb/</link>
      <pubDate>Wed, 05 Sep 2018 00:00:00 +0000</pubDate>
      
      <guid>http://tacy.github.io/post/gdb/</guid>
      
        <description>

&lt;p&gt;linux下最重要的debug工具，对于问题分析，非常有帮助。掌握gdb对于linux开发和故障诊断是必备的技能。&lt;/p&gt;

&lt;h1 id=&#34;info&#34;&gt;info&lt;/h1&gt;

&lt;p&gt;info addr &lt;symbol&gt;   #
info symbol &lt;addr&gt;   # 显示地址的symbol名称
info line *&lt;addr&gt;    # 显示地址的代码行（需要debug信息）&lt;/p&gt;

&lt;h1 id=&#34;breakpoint&#34;&gt;breakpoint&lt;/h1&gt;

&lt;p&gt;b *0x65ab0          # 在地址0x65ab0设置断点&lt;/p&gt;

&lt;h1 id=&#34;disas&#34;&gt;disas&lt;/h1&gt;

&lt;p&gt;获取symbol的汇编代码
dissa &lt;addr&gt;
dissa &lt;symbol&gt;&lt;/p&gt;

&lt;h1 id=&#34;strip-1&#34;&gt;strip&lt;sup class=&#34;footnote-ref&#34; id=&#34;fnref:1&#34;&gt;&lt;a href=&#34;#fn:1&#34;&gt;1&lt;/a&gt;&lt;/sup&gt;&lt;/h1&gt;

&lt;p&gt;如果文件被strip了，objdump/readelf/nm就无法找到任何静态symbols信息，但是gdb支持查找strip出来的debuginfo文件，RHEL的所有包都包括了对应的debuginfo包，对于问题分析非常有帮助。&lt;/p&gt;

&lt;p&gt;gdb会查找文件所在的目录和子目录，以及全局目录，全局目录定义在debug-file-directory变量中，可以方便的设置和查看：&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;gdb&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; show debug-file-directory
The directory where separate debug symbols are searched &lt;span class=&#34;k&#34;&gt;for&lt;/span&gt; is &lt;span class=&#34;s2&#34;&gt;&amp;#34;/usr/lib/debug&amp;#34;&lt;/span&gt;.&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;例如你分析/usr/bin/bash这个程序，你可以首先看看文件是否被strip：&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;tacy_lee@instance-2 ~&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;$ file /usr/bin/bash
/usr/bin/bash: ELF &lt;span class=&#34;m&#34;&gt;64&lt;/span&gt;-bit LSB executable, x86-64, version &lt;span class=&#34;m&#34;&gt;1&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;SYSV&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;, dynamically linked &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;uses shared libs&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;, &lt;span class=&#34;k&#34;&gt;for&lt;/span&gt; GNU/Linux &lt;span class=&#34;m&#34;&gt;2&lt;/span&gt;.6.32, BuildID&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;sha1&lt;span class=&#34;o&#34;&gt;]=&lt;/span&gt;9223530b1aa05d3dbea7e72738b28b1e9d82fbad, stripped&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;上面显示bash被stripped了，所有该文件里面没有任何静态symbol信息，你能安装debug包，之后，安装目录一般在/usr/lib/debug目录下，主要文件显示：&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;tacy_lee@instance-2 usr&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;$ rpm -ql bash-debuginfo
/usr/lib/debug
/usr/lib/debug/.build-id
/usr/lib/debug/.build-id/92
/usr/lib/debug/.build-id/92/23530b1aa05d3dbea7e72738b28b1e9d82fbad
/usr/lib/debug/.build-id/92/23530b1aa05d3dbea7e72738b28b1e9d82fbad.debug
/usr/lib/debug/usr
/usr/lib/debug/usr/bin
/usr/lib/debug/usr/bin/bash.debug
/usr/lib/debug/usr/bin/sh.debug
/usr/src/debug/bash-4.2&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;gdb可以通过buildid查找debug文件，也会在/usr/lib/debug目录下按照bash的路径查找。&lt;/p&gt;

&lt;p&gt;build-id就是file命令显示的BuildID，目录名加文件名就是文件的buildid（&amp;rsquo;92&amp;rsquo;+&amp;lsquo;23530b1aa05d3dbea7e72738b28b1e9d82fbad&amp;rsquo;)，debug目录下会按照bash的路径放置debug文件，gdb会去该目录下查找debug文件&lt;/p&gt;

&lt;p&gt;源代码文件定义在directories变量，如果找不到源代码可以设置该变量，默认gdb好像会去搜索/usr/src/debug目录。&lt;/p&gt;

&lt;h1 id=&#34;coredump&#34;&gt;coredump&lt;/h1&gt;

&lt;h2 id=&#34;find-coredump&#34;&gt;find coredump&lt;/h2&gt;

&lt;p&gt;cat /proc/sys/kernel/core_pattern
/usr/lib/systemd/systemd-coredump %p %u %g %s %t %e&lt;/p&gt;

&lt;p&gt;Examining a core dump, Use coredumpctl to find the corresponding dump:&lt;/p&gt;

&lt;p&gt;You need to uniquely identify the relevant dump. This is possible by specifying a PID, name of the executable, path to the executable or a journalctl predicate (see coredumpctl(1) and journalctl(1) for details). To see details of the core dumps:&lt;/p&gt;

&lt;p&gt;Pay attention to &amp;ldquo;Signal&amp;rdquo; row, that helps to identify crash cause. For deeper analysis you can examine the backtrace using gdb:&lt;/p&gt;

&lt;p&gt;When gdb is started, use the bt command to print the backtrace:&lt;/p&gt;

&lt;p&gt;(gdb) bt&lt;/p&gt;

&lt;h2 id=&#34;set&#34;&gt;set&lt;/h2&gt;

&lt;h3 id=&#34;指定源代码目录&#34;&gt;指定源代码目录&lt;/h3&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;gdb&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; directory ~/workspace/archlinux-linux/
Source directories searched: /home/tacy/workspace/archlinux-linux:&lt;span class=&#34;nv&#34;&gt;$cdir&lt;/span&gt;:&lt;span class=&#34;nv&#34;&gt;$cwd&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;div class=&#34;footnotes&#34;&gt;

&lt;hr /&gt;

&lt;ol&gt;
&lt;li id=&#34;fn:1&#34;&gt;&lt;a href=&#34;https://sourceware.org/gdb/onlinedocs/gdb/Separate-Debug-Files.html&#34;&gt;Debugging Information in Separate Files&lt;/a&gt;
 &lt;a class=&#34;footnote-return&#34; href=&#34;#fnref:1&#34;&gt;&lt;sup&gt;[return]&lt;/sup&gt;&lt;/a&gt;&lt;/li&gt;
&lt;/ol&gt;
&lt;/div&gt;
</description>
      
    </item>
    
    <item>
      <title>Heapster monitor java by custom metrics</title>
      <link>http://tacy.github.io/post/heapster-monitor-java-by-custom-metrics/</link>
      <pubDate>Mon, 23 Apr 2018 00:00:00 +0000</pubDate>
      
      <guid>http://tacy.github.io/post/heapster-monitor-java-by-custom-metrics/</guid>
      
        <description>

&lt;h1 id=&#34;heapster-monitor-java-by-custom-metrics&#34;&gt;Heapster monitor java by custom metrics&lt;/h1&gt;

&lt;p&gt;Heapster是kubernetes的监控组件, 它负责收集Node上Cadvisor提供的监控信息, 推送给上游监控组件. 除了缺省的监控项(cpu/memory/net/storage/fs), Cadvisor还提供应用监控功能, 用户可以通过自定义监控项扩展监控范围. 而Heapster默认是支持收集Cadvisor的应用监控指标. 下面是一个例子, 展示怎样通过自定义应用监控项, 让Heapster收集部署在K8S集群中的java应用监控信息(通过jmx).&lt;/p&gt;

&lt;h2 id=&#34;cadvisor-application-metrics-1&#34;&gt;Cadvisor application metrics&lt;sup class=&#34;footnote-ref&#34; id=&#34;fnref:1&#34;&gt;&lt;a href=&#34;#fn:1&#34;&gt;1&lt;/a&gt;&lt;/sup&gt;&lt;/h2&gt;

&lt;p&gt;Cadvisor在收集Container监控信息的时候, 会检测是否存在以&lt;code&gt;io.cadvisor.metric&lt;/code&gt;开头的Label(值指向一个配置文件), 如果存在, Cadvisor会认为这个Container有应用监控指标需要收集, 他就会去读取Label指向的配置文件, 配置文件的格式:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;{
  &amp;#34;endpoint&amp;#34; : &amp;#34;http://localhost:1234/metrics&amp;#34;,
  &amp;#34;metrics_config&amp;#34; : [
    &amp;#34;jvm_memory_pool_bytes_used&amp;#34;,
    &amp;#34;jvm_threads_current&amp;#34;,
    &amp;#34;tomcat_threadpool_currentthreadsbusy&amp;#34;
  ]
}&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;上面是一个Promethus格式的endpoint, 输出信息是结构化的, Cadvisor会请求配置文件中的endpoint, 获取对应的监控项; 当然, 如果你希望收集endpoint提供的所有监控项, 省略metrics_config.&lt;/p&gt;

&lt;p&gt;另外, Cadvisor还支持非结构化的信息, 具体就不展开了.&lt;/p&gt;

&lt;h2 id=&#34;k8s-custom-metrics&#34;&gt;K8S custom metrics&lt;/h2&gt;

&lt;p&gt;上面描述了Cadvisor的应用监控扩展, 而在K8S中, 这个功能被称为Custom metrics, 该功能缺省是关闭的, 需要在kubelet中增加启动参数&lt;code&gt;enable-custom-metrics&lt;/code&gt;才能启用该功能.&lt;/p&gt;

&lt;p&gt;kubelet在创建container的时候, 会做两件事情: 首先, 它会确认是否该功能已经启用, 其次, 检测Pod是否有Volume mount在&lt;code&gt;/etc/custom-metrics&lt;/code&gt;, 同时, 在该目录下存在&lt;code&gt;definition.json&lt;/code&gt;这个文件. 满足上述条件, 他会在该Container上增加Label: &lt;code&gt;io.cadvisor.metric.promethus=/etc/custom-metrics/definition.json&lt;/code&gt;. 有了这个Label, Cadvisor才会对该Container进行应用监控指标收集.&lt;/p&gt;

&lt;h2 id=&#34;endpoint&#34;&gt;endpoint&lt;/h2&gt;

&lt;p&gt;在K8S中, Cadvisor运行在Host网络, 在请求配置文件中的endpoint时, 需要考虑这个问题, 我们需要把PodIP注入到配置文件中(当然你也可以用NodePort这种方式, 但由于端口冲突问题, 基本不可行).&lt;/p&gt;

&lt;h2 id=&#34;java应用监控&#34;&gt;Java应用监控&lt;/h2&gt;

&lt;p&gt;监控一个运行Java应用的Pod, 我们需要Jmx, 这里我们用&lt;a href=&#34;https://github.com/prometheus/jmx_exporter&#34;&gt;jmx_exporter&lt;/a&gt;, jmx_exporter能把Jmx监控信息转换成Promethus风格的输出, 便于Cadvisor收集.&lt;/p&gt;

&lt;p&gt;我们需要考虑怎么把配置文件放入Pod中, 注意上面提到的: &lt;code&gt;/etc/custom-metrics&lt;/code&gt;必须是一个Volume mount, 所以把配置文件打包到Image的做法行不通. 目前可行的做法有三种: ConfigMap, initContainer, emptyDir Volume. 这里我们用emptyDir volume(configMap个人觉得不太方便, initContainer也是emptyDir Volume的变形).&lt;/p&gt;

&lt;p&gt;下面我们用docker.io/tomcat做baseimage, 制作支持custom metrics的image.&lt;/p&gt;

&lt;p&gt;我们需要增加修改catalina.sh增加jmx支持, 同时把配置文件注入:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;echo &amp;#34;{\&amp;#34;endpoint\&amp;#34;:\&amp;#34;http://$POD_IP:1234/metrics\&amp;#34;}&amp;#34; &amp;gt;/etc/custom-metrics/definition.json
JAVA_OPTS=&amp;#34;$JAVA_OPTS -javaagent:$CATALINA_HOME/lib/jmx_prometheus_javaagent-0.9.jar=1234:$CATALINA_HOME/lib/config.yaml&amp;#34;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;增加&lt;a href=&#34;https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.9/jmx_prometheus_javaagent-0.9.jar&#34;&gt;jmx-exporter jar&lt;/a&gt;和配置文件&lt;a href=&#34;https://github.com/prometheus/jmx_exporter/blob/master/example_configs/tomcat.yml&#34;&gt;config.yaml&lt;/a&gt;到image.&lt;/p&gt;

&lt;p&gt;Dockerfile内容:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;[root@primeton-tacy-k8s-master custom_metrics]# cat Dockerfile
FROM tomcat:8.0.44-jre8-alpine
ADD  jmx_prometheus_javaagent-0.9.jar /usr/local/tomcat/lib/
ADD  config.yaml /usr/local/tomcat/lib/
ADD  catalina.sh /usr/local/tomcat/bin/&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;我制作好的imagey已经push在docker.io上, 可以直接用来测试, 测试方法:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;[root@primeton-tacy-k8s-master 1.5]# cat tomcat-metrics.yaml
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  labels:
    run: tomcat-metrics
  name: tomcat-metrics
  namespace: default
spec:
  replicas: 1
  selector:
    matchLabels:
      run: tomcat-metrics
  strategy:
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 1
    type: RollingUpdate
  template:
    metadata:
      labels:
        run: tomcat-metrics
    spec:
      containers:
      - image: tacylee/tomcat:8.0.44-jre8-alpine
        imagePullPolicy: IfNotPresent
        name: tomcat-metrics
        resources: {}
        terminationMessagePath: /dev/termination-log
        volumeMounts:
        - mountPath: /etc/custom-metrics
          name: custommetrics
        env:
        - name: POD_IP
          valueFrom:
            fieldRef:
              fieldPath: status.podIP
      dnsPolicy: ClusterFirst
      restartPolicy: Always
      securityContext: {}
      terminationGracePeriodSeconds: 30
      volumes:
      - name: custommetrics
        emptyDir: {}

[root@primeton-tacy-k8s-master 1.5]# kubectl create -f tomcat-metrics.yaml

[root@primeton-tacy-k8s-master 1.5]# kubectl get pods -o wide
NAME                             READY     STATUS    RESTARTS   AGE       IP                NODE
heapster-b95w3                   1/1       Running   0          22h       192.168.172.239   primeton-tacy-k8s-node2
tomcat-metrics-133681138-kphcm   1/1       Running   0          1d        192.168.172.237   primeton-tacy-k8s-node2

[root@primeton-tacy-k8s-master 1.5]# curl http://localhost:8080/api/v1/proxy/nodes/primeton-tacy-k8s-node2/stats/summary
...
      &amp;#34;userDefinedMetrics&amp;#34;: [
       {
        &amp;#34;name&amp;#34;: &amp;#34;jvm_threads_deadlocked_monitor&amp;#34;,
        &amp;#34;type&amp;#34;: &amp;#34;gauge&amp;#34;,
        &amp;#34;units&amp;#34;: &amp;#34;&amp;#34;,
        &amp;#34;time&amp;#34;: &amp;#34;2017-06-09T13:38:10Z&amp;#34;,
        &amp;#34;value&amp;#34;: 0
       },
       {
        &amp;#34;name&amp;#34;: &amp;#34;tomcat_bytesreceived_total&amp;#34;,
        &amp;#34;type&amp;#34;: &amp;#34;cumulative&amp;#34;,
        &amp;#34;units&amp;#34;: &amp;#34;&amp;#34;,
        &amp;#34;time&amp;#34;: &amp;#34;2017-06-09T13:38:10Z&amp;#34;,
        &amp;#34;value&amp;#34;: 0
       },
       {
        &amp;#34;name&amp;#34;: &amp;#34;jmx_config_reload_success_total&amp;#34;,
        &amp;#34;type&amp;#34;: &amp;#34;cumulative&amp;#34;,
        &amp;#34;units&amp;#34;: &amp;#34;&amp;#34;,
        &amp;#34;time&amp;#34;: &amp;#34;2017-06-09T13:38:10Z&amp;#34;,
        &amp;#34;value&amp;#34;: 0
       },
...&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;看到userDefinedMetrics就可以了.&lt;/p&gt;

&lt;p&gt;最后, 你需要部署heapster组件, 直接用log sink验证, 能看到有&lt;code&gt;custom/jmx_config_reload_failure_total = 0.000000&lt;/code&gt;类似的指标.&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;[root@primeton-tacy-k8s-master heapster]# cat heapster.yaml
apiVersion: v1
kind: ReplicationController
metadata:
  labels:
    k8s-app: heapster-test
    name: heapster
  name: heapster
spec:
  replicas: 1
  selector:
    k8s-app: heapster-test
  template:
    metadata:
      labels:
        k8s-app: heapster-test
    spec:
      containers:
      - name: heapster-test
        image: tacylee/heapster-openfalcon:v1.2
        imagePullPolicy: Always
        command:
        - /heapster
        - --source=kubernetes.summary_api:https://kubernetes.default
        - --sink=log
        - -logtostderr=1&lt;/pre&gt;&lt;/div&gt;&lt;div class=&#34;footnotes&#34;&gt;

&lt;hr /&gt;

&lt;ol&gt;
&lt;li id=&#34;fn:1&#34;&gt;&lt;a href=&#34;https://github.com/google/cadvisor/blob/master/docs/application_metrics.md&#34;&gt;Collecting Application Metrics with cAdvisor&lt;/a&gt;
 &lt;a class=&#34;footnote-return&#34; href=&#34;#fnref:1&#34;&gt;&lt;sup&gt;[return]&lt;/sup&gt;&lt;/a&gt;&lt;/li&gt;
&lt;/ol&gt;
&lt;/div&gt;
</description>
      
    </item>
    
    <item>
      <title>openshift notes</title>
      <link>http://tacy.github.io/post/openshift/</link>
      <pubDate>Fri, 10 Nov 2017 00:00:00 +0000</pubDate>
      
      <guid>http://tacy.github.io/post/openshift/</guid>
      
        <description>

&lt;h1 id=&#34;openshift&#34;&gt;Openshift&lt;/h1&gt;

&lt;h2 id=&#34;权限控制&#34;&gt;权限控制&lt;/h2&gt;

&lt;p&gt;&lt;a href=&#34;openshift authorization&#34;&gt;https://docs.openshift.com/container-platform/3.3/architecture/additional_concepts/authorization.html&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;首先是认证, 可以设置自己的认证服务器, 缺省用htpasswd&lt;/p&gt;

&lt;p&gt;然后是权限控制: rule规则, role角色(规则集), bind绑定角色和用户(组)&lt;/p&gt;

&lt;p&gt;权限控制分为cluster policy和local policy:&lt;/p&gt;

&lt;p&gt;cluster policy作用于整个集群, local policy作用于具体某个project, cluster bind只能绑定到cluster role, local bind能绑定到cluster role和local role&lt;/p&gt;

&lt;p&gt;serviceaccount也是一种特殊用户, 用户名&amp;rdquo;service:serviceaccount:&lt;namespace&gt;:&lt;serviceaccount&gt;&amp;rdquo;, 需要注意权限bind的时候别直接写serviceaccount名, 而要写它的用户名&lt;/p&gt;

&lt;h3 id=&#34;查看cluster-roles&#34;&gt;查看cluster roles&lt;/h3&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;[root@nf5270m-ose ~]# oc get clusterroles
NAME
system:router
edit
system:pv-recycler-controller
cluster-admin
system:image-puller
registry-editor
system:discovery
system:node-admin
system:image-auditor
......&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;查看role的rules&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;[root@nf5270m-ose ~]# oc describe clusterroles cluster-pod-reader
Name:			cluster-pod-reader
Created:		About an hour ago
Labels:			&amp;lt;none&amp;gt;
Annotations:		&amp;lt;none&amp;gt;
Verbs			Non-Resource URLs	Extension	Resource Names	API Groups	Resources
[get list watch]	[]					[]		[]		[pods]&lt;/pre&gt;&lt;/div&gt;
&lt;h3 id=&#34;查看cluster-policy&#34;&gt;查看cluster policy&lt;/h3&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;[root@nf5270m-ose ~]# oc get clusterpolicy
NAME      ROLES                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               LAST MODIFIED
default   admin, basic-user, cluster-admin, cluster-pod-reader, cluster-reader, cluster-status, edit, management-infra-admin, registry-admin, registry-editor, registry-viewer, self-provisioner, system:build-controller, system:build-strategy-custom, system:build-strategy-docker, system:build-strategy-source, system:daemonset-controller, system:deployer, system:deployment-controller, system:discovery, system:gc-controller, system:hpa-controller, system:image-auditor, system:image-builder, system:image-pruner, system:image-puller, system:image-pusher, system:job-controller, system:master, system:namespace-controller, system:node, system:node-admin, system:node-proxier, system:node-reader, system:oauth-token-deleter, system:pv-binder-controller, system:pv-provisioner-controller, system:pv-recycler-controller, system:registry, system:replication-controller, system:router, system:sdn-manager, system:sdn-reader, system:webhook, view   2016-08-16 15:19:09 +0800 CST&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;查看具体每个role的rules:
oc describe clusterpolicy default&lt;/p&gt;

&lt;h3 id=&#34;查看roles和用户绑定&#34;&gt;查看roles和用户绑定&lt;/h3&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;[root@nf5270m-ose ~]# oc describe clusterpolicybinding :default
Name:							:default
Created:						5 days ago
Labels:							&amp;lt;none&amp;gt;
Annotations:						&amp;lt;none&amp;gt;
Last Modified:						2016-08-16 15:20:14 +0800 CST
Policy:							&amp;lt;none&amp;gt;
RoleBinding[basic-users]:
							Role:			basic-user
							Users:			&amp;lt;none&amp;gt;
							Groups:			system:authenticated
							ServiceAccounts:	&amp;lt;none&amp;gt;
							Subjects:		&amp;lt;none&amp;gt;
RoleBinding[cluster-admins]:
							Role:			cluster-admin
							Users:			&amp;lt;none&amp;gt;
							Groups:			system:cluster-admins
							ServiceAccounts:	&amp;lt;none&amp;gt;
							Subjects:		&amp;lt;none&amp;gt;
RoleBinding[cluster-pod-reader]:
							Role:			cluster-pod-reader
							Users:			podreader
							Groups:			&amp;lt;none&amp;gt;
							ServiceAccounts:	&amp;lt;none&amp;gt;
							Subjects:		&amp;lt;none&amp;gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h3 id=&#34;clusterpolicy&#34;&gt;clusterpolicy&lt;/h3&gt;

&lt;p&gt;ClusterPolicy is a object that holds all the ClusterRoles for a particular namespace. There is at most one ClusterPolicy document per namespace&lt;/p&gt;

&lt;h3 id=&#34;角色和用户binding&#34;&gt;角色和用户binding&lt;/h3&gt;

&lt;p&gt;绑定serviceaccount: tacy到cluster-admin角色
&lt;code&gt;oc adm policy add-cluster-role-to-user cluster-admin system:serviceaccount:default:tacy&lt;/code&gt;&lt;/p&gt;

&lt;h3 id=&#34;创建role&#34;&gt;创建role&lt;/h3&gt;

&lt;p&gt;&lt;code&gt;oc export role sample&lt;/code&gt;导出已经存在的role, 修改成自己需要的权限,然后通过创建它即可&lt;/p&gt;

&lt;h2 id=&#34;quota&#34;&gt;Quota&lt;/h2&gt;

&lt;p&gt;Quota分为:
1. resource quota,包括cpu和内存,
2. object count manage, 例如你可以限制一个project里面有多少个non-terminal的pod, 有多少service&lt;/p&gt;

&lt;h3 id=&#34;scope&#34;&gt;　scope&lt;/h3&gt;

&lt;p&gt;Quota还能有scope, 有四个scope:
1. NotTerminating: Match pods where spec.activeDeadlineSeconds is nil, 匹配长期运行的pod
2. Terminating: Match pods where spec.activeDeadlineSeconds &amp;gt;= 0, 匹配短期存在的pod, 例如build pod, deployer pod, job pod等
3. BestEffort: Match pods that have best effort quality of service for either cpu or memory. 没有定义memory和cpu没有定义request和limit
4. NotBestEffort: Match pods that do not have best effort quality of service for cpu and memory. 定义了memory和cpu的request和或limit&lt;/p&gt;

&lt;p&gt;BestEffort只能用于pod对象; pods, memory, requests.memory, limits.memory, cpu, requests.cpu, limits.cpu能用于所有4个scope&lt;/p&gt;

&lt;h3 id=&#34;limit-request&#34;&gt;limit &amp;amp; request&lt;/h3&gt;

&lt;p&gt;request是调度依据, node必须满足才能放置改pod, limit是上限&lt;/p&gt;

&lt;p&gt;memory和cpu对于limit策略不一致&lt;/p&gt;

&lt;h4 id=&#34;cpu&#34;&gt;cpu&lt;/h4&gt;

&lt;p&gt;如果request和pod都没有指定, 可以用node的所有cpu资源, 但是优先级最低&lt;/p&gt;

&lt;p&gt;request是pod的最小资源需求, 如果没有设置limit, 当node不存在cpu资源争用的时候, 可以使用node的所有cpu资源, 如果存在资源争用, request就会成为争夺cpu资源的权重值&lt;/p&gt;

&lt;p&gt;limit是一个硬限制, 如果设置了limit, 该limit就是pod的上限, cpu调度器会做严格控制, 这类pod有一致的QoS&lt;/p&gt;

&lt;h4 id=&#34;memory&#34;&gt;memory&lt;/h4&gt;

&lt;ol&gt;
&lt;li&gt;BestEffort: 没有指定request和limit, 会使用node的所有memory, 这类pod在遇到Node OOM的时候最先被杀掉;&lt;/li&gt;
&lt;li&gt;Burstable: 指定了request, 但是没有指定limit, 这类pod可以使用尽可能多的node内存, 遇到Node OOM, 后于BestEffort被杀掉&lt;/li&gt;
&lt;li&gt;Guaranteed: 指定了request和limit, 遇到OOM, 最后被杀掉&lt;/li&gt;
&lt;/ol&gt;

&lt;h3 id=&#34;设置project-quota&#34;&gt;设置Project Quota&lt;/h3&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;apiVersion: v1
kind: ResourceQuota
metadata:
  name: compute-resources
spec:
  hard:
    pods: &amp;#34;4&amp;#34;
    requests.cpu: &amp;#34;10&amp;#34;
    requests.memory: 20Gi
    limits.cpu: &amp;#34;64&amp;#34;
    limits.memory: 256Gi&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;定义了所有NotTerminating的pod的限制, 最小不能低于requet, 最高不能超过limits&lt;/p&gt;

&lt;p&gt;oc create -f compute-resource -n projectname&lt;/p&gt;

&lt;h4 id=&#34;一些注意事项&#34;&gt;一些注意事项&lt;/h4&gt;

&lt;p&gt;如果project设置了Quota, 必须为project里面的所有pod设置request或和limit, 这样会比较麻烦, 你最好也为该project定义一个limit-range, 在limit-range里面可以定义request和limit的default值&lt;/p&gt;

&lt;h3 id=&#34;设置project-limitrange&#34;&gt;设置Project limitrange&lt;/h3&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;apiVersion: &amp;#34;v1&amp;#34;
kind: &amp;#34;LimitRange&amp;#34;
metadata:
  name: &amp;#34;core-resource-limits&amp;#34;
spec:
  limits:
    - type: &amp;#34;Pod&amp;#34;
      max:
        cpu: &amp;#34;2&amp;#34;
        memory: &amp;#34;1Gi&amp;#34;
      min:
        cpu: &amp;#34;200m&amp;#34;
        memory: &amp;#34;6Mi&amp;#34;
    - type: &amp;#34;Container&amp;#34;
      max:
        cpu: &amp;#34;2&amp;#34;
        memory: &amp;#34;1Gi&amp;#34;
      min:
        cpu: &amp;#34;100m&amp;#34;
        memory: &amp;#34;4Mi&amp;#34;
      default:
        cpu: &amp;#34;300m&amp;#34;
        memory: &amp;#34;200Mi&amp;#34;
      defaultRequest:
        cpu: &amp;#34;200m&amp;#34;
        memory: &amp;#34;100Mi&amp;#34;
      maxLimitRequestRatio:
        cpu: &amp;#34;10&amp;#34;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;oc create -f core-resource-limit -n projectname&lt;/p&gt;

&lt;p&gt;有了这个之后, 项目里面的pod如果没有定义memory和cpu限制, 会用limitrange的default值&lt;/p&gt;

&lt;h2 id=&#34;router-route&#34;&gt;router &amp;amp; route&lt;/h2&gt;

&lt;p&gt;router支持shard, router可以定义select label, 来选择支持那些route, route需要加label, 匹配的route才能被对应的router支持&lt;/p&gt;

&lt;p&gt;External Load Balancer Source IP Preservation Proposal #30105
&lt;a href=&#34;https://github.com/kubernetes/kubernetes/pull/30105/files&#34;&gt;https://github.com/kubernetes/kubernetes/pull/30105/files&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;Source IP Preservation for cloud lb services #29409
&lt;a href=&#34;https://github.com/kubernetes/kubernetes/pull/29409&#34;&gt;https://github.com/kubernetes/kubernetes/pull/29409&lt;/a&gt;&lt;/p&gt;

&lt;h1 id=&#34;实践&#34;&gt;实践&lt;/h1&gt;

&lt;h2 id=&#34;生产&#34;&gt;生产&lt;/h2&gt;

&lt;h3 id=&#34;环境准备&#34;&gt;环境准备&lt;/h3&gt;

&lt;ol&gt;
&lt;li&gt;安装环境&lt;/li&gt;
&lt;/ol&gt;

&lt;h3 id=&#34;权限控制-1&#34;&gt;权限控制&lt;/h3&gt;

&lt;h4 id=&#34;管理员&#34;&gt;管理员&lt;/h4&gt;

&lt;ul&gt;
&lt;li&gt;&lt;p&gt;超级管理员登入
oc login -u system:admin&lt;/p&gt;&lt;/li&gt;

&lt;li&gt;&lt;p&gt;创建管理组
oc adm group add admin&lt;/p&gt;&lt;/li&gt;

&lt;li&gt;&lt;p&gt;创建用户
htpasswd htpasswd admin  (注意, 如果ha master, 需要在每台机器上都加用户)&lt;/p&gt;&lt;/li&gt;

&lt;li&gt;&lt;p&gt;添加用户至管理组
oc adm group add-users admin admin&lt;/p&gt;&lt;/li&gt;

&lt;li&gt;&lt;p&gt;添加可创建项目role至管理组
oc adm add-cluster-role-to-group self-provisioner admin&lt;/p&gt;&lt;/li&gt;
&lt;/ul&gt;

&lt;h3 id=&#34;创建podreader&#34;&gt;创建podreader&lt;/h3&gt;

&lt;p&gt;这个用户用于备份日志文件
* 创建用户
htpasswd /etc/origin/htpasswd podreader&lt;/p&gt;

&lt;ul&gt;
&lt;li&gt;创建clusterrole
先从一个role导出一个模板:
oc export clusterrole cluster-reader &amp;gt; podreader.yaml&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;修改podreader.xml&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;apiVersion: v1
kind: ClusterRole
metadata:
  creationTimestamp: null
  name: cluster-pod-reader
rules:
- apiGroups: null
  attributeRestrictions: null
  resources:
  - pods
  verbs:
  - get
  - list
  - watch&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;创建该角色:
oc create -f podreader.xml&lt;/p&gt;

&lt;p&gt;查看该角色
oc describe clusterroles cluster-pod-reader&lt;/p&gt;

&lt;ul&gt;
&lt;li&gt;&lt;p&gt;绑定用户到角色
oc adm policy add-cluster-role-to-user cluster-pod-reader podreader&lt;/p&gt;&lt;/li&gt;

&lt;li&gt;&lt;p&gt;验证
oc login podreader
oc get pods &amp;ndash;all-namespaces=true&lt;/p&gt;&lt;/li&gt;
&lt;/ul&gt;

&lt;h3 id=&#34;日志&#34;&gt;日志&lt;/h3&gt;

&lt;h4 id=&#34;导出stdout-stderr到文件&#34;&gt;导出stdout/stderr到文件&lt;/h4&gt;

&lt;p&gt;run.sh | tee -a stdout.log&lt;/p&gt;

&lt;h3 id=&#34;emptydir&#34;&gt;emptydir&lt;/h3&gt;

&lt;ol&gt;
&lt;li&gt;&lt;p&gt;import image
路径规划
ose/jboss-web
航信/jboss-web&lt;/p&gt;&lt;/li&gt;

&lt;li&gt;&lt;p&gt;build s2i image
docker build&lt;/p&gt;&lt;/li&gt;

&lt;li&gt;&lt;p&gt;create&lt;/p&gt;&lt;/li&gt;
&lt;/ol&gt;

&lt;h2 id=&#34;monitor&#34;&gt;monitor&lt;/h2&gt;

&lt;p&gt;hawkular  &amp;amp; cockpit&lt;/p&gt;

&lt;h2 id=&#34;rest-api&#34;&gt;REST API&lt;/h2&gt;

&lt;p&gt;&lt;a href=&#34;https://docs.openshift.org/latest/rest_api/index.html#rest-api-index&#34;&gt;REST API Call&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;两种方式, 一种是session, 一种是serviceaccount&lt;/p&gt;

&lt;p&gt;serviceaccount方法:&lt;/p&gt;

&lt;p&gt;首先必须注意, ServiceAccount在Openshift里面也对应到一个用户, 用户名是&amp;rdquo;system:serviceaccount:&lt;namespace&gt;:&lt;sa_name&gt;&amp;rdquo;, 所有如果你需要给ServiceAccount赋权限, 需要这样写: &lt;code&gt;oc adm policy add-cluster-role-to-user cluster-admin system:serviceaccount:default:test_sa&lt;/code&gt;&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;$ oc create serviceaccount robot

$ oc policy add-role-to-user admin system:serviceaccounts:test:robot   #注意, 这里test是project, 另外可能需要加cluster role

$ oc describe serviceaccount robot
Name:		robot
Namespace:	test
Labels:		&amp;lt;none&amp;gt;

Image pull secrets:	robot-dockercfg-rdrpg

Mountable secrets: 	robot-token-2dsne
                   	robot-dockercfg-rdrpg

Tokens:            	robot-token-2dsne
                   	robot-token-9efwm

$  oc describe secret robot-token-2dsne
Name:		robot-token-2dsne
Namespace:	test
Labels:		&amp;lt;none&amp;gt;
Annotations:	kubernetes.io/service-account.name=robot,kubernetes.io/service-account.uid=ea70e4c7-0663-11e6-b279-fa163e610e01

Type:	kubernetes.io/service-account-token

Data
===
token:		fyJhbGciOiJSUzI1NiIyInR5cCI2IkpXVCJ9...
ca.crt:		1070 bytes
namespace:	8 bytes

$ curl -X GET -H &amp;#34;Authorization: Bearer &amp;lt;token&amp;gt;&amp;#34; https://openshift.redhat.com:8443/oapi/v1 --insecure&lt;/pre&gt;&lt;/div&gt;
&lt;h2 id=&#34;java-heap-size&#34;&gt;java heap size&lt;/h2&gt;

&lt;p&gt;get_heap_size 获取cgroup配合的内存， 做一些运算&lt;/p&gt;

&lt;h2 id=&#34;quota-1&#34;&gt;quota&lt;/h2&gt;

&lt;p&gt;oc create quota&lt;/p&gt;

&lt;h2 id=&#34;openshift-1&#34;&gt;openshift&lt;/h2&gt;

&lt;p&gt;oc edit 保存之后即时生效&lt;/p&gt;

&lt;h1 id=&#34;apache-openshift-router&#34;&gt;apache + openshift_router&lt;/h1&gt;

&lt;p&gt;问题如下: 前端还有apache, 后端是openshift router, 而router提供的应用URL都必须用DNSName, 所以这里涉及到多个router配置问题&lt;/p&gt;

&lt;p&gt;举个例子, 应用的路由地址: mskyweb-umetrip.umetripapps.ose.travelsky.com, 后端是三个router: 10.6.103.200-202&lt;/p&gt;

&lt;p&gt;apache端配置就必须考虑设置host header, 参考: &lt;a href=&#34;http://serverfault.com/questions/557233/apache-proxy-http-redirect-to-ip-and-set-hostname&#34;&gt;http://serverfault.com/questions/557233/apache-proxy-http-redirect-to-ip-and-set-hostname&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;Possibly you could use mod_headers in conjunction with mod_proxy. I haven&amp;rsquo;t tested it though.&lt;/p&gt;

&lt;p&gt;So for your app-dev vhost you could have:&lt;/p&gt;

&lt;p&gt;RequestHeader set Host &amp;ldquo;app.internal.domain&amp;rdquo;
and then you would add:&lt;/p&gt;

&lt;p&gt;ProxyPreserveHost On&lt;/p&gt;

&lt;h1 id=&#34;nginx-kubeproxy&#34;&gt;nginx-kubeproxy&lt;/h1&gt;

&lt;p&gt;sudo ./openshift start
sudo ./openshift start node &amp;ndash;kubeconfig=./openshift.local.config/node-tacyarch/node.kubeconfig &amp;ndash;enable=&amp;ldquo;proxy&amp;rdquo; &amp;ndash;proxy-mode=&amp;ldquo;travelsky&amp;rdquo; &amp;ndash;loglevel=2
sudo ./oc &amp;ndash;config openshift.local.config/master/openshift-master.kubeconfig create -f ~/workspace/qemu/vm/kubernetes/echo-service.yaml
sudo make clean buil&lt;/p&gt;
</description>
      
    </item>
    
    <item>
      <title>mysql notes</title>
      <link>http://tacy.github.io/post/mysql/</link>
      <pubDate>Wed, 11 Oct 2017 00:00:00 +0000</pubDate>
      
      <guid>http://tacy.github.io/post/mysql/</guid>
      
        <description>

&lt;h1 id=&#34;read-only-user&#34;&gt;read-only user&lt;/h1&gt;

&lt;p&gt;Adding the new MySQL user&lt;/p&gt;

&lt;p&gt;Connect to your database as root, then add your new user like so:&lt;/p&gt;

&lt;p&gt;CREATE USER &amp;lsquo;lele&amp;rsquo;@&amp;lsquo;%&amp;rsquo; IDENTIFIED BY &amp;lsquo;lele_lelelele&amp;rsquo;;
The % here means the user &amp;lsquo;tester&amp;rsquo; connecting from any host, you can place a network hostname here instead if you want to restrict access further. Naturally you will also want to substitute password with something a little stronger ;-)&lt;/p&gt;

&lt;p&gt;Now run the following to grant the SELECT privilage to the new user on all databases:&lt;/p&gt;

&lt;p&gt;GRANT SELECT ON &lt;em&gt;.&lt;/em&gt; TO &amp;lsquo;lele&amp;rsquo;@&amp;lsquo;%&amp;rsquo;;
Or if you want to restrict access to only one database:&lt;/p&gt;

&lt;p&gt;GRANT SELECT ON DATABASE.* TO &amp;lsquo;lele&amp;rsquo;@&amp;lsquo;%&amp;rsquo;;&lt;/p&gt;

&lt;h1 id=&#34;error&#34;&gt;error&lt;/h1&gt;

&lt;ol&gt;
&lt;li&gt;(1136, &amp;ldquo;Column count doesn&amp;rsquo;t match value count at row 1&amp;rdquo;), 碰到这种错误, 排除正常的对齐错误, 100%都是你的字段名用了mysql的保留关键字.&lt;/li&gt;
&lt;/ol&gt;

&lt;h1 id=&#34;sql&#34;&gt;SQL&lt;/h1&gt;

&lt;p&gt;select a.id from stock_stock a left join stock_product b on a.jancode=b.jancode where b.jancode is null;&lt;/p&gt;

&lt;h1 id=&#34;isolation&#34;&gt;Isolation&lt;/h1&gt;

&lt;ol&gt;
&lt;li&gt;&amp;lsquo;mysql&amp;gt; SELECT @@global.tx_isolation;&amp;rsquo;&lt;/li&gt;
&lt;/ol&gt;

&lt;h1 id=&#34;export-import&#34;&gt;export &amp;amp; import&lt;/h1&gt;

&lt;p&gt;&lt;code&gt;mysqldump -uroot -p1222 -h 127.0.0.1 dbname tab1 tab2 tab3 &amp;gt; dump.sql&lt;/code&gt;
&lt;code&gt;mysql -uroot -p1222 -h 127.0.0.1 dbname &amp;lt; dump.sql&lt;/code&gt;&lt;/p&gt;

&lt;h1 id=&#34;mysql-backup-to-google-storage-2&#34;&gt;mysql backup to google storage &lt;sup class=&#34;footnote-ref&#34; id=&#34;fnref:2&#34;&gt;&lt;a href=&#34;#fn:2&#34;&gt;1&lt;/a&gt;&lt;/sup&gt;&lt;/h1&gt;

&lt;p&gt;描述怎么把lelewu mysql定时备份到google storage&lt;/p&gt;

&lt;h2 id=&#34;安装percona-xtrabackup-1&#34;&gt;安装percona-xtrabackup&lt;sup class=&#34;footnote-ref&#34; id=&#34;fnref:1&#34;&gt;&lt;a href=&#34;#fn:1&#34;&gt;2&lt;/a&gt;&lt;/sup&gt;&lt;/h2&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;yum install http://www.percona.com/downloads/percona-release/redhat/0.1-4/percona-release-0.1-4.noarch.rpm
yum install percona-xtrabackup-24&lt;/pre&gt;&lt;/div&gt;
&lt;h2 id=&#34;配置备份用户&#34;&gt;配置备份用户&lt;/h2&gt;

&lt;p&gt;需要创建数据库用户和系统用户&lt;/p&gt;

&lt;ol&gt;
&lt;li&gt;创建数据库用户和授权
``` shell
CREATE USER &amp;lsquo;tacy_lee&amp;rsquo;@&amp;lsquo;localhost&amp;rsquo; IDENTIFIED BY &amp;lsquo;tacy_lee&amp;rsquo;;
GRANT RELOAD, LOCK TABLES, REPLICATION CLIENT, CREATE TABLESPACE, PROCESS, SUPER, CREATE, INSERT, SELECT ON &lt;em&gt;.&lt;/em&gt; TO &amp;lsquo;tacy_lee&amp;rsquo;@&amp;lsquo;localhost&amp;rsquo;;
FLUSH PRIVILEGES;&lt;/li&gt;
&lt;/ol&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;2. 创建系统用户

这里需要注意一下, 因为需要备份到google storage, 我用tacy_lee, 否则包oauth2认证错误

``` shell
sudo usermod -aG mysql tacy_lee
SELECT @@datadir; //获取mysql数据文件位置
sudo find /var/lib/mysql -type d -exec chmod 750 {} \;  //权限设置为750&lt;/pre&gt;&lt;/div&gt;
&lt;h2 id=&#34;创建mysql备份配置参数&#34;&gt;创建Mysql备份配置参数&lt;/h2&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;$ sudo vi /etc/my.cnf.d/backup.conf
&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;client&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;
&lt;span class=&#34;nv&#34;&gt;user&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;tacy_lee
&lt;span class=&#34;nv&#34;&gt;password&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;tacy_lee

$ sudo chown tacy_lee /etc/my.cnf.d/backup.cnf
$ sudo chown &lt;span class=&#34;m&#34;&gt;600&lt;/span&gt; /etc/my.cnf.d/backup.cnf&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h2 id=&#34;备份脚本&#34;&gt;备份脚本&lt;/h2&gt;

&lt;h3 id=&#34;usr-local-bin-backup-mysql-sh&#34;&gt;/usr/local/bin/backup-mysql.sh&lt;/h3&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;cp&#34;&gt;#!/bin/bash
&lt;/span&gt;&lt;span class=&#34;cp&#34;&gt;&lt;/span&gt;
&lt;span class=&#34;nb&#34;&gt;export&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;LC_ALL&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;C

&lt;span class=&#34;nv&#34;&gt;days_of_backups&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;2&lt;/span&gt;  &lt;span class=&#34;c1&#34;&gt;# Must be less than 7&lt;/span&gt;
&lt;span class=&#34;nv&#34;&gt;backup_owner&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;tacy_lee&amp;#34;&lt;/span&gt;
&lt;span class=&#34;nv&#34;&gt;parent_dir&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;/home/tacy_lee/backups&amp;#34;&lt;/span&gt;
&lt;span class=&#34;nv&#34;&gt;defaults_file&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;/etc/my.cnf.d/backup.cnf&amp;#34;&lt;/span&gt;
&lt;span class=&#34;nv&#34;&gt;todays_dir&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;parent_dir&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;k&#34;&gt;$(&lt;/span&gt;date +%a&lt;span class=&#34;k&#34;&gt;)&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;
&lt;span class=&#34;nv&#34;&gt;log_file&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;todays_dir&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;/backup-progress.log&amp;#34;&lt;/span&gt;
&lt;span class=&#34;nv&#34;&gt;now&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;k&#34;&gt;$(&lt;/span&gt;date +%m-%d-%Y_%H-%M-%S&lt;span class=&#34;k&#34;&gt;)&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;
&lt;span class=&#34;nv&#34;&gt;processors&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;k&#34;&gt;$(&lt;/span&gt;nproc --all&lt;span class=&#34;k&#34;&gt;)&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;

&lt;span class=&#34;c1&#34;&gt;# Use this to echo to standard error&lt;/span&gt;
error &lt;span class=&#34;o&#34;&gt;()&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;{&lt;/span&gt;
    &lt;span class=&#34;nb&#34;&gt;printf&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;%s: %s\n&amp;#34;&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;k&#34;&gt;$(&lt;/span&gt;basename &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;BASH_SOURCE&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;k&#34;&gt;)&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;1&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt; &amp;gt;&lt;span class=&#34;p&#34;&gt;&amp;amp;&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;2&lt;/span&gt;
    &lt;span class=&#34;nb&#34;&gt;exit&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;1&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;}&lt;/span&gt;

&lt;span class=&#34;nb&#34;&gt;trap&lt;/span&gt; &lt;span class=&#34;s1&#34;&gt;&amp;#39;error &amp;#34;An unexpected error occurred.&amp;#34;&amp;#39;&lt;/span&gt; ERR

sanity_check &lt;span class=&#34;o&#34;&gt;()&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;{&lt;/span&gt;
    &lt;span class=&#34;c1&#34;&gt;# Check user running the script&lt;/span&gt;
    &lt;span class=&#34;k&#34;&gt;if&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;$USER&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt; !&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;$backup_owner&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; &lt;span class=&#34;k&#34;&gt;then&lt;/span&gt;
        error &lt;span class=&#34;s2&#34;&gt;&amp;#34;Script can only be run as the \&amp;#34;&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;$backup_owner&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;\&amp;#34; user&amp;#34;&lt;/span&gt;
    &lt;span class=&#34;k&#34;&gt;fi&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;}&lt;/span&gt;

set_options &lt;span class=&#34;o&#34;&gt;()&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;{&lt;/span&gt;
    &lt;span class=&#34;c1&#34;&gt;# List the xtrabackup arguments&lt;/span&gt;
    &lt;span class=&#34;nv&#34;&gt;xtrabackup_args&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=(&lt;/span&gt;
        &lt;span class=&#34;s2&#34;&gt;&amp;#34;--defaults-file=&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;defaults_file&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;
        &lt;span class=&#34;s2&#34;&gt;&amp;#34;--backup&amp;#34;&lt;/span&gt;
        &lt;span class=&#34;s2&#34;&gt;&amp;#34;--extra-lsndir=&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;todays_dir&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;
        &lt;span class=&#34;s2&#34;&gt;&amp;#34;--compress&amp;#34;&lt;/span&gt;
        &lt;span class=&#34;s2&#34;&gt;&amp;#34;--stream=xbstream&amp;#34;&lt;/span&gt;
        &lt;span class=&#34;s2&#34;&gt;&amp;#34;--parallel=&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;processors&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;
        &lt;span class=&#34;s2&#34;&gt;&amp;#34;--compress-threads=&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;processors&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;
        &lt;span class=&#34;s2&#34;&gt;&amp;#34;--slave-info&amp;#34;&lt;/span&gt;
    &lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;

    &lt;span class=&#34;nv&#34;&gt;backup_type&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;full&amp;#34;&lt;/span&gt;

    &lt;span class=&#34;c1&#34;&gt;# Add option to read LSN (log sequence number) if a full backup has been&lt;/span&gt;
    &lt;span class=&#34;c1&#34;&gt;# taken today.&lt;/span&gt;
    &lt;span class=&#34;k&#34;&gt;if&lt;/span&gt; grep -q -s &lt;span class=&#34;s2&#34;&gt;&amp;#34;to_lsn&amp;#34;&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;todays_dir&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;/xtrabackup_checkpoints&amp;#34;&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; &lt;span class=&#34;k&#34;&gt;then&lt;/span&gt;
        &lt;span class=&#34;nv&#34;&gt;backup_type&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;incremental&amp;#34;&lt;/span&gt;
        &lt;span class=&#34;nv&#34;&gt;lsn&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;k&#34;&gt;$(&lt;/span&gt;awk &lt;span class=&#34;s1&#34;&gt;&amp;#39;/to_lsn/ {print $3;}&amp;#39;&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;todays_dir&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;/xtrabackup_checkpoints&amp;#34;&lt;/span&gt;&lt;span class=&#34;k&#34;&gt;)&lt;/span&gt;
        &lt;span class=&#34;nv&#34;&gt;xtrabackup_args&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;+=(&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;--incremental-lsn=&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;lsn&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
    &lt;span class=&#34;k&#34;&gt;fi&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;}&lt;/span&gt;

rotate_old &lt;span class=&#34;o&#34;&gt;()&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;{&lt;/span&gt;
    &lt;span class=&#34;c1&#34;&gt;# Remove the oldest backup in rotation&lt;/span&gt;
    &lt;span class=&#34;nv&#34;&gt;day_dir_to_remove&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;parent_dir&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;k&#34;&gt;$(&lt;/span&gt;date --date&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;days_of_backups&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt; days ago&amp;#34;&lt;/span&gt; +%a&lt;span class=&#34;k&#34;&gt;)&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;

    &lt;span class=&#34;k&#34;&gt;if&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt; -d &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;day_dir_to_remove&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; &lt;span class=&#34;k&#34;&gt;then&lt;/span&gt;
        rm -rf &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;day_dir_to_remove&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;
    &lt;span class=&#34;k&#34;&gt;fi&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;}&lt;/span&gt;

take_backup &lt;span class=&#34;o&#34;&gt;()&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;{&lt;/span&gt;
    &lt;span class=&#34;c1&#34;&gt;# Make sure today&amp;#39;s backup directory is available and take the actual backup&lt;/span&gt;
    mkdir -p &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;todays_dir&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;
    find &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;todays_dir&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt; -type f -name &lt;span class=&#34;s2&#34;&gt;&amp;#34;*.incomplete&amp;#34;&lt;/span&gt; -delete
    xtrabackup &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;xtrabackup_args&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;[@]&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt; --target-dir&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;todays_dir&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt; &amp;gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;todays_dir&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;backup_type&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;-&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;now&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;.xbstream.incomplete&amp;#34;&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;2&lt;/span&gt;&amp;gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;log_file&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;

    mv &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;todays_dir&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;backup_type&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;-&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;now&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;.xbstream.incomplete&amp;#34;&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;todays_dir&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;backup_type&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;-&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;now&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;.xbstream&amp;#34;&lt;/span&gt;

    &lt;span class=&#34;c1&#34;&gt;# upload backup to google storage&lt;/span&gt;
	&lt;span class=&#34;k&#34;&gt;if&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt; &lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;backup_type&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;==&lt;/span&gt; &lt;span class=&#34;s1&#34;&gt;&amp;#39;full&amp;#39;&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; &lt;span class=&#34;k&#34;&gt;then&lt;/span&gt;
	  gsutil cp -r &lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;todays_dir&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt; gs://lelewu_mysql_backup
	&lt;span class=&#34;k&#34;&gt;else&lt;/span&gt;
	  gsutil cp &lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;todays_dir&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;/&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;log_file&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt; gs://lelewu_mysql_backup/&lt;span class=&#34;k&#34;&gt;$(&lt;/span&gt;date +%a&lt;span class=&#34;k&#34;&gt;)&lt;/span&gt;
	  gsutil cp &lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;todays_dir&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;/xtrabackup_info gs://lelewu_mysql_backup/&lt;span class=&#34;k&#34;&gt;$(&lt;/span&gt;date +%a&lt;span class=&#34;k&#34;&gt;)&lt;/span&gt;
	  gsutil cp &lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;todays_dir&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;/xtrabackup_checkpoints gs://lelewu_mysql_backup/&lt;span class=&#34;k&#34;&gt;$(&lt;/span&gt;date +%a&lt;span class=&#34;k&#34;&gt;)&lt;/span&gt;
	  gsutil cp &lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;todays_dir&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;/&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;backup_type&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;-&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;now&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;.xbstream gs://lelewu_mysql_backup/&lt;span class=&#34;k&#34;&gt;$(&lt;/span&gt;date +%a&lt;span class=&#34;k&#34;&gt;)&lt;/span&gt;
	&lt;span class=&#34;k&#34;&gt;fi&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;}&lt;/span&gt;

sanity_check &lt;span class=&#34;o&#34;&gt;&amp;amp;&amp;amp;&lt;/span&gt; set_options &lt;span class=&#34;o&#34;&gt;&amp;amp;&amp;amp;&lt;/span&gt; rotate_old &lt;span class=&#34;o&#34;&gt;&amp;amp;&amp;amp;&lt;/span&gt; take_backup

&lt;span class=&#34;c1&#34;&gt;# Check success and print message&lt;/span&gt;
&lt;span class=&#34;k&#34;&gt;if&lt;/span&gt; tail -1 &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;log_file&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt; &lt;span class=&#34;p&#34;&gt;|&lt;/span&gt; grep -q &lt;span class=&#34;s2&#34;&gt;&amp;#34;completed OK&amp;#34;&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; &lt;span class=&#34;k&#34;&gt;then&lt;/span&gt;
    &lt;span class=&#34;nb&#34;&gt;printf&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;Backup successful!\n&amp;#34;&lt;/span&gt;
    &lt;span class=&#34;nb&#34;&gt;printf&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;Backup created at %s/%s-%s.xbstream\n&amp;#34;&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;todays_dir&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;backup_type&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;now&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;
&lt;span class=&#34;k&#34;&gt;else&lt;/span&gt;
    error &lt;span class=&#34;s2&#34;&gt;&amp;#34;Backup failure! Check &lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;log_file&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt; for more information&amp;#34;&lt;/span&gt;
&lt;span class=&#34;k&#34;&gt;fi&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h3 id=&#34;usr-local-bin-extract-mysql-sh&#34;&gt;/usr/local/bin/extract-mysql.sh&lt;/h3&gt;

&lt;p&gt;解压缩脚本, 运行该脚本会在解压之前的备份到当前目录的restore目录下&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;cp&#34;&gt;#!/bin/bash
&lt;/span&gt;&lt;span class=&#34;cp&#34;&gt;&lt;/span&gt;
&lt;span class=&#34;nb&#34;&gt;export&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;LC_ALL&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;C

&lt;span class=&#34;nv&#34;&gt;backup_owner&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;tacy_lee&amp;#34;&lt;/span&gt;
&lt;span class=&#34;nv&#34;&gt;log_file&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;extract-progress.log&amp;#34;&lt;/span&gt;
&lt;span class=&#34;nv&#34;&gt;number_of_args&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${#}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;
&lt;span class=&#34;nv&#34;&gt;processors&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;k&#34;&gt;$(&lt;/span&gt;nproc --all&lt;span class=&#34;k&#34;&gt;)&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;

&lt;span class=&#34;c1&#34;&gt;# Use this to echo to standard error&lt;/span&gt;
error &lt;span class=&#34;o&#34;&gt;()&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;{&lt;/span&gt;
    &lt;span class=&#34;nb&#34;&gt;printf&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;%s: %s\n&amp;#34;&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;k&#34;&gt;$(&lt;/span&gt;basename &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;BASH_SOURCE&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;k&#34;&gt;)&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;1&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt; &amp;gt;&lt;span class=&#34;p&#34;&gt;&amp;amp;&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;2&lt;/span&gt;
    &lt;span class=&#34;nb&#34;&gt;exit&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;1&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;}&lt;/span&gt;

&lt;span class=&#34;nb&#34;&gt;trap&lt;/span&gt; &lt;span class=&#34;s1&#34;&gt;&amp;#39;error &amp;#34;An unexpected error occurred.  Try checking the \&amp;#34;${log_file}\&amp;#34; file for more information.&amp;#34;&amp;#39;&lt;/span&gt; ERR

sanity_check &lt;span class=&#34;o&#34;&gt;()&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;{&lt;/span&gt;
    &lt;span class=&#34;c1&#34;&gt;# Check user running the script&lt;/span&gt;
    &lt;span class=&#34;k&#34;&gt;if&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;USER&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt; !&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;backup_owner&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; &lt;span class=&#34;k&#34;&gt;then&lt;/span&gt;
        error &lt;span class=&#34;s2&#34;&gt;&amp;#34;Script can only be run as the \&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;backup_owner&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;\&amp;#34; user&amp;#34;&lt;/span&gt;
    &lt;span class=&#34;k&#34;&gt;fi&lt;/span&gt;

    &lt;span class=&#34;c1&#34;&gt;# Check whether the qpress binary is installed&lt;/span&gt;
    &lt;span class=&#34;k&#34;&gt;if&lt;/span&gt; ! &lt;span class=&#34;nb&#34;&gt;command&lt;/span&gt; -v qpress &amp;gt;/dev/null &lt;span class=&#34;m&#34;&gt;2&lt;/span&gt;&amp;gt;&lt;span class=&#34;p&#34;&gt;&amp;amp;&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;1&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; &lt;span class=&#34;k&#34;&gt;then&lt;/span&gt;
        error &lt;span class=&#34;s2&#34;&gt;&amp;#34;Could not find the \&amp;#34;qpress\&amp;#34; command.  Please install it and try again.&amp;#34;&lt;/span&gt;
    &lt;span class=&#34;k&#34;&gt;fi&lt;/span&gt;

    &lt;span class=&#34;c1&#34;&gt;# Check whether any arguments were passed&lt;/span&gt;
    &lt;span class=&#34;k&#34;&gt;if&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;number_of_args&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt; -lt &lt;span class=&#34;m&#34;&gt;1&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; &lt;span class=&#34;k&#34;&gt;then&lt;/span&gt;
        error &lt;span class=&#34;s2&#34;&gt;&amp;#34;Script requires at least one \&amp;#34;.xbstream\&amp;#34; file as an argument.&amp;#34;&lt;/span&gt;
    &lt;span class=&#34;k&#34;&gt;fi&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;}&lt;/span&gt;

do_extraction &lt;span class=&#34;o&#34;&gt;()&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;{&lt;/span&gt;
    &lt;span class=&#34;k&#34;&gt;for&lt;/span&gt; file in &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;@&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; &lt;span class=&#34;k&#34;&gt;do&lt;/span&gt;
        &lt;span class=&#34;nv&#34;&gt;base_filename&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;k&#34;&gt;$(&lt;/span&gt;basename &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;file&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;%.xbstream&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;k&#34;&gt;)&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;
        &lt;span class=&#34;nv&#34;&gt;restore_dir&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;./restore/&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;base_filename&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;

        &lt;span class=&#34;nb&#34;&gt;printf&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;\n\nExtracting file %s\n\n&amp;#34;&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;file&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;

        &lt;span class=&#34;c1&#34;&gt;# Extract the directory structure from the backup file&lt;/span&gt;
        mkdir --verbose -p &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;restore_dir&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;
        xbstream -x -C &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;restore_dir&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt; &amp;lt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;file&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;

        &lt;span class=&#34;nv&#34;&gt;xtrabackup_args&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=(&lt;/span&gt;
            &lt;span class=&#34;s2&#34;&gt;&amp;#34;--parallel=&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;processors&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;
            &lt;span class=&#34;s2&#34;&gt;&amp;#34;--decompress&amp;#34;&lt;/span&gt;
        &lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;

        xtrabackup &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;xtrabackup_args&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;[@]&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt; --target-dir&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;restore_dir&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;
        find &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;restore_dir&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt; -name &lt;span class=&#34;s2&#34;&gt;&amp;#34;*.qp&amp;#34;&lt;/span&gt; -exec rm &lt;span class=&#34;o&#34;&gt;{}&lt;/span&gt; &lt;span class=&#34;se&#34;&gt;\;&lt;/span&gt;

        &lt;span class=&#34;nb&#34;&gt;printf&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;\n\nFinished work on %s\n\n&amp;#34;&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;file&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;

    &lt;span class=&#34;k&#34;&gt;done&lt;/span&gt; &amp;gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;log_file&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;2&lt;/span&gt;&amp;gt;&lt;span class=&#34;p&#34;&gt;&amp;amp;&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;1&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;}&lt;/span&gt;

sanity_check &lt;span class=&#34;o&#34;&gt;&amp;amp;&amp;amp;&lt;/span&gt; do_extraction &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;$@&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;

&lt;span class=&#34;nv&#34;&gt;ok_count&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;k&#34;&gt;$(&lt;/span&gt;grep -c &lt;span class=&#34;s1&#34;&gt;&amp;#39;completed OK&amp;#39;&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;log_file&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;k&#34;&gt;)&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;

&lt;span class=&#34;c1&#34;&gt;# Check the number of reported completions.  For each file, there is an&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;# informational &amp;#34;completed OK&amp;#34;.  If the processing was successful, an&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;# additional &amp;#34;completed OK&amp;#34; is printed. Together, this means there should be 2&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;# notices per backup file if the process was successful.&lt;/span&gt;
&lt;span class=&#34;k&#34;&gt;if&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;((&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;$ok_count&lt;/span&gt; !&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;  &lt;span class=&#34;nv&#34;&gt;$#&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;))&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; &lt;span class=&#34;k&#34;&gt;then&lt;/span&gt;
    error &lt;span class=&#34;s2&#34;&gt;&amp;#34;It looks like something went wrong. Please check the \&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;log_file&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;\&amp;#34; file for additional information&amp;#34;&lt;/span&gt;
&lt;span class=&#34;k&#34;&gt;else&lt;/span&gt;
    &lt;span class=&#34;nb&#34;&gt;printf&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;Extraction complete! Backup directories have been extracted to the \&amp;#34;restore\&amp;#34; directory.\n&amp;#34;&lt;/span&gt;
&lt;span class=&#34;k&#34;&gt;fi&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h3 id=&#34;usr-local-bin-prepare-mysql-sh&#34;&gt;/usr/local/bin/prepare-mysql.sh&lt;/h3&gt;

&lt;p&gt;restore之前需要做prepare操作, 这是prepare脚本, 脚本会apply增量备份, 所以如果你需要移除一些增量备份, 你只需要移除restore里面的对应目录就行了&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;cp&#34;&gt;#!/bin/bash
&lt;/span&gt;&lt;span class=&#34;cp&#34;&gt;&lt;/span&gt;
&lt;span class=&#34;nb&#34;&gt;export&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;LC_ALL&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;C

&lt;span class=&#34;nb&#34;&gt;shopt&lt;/span&gt; -s nullglob
&lt;span class=&#34;nv&#34;&gt;incremental_dirs&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=(&lt;/span&gt; ./incremental-*/ &lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
&lt;span class=&#34;nv&#34;&gt;full_dirs&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=(&lt;/span&gt; ./full-*/ &lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
&lt;span class=&#34;nb&#34;&gt;shopt&lt;/span&gt; -u nullglob

&lt;span class=&#34;nv&#34;&gt;backup_owner&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;tacy_lee&amp;#34;&lt;/span&gt;
&lt;span class=&#34;nv&#34;&gt;log_file&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;prepare-progress.log&amp;#34;&lt;/span&gt;
&lt;span class=&#34;nv&#34;&gt;full_backup_dir&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;full_dirs&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;[0]&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;

&lt;span class=&#34;c1&#34;&gt;# Use this to echo to standard error&lt;/span&gt;
error&lt;span class=&#34;o&#34;&gt;()&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;{&lt;/span&gt;
    &lt;span class=&#34;nb&#34;&gt;printf&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;%s: %s\n&amp;#34;&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;k&#34;&gt;$(&lt;/span&gt;basename &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;BASH_SOURCE&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;k&#34;&gt;)&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;1&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt; &amp;gt;&lt;span class=&#34;p&#34;&gt;&amp;amp;&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;2&lt;/span&gt;
    &lt;span class=&#34;nb&#34;&gt;exit&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;1&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;}&lt;/span&gt;

&lt;span class=&#34;nb&#34;&gt;trap&lt;/span&gt; &lt;span class=&#34;s1&#34;&gt;&amp;#39;error &amp;#34;An unexpected error occurred.  Try checking the \&amp;#34;${log_file}\&amp;#34; file for more information.&amp;#34;&amp;#39;&lt;/span&gt; ERR

sanity_check &lt;span class=&#34;o&#34;&gt;()&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;{&lt;/span&gt;
    &lt;span class=&#34;c1&#34;&gt;# Check user running the script&lt;/span&gt;
    &lt;span class=&#34;k&#34;&gt;if&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;USER&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt; !&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;backup_owner&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; &lt;span class=&#34;k&#34;&gt;then&lt;/span&gt;
        error &lt;span class=&#34;s2&#34;&gt;&amp;#34;Script can only be run as the \&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;backup_owner&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;\&amp;#34; user.&amp;#34;&lt;/span&gt;
    &lt;span class=&#34;k&#34;&gt;fi&lt;/span&gt;

    &lt;span class=&#34;c1&#34;&gt;# Check whether a single full backup directory are available&lt;/span&gt;
    &lt;span class=&#34;k&#34;&gt;if&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;((&lt;/span&gt; &lt;span class=&#34;si&#34;&gt;${#&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;full_dirs&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;[@]&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt; !&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;1&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;))&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; &lt;span class=&#34;k&#34;&gt;then&lt;/span&gt;
        error &lt;span class=&#34;s2&#34;&gt;&amp;#34;Exactly one full backup directory is required.&amp;#34;&lt;/span&gt;
    &lt;span class=&#34;k&#34;&gt;fi&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;}&lt;/span&gt;

do_backup &lt;span class=&#34;o&#34;&gt;()&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;{&lt;/span&gt;
    &lt;span class=&#34;c1&#34;&gt;# Apply the logs to each of the backups&lt;/span&gt;
    &lt;span class=&#34;nb&#34;&gt;printf&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;Initial prep of full backup %s\n&amp;#34;&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;full_backup_dir&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;
    xtrabackup --prepare --apply-log-only --target-dir&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;full_backup_dir&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;

    &lt;span class=&#34;k&#34;&gt;for&lt;/span&gt; increment in &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;incremental_dirs&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;[@]&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; &lt;span class=&#34;k&#34;&gt;do&lt;/span&gt;
        &lt;span class=&#34;nb&#34;&gt;printf&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;Applying incremental backup %s to %s\n&amp;#34;&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;increment&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;full_backup_dir&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;
        xtrabackup --prepare --apply-log-only --incremental-dir&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;increment&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt; --target-dir&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;full_backup_dir&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;
    &lt;span class=&#34;k&#34;&gt;done&lt;/span&gt;

    &lt;span class=&#34;nb&#34;&gt;printf&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;Applying final logs to full backup %s\n&amp;#34;&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;full_backup_dir&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;
    xtrabackup --prepare --target-dir&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;full_backup_dir&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;}&lt;/span&gt;

sanity_check &lt;span class=&#34;o&#34;&gt;&amp;amp;&amp;amp;&lt;/span&gt; do_backup &amp;gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;log_file&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;2&lt;/span&gt;&amp;gt;&lt;span class=&#34;p&#34;&gt;&amp;amp;&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;1&lt;/span&gt;

&lt;span class=&#34;c1&#34;&gt;# Check the number of reported completions.  Each time a backup is processed,&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;# an informational &amp;#34;completed OK&amp;#34; and a real version is printed.  At the end of&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;# the process, a final full apply is performed, generating another 2 messages.&lt;/span&gt;
&lt;span class=&#34;nv&#34;&gt;ok_count&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;k&#34;&gt;$(&lt;/span&gt;grep -c &lt;span class=&#34;s1&#34;&gt;&amp;#39;completed OK&amp;#39;&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;log_file&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;k&#34;&gt;)&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;

&lt;span class=&#34;k&#34;&gt;if&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;((&lt;/span&gt; &lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;ok_count&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;==&lt;/span&gt; &lt;span class=&#34;si&#34;&gt;${#&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;full_dirs&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;[@]&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt; + &lt;span class=&#34;si&#34;&gt;${#&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;incremental_dirs&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;[@]&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt; + &lt;span class=&#34;m&#34;&gt;1&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;))&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; &lt;span class=&#34;k&#34;&gt;then&lt;/span&gt;
    cat &lt;span class=&#34;s&#34;&gt;&amp;lt;&amp;lt; EOF
&lt;/span&gt;&lt;span class=&#34;s&#34;&gt;Backup looks to be fully prepared.  Please check the &amp;#34;prepare-progress.log&amp;#34; file
&lt;/span&gt;&lt;span class=&#34;s&#34;&gt;to verify before continuing.
&lt;/span&gt;&lt;span class=&#34;s&#34;&gt;
&lt;/span&gt;&lt;span class=&#34;s&#34;&gt;If everything looks correct, you can apply the restored files.
&lt;/span&gt;&lt;span class=&#34;s&#34;&gt;
&lt;/span&gt;&lt;span class=&#34;s&#34;&gt;First, stop MySQL and move or remove the contents of the MySQL data directory:
&lt;/span&gt;&lt;span class=&#34;s&#34;&gt;
&lt;/span&gt;&lt;span class=&#34;s&#34;&gt;        sudo systemctl stop mysql
&lt;/span&gt;&lt;span class=&#34;s&#34;&gt;        sudo mv /var/lib/mysql/ /tmp/
&lt;/span&gt;&lt;span class=&#34;s&#34;&gt;
&lt;/span&gt;&lt;span class=&#34;s&#34;&gt;Then, recreate the data directory and  copy the backup files:
&lt;/span&gt;&lt;span class=&#34;s&#34;&gt;
&lt;/span&gt;&lt;span class=&#34;s&#34;&gt;        sudo mkdir /var/lib/mysql
&lt;/span&gt;&lt;span class=&#34;s&#34;&gt;        sudo xtrabackup --copy-back --target-dir=${PWD}/$(basename &amp;#34;${full_backup_dir}&amp;#34;)
&lt;/span&gt;&lt;span class=&#34;s&#34;&gt;
&lt;/span&gt;&lt;span class=&#34;s&#34;&gt;Afterward the files are copied, adjust the permissions and restart the service:
&lt;/span&gt;&lt;span class=&#34;s&#34;&gt;
&lt;/span&gt;&lt;span class=&#34;s&#34;&gt;        sudo chown -R mysql:mysql /var/lib/mysql
&lt;/span&gt;&lt;span class=&#34;s&#34;&gt;        sudo find /var/lib/mysql -type d -exec chmod 750 {} \\;
&lt;/span&gt;&lt;span class=&#34;s&#34;&gt;        sudo systemctl start mysql
&lt;/span&gt;&lt;span class=&#34;s&#34;&gt;EOF&lt;/span&gt;
&lt;span class=&#34;k&#34;&gt;else&lt;/span&gt;
    error &lt;span class=&#34;s2&#34;&gt;&amp;#34;It looks like something went wrong.  Check the \&amp;#34;&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;log_file&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;\&amp;#34; file for more information.&amp;#34;&lt;/span&gt;
&lt;span class=&#34;k&#34;&gt;fi&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h2 id=&#34;设置定时任务&#34;&gt;设置定时任务&lt;/h2&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;crontab -e &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;注意是设置tacy_lee的定时任务&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
&lt;span class=&#34;m&#34;&gt;0&lt;/span&gt; */3 * * * /usr/local/bin/backup-mysql.sh&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h1 id=&#34;tips&#34;&gt;tips&lt;/h1&gt;

&lt;h2 id=&#34;导出csv&#34;&gt;导出csv&lt;/h2&gt;

&lt;p&gt;select * from sample INTO OUTFILE &amp;lsquo;/var/lib/mysql-files/orders.csv&amp;rsquo;&lt;/p&gt;

&lt;h2 id=&#34;常用sql&#34;&gt;常用sql&lt;/h2&gt;

&lt;p&gt;select deptid,COUNT(&lt;em&gt;) as TotalCount from staff group by deptid having count(&lt;/em&gt;) &amp;gt; 2&lt;/p&gt;
&lt;div class=&#34;footnotes&#34;&gt;

&lt;hr /&gt;

&lt;ol&gt;
&lt;li id=&#34;fn:2&#34;&gt;&lt;a href=&#34;https://www.digitalocean.com/community/tutorials/how-to-configure-mysql-backups-with-percona-xtrabackup-on-ubuntu-16-04&#34;&gt;How To Configure MySQL Backups with Percona XtraBackup on Ubuntu 16.04&lt;/a&gt;
 &lt;a class=&#34;footnote-return&#34; href=&#34;#fnref:2&#34;&gt;&lt;sup&gt;[return]&lt;/sup&gt;&lt;/a&gt;&lt;/li&gt;
&lt;li id=&#34;fn:1&#34;&gt;&lt;a href=&#34;https://www.percona.com/doc/percona-xtrabackup/LATEST/installation/yum_repo.html&#34;&gt;Installing Percona XtraBackup on Red Hat Enterprise Linux and CentOS&lt;/a&gt;
 &lt;a class=&#34;footnote-return&#34; href=&#34;#fnref:1&#34;&gt;&lt;sup&gt;[return]&lt;/sup&gt;&lt;/a&gt;&lt;/li&gt;
&lt;/ol&gt;
&lt;/div&gt;
</description>
      
    </item>
    
    <item>
      <title>django notes</title>
      <link>http://tacy.github.io/post/django/</link>
      <pubDate>Sun, 17 Sep 2017 00:00:00 +0000</pubDate>
      
      <guid>http://tacy.github.io/post/django/</guid>
      
        <description>

&lt;h1 id=&#34;user&#34;&gt;user&lt;/h1&gt;

&lt;p&gt;python manage.py createsuperuser&lt;/p&gt;

&lt;h1 id=&#34;cors&#34;&gt;cors&lt;/h1&gt;

&lt;p&gt;&lt;a href=&#34;https://www.html5rocks.com/en/tutorials/cors/&#34;&gt;Using CORS&lt;/a&gt;
&lt;a href=&#34;https://github.com/ottoyiu/django-cors-headers&#34;&gt;django-cors-headers&lt;/a&gt;&lt;/p&gt;

&lt;h1 id=&#34;django-debug&#34;&gt;django debug&lt;/h1&gt;

&lt;p&gt;$ python manage.py shell
&amp;gt;&amp;gt;&amp;gt; import django
&amp;gt;&amp;gt;&amp;gt; django.setup()
from polls.models import Question, Choice
&amp;gt;&amp;gt;&amp;gt; q = Question(question_text=&amp;ldquo;What&amp;rsquo;s new?&amp;rdquo;, pub_date=timezone.now())&lt;/p&gt;

&lt;h1 id=&#34;save-the-object-into-the-database-you-have-to-call-save-explicitly&#34;&gt;Save the object into the database. You have to call save() explicitly.&lt;/h1&gt;

&lt;blockquote&gt;
&lt;blockquote&gt;
&lt;blockquote&gt;
&lt;p&gt;q.save()&lt;/p&gt;
&lt;/blockquote&gt;
&lt;/blockquote&gt;
&lt;/blockquote&gt;

&lt;h1 id=&#34;migrate&#34;&gt;migrate&lt;/h1&gt;

&lt;ol&gt;
&lt;li&gt;有时候, 你需要修改的model字段有约束, 例如外健, 而表中的数据又不能满足约束, 你可以在models定义中增加ForeignKey.db_constraint, 这样migrate的时候才不会把报错, 但是需要注意, 这样的方式foreign字段会被清空&lt;/li&gt;
&lt;li&gt;如果migrate报错, 直接去修改迁移脚本, 注意: 因为脚本执行没有事物, 错误终止之后, 重新运行会报错. 解决办法是编辑迁移脚本, 注释掉之前执行过的操作, 但是千万记得, 执行完成之后, 需要把注释去掉. 如果不去掉的话, 后面再修改model生成migrate脚本的时候, 会重新把这些被注释的操作再次生成一边, 又会报错.&lt;/li&gt;
&lt;/ol&gt;

&lt;h1 id=&#34;timezone&#34;&gt;timezone&lt;/h1&gt;

&lt;p&gt;配置时区在setting.conf里面, 注意TIME_ZONE = &amp;lsquo;Asia/Shanghai&amp;rsquo;和 USE_TZ = False, 后者觉得了存储到数据库里面的是不是UTC, 如果True, 代表UTC, 如果希望存入本地时间, 请设置为False.&lt;/p&gt;

&lt;h1 id=&#34;transaction&#34;&gt;Transaction&lt;/h1&gt;

&lt;ol&gt;
&lt;li&gt;django默认是autocommit&lt;/li&gt;
&lt;li&gt;django默认事物隔离级别是ReadCommit&lt;/li&gt;
&lt;li&gt;mysql默认隔离级别是RepeatRead&lt;/li&gt;
&lt;li&gt;可以设置django的默认隔离级别为RepeatRead&lt;/li&gt;
&lt;li&gt;可以设置django的每一个view都自动开启事物控制&lt;/li&gt;
&lt;/ol&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-python&#34; data-lang=&#34;python&#34;&gt;&lt;span class=&#34;n&#34;&gt;DATABASES&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;p&#34;&gt;{&lt;/span&gt;
    &lt;span class=&#34;s1&#34;&gt;&amp;#39;default&amp;#39;&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;:&lt;/span&gt; &lt;span class=&#34;p&#34;&gt;{&lt;/span&gt;
        &lt;span class=&#34;c1&#34;&gt;# &amp;#39;ENGINE&amp;#39;: &amp;#39;django.db.backends.sqlite3&amp;#39;,&lt;/span&gt;
        &lt;span class=&#34;c1&#34;&gt;# &amp;#39;NAME&amp;#39;: os.path.join(BASE_DIR, &amp;#39;db.sqlite3&amp;#39;),&lt;/span&gt;
        &lt;span class=&#34;s1&#34;&gt;&amp;#39;ENGINE&amp;#39;&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;:&lt;/span&gt; &lt;span class=&#34;s1&#34;&gt;&amp;#39;django.db.backends.mysql&amp;#39;&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;,&lt;/span&gt;
        &lt;span class=&#34;s1&#34;&gt;&amp;#39;NAME&amp;#39;&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;:&lt;/span&gt; &lt;span class=&#34;s1&#34;&gt;&amp;#39;yma&amp;#39;&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;,&lt;/span&gt;
        &lt;span class=&#34;s1&#34;&gt;&amp;#39;USER&amp;#39;&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;:&lt;/span&gt; &lt;span class=&#34;s1&#34;&gt;&amp;#39;root&amp;#39;&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;,&lt;/span&gt;
        &lt;span class=&#34;s1&#34;&gt;&amp;#39;PASSWORD&amp;#39;&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;:&lt;/span&gt; &lt;span class=&#34;s1&#34;&gt;&amp;#39;12345678&amp;#39;&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;,&lt;/span&gt;
        &lt;span class=&#34;s1&#34;&gt;&amp;#39;HOST&amp;#39;&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;:&lt;/span&gt; &lt;span class=&#34;s1&#34;&gt;&amp;#39;127.0.0.1&amp;#39;&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;,&lt;/span&gt;
        &lt;span class=&#34;s1&#34;&gt;&amp;#39;PORT&amp;#39;&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;:&lt;/span&gt; &lt;span class=&#34;s1&#34;&gt;&amp;#39;3306&amp;#39;&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;,&lt;/span&gt;
        &lt;span class=&#34;s1&#34;&gt;&amp;#39;ATOMIC_REQUESTS&amp;#39;&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;:&lt;/span&gt; &lt;span class=&#34;bp&#34;&gt;True&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;,&lt;/span&gt;
        &lt;span class=&#34;s1&#34;&gt;&amp;#39;OPTIONS&amp;#39;&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;:&lt;/span&gt; &lt;span class=&#34;p&#34;&gt;{&lt;/span&gt;
            &lt;span class=&#34;s1&#34;&gt;&amp;#39;init_command&amp;#39;&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;:&lt;/span&gt;
            &lt;span class=&#34;s1&#34;&gt;&amp;#39;SET SESSION TRANSACTION ISOLATION LEVEL READ COMMITTED&amp;#39;&lt;/span&gt;
        &lt;span class=&#34;p&#34;&gt;}&lt;/span&gt;
    &lt;span class=&#34;p&#34;&gt;}&lt;/span&gt;
&lt;span class=&#34;p&#34;&gt;}&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h1 id=&#34;meta-fields-contains-a-field-that-isn-t-defined-on-this-filterset&#34;&gt;Meta.fields contains a field that isn&amp;rsquo;t defined on this FilterSet: ****&lt;/h1&gt;

&lt;ol&gt;
&lt;li&gt;定义tuple的时候, 如果只有一个element, 需要写成&lt;code&gt;(element,)&lt;/code&gt;&lt;/li&gt;
&lt;li&gt;model确实没有这个字段&lt;/li&gt;
&lt;/ol&gt;

&lt;h1 id=&#34;csrf&#34;&gt;csrf&lt;/h1&gt;

&lt;p&gt;一般, django的app默认都是在middleware里面添加了&lt;code&gt;&#39;django.middleware.csrf.CsrfViewMiddleware&#39;&lt;/code&gt;, 也就是说, 每个view默认都会带有csrftoken这个cookie, 当你做ajax请求的时候,务必在request里面带上请求头: &lt;code&gt;X-CSRFToken&lt;/code&gt;, 值就是csrftoken这个cookie的值.&lt;/p&gt;

&lt;p&gt;参考&lt;a href=&#34;https://docs.djangoproject.com/en/1.11/ref/csrf/&#34;&gt; django cross site request forgery protetion&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;axios的请求例子,参考链接&lt;a href=&#34;https://cbuelter.wordpress.com/2017/04/10/django-csrf-with-axios/&#34;&gt;1&lt;/a&gt;, &lt;a href=&#34;https://stackoverflow.com/questions/39254562/csrf-with-django-reactredux-using-axios&#34;&gt;2&lt;/a&gt;:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-javascript&#34; data-lang=&#34;javascript&#34;&gt;&lt;span class=&#34;c1&#34;&gt;// axios.defaults.xsrfCookieName = &amp;#39;csrftoken&amp;#39;
&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;// axios.defaults.xsrfHeaderName = &amp;#39;X-CSRFToken&amp;#39;
&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;// 创建axios实例
&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;&lt;/span&gt;&lt;span class=&#34;k&#34;&gt;const&lt;/span&gt; &lt;span class=&#34;nx&#34;&gt;service&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;nx&#34;&gt;axios&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;nx&#34;&gt;create&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;({&lt;/span&gt;
  &lt;span class=&#34;nx&#34;&gt;xsrfCookieName&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;:&lt;/span&gt; &lt;span class=&#34;s1&#34;&gt;&amp;#39;csrftoken&amp;#39;&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;,&lt;/span&gt;
  &lt;span class=&#34;nx&#34;&gt;xsrfHeaderName&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;:&lt;/span&gt; &lt;span class=&#34;s1&#34;&gt;&amp;#39;X-CSRFToken&amp;#39;&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;,&lt;/span&gt;
  &lt;span class=&#34;nx&#34;&gt;baseURL&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;:&lt;/span&gt; &lt;span class=&#34;nx&#34;&gt;process&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;nx&#34;&gt;env&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;nx&#34;&gt;BASE_API&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;,&lt;/span&gt; &lt;span class=&#34;c1&#34;&gt;// api的base_url
&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;&lt;/span&gt;  &lt;span class=&#34;c1&#34;&gt;// baseURL: &amp;#34;http://127.0.0.1:8000/stock&amp;#34;,
&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;&lt;/span&gt;  &lt;span class=&#34;nx&#34;&gt;timeout&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;:&lt;/span&gt; &lt;span class=&#34;mi&#34;&gt;30000&lt;/span&gt;                  &lt;span class=&#34;c1&#34;&gt;// 请求超时时间
&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;});&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h1 id=&#34;static-file&#34;&gt;static file&lt;/h1&gt;

&lt;p&gt;当django运行在product模式时(setting里面DEBUG设置为False), django不会负责处理static文件, 需要nginx去找, 但是django提供了一个收集static文件的指令, 你可以通过该指令项目所有的static文件到一个指定的目录: &lt;code&gt;python manage.py collectstatic&lt;/code&gt;, 目标目录定义在setting的STATIC_ROOT, 结合STATIC_URL, nginx就可以很方便的找到static文件.&lt;/p&gt;

&lt;h1 id=&#34;django-rest-framework&#34;&gt;django rest framework&lt;/h1&gt;

&lt;ol&gt;
&lt;li&gt;update models返回错误: &lt;code&gt;This field may not be blank&lt;/code&gt;, 需要修改serializer, 允许该字段为空&lt;/li&gt;
&lt;/ol&gt;

&lt;h1 id=&#34;nginx-uwsgi&#34;&gt;nginx + uWsgi&lt;/h1&gt;

&lt;ol&gt;
&lt;li&gt;配置virtualenv,django,新建项目,安装uWsgi&lt;/li&gt;
&lt;li&gt;写uwsgi.ini&lt;/li&gt;
&lt;/ol&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;# mysite_uwsgi.ini file
[uwsgi]

# Django-related settings
# the base directory (full path)
chdir           = /home/tacy_lee/lelewu
# Django&amp;#39;s wsgi file
module          = lelewu.wsgi
# the virtualenv (full path)
home            = /home/tacy_lee/lelewu/venv

# process-related settings
# master
master          = true
# maximum number of worker processes
processes       = 4
# the socket (use the full path to be safe
socket          = /home/tacy_lee/lelewu/uwsgi.sock
# ... with appropriate permissions - may be needed
chmod-socket    = 666
# clear environment on exit
vacuum          = true&lt;/pre&gt;&lt;/div&gt;
&lt;ol&gt;
&lt;li&gt;&lt;p&gt;启动uwsgi
&lt;code&gt;uwsgi --init uwsgi.ini&lt;/code&gt;&lt;/p&gt;&lt;/li&gt;

&lt;li&gt;&lt;p&gt;配置nginx&lt;/p&gt;&lt;/li&gt;
&lt;/ol&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-python&#34; data-lang=&#34;python&#34;&gt;&lt;span class=&#34;n&#34;&gt;user&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;nginx&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
&lt;span class=&#34;n&#34;&gt;worker_processes&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;auto&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
&lt;span class=&#34;n&#34;&gt;error_log&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;var&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;log&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;nginx&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;error&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;log&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
&lt;span class=&#34;n&#34;&gt;pid&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;run&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;nginx&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;pid&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;

&lt;span class=&#34;c1&#34;&gt;# Load dynamic modules. See /usr/share/nginx/README.dynamic.&lt;/span&gt;
&lt;span class=&#34;n&#34;&gt;include&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;usr&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;share&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;nginx&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;modules&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;/*.&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;conf&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;

&lt;span class=&#34;n&#34;&gt;events&lt;/span&gt; &lt;span class=&#34;p&#34;&gt;{&lt;/span&gt;
    &lt;span class=&#34;n&#34;&gt;worker_connections&lt;/span&gt; &lt;span class=&#34;mi&#34;&gt;1024&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
&lt;span class=&#34;p&#34;&gt;}&lt;/span&gt;

&lt;span class=&#34;n&#34;&gt;http&lt;/span&gt; &lt;span class=&#34;p&#34;&gt;{&lt;/span&gt;
    &lt;span class=&#34;n&#34;&gt;log_format&lt;/span&gt;  &lt;span class=&#34;n&#34;&gt;main&lt;/span&gt;  &lt;span class=&#34;s1&#34;&gt;&amp;#39;$remote_addr - $remote_user [$time_local] &amp;#34;$request&amp;#34; &amp;#39;&lt;/span&gt;
                      &lt;span class=&#34;s1&#34;&gt;&amp;#39;$status $body_bytes_sent &amp;#34;$http_referer&amp;#34; &amp;#39;&lt;/span&gt;
                      &lt;span class=&#34;s1&#34;&gt;&amp;#39;&amp;#34;$http_user_agent&amp;#34; &amp;#34;$http_x_forwarded_for&amp;#34;&amp;#39;&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;

    &lt;span class=&#34;n&#34;&gt;access_log&lt;/span&gt;  &lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;var&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;log&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;nginx&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;access&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;log&lt;/span&gt;  &lt;span class=&#34;n&#34;&gt;main&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;

    &lt;span class=&#34;n&#34;&gt;sendfile&lt;/span&gt;            &lt;span class=&#34;n&#34;&gt;on&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
    &lt;span class=&#34;n&#34;&gt;tcp_nopush&lt;/span&gt;          &lt;span class=&#34;n&#34;&gt;on&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
    &lt;span class=&#34;n&#34;&gt;tcp_nodelay&lt;/span&gt;         &lt;span class=&#34;n&#34;&gt;on&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
    &lt;span class=&#34;n&#34;&gt;keepalive_timeout&lt;/span&gt;   &lt;span class=&#34;mi&#34;&gt;65&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
    &lt;span class=&#34;n&#34;&gt;types_hash_max_size&lt;/span&gt; &lt;span class=&#34;mi&#34;&gt;2048&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;

    &lt;span class=&#34;n&#34;&gt;include&lt;/span&gt;             &lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;etc&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;nginx&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;mime&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;types&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
    &lt;span class=&#34;n&#34;&gt;default_type&lt;/span&gt;        &lt;span class=&#34;n&#34;&gt;application&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;octet&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;-&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;stream&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;

    &lt;span class=&#34;n&#34;&gt;include&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;etc&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;nginx&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;conf&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;d&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;/*.&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;conf&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;

    &lt;span class=&#34;n&#34;&gt;upstream&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;django&lt;/span&gt; &lt;span class=&#34;p&#34;&gt;{&lt;/span&gt;
      &lt;span class=&#34;c1&#34;&gt;# connect to this socket&lt;/span&gt;
      &lt;span class=&#34;n&#34;&gt;server&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;unix&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;:&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;///&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;home&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;tacy_lee&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;lelewu&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;uwsgi&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;sock&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
    &lt;span class=&#34;p&#34;&gt;}&lt;/span&gt;

    &lt;span class=&#34;n&#34;&gt;server&lt;/span&gt; &lt;span class=&#34;p&#34;&gt;{&lt;/span&gt;
        &lt;span class=&#34;n&#34;&gt;listen&lt;/span&gt;       &lt;span class=&#34;mi&#34;&gt;8000&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
        &lt;span class=&#34;n&#34;&gt;server_name&lt;/span&gt;  &lt;span class=&#34;mf&#34;&gt;104.155&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;mf&#34;&gt;216.44&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
        &lt;span class=&#34;n&#34;&gt;root&lt;/span&gt;         &lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;home&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;tacy_lee&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;lelewu&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;

        &lt;span class=&#34;c1&#34;&gt;# Load configuration files for the default server block.&lt;/span&gt;
        &lt;span class=&#34;n&#34;&gt;include&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;etc&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;nginx&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;default&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;d&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;/*.&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;conf&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;

        &lt;span class=&#34;n&#34;&gt;location&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;/&lt;/span&gt; &lt;span class=&#34;p&#34;&gt;{&lt;/span&gt;
          &lt;span class=&#34;n&#34;&gt;uwsgi_pass&lt;/span&gt;  &lt;span class=&#34;n&#34;&gt;django&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
          &lt;span class=&#34;n&#34;&gt;include&lt;/span&gt;     &lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;etc&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;nginx&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;uwsgi_params&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
        &lt;span class=&#34;p&#34;&gt;}&lt;/span&gt;

        &lt;span class=&#34;n&#34;&gt;location&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;static&lt;/span&gt; &lt;span class=&#34;p&#34;&gt;{&lt;/span&gt;
          &lt;span class=&#34;n&#34;&gt;alias&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;home&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;tacy_lee&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;lelewu&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;/&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;static&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
        &lt;span class=&#34;p&#34;&gt;}&lt;/span&gt;

    &lt;span class=&#34;p&#34;&gt;}&lt;/span&gt;
&lt;span class=&#34;p&#34;&gt;}&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;ol&gt;
&lt;li&gt;启动nginx&lt;/li&gt;
&lt;/ol&gt;
</description>
      
    </item>
    
    <item>
      <title>kubernetes notes</title>
      <link>http://tacy.github.io/post/kubernetes/</link>
      <pubDate>Fri, 11 Aug 2017 00:00:00 +0000</pubDate>
      
      <guid>http://tacy.github.io/post/kubernetes/</guid>
      
        <description>

&lt;h1 id=&#34;dev&#34;&gt;Dev&lt;/h1&gt;

&lt;p&gt;Kubernetes项目对于开发人员的支持做的很好, 再Github仓库有开放指南, 非常详细. 简单记录以下过程&lt;/p&gt;

&lt;p&gt;Kubernetes项目开发语言用的是Go, 目前Go对于包依赖的管理比较混乱. Go1.5以后引入了vendor特性希望解决这个问题, 目前还是experimental状态, Kubernetes项目并没有采用, 而是采用的godep方案, 这是一个需要注意的点, 建议先好好了解一下godep.&lt;/p&gt;

&lt;p&gt;先简单介绍一下godep. godep会在kubernetes目录下建立一个Godeps目录, 里面会保存一份kubernetes的依赖包, 包括版本信息, 当用户需要搭建自己的开放环境时, 只需要&lt;code&gt;godep restore&lt;/code&gt;即可, godep会帮你获取依赖包的正确版本, 形成统一的开发环境.&lt;/p&gt;

&lt;p&gt;采用了godep, 你的编译命令前面必须加上godep, 例如&lt;code&gt;go build&lt;/code&gt;就需要替换成&lt;code&gt;godep go build&lt;/code&gt;, 这点需要特别注意. 否则你将遇到下面这类问题:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;kubelet git:(master)$ go install
# k8s.io/kubernetes/pkg/kubelet/rkt
../../pkg/kubelet/rkt/rkt.go:168: cannot use apisvcConn (type *&amp;#34;google.golang.org/grpc&amp;#34;.ClientConn) as type *&amp;#34;github.com/coreos/rkt/Godeps/_workspace/src/google.golang.org/grpc&amp;#34;.ClientConn in argument to v1alpha.NewPublicAPIClient&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;这样还有一个严重问题, 如果GOPATH里面的其他项目和kubernetes依赖同一个包, 比如: A项目和Kubernetes同时依赖B包, 如果A项目更新了B包, Kubernetes项目如果运行&lt;code&gt;godep save ./..&lt;/code&gt;, 也会引入这个更新的B包&amp;hellip;&lt;/p&gt;

&lt;p&gt;解决这个问题, kubernetes给出的解决方案是, 让kubernets在一个独立的GOPATH, 里面不要有其他项目&amp;hellip;&lt;/p&gt;

&lt;p&gt;这也是不得已的办法了. 如果还是遇到问题, 可以考虑把Godeps加入到GOPATH: &lt;code&gt;\&lt;/code&gt;godep path`:$GOPATH`, 确保Godeps里面的包优先被使用.&lt;/p&gt;

&lt;h2 id=&#34;check-out&#34;&gt;Check out&lt;/h2&gt;

&lt;p&gt;Kubernetes参考github的开放流程, 先fork项目, 然后再本地&lt;/p&gt;

&lt;ol&gt;
&lt;li&gt;fork&lt;/li&gt;
&lt;li&gt;mkdir -p ~/workspace/go/kubernetes/k8s.io/kubernetes&lt;/li&gt;
&lt;li&gt;cd ~/workspace/go/kubernetes/k8s.io/kubernetes&lt;/li&gt;
&lt;li&gt;git clone git@github.com:tacy/kubernetes.git .&lt;/li&gt;
&lt;li&gt;git remote add upstream &lt;a href=&#34;https://github.com/kubernetes/kubernetes.git&#34;&gt;https://github.com/kubernetes/kubernetes.git&lt;/a&gt;&lt;/li&gt;
&lt;/ol&gt;

&lt;h2 id=&#34;keeping-sync&#34;&gt;Keeping sync&lt;/h2&gt;

&lt;p&gt;保持自己的代码和主仓库同步&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-sh&#34; data-lang=&#34;sh&#34;&gt;git fetch upstream
git rebase upstream/master
git remote set-url --push upstream no_push  &lt;span class=&#34;c1&#34;&gt;#prevent push to upstream if you have write access to the main repository&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h2 id=&#34;godep&#34;&gt;Godep&lt;/h2&gt;

&lt;p&gt;kubernetes项目使用godep管理依赖，所以你需要通过&lt;code&gt;godep restore -v&lt;/code&gt;恢复依赖包(自备梯子)&lt;/p&gt;

&lt;h2 id=&#34;create-branch&#34;&gt;Create branch&lt;/h2&gt;

&lt;ol&gt;
&lt;li&gt;git checkout -b myfeature&lt;/li&gt;
&lt;/ol&gt;

&lt;h2 id=&#34;build&#34;&gt;Build&lt;/h2&gt;

&lt;p&gt;你可以直接在kubernetes目录下运行mark命令, 会编译整个kubernetes项目, 也可以编译具体包, 具体参考Makefile文件&lt;/p&gt;

&lt;p&gt;比如我需要编译linux平台下的kubelet: &lt;code&gt;KUBE_BUILD_PLATFORMS=linux/amd64 CGO_ENABLED=1 make WHAT=cmd/kubelet GOGCFLAGS=&#39;-N -1&#39;&lt;/code&gt;&lt;/p&gt;

&lt;p&gt;&lt;code&gt;go build -gcflags &#39;-N -l&#39;&lt;/code&gt;&lt;/p&gt;

&lt;p&gt;你也可以直接到具体目录下, 运行&lt;code&gt;godep go install&lt;/code&gt;, 有时候你会需要这个(例如gocode需要编译后的pkg才能做代码提示).&lt;/p&gt;

&lt;h2 id=&#34;committing-changes-to-your-fork&#34;&gt;Committing changes to your fork&lt;/h2&gt;

&lt;p&gt;Before committing any changes, please link/copy these pre-commit hooks into your .git
directory. This will keep you from accidentally committing non-gofmt&amp;rsquo;d go code.&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-sh&#34; data-lang=&#34;sh&#34;&gt;&lt;span class=&#34;nb&#34;&gt;cd&lt;/span&gt; kubernetes/.git/hooks/
ln -s ../../hooks/pre-commit .&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;Then you can commit your changes and push them to your fork:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-sh&#34; data-lang=&#34;sh&#34;&gt;git commit
git push -f origin myfeature&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h2 id=&#34;creating-a-pull-request&#34;&gt;Creating a pull request&lt;/h2&gt;

&lt;ol&gt;
&lt;li&gt;Visit &lt;a href=&#34;https://github.com/$YOUR_GITHUB_USERNAME/kubernetes&#34;&gt;https://github.com/$YOUR_GITHUB_USERNAME/kubernetes&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;Click the &amp;ldquo;Compare and pull request&amp;rdquo; button next to your &amp;ldquo;myfeature&amp;rdquo; branch.&lt;/li&gt;
&lt;li&gt;Check out the pull request &lt;a href=&#34;pull-requests.md&#34;&gt;process&lt;/a&gt; for more details&lt;/li&gt;
&lt;/ol&gt;

&lt;h2 id=&#34;kubelet&#34;&gt;kubelet&lt;/h2&gt;

&lt;p&gt;main: k8s.io/kubernetes/cmd/kubelet.go&lt;/p&gt;

&lt;p&gt;server.go -&amp;gt; RunKubelet&lt;/p&gt;

&lt;p&gt;eventbroadcaster.StartLogging 输出kubelet event到log
eventbroadcaster.startrecordingtosink 发送kubelet event到apiserver&lt;/p&gt;

&lt;p&gt;makePodSourceConfig 接收所有的podupdate事件,通过file,url,api REST&lt;/p&gt;

&lt;p&gt;app/server.go  -&amp;gt; CreateAndInintKubelet() -&amp;gt; makePodSourceConfig() -&amp;gt; kubeletbootstap.birthcry() -&amp;gt;kubeletbootstap.startgarbagecollection()&lt;/p&gt;

&lt;h2 id=&#34;apiserver&#34;&gt;APIServer&lt;/h2&gt;

&lt;h3 id=&#34;schema&#34;&gt;Schema&lt;/h3&gt;

&lt;ol&gt;
&lt;li&gt;convert 版本之间转换器, convertfunc用(in,out)做key, 这样就能找到正确的convertfunc做转换, 例如Convert_v1alpha1_Flunder_To_wardle_Flunder(in *Flunder, out *wardle.Flunder, s conversion.Scope).&lt;/li&gt;
&lt;li&gt;serializer(decode/encode) 序列化反序列化, request json/yaml -&amp;gt;decode to internal object -&amp;gt; version object -&amp;gt; etcd. serializer在handler中调用&lt;/li&gt;
&lt;/ol&gt;

&lt;h1 id=&#34;install&#34;&gt;Install&lt;/h1&gt;

&lt;h2 id=&#34;kvm-env&#34;&gt;KVM env&lt;/h2&gt;

&lt;h3 id=&#34;bridge&#34;&gt;Bridge&lt;/h3&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;[tacy@tacyArch network]$ cat qemu.netdev
[NetDev]
Name=qemu0
Kind=bridge
[tacy@tacyArch network]$ cat qemu.network
[Match]
Name=qemu0

[Network]
Address=172.18.0.1/16
DNS=233.5.5.5
IPForward=yes

[tacy@tacyArch network]$ systemctl restart systemd-networkd&lt;/pre&gt;&lt;/div&gt;
&lt;h3 id=&#34;iptables&#34;&gt;Iptables&lt;/h3&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;[tacy@tacyArch ~]$ cat /etc/iptables/iptables.rules
# Generated by iptables-save v1.4.21 on Thu Dec 10 10:31:57 2015
*nat
:PREROUTING ACCEPT [20:3432]
:INPUT ACCEPT [18:2776]
:OUTPUT ACCEPT [886:56198]
:POSTROUTING ACCEPT [886:56198]
:DOCKER - [0:0]
-A PREROUTING -m addrtype --dst-type LOCAL -j DOCKER
-A OUTPUT ! -d 127.0.0.0/8 -m addrtype --dst-type LOCAL -j DOCKER
-A POSTROUTING -s 172.18.0.0/16 ! -o docker0 -j MASQUERADE
COMMIT
# Completed on Thu Dec 10 10:31:57 2015
# Generated by iptables-save v1.4.21 on Thu Dec 10 10:31:57 2015
*filter
:INPUT ACCEPT [57801:42904359]
:FORWARD ACCEPT [0:0]
:OUTPUT ACCEPT [52989:24492467]
:DOCKER - [0:0]
-A FORWARD -o qemu0 -j DOCKER
-A FORWARD -o qemu0 -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT
-A FORWARD -i qemu0 ! -o qemu0 -j ACCEPT
-A FORWARD -i qemu0 -o qemu0 -j ACCEPT
COMMIT
# Completed on Thu Dec 10 10:31:57 2015&lt;/pre&gt;&lt;/div&gt;
&lt;h3 id=&#34;dnsmasq&#34;&gt;Dnsmasq&lt;/h3&gt;

&lt;p&gt;edit /etc/dnsmasq.conf:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;interface=qemu0
listen-address=172.18.0.1,127.0.0.1
dhcp-range=172.18.100.1,172.18.100.254,255.255.0.0&lt;/pre&gt;&lt;/div&gt;
&lt;h3 id=&#34;docker-custom&#34;&gt;Docker custom&lt;/h3&gt;

&lt;p&gt;让docker和kvm共用同一个bridge, 同时禁用docker的iptables和forward, 设置docker走代理&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;[tacy@tacyArch ~]$ cat /etc/systemd/system/docker.service.d/custom.conf
[Service]
Environment=&amp;#34;HTTP_PROXY=http://127.0.0.1:9001/&amp;#34; &amp;#34;HTTPS_PROXY=http://127.0.0.1:9001/&amp;#34;
ExecStart=
ExecStart=/usr/bin/docker daemon -H fd:// --exec-opt native.cgroupdriver=cgroupfs -b=qemu0 --fixed-cidr=172.18.1.1/24 --iptables=false --ip-forward=false&lt;/pre&gt;&lt;/div&gt;&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;[root@localhost ~]# systemctl show --property=Environment docker
Environment=GOTRACEBACK=crash HTTP_PROXY=http://172.18.0.1:9001/ HTTPS_PROXY=http://172.18.0.1:9001/&lt;/pre&gt;&lt;/div&gt;
&lt;h3 id=&#34;create-vm&#34;&gt;Create VM&lt;/h3&gt;

&lt;h4 id=&#34;create-vm-img-7&#34;&gt;Create VM img #### &lt;sup class=&#34;footnote-ref&#34; id=&#34;fnref:7&#34;&gt;&lt;a href=&#34;#fn:7&#34;&gt;1&lt;/a&gt;&lt;/sup&gt;&lt;/h4&gt;

&lt;p&gt;Download CentosCloud image :
&lt;code&gt;curl http://cloud.centos.org/centos/7/images/CentOS-7-x86_64-GenericCloud-1510.qcow2 -o CentOS-7-x86_64-GenericCloud.qcow2&lt;/code&gt;&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;qemu-img create -f qcow2 -o backing_file=CentOS-7-x86_64-GenericCloud.qcow2,backing_fmt=qcow2 master.qcow2
qemu-img create -f qcow2 -o backing_file=CentOS-7-x86_64-GenericCloud.qcow2,backing_fmt=qcow2 node-one.qcow2
qemu-img create -f qcow2 -o backing_file=CentOS-7-x86_64-GenericCloud.qcow2,backing_fmt=qcow2 node-two.qcow2&lt;/pre&gt;&lt;/div&gt;
&lt;h4 id=&#34;cloud-init&#34;&gt;Cloud init&lt;/h4&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;[tacy@tacyArch qemu]$ ls
cloud-init  vm
[tacy@tacyArch qemu]$ cd cloud-init/
[tacy@tacyArch cloud-init]$ ls
meta-data  user-data
[tacy@tacyArch cloud-init]$ cat meta-data
{}
[tacy@tacyArch cloud-init]$ cat user-data
#cloud-config
users:
  - name: root
    ssh-authorized-keys:
    - ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDJBe4qjPGBqnoE6Up6aB6jBOSBK1aqOjpX8fU8nvneKdzKmH0xTX5nRsfiZdTbJWX7CfjnrA0
[tacy@tacyArch qemu]$ genisoimage  -output seed.iso -volid cidata -joliet -rock user-data meta-data

https://cloudinit.readthedocs.org/en/latest/topics/datasources.html#no-cloud&lt;/pre&gt;&lt;/div&gt;
&lt;h4 id=&#34;shell&#34;&gt;Shell&lt;/h4&gt;

&lt;h5 id=&#34;qemu-ifup-sh-qemu-ifdown-sh&#34;&gt;qemu-ifup.sh / qemu-ifdown.sh&lt;/h5&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-sh&#34; data-lang=&#34;sh&#34;&gt;&lt;span class=&#34;c1&#34;&gt;##/etc/qemu-ifup.sh##&lt;/span&gt;
&lt;span class=&#34;cp&#34;&gt;#!/bin/sh
&lt;/span&gt;&lt;span class=&#34;cp&#34;&gt;&lt;/span&gt;
&lt;span class=&#34;nb&#34;&gt;echo&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;Executing /etc/qemu-ifup&amp;#34;&lt;/span&gt;
&lt;span class=&#34;nb&#34;&gt;echo&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;Bringing up &lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;$1&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt; for bridged mode...&amp;#34;&lt;/span&gt;
sudo /usr/bin/ip link &lt;span class=&#34;nb&#34;&gt;set&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;$1&lt;/span&gt; up promisc on
&lt;span class=&#34;nb&#34;&gt;echo&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;Adding &lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;$1&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt; to qemu0...&amp;#34;&lt;/span&gt;
sudo /usr/bin/brctl addif qemu0 &lt;span class=&#34;nv&#34;&gt;$1&lt;/span&gt;
sleep &lt;span class=&#34;m&#34;&gt;2&lt;/span&gt;

&lt;span class=&#34;c1&#34;&gt;##/etc/qemu-ifdown.sh##&lt;/span&gt;
&lt;span class=&#34;cp&#34;&gt;#!/bin/sh
&lt;/span&gt;&lt;span class=&#34;cp&#34;&gt;&lt;/span&gt;
&lt;span class=&#34;nb&#34;&gt;echo&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;Executing /etc/qemu-ifdown&amp;#34;&lt;/span&gt;
sudo /usr/bin/ip link &lt;span class=&#34;nb&#34;&gt;set&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;$1&lt;/span&gt; down
sudo /usr/bin/brctl delif qemu0 &lt;span class=&#34;nv&#34;&gt;$1&lt;/span&gt;
sudo /usr/bin/ip link delete dev &lt;span class=&#34;nv&#34;&gt;$1&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h5 id=&#34;mac-address&#34;&gt;mac address&lt;/h5&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-python&#34; data-lang=&#34;python&#34;&gt;&lt;span class=&#34;ch&#34;&gt;#!/usr/bin/env python&lt;/span&gt;

&lt;span class=&#34;kn&#34;&gt;import&lt;/span&gt; &lt;span class=&#34;nn&#34;&gt;sys&lt;/span&gt;
&lt;span class=&#34;kn&#34;&gt;import&lt;/span&gt; &lt;span class=&#34;nn&#34;&gt;zlib&lt;/span&gt;

&lt;span class=&#34;k&#34;&gt;if&lt;/span&gt; &lt;span class=&#34;nb&#34;&gt;len&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;sys&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;argv&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;)&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;!=&lt;/span&gt; &lt;span class=&#34;mi&#34;&gt;2&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;:&lt;/span&gt;
    &lt;span class=&#34;k&#34;&gt;print&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;usage: &lt;/span&gt;&lt;span class=&#34;si&#34;&gt;%s&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt; &amp;lt;VM Name&amp;gt;&amp;#34;&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;%&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;sys&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;argv&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;mi&#34;&gt;0&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;])&lt;/span&gt;
    &lt;span class=&#34;n&#34;&gt;sys&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;nb&#34;&gt;exit&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;mi&#34;&gt;1&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;)&lt;/span&gt;

&lt;span class=&#34;n&#34;&gt;crc&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;n&#34;&gt;zlib&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;crc32&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;sys&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;argv&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;mi&#34;&gt;1&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;encode&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;utf-8&amp;#34;&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;))&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;&amp;amp;&lt;/span&gt; &lt;span class=&#34;mh&#34;&gt;0xffffffff&lt;/span&gt;
&lt;span class=&#34;n&#34;&gt;crc&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;nb&#34;&gt;str&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;nb&#34;&gt;hex&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;crc&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;))[&lt;/span&gt;&lt;span class=&#34;mi&#34;&gt;2&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;:]&lt;/span&gt;
&lt;span class=&#34;k&#34;&gt;print&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;52:54:&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;%s%s&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;:&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;%s%s&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;:&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;%s%s&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;:&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;%s%s&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;%&lt;/span&gt; &lt;span class=&#34;nb&#34;&gt;tuple&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;n&#34;&gt;crc&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;))&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h5 id=&#34;run-qemu-sh&#34;&gt;run-qemu.sh&lt;/h5&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-sh&#34; data-lang=&#34;sh&#34;&gt;&lt;span class=&#34;cp&#34;&gt;#!/bin/bash
&lt;/span&gt;&lt;span class=&#34;cp&#34;&gt;&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;USERID&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;k&#34;&gt;$(&lt;/span&gt;whoami&lt;span class=&#34;k&#34;&gt;)&lt;/span&gt;

print_usage&lt;span class=&#34;o&#34;&gt;()&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;{&lt;/span&gt;
  &lt;span class=&#34;nb&#34;&gt;echo&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;Usage:
&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;
&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;  &lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;$0&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt; {-n,-m,-i,-sp,-mp) ARG
&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;
&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;Options:
&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;
&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;  --name ARG
&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;  -n ARG
&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;
&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;  --memory ARG
&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;  -m ARG
&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;
&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;  --image ARG
&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;  -i ARG
&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;
&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;  --serialport ARG
&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;  -sp ARG
&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;
&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;  --monitorport ARG
&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;  -mp ARG
&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;
&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt; &amp;gt;&lt;span class=&#34;p&#34;&gt;&amp;amp;&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;2&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;}&lt;/span&gt;

&lt;span class=&#34;k&#34;&gt;if&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;$#&lt;/span&gt; -le &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; &lt;span class=&#34;k&#34;&gt;then&lt;/span&gt;
  print_usage
  &lt;span class=&#34;nb&#34;&gt;exit&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;1&lt;/span&gt;
&lt;span class=&#34;k&#34;&gt;fi&lt;/span&gt;

&lt;span class=&#34;k&#34;&gt;while&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[[&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;$#&lt;/span&gt; &amp;gt; &lt;span class=&#34;m&#34;&gt;1&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;]]&lt;/span&gt;
&lt;span class=&#34;k&#34;&gt;do&lt;/span&gt;
&lt;span class=&#34;nv&#34;&gt;key&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;$1&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;

&lt;span class=&#34;k&#34;&gt;case&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;$key&lt;/span&gt; in
    -n&lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;--name&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
    &lt;span class=&#34;nv&#34;&gt;NAME&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;$2&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;
    &lt;span class=&#34;nb&#34;&gt;shift&lt;/span&gt; &lt;span class=&#34;c1&#34;&gt;# past argument&lt;/span&gt;
    &lt;span class=&#34;p&#34;&gt;;;&lt;/span&gt;
    -m&lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;--memory&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
    &lt;span class=&#34;nv&#34;&gt;MEMORY&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;$2&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;
    &lt;span class=&#34;nb&#34;&gt;shift&lt;/span&gt; &lt;span class=&#34;c1&#34;&gt;# past argument&lt;/span&gt;
    &lt;span class=&#34;p&#34;&gt;;;&lt;/span&gt;
    -i&lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;--image&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
    &lt;span class=&#34;nv&#34;&gt;IMAGE&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;$2&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;
    &lt;span class=&#34;nb&#34;&gt;shift&lt;/span&gt; &lt;span class=&#34;c1&#34;&gt;# past argument&lt;/span&gt;
    &lt;span class=&#34;p&#34;&gt;;;&lt;/span&gt;
    -mp&lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;--monitorport&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
    &lt;span class=&#34;nv&#34;&gt;MP&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;$2&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;
    &lt;span class=&#34;nb&#34;&gt;shift&lt;/span&gt; &lt;span class=&#34;c1&#34;&gt;# past argument&lt;/span&gt;
    &lt;span class=&#34;p&#34;&gt;;;&lt;/span&gt;
    -sp&lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;--serialport&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
    &lt;span class=&#34;nv&#34;&gt;SP&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;$2&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;
    &lt;span class=&#34;nb&#34;&gt;shift&lt;/span&gt; &lt;span class=&#34;c1&#34;&gt;# past argument&lt;/span&gt;
    &lt;span class=&#34;p&#34;&gt;;;&lt;/span&gt;
    --default&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
    &lt;span class=&#34;nv&#34;&gt;DEFAULT&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;YES
    &lt;span class=&#34;p&#34;&gt;;;&lt;/span&gt;
    *&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
            &lt;span class=&#34;c1&#34;&gt;# unknown option&lt;/span&gt;
    &lt;span class=&#34;p&#34;&gt;;;&lt;/span&gt;
&lt;span class=&#34;k&#34;&gt;esac&lt;/span&gt;
&lt;span class=&#34;nb&#34;&gt;shift&lt;/span&gt; &lt;span class=&#34;c1&#34;&gt;# past argument or value&lt;/span&gt;
&lt;span class=&#34;k&#34;&gt;done&lt;/span&gt;

&lt;span class=&#34;c1&#34;&gt;# Get name of newly created TAP device; see https://bbs.archlinux.org/viewtopic.php?pid=1285079#p1285079&lt;/span&gt;
&lt;span class=&#34;nv&#34;&gt;precreationg&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;k&#34;&gt;$(&lt;/span&gt;/usr/bin/ip tuntap list &lt;span class=&#34;p&#34;&gt;|&lt;/span&gt; /usr/bin/cut -d: -f1 &lt;span class=&#34;p&#34;&gt;|&lt;/span&gt; /usr/bin/sort&lt;span class=&#34;k&#34;&gt;)&lt;/span&gt;
sudo /usr/bin/ip tuntap add user &lt;span class=&#34;nv&#34;&gt;$USERID&lt;/span&gt; mode tap
&lt;span class=&#34;nv&#34;&gt;postcreation&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;k&#34;&gt;$(&lt;/span&gt;/usr/bin/ip tuntap list &lt;span class=&#34;p&#34;&gt;|&lt;/span&gt; /usr/bin/cut -d: -f1 &lt;span class=&#34;p&#34;&gt;|&lt;/span&gt; /usr/bin/sort&lt;span class=&#34;k&#34;&gt;)&lt;/span&gt;
&lt;span class=&#34;nv&#34;&gt;IFACE&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;k&#34;&gt;$(&lt;/span&gt;comm -13 &amp;lt;&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;nb&#34;&gt;echo&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;$precreationg&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;k&#34;&gt;)&lt;/span&gt; &amp;lt;&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;nb&#34;&gt;echo&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;$postcreation&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;))&lt;/span&gt;

&lt;span class=&#34;nv&#34;&gt;MACADDR&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;sb&#34;&gt;`&lt;/span&gt;/home/tacy/workspace/qemu/vm/qemu-mac-hasher.py &lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;NAME&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;&lt;span class=&#34;sb&#34;&gt;`&lt;/span&gt;

qemu-system-x86_64 -name &lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;NAME&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt; -cpu host -m &lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;MEMORY&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt; -smp &lt;span class=&#34;nv&#34;&gt;cores&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;2&lt;/span&gt;,threads&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;1&lt;/span&gt;,sockets&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;1&lt;/span&gt; -machine &lt;span class=&#34;nv&#34;&gt;type&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;pc,accel&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;kvm -net nic,macaddr&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;MACADDR&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;,model&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;virtio -net tap,vhost&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;on,ifname&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;$IFACE&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt; -serial telnet:localhost:&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;SP&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;,server,nowait,nodelay -monitor tcp:127.0.0.1:&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;MP&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;,server,nowait,nodelay -device virtio-scsi-pci,id&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;scsi -device scsi-hd,drive&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;hd -drive &lt;span class=&#34;nv&#34;&gt;file&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;IMAGE&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt;,format&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;qcow2,cache&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;writeback,discard&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;unmap,if&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;none,id&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;hd -drive &lt;span class=&#34;nv&#34;&gt;file&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;/home/tacy/workspace/qemu/vm/seed.iso,if&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;virtio -nographic

&lt;span class=&#34;c1&#34;&gt;# 注意, 这里cache可以考虑用directsync, 然后加上io=native, 这样磁盘性能应该是最优的.&lt;/span&gt;

sudo ip link &lt;span class=&#34;nb&#34;&gt;set&lt;/span&gt; dev &lt;span class=&#34;nv&#34;&gt;$IFACE&lt;/span&gt; down &lt;span class=&#34;p&#34;&gt;&amp;amp;&lt;/span&gt;&amp;gt; /dev/null
sudo ip tuntap del &lt;span class=&#34;nv&#34;&gt;$IFACE&lt;/span&gt; mode tap &lt;span class=&#34;p&#34;&gt;&amp;amp;&lt;/span&gt;&amp;gt; /dev/null&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h4 id=&#34;systemd&#34;&gt;Systemd&lt;/h4&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;## ~/.config/systemd/user/qemu@.service
[Unit]
Description=QEMU virtual machine

[Service]
Environment=&amp;#34;type=system-x86_64&amp;#34; &amp;#34;haltcmd=kill -INT $MAINPID&amp;#34;
EnvironmentFile=/home/tacy/workspace/qemu/vm/%i
ExecStart=/usr/bin/env /home/tacy/workspace/qemu/vm/run-qemu.sh -n %i  -m $memory -i $image -sp $sp -mp $mp
ExecStop=/bin/sh -c ${haltcmd}
TimeoutStopSec=30
KillMode=none

[Install]
WantedBy=multi-user.target&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;systemd env file:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;## ~/workspace/qemu/vm/master
memory=1024
image=/home/tacy/workspace/qemu/vm/master.qcow2
sp=7101
mp=7001
haltcmd=&amp;#34;echo &amp;#39;system_powerdown&amp;#39; | /usr/bin/nc localhost 7001&amp;#34;

## ~/workspace/qemu/vm/node-one
memory=1024
image=/home/tacy/workspace/qemu/vm/node-one.qcow2
sp=7102
mp=7002
haltcmd=&amp;#34;echo &amp;#39;system_powerdown&amp;#39; | /usr/bin/nc localhost 7002&amp;#34;

## ~/workspace/qemu/vm/node-two
memory=1024
image=/home/tacy/workspace/qemu/vm/node-two.qcow2
sp=7103
mp=7003
haltcmd=&amp;#34;echo &amp;#39;system_powerdown&amp;#39; | /usr/bin/nc localhost 7003&amp;#34;&lt;/pre&gt;&lt;/div&gt;
&lt;h4 id=&#34;start-vm-stop-vm&#34;&gt;Start VM &amp;amp; Stop VM&lt;/h4&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;systemctl --user start qemu@master
systemctl --user start qemu@node-one
systemctl --user start qemu@node-two

systemctl --user stop qemu@master
systemctl --user stop qemu@node-one
systemctl --user stop qemu@node-two&lt;/pre&gt;&lt;/div&gt;
&lt;h3 id=&#34;vm-config&#34;&gt;VM Config&lt;/h3&gt;

&lt;h4 id=&#34;docker&#34;&gt;Docker&lt;/h4&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;yum install docker

##/etc/sysconfig/docker
HTTP_PROXY=&amp;#39;http://172.18.0.1:9001&amp;#39;
HTTPS_PROXY=&amp;#39;http://172.18.0.1:9001&amp;#39;&lt;/pre&gt;&lt;/div&gt;
&lt;h4 id=&#34;ssd-tuning-1-2-3&#34;&gt;SSD tuning ####&lt;sup class=&#34;footnote-ref&#34; id=&#34;fnref:1&#34;&gt;&lt;a href=&#34;#fn:1&#34;&gt;2&lt;/a&gt;&lt;/sup&gt;&lt;sup class=&#34;footnote-ref&#34; id=&#34;fnref:2&#34;&gt;&lt;a href=&#34;#fn:2&#34;&gt;3&lt;/a&gt;&lt;/sup&gt;&lt;sup class=&#34;footnote-ref&#34; id=&#34;fnref:3&#34;&gt;&lt;a href=&#34;#fn:3&#34;&gt;4&lt;/a&gt;&lt;/sup&gt;&lt;/h4&gt;

&lt;h5 id=&#34;discard&#34;&gt;discard&lt;/h5&gt;

&lt;p&gt;要启用磁盘的discard, 首先用的驱动设备必须是SCSI: &lt;code&gt;-device virtio-scsi-pci,id=scsi -device scsi-hd,drive=hd -drive file=${IMAGE},format=qcow2,cache=writeback,discard=unmap,if=none,id=hd&lt;/code&gt;&lt;/p&gt;

&lt;p&gt;然后修改fstab: &lt;code&gt;UUID=ba1b9d4d-f899-4121-bc02-b385767de754 /                       xfs     defaults,discard,nobarrier,noatime        0 0&lt;/code&gt;&lt;/p&gt;

&lt;p&gt;确认是否成功启用discard:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;[root@localhost ~]# lsblk -o MOUNTPOINT,DISC-MAX,FSTYPE
MOUNTPOINT DISC-MAX FSTYPE
                 1G
/                1G xfs
                 0B&lt;/pre&gt;&lt;/div&gt;
&lt;h4 id=&#34;ioscheduler&#34;&gt;ioscheduler&lt;/h4&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;[root@localhost ~]# cat /etc/tmpfiles.d/10_ioscheduler.conf
w /sys/block/sda/queue/scheduler - - - - noop&lt;/pre&gt;&lt;/div&gt;
&lt;h2 id=&#34;kubernetes-cluster-setup&#34;&gt;Kubernetes Cluster Setup&lt;/h2&gt;

&lt;h3 id=&#34;pre-request&#34;&gt;Pre request&lt;/h3&gt;

&lt;p&gt;下载需要的软件:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;wget https://github.com/kubernetes/kubernetes/releases/download/v1.1.2/kubernetes.tar.gz
wget https://github.com/projectcalico/calico-kubernetes/archive/master.tar.gz
wget https://github.com/coreos/etcd/releases/download/v2.2.2/etcd-v2.1.3-linux-amd64.tar.gz&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;另外需要修改所有节点的主机名(包括master, node-one, node-two), Calico使用主机名作为关键的信息.&lt;/p&gt;

&lt;h3 id=&#34;etcd-calico&#34;&gt;Etcd &amp;amp; Calico&lt;/h3&gt;

&lt;p&gt;Kubernetes/Calico/Skydns都需要使用Etcd, 我们只配置一个Etcd供所有的组件使用. Calico为Kuernetes提供一个BGP网络(路由), 而不是Overlay网络, Calico在两层的使用很简单, 三层使用需要仔细规划.&lt;/p&gt;

&lt;h4 id=&#34;master&#34;&gt;Master&lt;/h4&gt;

&lt;p&gt;&lt;code&gt;scp etcd calicoctl to master&lt;/code&gt;&lt;/p&gt;

&lt;ul&gt;
&lt;li&gt;etcd&lt;/li&gt;
&lt;/ul&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;[root@master bin]# cat /etc/systemd/system/etcd.service
[Unit]
Description=Etcd service
Documentation=https://coreos.com/etcd/docs/latest/
Requires=docker.service
After=docker.service

[Service]
ExecStart=/usr/bin/etcd \
  --data-dir=/var/lib/etcd \
  --advertise-client-urls=http://172.18.100.187:6666 \    #MASTER IP
  --listen-client-urls=http://0.0.0.0:6666 \
  --listen-peer-urls=http://127.0.0.1:2380 \
  --name=etcd
Restart=always
RestartSec=10

[Install]
WantedBy=multi-user.target&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;enable etcd &amp;amp; start etcd: &lt;code&gt;systemctl start etcd &amp;amp;&amp;amp; systemctl enable etcd&lt;/code&gt;&lt;/p&gt;

&lt;ul&gt;
&lt;li&gt;calico&lt;/li&gt;
&lt;/ul&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;[root@master bin]# cat /etc/systemd/system/calico-node.service
[Unit]
Description=calicoctl node
After=docker.service
Requires=docker.service

[Service]
User=root
Environment=&amp;#34;ETCD_AUTHORITY=127.0.0.1:6666&amp;#34;
PermissionsStartOnly=true
ExecStart=/usr/bin/calicoctl node --detach=false
Restart=always
RestartSec=10

[Install]
WantedBy=multi-user.target&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;start &amp;amp; enable calico: &lt;code&gt;systemctl enable calico &amp;amp;&amp;amp; systemctl start calico&lt;/code&gt;&lt;/p&gt;

&lt;p&gt;在宿主机上操作Etcd和Calico:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;etcdctl -C 172.18.100.187:6666 ls --recursive

ETCD_AUTHORITY=172.18.100.187:6666  calicoctl pool show&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;calico里面缺省的pool是192网段, 这个地址段很容易冲突, 你可以通过calicoctl重新定义你自己的网段(我修改成了172.19.0.0/16).&lt;/p&gt;

&lt;h4 id=&#34;node&#34;&gt;Node&lt;/h4&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@node-one ~&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# cat /etc/network-environment&lt;/span&gt;
&lt;span class=&#34;cp&#34;&gt;#! /usr/bin/bash
&lt;/span&gt;&lt;span class=&#34;cp&#34;&gt;&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;# This node&amp;#39;s IPv4 address&lt;/span&gt;
&lt;span class=&#34;nv&#34;&gt;DEFAULT_IPV4&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;172&lt;/span&gt;.18.100.122

&lt;span class=&#34;c1&#34;&gt;# The Kubernetes master IP&lt;/span&gt;
&lt;span class=&#34;nv&#34;&gt;KUBERNETES_MASTER&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;172&lt;/span&gt;.18.100.187

&lt;span class=&#34;c1&#34;&gt;# IP and port of etcd instance used by Calico&lt;/span&gt;
&lt;span class=&#34;nv&#34;&gt;ETCD_AUTHORITY&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;172&lt;/span&gt;.18.100.187:6666

&lt;span class=&#34;c1&#34;&gt;# URL to access the Kubernetes apiserver&lt;/span&gt;
&lt;span class=&#34;nv&#34;&gt;KUBE_API_ROOT&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;http://172.18.100.187:8080/api/v1/

&lt;span class=&#34;c1&#34;&gt;# Enable Calcio IPAM&lt;/span&gt;
&lt;span class=&#34;nv&#34;&gt;CALICO_IPAM&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;nb&#34;&gt;true&lt;/span&gt;

注意, 每个Node需要修改DEFAULT_IPV4地址为自己的IP地址

&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;root@node-one ~&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# cat /etc/systemd/system/calico-node.service&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;Unit&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;
&lt;span class=&#34;nv&#34;&gt;Description&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;Calico per-node agent
&lt;span class=&#34;nv&#34;&gt;Documentation&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;https://github.com/projectcalico/calico-docker
&lt;span class=&#34;nv&#34;&gt;Requires&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;docker.service
&lt;span class=&#34;nv&#34;&gt;After&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;docker.service

&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;Service&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;
&lt;span class=&#34;nv&#34;&gt;EnvironmentFile&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;/etc/network-environment
&lt;span class=&#34;nv&#34;&gt;User&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;root
&lt;span class=&#34;nv&#34;&gt;PermissionsStartOnly&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;nb&#34;&gt;true&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#ExecStart=/usr/bin/calicoctl node --ip=${DEFAULT_IPV4} --kubernetes --kube-plugin-version=v0.6.1 --detach=false&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;# use CNI: https://github.com/projectcalico/calico-cni&lt;/span&gt;
&lt;span class=&#34;nv&#34;&gt;ExecStart&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;/usr/bin/calicoctl node --ip&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;DEFAULT_IPV4&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt; --detach&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;nb&#34;&gt;false&lt;/span&gt;
&lt;span class=&#34;nv&#34;&gt;Restart&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;always
&lt;span class=&#34;nv&#34;&gt;RestartSec&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;10&lt;/span&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;start &amp;amp; enable calico: &lt;code&gt;systemctl enable calico &amp;amp;&amp;amp; systemctl start calico&lt;/code&gt;&lt;/p&gt;

&lt;h3 id=&#34;kubernetes&#34;&gt;Kubernetes&lt;/h3&gt;

&lt;h4 id=&#34;master-1&#34;&gt;Master&lt;/h4&gt;

&lt;p&gt;scp kube-apiserver kubectl kube-scheduler kube-controller-manager kubelet to master&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;[root@master bin]# cat /etc/systemd/system/kube-apiserver.service
[Unit]
Description=Kubernetes API Server
Documentation=https://github.com/kubernetes/kubernetes
Requires=etcd.service
After=etcd.service

[Service]
ExecStart=/usr/bin/kube-apiserver \
  --allow-privileged=true \
  --etcd-servers=http://127.0.0.1:6666 \
  --insecure-bind-address=0.0.0.0 \
  --service-cluster-ip-range=10.100.0.0/24 \
  --logtostderr=true
Restart=always
RestartSec=10

[Install]
WantedBy=multi-user.target


[root@master bin]# cat /etc/systemd/system/kube-scheduler.service
[Unit]
Description=Kubernetes Scheduler
Documentation=https://github.com/kubernetes/kubernetes
Requires=kube-apiserver.service
After=kube-apiserver.service

[Service]
ExecStart=/usr/bin/kube-scheduler \
  --master=127.0.0.1:8080 \
  --logtostderr=true
Restart=always
RestartSec=10

[Install]
WantedBy=multi-user.target


[root@master bin]# cat /etc/systemd/system/kube-controller-manager.service
[Unit]
Description=Kubernetes Controller Manager
Documentation=https://github.com/kubernetes/kubernetes
Requires=kube-apiserver.service
After=kube-apiserver.service

[Service]
ExecStart=/usr/bin/kube-controller-manager \
  --master=127.0.0.1:8080 \
  --logtostderr=true
Restart=always
RestartSec=10

[Install]
WantedBy=multi-user.target


[root@master bin]# cat /etc/systemd/system/kubelet.service
[Unit]
Description=Kubernetes Kubelet
Documentation=https://github.com/kubernetes/kubernetes
Requires=docker.service
After=docker.service

[Service]
ExecStart=/usr/bin/kubelet \
--config=/etc/kubernetes/manifests \
--logtostderr=true
Restart=always
RestartSec=10

[Install]
WantedBy=multi-user.target&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;start &amp;amp; enable all kube service&lt;/p&gt;

&lt;h4 id=&#34;node-1&#34;&gt;Node&lt;/h4&gt;

&lt;blockquote&gt;
&lt;p&gt;mkdir -p /opt/cni/bin
sudo wget -N -P /opt/cni/bin/ &lt;a href=&#34;https://github.com/projectcalico/calico-cni/releases/download/v0.2.0/calico&#34;&gt;https://github.com/projectcalico/calico-cni/releases/download/v0.2.0/calico&lt;/a&gt;
sudo wget -N -P /opt/cni/bin/ &lt;a href=&#34;https://github.com/projectcalico/calico-cni/releases/download/v0.2.0/calico-ipam&#34;&gt;https://github.com/projectcalico/calico-cni/releases/download/v0.2.0/calico-ipam&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;mkdir -p /etc/cni/net.d/
cat /etc/cni/net.d/10-calico.conf&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;{
    &amp;#34;name&amp;#34;: &amp;#34;calico-k8s-network&amp;#34;,
    &amp;#34;type&amp;#34;: &amp;#34;calico&amp;#34;,
    &amp;#34;etcd_authority&amp;#34;: &amp;#34;172.18.100.187:6666&amp;#34;,
    &amp;#34;log_level&amp;#34;: &amp;#34;debug&amp;#34;,
    &amp;#34;ipam&amp;#34;: {
        &amp;#34;type&amp;#34;: &amp;#34;calico-ipam&amp;#34;
    }
}&lt;/pre&gt;&lt;/div&gt;&lt;/blockquote&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;[root@node-one ~]# cat /etc/systemd/system/kubelet.service
[Unit]
Description=Kubernetes Kubelet
Documentation=https://github.com/kubernetes/kubernetes
After=calico-node.service
Requires=calico-node.service

[Service]
EnvironmentFile=/etc/network-environment
ExecStart=/usr/bin/kubelet \
--address=0.0.0.0 \
--port=10250 \
--hostname_override=${DEFAULT_IPV4} \
--cluster-dns=10.100.0.10 \
--cluster-domain=cluster.local \
--api_servers=${KUBERNETES_MASTER}:8080 \
--network-plugin=cni \
--network-plugin-dir=/etc/cni/net.d \
--logtostderr=true
Restart=always
RestartSec=10

[Install]
WantedBy=multi-user.target


[root@node-one ~]# cat /etc/systemd/system/kube-proxy.service
[Unit]
Description=Kubernetes Proxy
Documentation=https://github.com/kubernetes/kubernetes
After=calico-node.service
Requires=calico-node.service

[Service]
EnvironmentFile=/etc/network-environment
ExecStart=/usr/bin/kube-proxy --master=http://${KUBERNETES_MASTER}:8080 --logtostderr=true --proxy-mode=iptables
Restart=always
RestartSec=10&lt;/pre&gt;&lt;/div&gt;
&lt;h2 id=&#34;kubeadm&#34;&gt;Kubeadm&lt;/h2&gt;

&lt;p&gt;docker images &lt;a href=&#34;https://quay.io/repository/mritd/kubernetes-dashboard-amd64?tab=tags&#34;&gt;https://quay.io/repository/mritd/kubernetes-dashboard-amd64?tab=tags&lt;/a&gt;
kubectl proxy &amp;ndash;address 172.18.100.28 &amp;ndash;accept-hosts=&amp;lsquo;^*$&amp;rsquo;&lt;/p&gt;

&lt;p&gt;disable firewalld
disable selinux
set hostname
&amp;ldquo;&amp;ndash;cgroup-driver=systemd &amp;ndash;pod-infra-container-image=tacylee/pause-amd64:3.0&amp;rdquo;
export KUBE_REPO_PREFIX=tacylee
export KUBECONFIG=/etc/kubernetes/admin.conf&lt;/p&gt;

&lt;p&gt;编译rpm在kubernetes/release仓库.&lt;/p&gt;

&lt;h1 id=&#34;using-kubernetes&#34;&gt;Using Kubernetes&lt;/h1&gt;

&lt;h2 id=&#34;start-stop-env&#34;&gt;start &amp;amp; stop env&lt;/h2&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;docker start {ceph_container_id}
systemctl --user start qemu@master
systemctl --user start qemu@node-one
systemctl --user start qemu@node-two&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;一些常用命令:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;ETCD_AUTHORITY=172.18.100.187:6666 ./calicoctl endpoint show --detailed

etcdctl -C 172.18.100.187:6666 ls --recursive /calico&lt;/pre&gt;&lt;/div&gt;
&lt;h2 id=&#34;label-nodes&#34;&gt;label nodes&lt;/h2&gt;

&lt;p&gt;&lt;code&gt;kubectl -s 172.18.100.187:8080 label nodes &#39;172.18.100.122&#39; skydns=server&lt;/code&gt;&lt;/p&gt;

&lt;h2 id=&#34;skydns&#34;&gt;skydns&lt;/h2&gt;

&lt;p&gt;服务发现扩展组件, 通过DNS实现, Kubernetes的DNS发现机制实现灵活:
  * 可以为Service建立DNS条目&lt;/p&gt;

&lt;p&gt;Service本身只是一个虚IP, 并不真正提供接入服务, 不用担心健康问题.&lt;/p&gt;

&lt;ul&gt;
&lt;li&gt;也可以为Pods建立多个DNS条目&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;如果你希望采用自己的服务发现组件, 你也可以选择为Pods建立一组DNS条目, 然后自己实现负载均衡机制&lt;/p&gt;

&lt;p&gt;使用skydns只需在启动kubelet的时候, 设置cluster-dns启动参数, Container就用会用该IP当DNS Server.&lt;/p&gt;

&lt;p&gt;Create skydns into the label skydns=server of node&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;kubectl -s 172.18.100.187:8080 create -f skydns-rc.yaml
kubectl -s 172.18.100.187:8080 create -f skydns-svc.yaml&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;查看skydns运行情况:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;kubectl -s 172.18.100.187:8080 get -w wide rc --all-namespace
kubectl -s 172.18.100.187:8080 get -w wide pods --all-namespace
kubectl -s 172.18.100.187:8080 exec busybox nslookup kubernetes.default
Server:    10.100.0.10
Address 1: 10.100.0.10

Name:      kubernetes.default
Address 1: 10.100.0.1

kubectl -s 172.18.100.187:8080 exec busybox nslookup kube-ui.kube-system
Server:    10.100.0.10
Address 1: 10.100.0.10

Name:      kube-ui.kube-system
Address 1: 10.100.0.243&lt;/pre&gt;&lt;/div&gt;&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;//skydns-rc.yaml
apiVersion: v1
kind: ReplicationController
metadata:
  name: kube-dns-v8
  namespace: kube-system
  labels:
    k8s-app: kube-dns
    version: v8
    kubernetes.io/cluster-service: &amp;#34;true&amp;#34;
spec:
  replicas: 1
  selector:
    k8s-app: kube-dns
    version: v8
  template:
    metadata:
      labels:
        k8s-app: kube-dns
        version: v8
        kubernetes.io/cluster-service: &amp;#34;true&amp;#34;
    spec:
      containers:
      - name: kube2sky
        image: gcr.io/google_containers/kube2sky:1.11
        resources:
          limits:
            cpu: 100m
            memory: 50Mi
        args:
        # command = &amp;#34;/kube2sky&amp;#34;
        - -domain=cluster.local
        - -kube_master_url=http://172.18.100.187:8080
        - -etcd-server=http://172.18.100.187:6666
      - name: skydns
        image: gcr.io/google_containers/skydns:2015-03-11-001
        resources:
          limits:
            cpu: 100m
            memory: 50Mi
        args:
        # command = &amp;#34;/skydns&amp;#34;
        - -machines=http://172.18.100.187:6666
        - -addr=0.0.0.0:53
        - -domain=cluster.local.
        ports:
        - containerPort: 53
          name: dns
          protocol: UDP
        - containerPort: 53
          name: dns-tcp
          protocol: TCP
        livenessProbe:
          httpGet:
            path: /healthz
            port: 8080
            scheme: HTTP
          initialDelaySeconds: 30
          timeoutSeconds: 5
      - name: healthz
        image: gcr.io/google_containers/exechealthz:1.0
        resources:
          limits:
            cpu: 10m
            memory: 20Mi
        args:
        - -cmd=nslookup kubernetes.default.svc.cluster.local localhost &amp;gt;/dev/null
        - -port=8080
        ports:
        - containerPort: 8080
          protocol: TCP
      dnsPolicy: Default  # Don&amp;#39;t use cluster DNS.
      nodeSelector:
        skydns: server


\\skydns-svc.yaml
apiVersion: v1
kind: Service
metadata:
  name: kube-dns
  namespace: kube-system
  labels:
    k8s-app: kube-dns
    kubernetes.io/cluster-service: &amp;#34;true&amp;#34;
    kubernetes.io/name: &amp;#34;KubeDNS&amp;#34;
spec:
  selector:
    k8s-app: kube-dns
  clusterIP: 10.100.0.10
  ports:
  - name: dns
    port: 53
    protocol: UDP
  - name: dns-tcp
    port: 53
    protocol: TCP&lt;/pre&gt;&lt;/div&gt;
&lt;h2 id=&#34;debug&#34;&gt;Debug&lt;/h2&gt;

&lt;p&gt;kubectl run -i &amp;ndash;tty busybox &amp;ndash;image=busybox &amp;ndash; sh&lt;/p&gt;

&lt;h3 id=&#34;e2e-performance-test&#34;&gt;E2E Performance Test&lt;/h3&gt;

&lt;p&gt;There is an end-to-end test for collecting overall resource usage of node components:
&lt;a href=&#34;../../test/e2e/kubelet_perf.go&#34;&gt;kubelet_perf.go&lt;/a&gt;. To
run the test, simply make sure you have an e2e cluster running (&lt;code&gt;go run hack/e2e.go -up&lt;/code&gt;) and
&lt;a href=&#34;#cluster-set-up&#34;&gt;set up&lt;/a&gt; correctly.&lt;/p&gt;

&lt;p&gt;Run the test with &lt;code&gt;go run hack/e2e.go -v -test
--test_args=&amp;quot;--ginkgo.focus=resource\susage\stracking&amp;quot;&lt;/code&gt;. You may also wish to customise the number of
pods or other parameters of the test (remember to rerun &lt;code&gt;make WHAT=test/e2e/e2e.test&lt;/code&gt; after you do).&lt;/p&gt;

&lt;h3 id=&#34;profiling&#34;&gt;Profiling&lt;/h3&gt;

&lt;p&gt;Kubelet installs the &lt;a href=&#34;https://golang.org/pkg/net/http/pprof/&#34;&gt;go pprof handlers&lt;/a&gt;, which can be
queried for CPU profiles:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-console&#34; data-lang=&#34;console&#34;&gt;$ kubectl proxy &amp;amp;
Starting to serve on 127.0.0.1:8001
$ curl -G &amp;#34;http://localhost:8001/api/v1/proxy/nodes/${NODE}:10250/debug/pprof/profile?seconds=${DURATION_SECONDS}&amp;#34; &amp;gt; $OUTPUT
$ KUBELET_BIN=_output/dockerized/bin/linux/amd64/kubelet
$ go tool pprof -web $KUBELET_BIN $OUTPUT&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;&lt;code&gt;pprof&lt;/code&gt; can also provide heap usage, from the &lt;code&gt;/debug/pprof/heap&lt;/code&gt; endpoint
(e.g. &lt;code&gt;http://localhost:8001/api/v1/proxy/nodes/${NODE}:10250/debug/pprof/heap&lt;/code&gt;).&lt;/p&gt;

&lt;p&gt;More information on go profiling can be found &lt;a href=&#34;http://blog.golang.org/profiling-go-programs&#34;&gt;here&lt;/a&gt;.&lt;/p&gt;

&lt;h3 id=&#34;benchmarks&#34;&gt;Benchmarks&lt;/h3&gt;

&lt;p&gt;Before jumping through all the hoops to measure a live Kubernetes node in a real cluster, it is
worth considering whether the data you need can be gathered through a Benchmark test. Go provides a
really simple benchmarking mechanism, just add a unit test of the form:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-go&#34; data-lang=&#34;go&#34;&gt;&lt;span class=&#34;c1&#34;&gt;// In foo_test.go
&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;&lt;/span&gt;&lt;span class=&#34;kd&#34;&gt;func&lt;/span&gt; &lt;span class=&#34;nf&#34;&gt;BenchmarkFoo&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;nx&#34;&gt;b&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;*&lt;/span&gt;&lt;span class=&#34;nx&#34;&gt;testing&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;nx&#34;&gt;B&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;)&lt;/span&gt; &lt;span class=&#34;p&#34;&gt;{&lt;/span&gt;
  &lt;span class=&#34;nx&#34;&gt;b&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;nf&#34;&gt;StopTimer&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;()&lt;/span&gt;
  &lt;span class=&#34;nf&#34;&gt;setupFoo&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;()&lt;/span&gt; &lt;span class=&#34;c1&#34;&gt;// Perform any global setup
&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;&lt;/span&gt;  &lt;span class=&#34;nx&#34;&gt;b&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;nf&#34;&gt;StartTimer&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;()&lt;/span&gt;
  &lt;span class=&#34;k&#34;&gt;for&lt;/span&gt; &lt;span class=&#34;nx&#34;&gt;i&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;:=&lt;/span&gt; &lt;span class=&#34;mi&#34;&gt;0&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; &lt;span class=&#34;nx&#34;&gt;i&lt;/span&gt; &lt;span class=&#34;p&#34;&gt;&amp;lt;&lt;/span&gt; &lt;span class=&#34;nx&#34;&gt;b&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;.&lt;/span&gt;&lt;span class=&#34;nx&#34;&gt;N&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; &lt;span class=&#34;nx&#34;&gt;i&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;++&lt;/span&gt; &lt;span class=&#34;p&#34;&gt;{&lt;/span&gt;
    &lt;span class=&#34;nf&#34;&gt;foo&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;()&lt;/span&gt; &lt;span class=&#34;c1&#34;&gt;// Functionality to measure
&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;&lt;/span&gt;  &lt;span class=&#34;p&#34;&gt;}&lt;/span&gt;
&lt;span class=&#34;p&#34;&gt;}&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;Then:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-console&#34; data-lang=&#34;console&#34;&gt;$ go test -bench=. -benchtime=${SECONDS}s foo_test.go&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;More details on benchmarking &lt;a href=&#34;https://golang.org/pkg/testing/&#34;&gt;here&lt;/a&gt;.&lt;/p&gt;

&lt;h3 id=&#34;dns&#34;&gt;DNS&lt;/h3&gt;

&lt;h2 id=&#34;kube-ui&#34;&gt;kube-ui&lt;/h2&gt;

&lt;p&gt;Kubernetes portal, 新的项目是Dashboard, 部署kube-ui通过下面yaml文件. 注意在svc文件中定义了type和nodeport, 你可以在集群外部通过任意node的ip访问到kube-ui.&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;\\kube-ui-rc.yaml
apiVersion: v1
kind: ReplicationController
metadata:
  name: kube-ui-v4
  namespace: kube-system
  labels:
    k8s-app: kube-ui
    version: v4
    kubernetes.io/cluster-service: &amp;#34;true&amp;#34;
spec:
  replicas: 1
  selector:
    k8s-app: kube-ui
    version: v4
  template:
    metadata:
      labels:
        k8s-app: kube-ui
        version: v4
        kubernetes.io/cluster-service: &amp;#34;true&amp;#34;
    spec:
      containers:
      - name: kube-ui
        image: gcr.io/google_containers/kube-ui:v4
        resources:
          limits:
            cpu: 100m
            memory: 50Mi
        ports:
        - containerPort: 8080
        livenessProbe:
          httpGet:
            path: /
            port: 8080
          initialDelaySeconds: 30
          timeoutSeconds: 5
      nodeSelector:
        kube-ui: server


\\kube-ui-svc.yaml
apiVersion: v1
kind: Service
metadata:
  name: kube-ui
  namespace: kube-system
  labels:
    k8s-app: kube-ui
    kubernetes.io/cluster-service: &amp;#34;true&amp;#34;
    kubernetes.io/name: &amp;#34;KubeUI&amp;#34;
spec:
  selector:
    k8s-app: kube-ui
  clusterIP: 10.100.0.243
  type: NodePort
  ports:
  - port: 80
    targetPort: 8080
    nodePort: 30061&lt;/pre&gt;&lt;/div&gt;
&lt;h2 id=&#34;volumes&#34;&gt;Volumes&lt;/h2&gt;

&lt;p&gt;Kubernetes支持Volume, Container可以和Volume绑定, 不同的Volume有不同的特性, 例如当容器销毁的时候, rdb volume不会销毁.&lt;/p&gt;

&lt;h3 id=&#34;ceph-in-docker&#34;&gt;Ceph in Docker&lt;/h3&gt;

&lt;p&gt;如果你没ceph环境, 可以通过下面这个命令创建一个基于容器的&lt;sup class=&#34;footnote-ref&#34; id=&#34;fnref:8&#34;&gt;&lt;a href=&#34;#fn:8&#34;&gt;5&lt;/a&gt;&lt;/sup&gt;. 注意: 在我的Archlinux环境, 必须用特权容器, 否则rbd map的时候抛只读文件系统错误.&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;span class=&#34;cp&#34;&gt;#!/bin/bash
&lt;/span&gt;&lt;span class=&#34;cp&#34;&gt;&lt;/span&gt;
sudo docker run -d --net&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;host --privileged&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;nb&#34;&gt;true&lt;/span&gt; --name ceph-cluster &lt;span class=&#34;se&#34;&gt;\
&lt;/span&gt;&lt;span class=&#34;se&#34;&gt;&lt;/span&gt;-v /etc/ceph:/etc/ceph &lt;span class=&#34;se&#34;&gt;\
&lt;/span&gt;&lt;span class=&#34;se&#34;&gt;&lt;/span&gt;-v /var/lib/ceph/:/var/lib/ceph/ &lt;span class=&#34;se&#34;&gt;\
&lt;/span&gt;&lt;span class=&#34;se&#34;&gt;&lt;/span&gt;-e &lt;span class=&#34;nv&#34;&gt;MON_IP&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;172&lt;/span&gt;.18.0.1 &lt;span class=&#34;se&#34;&gt;\
&lt;/span&gt;&lt;span class=&#34;se&#34;&gt;&lt;/span&gt;-e &lt;span class=&#34;nv&#34;&gt;CEPH_NETWORK&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;172&lt;/span&gt;.18.0.0/16 &lt;span class=&#34;se&#34;&gt;\
&lt;/span&gt;&lt;span class=&#34;se&#34;&gt;&lt;/span&gt;ceph/demo&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;验证ceph状态:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;[tacy@tacyArch ~]# docker exec {CONTAINER_ID} ceph status
    cluster 9f487f28-d328-4f1a-bdb2-737006c8d7e9
     health HEALTH_OK
     monmap e1: 1 mons at {tacyArch=172.18.0.1:6789/0}
            election epoch 1, quorum 0 tacyArch
     mdsmap e10: 1/1/1 up {0=0=up:active}
     osdmap e22: 1 osds: 1 up, 1 in
            flags sortbitwise
      pgmap v28: 128 pgs, 9 pools, 2808 bytes data, 190 objects
            28159 MB used, 170 GB / 208 GB avail
                 120 active+clean
                   8 active+clean+replay
  client io 81925 B/s rd, 0 B/s wr, 133 op/s&lt;/pre&gt;&lt;/div&gt;
&lt;h3 id=&#34;use-rdb-volume&#34;&gt;Use rdb volume&lt;/h3&gt;

&lt;h4 id=&#34;conf-node&#34;&gt;Conf node&lt;/h4&gt;

&lt;p&gt;&lt;code&gt;yum install ceph-common&lt;/code&gt;&lt;/p&gt;

&lt;h4 id=&#34;create-ceph-secret&#34;&gt;Create ceph secret&lt;/h4&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;[tacy@tacyArch ~]# docker exec {CEPH_CONTAINER_ID} ceph auth get-key client.admin
AQC8dINWKUyBNxAARQN5Fz0xNmltCSyRz0924A==

[tacy@tacyArch ~]# echo &amp;#39;AQC8dINWKUyBNxAARQN5Fz0xNmltCSyRz0924A==&amp;#39; |base64
QVFDOGRJTldLVXlCTnhBQVJRTjVGejB4Tm1sdENTeVJ6MDkyNEE9PQo=&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;Edit your ceph-secret.yml with the base64 key:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;apiVersion: v1
kind: Secret
metadata:
  name: ceph-secret
data:
  key: QVFCQU1vMVZxRTFPTWhBQVZwRVJQY3lRVTVwelU2SU9KMjJ4MXc9PQo=&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;Add your secret to Kubernetes:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;$ kubectl create -f ceph-secret.yaml
$ kubectl get secret
NAME                  TYPE                                  DATA
ceph-secret           Opaque                                1&lt;/pre&gt;&lt;/div&gt;
&lt;h4 id=&#34;create-ceph-image&#34;&gt;Create ceph image&lt;/h4&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;$ docker exec {CEPH_CONTAINER_ID} rbd create foo -s 100
$ docker exec {CEPH_CONTAINER_ID} rbd map foo
$ docker exec {CEPH_CONTAINER_ID} rbd mkfs.ext4 /dev/rbd0
$ docker exec {CEPH_CONTAINER_ID} rbd unmap /dev/rbd0&lt;/pre&gt;&lt;/div&gt;
&lt;h4 id=&#34;create-pod-with-foo&#34;&gt;Create pod with foo&lt;/h4&gt;

&lt;h2 id=&#34;tips&#34;&gt;tips&lt;/h2&gt;

&lt;p&gt;&lt;a href=&#34;http://172.18.100.187:8080/api/v1/proxy/namespaces/kube-system/services/kubedash/#!/&#34;&gt;kubedash&lt;/a&gt;
&lt;a href=&#34;http://172.18.100.187:8080/api/v1/proxy/namespaces/default/services/cluster-insight:cluster-insight/&#34;&gt;cluster-insight&lt;/a&gt;&lt;/p&gt;

&lt;h1 id=&#34;api&#34;&gt;API&lt;/h1&gt;

&lt;h3 id=&#34;fieldselect-9-10&#34;&gt;fieldSelect&lt;sup class=&#34;footnote-ref&#34; id=&#34;fnref:9&#34;&gt;&lt;a href=&#34;#fn:9&#34;&gt;6&lt;/a&gt;&lt;/sup&gt;&lt;sup class=&#34;footnote-ref&#34; id=&#34;fnref:10&#34;&gt;&lt;a href=&#34;#fn:10&#34;&gt;7&lt;/a&gt;&lt;/sup&gt;&lt;/h3&gt;

&lt;p&gt;通过&lt;code&gt;kubectl -v=8&lt;/code&gt;能看到所有的kubectl关于api的调用.
&lt;code&gt;kubectl proxy&lt;/code&gt;
&lt;code&gt;curl http://127.0.0.1:8001/api/v1/pods?fielSelector=spec.nodeName=primeton-tacy-k8s-node2,metadata.namespace=default&lt;/code&gt;&lt;/p&gt;

&lt;h1 id=&#34;code&#34;&gt;Code&lt;/h1&gt;

&lt;h2 id=&#34;kube-proxy&#34;&gt;kube-proxy&lt;/h2&gt;

&lt;p&gt;两个功能: 第一负责监听endpoint变化, 建立iptables规则, 第二负责userspace的代理, 如果代理模式选择userspace的话&lt;/p&gt;

&lt;h2 id=&#34;kubelet-1&#34;&gt;kubelet&lt;/h2&gt;

&lt;p&gt;cmd/kubelet/server.go:RunKubelet 进入 -&amp;gt; CreateAndInitKubelet -&amp;gt; pkg/kubelet.go: NewMainKubelet -&amp;gt; makePodSourceConfig -&amp;gt;pkg/kubelet/config/apiserver.go:NewSourceApiserver 这是监控apiserver, 获取所有的pod update事件&lt;/p&gt;

&lt;p&gt;然后主gorouinte会扫描podupdate channel, 处理事件&lt;/p&gt;

&lt;h3 id=&#34;初始化kubelet配置&#34;&gt;初始化kubelet配置&lt;/h3&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;kubelet.go: s := options.NewKubeletServer()
options.go: api.Scheme.Convert(&amp;amp;v1alpha1.KubeletConfiguration{}, &amp;amp;config, nil)&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;这里引入v1alpha1包, 利用v1alpha1包下面的register.go文件中的下面代码注入缺省配置:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;var (
	SchemeBuilder = runtime.NewSchemeBuilder(addKnownTypes, addDefaultingFuncs)
	AddToScheme   = SchemeBuilder.AddToScheme
)&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;其中的addDefaultingFuncs:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;func addDefaultingFuncs(scheme *kruntime.Scheme) error {
	return scheme.AddDefaultingFuncs(
		SetDefaults_KubeProxyConfiguration,
		SetDefaults_KubeSchedulerConfiguration,
		SetDefaults_LeaderElectionConfiguration,
		SetDefaults_KubeletConfiguration,
	)
}&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;kubelet就是通过SetDefaults_KubeletConfiguration方法初始化配置缺省值.&lt;/p&gt;

&lt;p&gt;具体调用:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;return s.converter.Convert(in, out, flags, meta)
return c.doConversion(src, dest, flags, meta, c.convert)
return f(sv, dv, s)&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;这里的f就是动态注入的SetDefaults_KubeletConfiguration&lt;/p&gt;

&lt;h1 id=&#34;example&#34;&gt;Example&lt;/h1&gt;

&lt;h2 id=&#34;thirdpartyresource&#34;&gt;ThirdPartyResource&lt;/h2&gt;

&lt;p&gt;&lt;a href=&#34;https://github.com/tiaanl/kube-tpr-demo&#34;&gt;https://github.com/tiaanl/kube-tpr-demo&lt;/a&gt;
&lt;a href=&#34;https://github.com/wfarr/k8s-tpr-playground&#34;&gt;https://github.com/wfarr/k8s-tpr-playground&lt;/a&gt;
&lt;a href=&#34;https://github.com/kubernetes/kubernetes/pull/43027&#34;&gt;https://github.com/kubernetes/kubernetes/pull/43027&lt;/a&gt;
&lt;a href=&#34;https://github.com/kubernetes/client-go/issues/8&#34;&gt;https://github.com/kubernetes/client-go/issues/8&lt;/a&gt;
&lt;a href=&#34;https://groups.google.com/forum/#!topic/kubernetes-sig-network/igJrjG-v-Cs&#34;&gt;https://groups.google.com/forum/#!topic/kubernetes-sig-network/igJrjG-v-Cs&lt;/a&gt;&lt;/p&gt;

&lt;h1 id=&#34;usage&#34;&gt;Usage&lt;/h1&gt;

&lt;h2 id=&#34;rolling-update&#34;&gt;rolling update&lt;/h2&gt;

&lt;p&gt;滚动更新, 用一个新版本的rc替换就版本的rc, 也可以直接更新image, 不用新写rc文件
Deployment支持recreate和rollupdate两种模式, 但是目前没法支持restart之类的需求&lt;/p&gt;

&lt;h2 id=&#34;访问集群&#34;&gt;访问集群&lt;/h2&gt;

&lt;p&gt;kubectl proxy &amp;ndash;accept-hosts=&amp;lsquo;^*&amp;lsquo;, &amp;ndash;address=&amp;lsquo;0.0.0.0&amp;rsquo;
&lt;a href=&#34;http://172.18.100.28:8001/api/v1/proxy/nodes/kube-node1.mytacy.com:10250/stats/summary&#34;&gt;http://172.18.100.28:8001/api/v1/proxy/nodes/kube-node1.mytacy.com:10250/stats/summary&lt;/a&gt;
&lt;a href=&#34;http://localhost:8080/api/v1/namespaces/kube-system/services/elasticsearch-logging/proxy/&#34;&gt;http://localhost:8080/api/v1/namespaces/kube-system/services/elasticsearch-logging/proxy/&lt;/a&gt;&lt;/p&gt;

&lt;h1 id=&#34;issue&#34;&gt;Issue&lt;/h1&gt;

&lt;h2 id=&#34;arch&#34;&gt;Arch&lt;/h2&gt;

&lt;ol&gt;
&lt;li&gt;arch roadmap: &lt;a href=&#34;https://docs.google.com/document/d/1XkjVm4bOeiVkj-Xt1LgoGiqWsBfNozJ51dyI-ljzt1o/edit#&#34;&gt;Kubernetes Architectural Roadmap (was Core/Layers Working Doc) &lt;/a&gt;&lt;/li&gt;
&lt;/ol&gt;

&lt;h2 id=&#34;volume&#34;&gt;Volume&lt;/h2&gt;

&lt;ol&gt;
&lt;li&gt;实现类似docker的volume共享: &lt;a href=&#34;https://github.com/kubernetes/kubernetes/issues/831&#34;&gt;Idea: New volume type: &amp;ldquo;container&amp;rdquo; #831&lt;/a&gt;&lt;/li&gt;
&lt;/ol&gt;

&lt;h2 id=&#34;schedule&#34;&gt;Schedule&lt;/h2&gt;

&lt;ol&gt;
&lt;li&gt;重新调度功能: &lt;a href=&#34;https://github.com/kubernetes/community/blob/master/contributors/design-proposals/rescheduling.md&#34;&gt;Controlled Rescheduling in Kubernetes&lt;/a&gt;&lt;/li&gt;
&lt;/ol&gt;

&lt;h2 id=&#34;security&#34;&gt;security&lt;/h2&gt;

&lt;ol&gt;
&lt;li&gt;async addmission control &lt;a href=&#34;https://github.com/kubernetes/community/pull/132&#34;&gt;Extension of Admission Control via Initializers and External Admission Enforcement&lt;/a&gt;&lt;/li&gt;
&lt;/ol&gt;

&lt;h2 id=&#34;api-machine&#34;&gt;API Machine&lt;/h2&gt;

&lt;ol&gt;
&lt;li&gt;&lt;a href=&#34;https://docs.google.com/document/d/1lU1SnVtEec2iIfYx5U3L5N0za2YhfEOik0uPen276Ks/edit#&#34;&gt;API Extensions position statement&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;&lt;a href=&#34;https://docs.google.com/document/d/1y16jKL2hMjQO0trYBJJSczPAWj8vAgNFrdTZeCincmI/edit#heading=h.xugwibxye5f0&#34;&gt;Two Ways to Extend the K8s API&lt;/a&gt;&lt;/li&gt;
&lt;/ol&gt;

&lt;h2 id=&#34;sig&#34;&gt;sig&lt;/h2&gt;

&lt;h3 id=&#34;configmap-https-github-com-kubernetes-kubernetes-blob-master-docs-design-configmap-md-changes-to-secret&#34;&gt;&lt;a href=&#34;https://github.com/kubernetes/kubernetes/blob/master/docs/design/configmap.md#changes-to-secret&#34;&gt;configmap&lt;/a&gt;&lt;/h3&gt;

&lt;p&gt;Use Cases&lt;/p&gt;

&lt;p&gt;As a user, I want to be able to consume configuration data as environment variables.
As a user, I want to be able to consume configuration data as files in a volume.
As a user, I want my view of configuration data in files to be eventually consistent with changes to the data.&lt;/p&gt;

&lt;p&gt;如果作为Volume使用, 修改能被动态传播到Pod中, 用户可以监控文件实现功能, 如果作为环境变量, 不会传播&lt;/p&gt;

&lt;p&gt;Secret volume should refresh when secrets are updated #&lt;a href=&#34;https://github.com/kubernetes/kubernetes/issues/18372&#34;&gt;18372&lt;/a&gt;, 这个issue已经fix, 也就是说目前支持secret的refresh(Pod可见, 之前必须删除secret然后建立一个新的)
里面提到:&lt;/p&gt;

&lt;p&gt;configmap的两种适用模式&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;I think there are 2 patterns people will use with ConfigMap:

Update the ConfigMap and expect it to immediately propagate to all instances. They may watch their configurations using using inotify, or expect a HUP, or just restart. This is useful for applications where all replicas need consistent configuration. I&amp;#39;d guess etcd and Zookeeper are in this category.

Create a new ConfigMap, update the pod template to reference it, and roll it out via rolling update. This is useful when replicas don&amp;#39;t need identical configuration and one is worried about pushing bad configs, which is a common source of failure.

Updating ConfigMap and not propagating the change is just confusing. Expecting users to kill pods in order to implicitly pick up changes lacks transparency and predictability, which is why we moved away from that approach in rolling update.

Other than &amp;#34;it was simpler to implement&amp;#34;, what&amp;#39;s the rationale for not propagating Secret updates?&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;下面谈到configmap update的几种情况&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;Re: picking up new config:

The user-centric question for configmap updates (and secrets now that we are going to allow updates) is I updated my configMap/Secret... Now when should I expect to see my app use the new files?

If we think the system should be able to answer this for the user, then it would need to know the semantics of the application in the container. We thought there were 3 styles of applications:

apps that need to restart to read config.
apps that reread config after a signal (HUP being the classic example)
apps that poll or inotify to detect file changes and reload
Users of secrets and configmap need to be aware which type of app they have, so they can know what the steps are to complete a config update / secret rotation for their app.

I wonder if we should define something like:

type ConfigPushAction string

const (
        // Restart means that the app requires restart to pick up changes to a configuration file.
        ConfigPushActionRestart ConfigPushAction = &amp;#34;Restart&amp;#34;
        // Hup means that the app requires a sighup to pickup changes to a configuration file.
        ConfigPushActionHup ConfigPushAction = &amp;#34;Hup&amp;#34;
        // None means that the app can detect new config files and so requires no action after config is pushed.
        ConfigPushActionNone ConfigPushAction = &amp;#34;None&amp;#34;
)
...
type Container struct {
...
   ConfigPushAction ConfigPushAction `omitempty, name:configPushAction`
...
}
It would get tricky though when you start to get into which pid to signal (maybe better to use the ExecProbe model instead, or for special cases). It also gets tricky if different files have different semantics.

But, if you get it right, then you can automate more of the update process.&lt;/pre&gt;&lt;/div&gt;
&lt;h3 id=&#34;无法动态更新配置&#34;&gt;无法动态更新配置&lt;/h3&gt;

&lt;p&gt;configmap目前无法滚动更新, 例如你更新了configmap的内容, 但是rc或者dc不会有任何操作, 没法做rollupdate, 目前的做法是, 你必须创建一个新的configmap, 然后修改dc或者rc, 引用到这个新的configmap, 然后触发dc rollupdate, 完成之后删除旧的configmap, 参见: Facilitate ConfigMap rollouts / management #&lt;a href=&#34;https://github.com/kubernetes/kubernetes/issues/22368&#34;&gt;22368&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;secret存在同样的问题&amp;hellip;&lt;/p&gt;

&lt;p&gt;openshift相关的configmap问题: Provide an option to redeploy deployment when config map used changes&lt;a href=&#34;https://github.com/openshift/origin/issues/9146&#34;&gt;#9146&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;类似的问题, 关于secret的更新问题Trigger to redeploy containers when a secret changes:&lt;a href=&#34;https://github.com/openshift/origin/issues/7019&#34;&gt;#7019&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;目前尚不支持In-place rolling updates &lt;a href=&#34;https://github.com/kubernetes/kubernetes/issues/9043&#34;&gt;#9043&lt;/a&gt;, 也就是说rollingupdate只能重新调度新的pod, 这对于有状态的pod不适用&lt;/p&gt;

&lt;p&gt;Canarying mechanism for ConfigMap #&lt;a href=&#34;https://github.com/kubernetes/kubernetes/issues/20200&#34;&gt;20200&lt;/a&gt;, 这里也希望能in-place update&lt;/p&gt;

&lt;p&gt;目前官方推荐的解法:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;I agree with @thockin&amp;#39;s last proposal. The right thing to do here is create a new ConfigMap and do a rolling update to switch to it, using the new Deployment API.&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;Thockin的一个issue, 支持动态配置Feature request: A way to signal pods #&lt;a href=&#34;https://github.com/kubernetes/kubernetes/issues/24957&#34;&gt;24957&lt;/a&gt;&lt;/p&gt;

&lt;h3 id=&#34;log&#34;&gt;log&lt;/h3&gt;

&lt;p&gt;关于日志的讨论Kubernetes logging, journalD, fluentD, and Splunk, oh my! #&lt;a href=&#34;https://github.com/kubernetes/kubernetes/issues/24677&#34;&gt;24677&lt;/a&gt;, 相关的doc: &lt;a href=&#34;https://docs.google.com/document/d/1K2hh7nQ9glYzGE-5J7oKBB7oK3S_MKqwCISXZK-sB2Q/edit#&#34;&gt;What I would like from Kubernetes Logging Volumes&lt;/a&gt;.&lt;/p&gt;

&lt;p&gt;&lt;a href=&#34;https://github.com/kubernetes/kubernetes/pull/33111&#34;&gt;[WIP] kubelet-cri: create a new logging mechanism #33111&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;&lt;a href=&#34;https://github.com/kubernetes/kubernetes/pull/35348&#34;&gt;CRI: Add kuberuntime container logs #35348&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;&lt;a href=&#34;https://github.com/kubernetes/kubernetes/issues/30709&#34;&gt;Handle logging in CRI #30709&lt;/a&gt;&lt;/p&gt;

&lt;h3 id=&#34;service&#34;&gt;service&lt;/h3&gt;

&lt;h4 id=&#34;支持dns服务外部注入&#34;&gt;支持dns服务外部注入&lt;/h4&gt;

&lt;p&gt;支持类似rds的外部service注入, 例如你在aws上有一个rds, kubernetes集群里面的应用需要引用, 可以看这个Proposal:Add proposal for service externalName &lt;a href=&#34;https://github.com/kubernetes/kubernetes/pull/29073&#34;&gt;#29073&lt;/a&gt;
用法类似这样:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;apiVersion: v1
kind: Service
metadata:
  name: my-rds
spec:
  ports:
  - port: 12345
type: ExternalName
externalName: myapp.rds.whatever.aws.says&lt;/pre&gt;&lt;/div&gt;
&lt;h4 id=&#34;支持node-local-service&#34;&gt;支持node-local service&lt;/h4&gt;

&lt;p&gt;有些daemonset pod, 通过service暴露给内部应用, 但是service有个问题, 他会随机选择一个pod提供服务. 这就带来一个问题, 例如fluentd, 首先这会带来跨节点流量问题, 本来同一node上的pod只需要把日志吐给本地的fluentd pod, 但是如果通过service, 可能会吐到其他node去, 这是明显不合理的, 尤其如果日志需要Node信息的时候.&lt;/p&gt;

&lt;p&gt;解决这个问题, 参考这个Proposal: Initial proposal for node-local services #&lt;a href=&#34;https://github.com/kubernetes/kubernetes/pull/28637v&#34;&gt;28637&lt;/a&gt;&lt;/p&gt;

&lt;h3 id=&#34;lb&#34;&gt;LB&lt;/h3&gt;

&lt;p&gt;有很多值得学习的东西use iptables for proxying instead of userspace #&lt;a href=&#34;https://github.com/kubernetes/kubernetes/issues/3760&#34;&gt;3760&lt;/a&gt;&lt;/p&gt;

&lt;h4 id=&#34;解决external-lb两跳和snat问题&#34;&gt;解决External LB两跳和SNAT问题&lt;/h4&gt;

&lt;h3 id=&#34;monitor&#34;&gt;monitor&lt;/h3&gt;

&lt;p&gt;cadvisor支持application metrics, 通过label和container volume实现: &lt;a href=&#34;https://github.com/google/cadvisor/issues/1016&#34;&gt;Introduce direct API for application metrics #1016
&lt;/a&gt;.&lt;/p&gt;

&lt;p&gt;kubelet集成cadvisor之后， 导致kubelet性能消耗很大， 带来很多问题: &lt;a href=&#34;https://github.com/kubernetes/kubernetes/issues/18770&#34;&gt;Standalone cAdvisor for monitoring #18770&lt;/a&gt;, 主要是影响kubelet稳定性和性能问题 &lt;a href=&#34;https://github.com/kubernetes/kubernetes/issues/16296&#34;&gt;Provide an option to disable/mock cadvisor in kubelet #16296&lt;/a&gt;， 而且有的用户并不使用cadvisor， 目前需要重新设计， 分离kubelet和cadvisor, 分离之后， cadvisor没有pod label， 对于使用cadvisor监控的人来说， 无法做pod聚合， 目前希望cadvisor提供pod label: &lt;a href=&#34;https://github.com/kubernetes/kubernetes/issues/32326&#34;&gt;cAdvisor should export pod labels for container metrics #32326&lt;/a&gt;.&lt;/p&gt;

&lt;p&gt;新定义的容器运行时接口，定义了container metrics， 相关issue&lt;a href=&#34;https://github.com/kubernetes/kubernetes/issues/27097&#34;&gt;A better story of container metrics for runtime integration #27097&lt;/a&gt;.&lt;/p&gt;

&lt;p&gt;新的监控架构设计 &lt;a href=&#34;https://github.com/kubernetes/kubernetes/pull/34758&#34;&gt;Add monitoring architecture #34758&lt;/a&gt;.&lt;/p&gt;

&lt;p&gt;&lt;a href=&#34;https://github.com/kubernetes/kubernetes/pull/34586&#34;&gt;Proposal: Introduce Custom Metrics API #34586&lt;/a&gt;&lt;/p&gt;

&lt;h1 id=&#34;footnote&#34;&gt;Footnote&lt;/h1&gt;
&lt;div class=&#34;footnotes&#34;&gt;

&lt;hr /&gt;

&lt;ol&gt;
&lt;li id=&#34;fn:7&#34;&gt;&lt;a href=&#34;qcow2 tuning&#34;&gt;http://events.linuxfoundation.org/sites/events/files/slides/p0.pp_.pdf&lt;/a&gt;
 &lt;a class=&#34;footnote-return&#34; href=&#34;#fnref:7&#34;&gt;&lt;sup&gt;[return]&lt;/sup&gt;&lt;/a&gt;&lt;/li&gt;
&lt;li id=&#34;fn:1&#34;&gt;&lt;a href=&#34;Solid State Drives&#34;&gt;https://wiki.archlinux.org/index.php/Solid_State_Drives&lt;/a&gt;
 &lt;a class=&#34;footnote-return&#34; href=&#34;#fnref:1&#34;&gt;&lt;sup&gt;[return]&lt;/sup&gt;&lt;/a&gt;&lt;/li&gt;
&lt;li id=&#34;fn:2&#34;&gt;&lt;a href=&#34;Discard with KVM&#34;&gt;https://chrisirwin.ca/posts/discard-with-kvm/&lt;/a&gt;
 &lt;a class=&#34;footnote-return&#34; href=&#34;#fnref:2&#34;&gt;&lt;sup&gt;[return]&lt;/sup&gt;&lt;/a&gt;&lt;/li&gt;
&lt;li id=&#34;fn:3&#34;&gt;&lt;a href=&#34;How to setup virtio scsi with qemu&#34;&gt;https://wiki.netbsd.org/tutorials/how_to_setup_virtio_scsi_with_qemu/&lt;/a&gt;
 &lt;a class=&#34;footnote-return&#34; href=&#34;#fnref:3&#34;&gt;&lt;sup&gt;[return]&lt;/sup&gt;&lt;/a&gt;&lt;/li&gt;
&lt;li id=&#34;fn:8&#34;&gt;&lt;a href=&#34;ceph docker&#34;&gt;https://github.com/ceph/ceph-docker/tree/master/demo&lt;/a&gt;
 &lt;a class=&#34;footnote-return&#34; href=&#34;#fnref:8&#34;&gt;&lt;sup&gt;[return]&lt;/sup&gt;&lt;/a&gt;&lt;/li&gt;
&lt;li id=&#34;fn:9&#34;&gt;&lt;a href=&#34;https://github.com/kubernetes/kubernetes/pull/28112&#34;&gt;Allow fieldSelectors to match arbitrary values &lt;/a&gt;
 &lt;a class=&#34;footnote-return&#34; href=&#34;#fnref:9&#34;&gt;&lt;sup&gt;[return]&lt;/sup&gt;&lt;/a&gt;&lt;/li&gt;
&lt;li id=&#34;fn:10&#34;&gt;&lt;a href=&#34;https://github.com/kubernetes/kubernetes/issues/1362&#34;&gt;Generic field selectors #1362&lt;/a&gt;
 &lt;a class=&#34;footnote-return&#34; href=&#34;#fnref:10&#34;&gt;&lt;sup&gt;[return]&lt;/sup&gt;&lt;/a&gt;&lt;/li&gt;
&lt;/ol&gt;
&lt;/div&gt;
</description>
      
    </item>
    
    <item>
      <title>golang notes</title>
      <link>http://tacy.github.io/post/go/</link>
      <pubDate>Tue, 01 Mar 2016 00:00:00 +0000</pubDate>
      
      <guid>http://tacy.github.io/post/go/</guid>
      
        <description>

&lt;h1 id=&#34;配置&#34;&gt;配置&lt;/h1&gt;

&lt;p&gt;pacman -S go&lt;/p&gt;

&lt;p&gt;export GOPATH=~/workspace/go/go-tools/&lt;/p&gt;

&lt;p&gt;go get github.com/mailgun/godebug
go get github.com/nsf/gocode
go get github.com/rogpeppe/godef
go get github.com/tools/godep
go get golang.org/x/tools/cmd/goimports
go get golang.org/x/tools/cmd/oracle&lt;/p&gt;

&lt;p&gt;export PATH=$PATH:~/workspace/go/go-tools/bin&lt;/p&gt;

&lt;p&gt;不建议在bash_profile里面设置GOPATH，Go的依赖问题容易导致冲突，建议为大的项目设置独立的GOPATH，比如Kubernetes这类的&lt;/p&gt;

&lt;h2 id=&#34;proxy&#34;&gt;PROXY&lt;/h2&gt;

&lt;p&gt;export http_proxy https_proxy
git config &amp;ndash;global http.proxy https.proxy&lt;/p&gt;

&lt;p&gt;git config &amp;ndash;config unset http.proxy&lt;/p&gt;

&lt;h1 id=&#34;依赖管理&#34;&gt;依赖管理&lt;/h1&gt;

&lt;h2 id=&#34;godep&#34;&gt;Godep&lt;/h2&gt;

&lt;p&gt;使用流程：先编写好代码，编译通过之后，运行&lt;code&gt;godep save&lt;/code&gt;, godep会帮你把项目的依赖都存入到Godep/_workspace，同时会在Godep目录下生成Godeps.json文件，里面是项目的所有依赖类库。&lt;/p&gt;

&lt;p&gt;后续要编译项目的时候通过命令：&lt;code&gt;godep go build&lt;/code&gt;, 如果你不想要godep在前面，你也可以编辑你的GOPATH：&lt;code&gt;export GOPATH=&lt;/code&gt;&lt;code&gt;godep path&lt;/code&gt;&lt;code&gt;:$GOPATH&lt;/code&gt;, 这样的话Go会先找到Godep目录下的类库，直接用&lt;code&gt;go build&lt;/code&gt;就不存在问题了。&lt;/p&gt;

&lt;p&gt;如果你希望自己的项目完全自依赖，可以通过&lt;code&gt;godep save -r&lt;/code&gt;实现，这样godep会改写你的import, 例如：项目C内的&lt;code&gt;import D&lt;/code&gt; 变成&lt;code&gt;import C/Godeps/_workspace/src/D&lt;/code&gt;, 也就是说直接修改代码依赖了。&lt;/p&gt;

&lt;p&gt;恢复项目依赖的命令: &lt;code&gt;godep restore&lt;/code&gt;&lt;/p&gt;

&lt;p&gt;更新依赖操作：&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;go get -u foo/bar
godep update foo/bar&lt;/pre&gt;&lt;/div&gt;
&lt;h2 id=&#34;govendor&#34;&gt;govendor&lt;/h2&gt;

&lt;p&gt;govendor init
govendor add +e
govendor fetch +e
govendor fetch +m //missing package
加入包以及依赖包:
govendor get -v  k8s.io/client-go/&amp;hellip;@=v1.5.1&lt;/p&gt;

&lt;h2 id=&#34;dep&#34;&gt;dep&lt;/h2&gt;

&lt;p&gt;新工具, 暂时不稳定&lt;/p&gt;

&lt;h2 id=&#34;dlv&#34;&gt;dlv&lt;/h2&gt;

&lt;p&gt;调试工具, 编译时加上&lt;code&gt;-gcflags=&#39;-N -l&#39;&lt;/code&gt;.
dlv exec运行程序的时候, 如果程序有参数, 用&lt;code&gt;--&lt;/code&gt;提供, 例如&lt;code&gt;dlv exec kubectl -- create ...&lt;/code&gt;&lt;/p&gt;

&lt;h1 id=&#34;build&#34;&gt;Build&lt;/h1&gt;

&lt;p&gt;静态连接编译: &lt;code&gt;CGO_ENABLED=0 go build -gcflags &#39;-N -l&#39;&lt;/code&gt;&lt;/p&gt;

&lt;h1 id=&#34;feature&#34;&gt;Feature&lt;/h1&gt;

&lt;p&gt;Cgo: go调用c代码&lt;/p&gt;

&lt;h1 id=&#34;test&#34;&gt;Test&lt;/h1&gt;

&lt;ol&gt;
&lt;li&gt;如果你需要测试单个文件, 而且test文件的包名和被测代码的包名一样, 需要带上被测试文件:&lt;/li&gt;
&lt;/ol&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;go test openfalcon_sink_test.go openfalcon_sink.go&lt;/pre&gt;&lt;/div&gt;
&lt;ol&gt;
&lt;li&gt;测试覆盖率&lt;/li&gt;
&lt;/ol&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;go test -coverprofile=coverage.out
go tool conver -html=coverage.out -o coverage.html

or

go test -cover test.go&lt;/pre&gt;&lt;/div&gt;
&lt;h1 id=&#34;study&#34;&gt;Study&lt;/h1&gt;

&lt;h2 id=&#34;declaration&#34;&gt;declaration&lt;/h2&gt;

&lt;ol&gt;
&lt;li&gt;返回pointer&lt;/li&gt;
&lt;/ol&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;var a *T = new(T)
a := new(T)
a := &amp;amp;T{}&lt;/pre&gt;&lt;/div&gt;
&lt;ol&gt;
&lt;li&gt;返回value&lt;/li&gt;
&lt;/ol&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;a := T{}
var a T&lt;/pre&gt;&lt;/div&gt;
&lt;ol&gt;
&lt;li&gt;channel &amp;amp; map &amp;amp; slice
只能用make申明, 返回value, 但是注意channel和map都是引用类型, 无需用pointer传递&lt;/li&gt;
&lt;/ol&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;a := make(chan string, 10)
var a chan string = make(chan string, 10)
a := make([]string, 10, 20) //分配一个array, 返回一个slice引用到这个array
var a []string = new([20]int)[:10]&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;slice需要注意的是, 如果你的slice长度固定(底下的array无需重新分配), slice也无需通过pointer传递, 否则需要&lt;/p&gt;

&lt;h2 id=&#34;method&#34;&gt;method&lt;/h2&gt;

&lt;h3 id=&#34;pointer-receiver-or-value-receiver&#34;&gt;pointer receiver or value receiver&lt;/h3&gt;

&lt;p&gt;Slices are one place where it&amp;rsquo;s not always obvious at first. The Slice header is small, so copying it is cheap, and the underlying array is referenced via a pointer, so you can manipulate the contents of a slice with a value receiver. You can see this in the sort package, where the methods for the sortable types are defined without pointers.&lt;/p&gt;

&lt;p&gt;The only time you need to use a pointer with a slice, is if you&amp;rsquo;re going to manipulate the slice header, which means changing the length or capacity. For an Append method, you would want:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;func (p *ByteSlice) Append(data []byte) {
    *p = append(*p, data...)
}&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;&lt;a href=&#34;https://play.golang.org/p/43OM90PVTN&#34;&gt;测试代码, 看pointer receiver和value receiver的区别&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;value receiver和python不同, 举例如下:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;type Val struct {
    val int
}

func (v Val) Set(a int) {
    v.val = v.val + a
}

func (v Val) Get() int {
    return v.val
}

func main() {
    a := new(Val)
    a.Set(1)
    fmt.Println(a.Get())
}&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;上面这段代码输出: &amp;lsquo;0&amp;rsquo;, 也就是说, 如果你需要修改receiver, 必须用point receiver. 这里理解起来比较麻烦, 和很多编程语言有点区别, 一定要结合 &lt;a href=&#34;https://golang.org/ref/spec#Method_expressions&#34;&gt;Method expressions&lt;/a&gt;来理解:
上面这段代码中, Val.Set这个method expressions其实代表的是一个function: func(v Val, a int), 这里的v就是receiver, 作为func的第一个参数, 这样就容易理解了, 如果是value receiver, 就是copy receiver传入func, 所以Set方法对val的修改并不会影响原始的receiver, 如果你想修改receiver的变量, 必须用pointer receiver&lt;/p&gt;
</description>
      
    </item>
    
    <item>
      <title>git notes</title>
      <link>http://tacy.github.io/post/git/</link>
      <pubDate>Tue, 12 Jan 2016 00:00:00 +0000</pubDate>
      
      <guid>http://tacy.github.io/post/git/</guid>
      
        <description>

&lt;h1 id=&#34;squash&#34;&gt;squash&lt;/h1&gt;

&lt;p&gt;在你的work branch完成某个feature之后，你需要merge到master：&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-sh&#34; data-lang=&#34;sh&#34;&gt;git checkout master
git merge workbranch&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;这种做法的问题在于，一般你完成某个feature的时候，会做多次commit，而这些commit如果没有实际意义，那么也就没有在master出现的必要，这样的话你就需要用到squash了，squash的意思是，把work branch上的多个commit合并成一个commit，merge到主干上。&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-sh&#34; data-lang=&#34;sh&#34;&gt;git checkout master
git merge --squash workbranch
git commit -m &lt;span class=&#34;s2&#34;&gt;&amp;#34;message here&amp;#34;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h2 id=&#34;squash-branch&#34;&gt;squash branch&lt;/h2&gt;

&lt;p&gt;git reset &amp;ndash;soft HEAD~3 &amp;amp;&amp;amp;
git commit
git push origin fix33333 -f&lt;/p&gt;

&lt;h1 id=&#34;cherrypick&#34;&gt;cherrypick&lt;/h1&gt;

&lt;p&gt;git checkout source-branch
git log  # get commit hash
git checkout target-branch
git cherry-pick &lt;commit hash&gt;&lt;/p&gt;

&lt;h1 id=&#34;rebase&#34;&gt;rebase&lt;/h1&gt;

&lt;p&gt;work branch需要和master同步, 可以用到rebase, rebase是git的核心概念&lt;sup class=&#34;footnote-ref&#34; id=&#34;fnref:1&#34;&gt;&lt;a href=&#34;#fn:1&#34;&gt;1&lt;/a&gt;&lt;/sup&gt;&lt;/p&gt;

&lt;p&gt;两个用户同时工作在同一个分支, 如果a用户提交了代码到远端仓库, b用户本地代码库没有和远端仓库同步, 那么b用户需要提交本地代码到远端仓库可以用rebase实现, 当然也能用merge方式:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;# As before - update your local repo with the latest code:
git fetch --all --prune

# Merge the changes with the rebase flag
git pull --rebase origin branch1

# push to remote repo
git push origin branch1&lt;/pre&gt;&lt;/div&gt;
&lt;h1 id=&#34;branch&#34;&gt;branch&lt;/h1&gt;

&lt;h2 id=&#34;常用&#34;&gt;常用&lt;/h2&gt;

&lt;p&gt;&lt;code&gt;git branch -r / git branch -a / git branch -vv&lt;/code&gt;&lt;/p&gt;

&lt;h2 id=&#34;checkout&#34;&gt;checkout&lt;/h2&gt;

&lt;p&gt;我希望调试我现在用的某个版本的Kuernetes, 例如1.1.2, 首先我fork kubernetes, 然后checkout到我的仓库, 同时添加远程仓库到我的本地, 保持和远程主仓库同步.&lt;/p&gt;

&lt;p&gt;查看主代码库你会发现, 1.1是branch, 1.1.2是tag, 简单说, 1.1.2就是某个revison的名字, 很多人在某个branch上工作, 感觉代码稳定的时候, 在分支上打一个tag, 然后发布这个tag, 后续针对该版本的bug修改, 需要checkout这个tag, 修改, 然后合并到branch上.&lt;/p&gt;

&lt;p&gt;首先我们checkout远程主仓库分支到我们本地仓库:
git remote show upstream
git checkout -b 1.1 upstream/release-1.1&lt;/p&gt;

&lt;p&gt;然后切换到tag:
git checkout tags/v1.1.2 -b tacy-v.1.1.2&lt;/p&gt;

&lt;ul&gt;
&lt;li&gt;查看当前分支状态: git status&lt;/li&gt;
&lt;li&gt;临时切换到其他分支, 不想提交当前一半的工作: git stash / git stash list / git stash apply ( git stash apply stash_name)&lt;/li&gt;
&lt;/ul&gt;

&lt;p&gt;分支上建分支:
git checkout master
git checkout -b dev master
git checkout dev
git checkout -b dev-b1 dev&lt;/p&gt;

&lt;h3 id=&#34;push-local-branch-to-remote&#34;&gt;push local branch to remote&lt;/h3&gt;

&lt;p&gt;In Git 1.7.0 and later, you can checkout a new branch:&lt;/p&gt;

&lt;p&gt;git checkout -b &lt;branch&gt;
Edit files, add and commit. Then push with the -u option:&lt;/p&gt;

&lt;p&gt;git push -u origin &lt;branch&gt;
Git will set up the tracking information during the push.&lt;/p&gt;

&lt;h2 id=&#34;delete-remote-branch&#34;&gt;delete remote branch&lt;/h2&gt;

&lt;p&gt;&lt;code&gt;git push origin --delete &amp;lt;branch_name&amp;gt;&lt;/code&gt;  or &lt;code&gt;git push origin :&amp;lt;branch_name&amp;gt;&lt;/code&gt;
git branch -d &lt;branch_name&gt;&lt;/p&gt;

&lt;h1 id=&#34;tag&#34;&gt;tag&lt;/h1&gt;

&lt;p&gt;create tag: &lt;code&gt;git tag v1.6.2&lt;/code&gt; &amp;amp; &lt;code&gt;git tag -d v1.6.2&lt;/code&gt;
push tag to remote: &lt;code&gt;git push --tag&lt;/code&gt;
delete remote tag: &lt;code&gt;git push origin :v1.6.2&lt;/code&gt;&lt;/p&gt;

&lt;h1 id=&#34;github&#34;&gt;github&lt;/h1&gt;

&lt;p&gt;Github有两种登入方式, 一种是https, 一种是ssh, 推荐ssh方式, 直接配置key就可以了
ssh: git@git@github.com:USERNAME/REPOSITORY.git
https: &lt;a href=&#34;https://github.com/USERNAME/OTHERREPOSITORY.git&#34;&gt;https://github.com/USERNAME/OTHERREPOSITORY.git&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;&lt;code&gt;git remote -V&lt;/code&gt; 可以查看remote response的URL, &lt;code&gt;git remote set-url origin yoururl&lt;/code&gt;可以修改URL, 在ssh和https之间切换&lt;/p&gt;

&lt;h2 id=&#34;sync-fork&#34;&gt;sync fork&lt;/h2&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;#git remote -v
origin  https://github.com/YOUR_USERNAME/YOUR_FORK.git (fetch)
origin  https://github.com/YOUR_USERNAME/YOUR_FORK.git (push)
#git remote add upstream https://github.com/ORIGINAL_OWNER/ORIGINAL_REPOSITORY.git
#git remote -v
origin    https://github.com/YOUR_USERNAME/YOUR_FORK.git (fetch)
origin    https://github.com/YOUR_USERNAME/YOUR_FORK.git (push)
upstream  https://github.com/ORIGINAL_OWNER/ORIGINAL_REPOSITORY.git (fetch)
upstream  https://github.com/ORIGINAL_OWNER/ORIGINAL_REPOSITORY.git (push)

#git fetch upstream
#git checkout master
#git merge upstream/master&lt;/pre&gt;&lt;/div&gt;
&lt;h1 id=&#34;ignore&#34;&gt;ignore&lt;/h1&gt;

&lt;p&gt;编辑&lt;code&gt;.gitignore&lt;/code&gt;文件, 添加你要忽略的文件, 如果想忽略的文件已经提交进入代码库, 需要收到删除: &lt;code&gt;git rm --cache FILENAME&lt;/code&gt;, 否则git不会忽略该文件.&lt;/p&gt;

&lt;h2 id=&#34;保留目录-不提交文件&#34;&gt;保留目录, 不提交文件&lt;/h2&gt;

&lt;p&gt;有时候, 希望保留目录, 但是不希望保留目录里面的内容, 简单做法是在希望保留的目录底下建立一个&lt;code&gt;.gitignore&lt;/code&gt;文件, 内容如下:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt; *
 !.gitignore&lt;/pre&gt;&lt;/div&gt;
&lt;h1 id=&#34;git-tips&#34;&gt;git tips&lt;/h1&gt;

&lt;h2 id=&#34;时光机&#34;&gt;时光机&lt;/h2&gt;

&lt;p&gt;Oh shit, I did something terribly wrong, please tell me git has a magic time machine!?!&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;git reflog
&lt;span class=&#34;c1&#34;&gt;# you will see a list of every thing you&amp;#39;ve done in git, across all branches!&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;# each one has an index HEAD@{index}&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;# find the one before you broke everything&lt;/span&gt;
git reset HEAD@&lt;span class=&#34;o&#34;&gt;{&lt;/span&gt;index&lt;span class=&#34;o&#34;&gt;}&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;# magic time machine&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h2 id=&#34;提交之后-发现一些小的修改需要一并提交&#34;&gt;提交之后, 发现一些小的修改需要一并提交&lt;/h2&gt;

&lt;p&gt;Oh shit, I committed and immediately realized I need to make one small change!&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;c1&#34;&gt;# make your change&lt;/span&gt;
git add . &lt;span class=&#34;c1&#34;&gt;# or add individual files&lt;/span&gt;
git commit --amend
&lt;span class=&#34;c1&#34;&gt;# follow prompts to change or keep the commit message&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;# now your last commit contains that change!&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h2 id=&#34;修改最后的提交注释&#34;&gt;修改最后的提交注释&lt;/h2&gt;

&lt;p&gt;Oh shit, I need to change the message on my last commit!&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;git commit --amend
&lt;span class=&#34;c1&#34;&gt;# follow prompts to change the commit message&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h2 id=&#34;已经add的文件diff不显示&#34;&gt;已经add的文件diff不显示&lt;/h2&gt;

&lt;p&gt;Oh shit, I tried to run a diff but nothing happened?!&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;git diff --staged&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;Git won&amp;rsquo;t do a diff of files that have been add-ed to your staging area without this flag. File under ¯_(ツ)_/¯ (yes, this is a feature, not a bug, but it&amp;rsquo;s baffling and non-obvious the first time it happens to you!)&lt;/p&gt;

&lt;h1 id=&#34;乐乐屋同步&#34;&gt;乐乐屋同步&lt;/h1&gt;

&lt;ol&gt;
&lt;li&gt;开发在lelewu分支&lt;/li&gt;
&lt;li&gt;线上在lelewu-product分支&lt;/li&gt;
&lt;/ol&gt;

&lt;h2 id=&#34;更新线上代码&#34;&gt;更新线上代码&lt;/h2&gt;

&lt;ol&gt;
&lt;li&gt;git checkout lelewu &amp;amp; git pull&lt;/li&gt;
&lt;li&gt;git checkout lelewu-product &amp;amp; git merge lelewu
如果有冲突, 需要解决冲突, 如果冲突不重要, 你也可以用&lt;code&gt;git merge lelewu -X theirs&lt;/code&gt;解决, 如果有其他问题, 直接把线上分支reset &lt;code&gt;git reset --hard&lt;/code&gt;&lt;/li&gt;
&lt;li&gt;npm run build:prod&lt;/li&gt;
&lt;li&gt;python manage.py collectstatic&lt;/li&gt;
&lt;/ol&gt;
&lt;div class=&#34;footnotes&#34;&gt;

&lt;hr /&gt;

&lt;ol&gt;
&lt;li id=&#34;fn:1&#34;&gt;&lt;a href=&#34;https://github.com/jrblevin/markdown-mode&#34;&gt;git rebase&lt;/a&gt;
 &lt;a class=&#34;footnote-return&#34; href=&#34;#fnref:1&#34;&gt;&lt;sup&gt;[return]&lt;/sup&gt;&lt;/a&gt;&lt;/li&gt;
&lt;/ol&gt;
&lt;/div&gt;
</description>
      
    </item>
    
    <item>
      <title>ceph notes</title>
      <link>http://tacy.github.io/post/ceph/</link>
      <pubDate>Wed, 08 Apr 2015 00:00:00 +0000</pubDate>
      
      <guid>http://tacy.github.io/post/ceph/</guid>
      
        <description>

&lt;h1 id=&#34;ceph重要的概念&#34;&gt;ceph重要的概念&lt;/h1&gt;

&lt;p&gt;ceph底层是RADOS(A reliable, autonomous, distributed object storage), RADOS由OSD和MON组成, 是ceph核心.
  - OSD: Object Storage Device
  - MON: 维护整个ceph集群的全局状态(cluster map)&lt;/p&gt;

&lt;p&gt;另一个核心概念是CRUSH, ceph没有中心控制节点, 通过CRUSH算法结合MON维护的cluster map, 能够计算出任意对象的存储位置.&lt;/p&gt;

&lt;p&gt;Object
Pool
Placement Group
OSD
MON&lt;/p&gt;

&lt;h1 id=&#34;crush&#34;&gt;CRUSH&lt;/h1&gt;

&lt;p&gt;CRUSH是用来确定数据存储位置的算法, client利用CRUSH获得了直接和OSD交互的能力, ceph通过CRUSH实现了去中心化的架构, 避免了中心节点带来的SPOF, 性能瓶颈和物理限制, 实现了理论上的无限扩展能力.&lt;/p&gt;

&lt;h1 id=&#34;pg&#34;&gt;PG&lt;/h1&gt;

&lt;p&gt;每个Pool都有自己的PG个数定义, 在Pool创建之后, PG的个数就无法更改.&lt;/p&gt;

&lt;p&gt;首先需要了解的是, PG越多, 数据越分散, 推荐的计算方法:&lt;/p&gt;

&lt;p&gt;(N * 10) / R&lt;/p&gt;

&lt;p&gt;N代表OSD的个数, R代表副本数()&lt;/p&gt;

&lt;p&gt;PG状态&lt;/p&gt;

&lt;h1 id=&#34;实施建议&#34;&gt;实施建议&lt;/h1&gt;

&lt;ul&gt;
&lt;li&gt;单个Host上的OSD不能太多,理论上你可以挂载到硬件上限, 但是需要考虑到当Host失败的时候, 会带来巨大的迁移流量和长的恢复时间.&lt;/li&gt;
&lt;/ul&gt;

&lt;h1 id=&#34;client&#34;&gt;client&lt;/h1&gt;

&lt;p&gt;当client需要写入文件到cluster中时, 首先从MON获取cluster map副本, 然后根据CRUSH算法获得PG id, 找到PG所属OSD set的Primary OSD(第一个), 之后client往该OSD写入数据, 副本由Primary OSD负责写入. 该写入操作完成需要等所有数据落盘(好像是写入journal就算完成?), 然后Primary OSD 返回ACK到client, 完成写入操作.&lt;/p&gt;

&lt;p&gt;当然其实前面还有事情要做, 先要把文件按照object大小切分成多个object, 然后每个object会存入到不同的PG.&lt;/p&gt;

&lt;h1 id=&#34;ceph性能相关&#34;&gt;ceph性能相关&lt;/h1&gt;

&lt;h2 id=&#34;写相关&#34;&gt;写相关&lt;/h2&gt;

&lt;h3 id=&#34;一次写入产生的数据量&#34;&gt;一次写入产生的数据量&lt;/h3&gt;

&lt;p&gt;1M数据写入3副本集群, 会产生6.4M左右的数据, 其中包括:
  - journal三份
  - data三份(含副本)
  - PG log
总计下来大概是6.4M左右&lt;/p&gt;
</description>
      
    </item>
    
    <item>
      <title>archlinux notes</title>
      <link>http://tacy.github.io/post/archlinux/</link>
      <pubDate>Thu, 01 Jan 2015 00:00:00 +0000</pubDate>
      
      <guid>http://tacy.github.io/post/archlinux/</guid>
      
        <description>

&lt;h1 id=&#34;my-archlinux-machine&#34;&gt;my archlinux machine&lt;/h1&gt;

&lt;h2 id=&#34;baseline&#34;&gt;baseline&lt;/h2&gt;

&lt;p&gt;archlinux包更新非常, 如果你经常需要安装包, 会频繁出现新安装的包更新了依赖包, 但是原来依赖这个依赖包的组件可能就不能运行了, 这种情况下, 导致你需要频繁的升级整个系统.&lt;/p&gt;

&lt;p&gt;我的做法是把仓库固定在某个时间点上, 例如&amp;rsquo;2018-11-29&amp;rsquo;, 让pacman的server只用这个路径的包, 这样就可以解决这个问题, 编辑/etc/pacman.d/mirrorlist, 只用下面这个server, 其他全部注释掉&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;nv&#34;&gt;Server&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;https://archive.archlinux.org/repos/2018/11/29/&lt;span class=&#34;nv&#34;&gt;$repo&lt;/span&gt;/os/&lt;span class=&#34;nv&#34;&gt;$arch&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h2 id=&#34;gnome&#34;&gt;gnome&lt;/h2&gt;

&lt;h3 id=&#34;gnome-shell&#34;&gt;gnome-shell&lt;/h3&gt;

&lt;p&gt;aur: chrome-gnome-shell-git
chrome plugin: chrome-gnome-shell
extension: pixel-saver &amp;amp; hidetopbar &amp;amp; User themes &amp;amp; no-title-bar
themes aur: gtk-theme-arc-git
选择themes用tweak tools&lt;/p&gt;

&lt;h3 id=&#34;gnome-terminal&#34;&gt;gnome-terminal&lt;/h3&gt;

&lt;ul&gt;
&lt;li&gt;.config/gtk3.0/gtk.css&lt;/li&gt;
&lt;/ul&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;terminal-window notebook &amp;gt; header.top button &lt;span class=&#34;o&#34;&gt;{&lt;/span&gt;
    padding: &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
    background-image: none&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
    border: &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;}&lt;/span&gt;
terminal-window notebook &amp;gt; header.top &amp;gt; tabs &amp;gt; tab &lt;span class=&#34;o&#34;&gt;{&lt;/span&gt;
    margin: &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
    padding: &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;}&lt;/span&gt;
terminal-window notebook &amp;gt; header.top &amp;gt; tabs &amp;gt; tab label &lt;span class=&#34;o&#34;&gt;{&lt;/span&gt;
    padding: &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
    margin: &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;}&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;ul&gt;
&lt;li&gt;profile
theme variant -&amp;gt; light
text and background color -&amp;gt; white on black
Palette -&amp;gt; linux console
limit scrollback to   -&amp;gt; 10000
shortcuts -&amp;gt; switch to tab1 -&amp;gt; Ctrl_1&lt;/li&gt;
&lt;/ul&gt;

&lt;h1 id=&#34;kernel&#34;&gt;kernel&lt;/h1&gt;

&lt;p&gt;启动加载模块在/etc/modules-load.d/modules.conf里面添加&lt;/p&gt;

&lt;h1 id=&#34;systemd&#34;&gt;systemd&lt;/h1&gt;

&lt;p&gt;显示service文件内容指令: &lt;code&gt;systemctl cat servicename&lt;/code&gt;
显示当前运行的service: &lt;code&gt;systemctl -t service --state running&lt;/code&gt;&lt;/p&gt;

&lt;h1 id=&#34;journal&#34;&gt;journal&lt;/h1&gt;

&lt;p&gt;Journal size limit, edit &lt;code&gt;/etc/systemd/journald.conf&lt;/code&gt;, add line: &lt;code&gt;SystemMaxUse=50M&lt;/code&gt;&lt;/p&gt;

&lt;p&gt;clean journal files manually: &lt;code&gt;journalctl --vacuum-size=100M&lt;/code&gt; or &lt;code&gt;journalctl --vacuum-time=2weeks&lt;/code&gt;&lt;/p&gt;

&lt;p&gt;journal file no presistent, edit &lt;code&gt;/etc/systemd/journald.conf&lt;/code&gt;:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;Storage=volatile
RuntimeMaxUse=25&lt;/pre&gt;&lt;/div&gt;
&lt;h1 id=&#34;env&#34;&gt;env&lt;/h1&gt;

&lt;h2 id=&#34;man-path&#34;&gt;MAN PATH&lt;/h2&gt;

&lt;p&gt;export MANPATH=$MANPATH:/your/path&lt;/p&gt;

&lt;h2 id=&#34;graphical-applications-evn-variables&#34;&gt;graphical applications evn variables&lt;/h2&gt;

&lt;p&gt;Applications running on Wayland may to use systemd user environments variables instead, as Wayland does not initiate any Xorg related files:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;~/.config/environment.d/envvars.conf
PATH=$PATH:~/scripts
GUIVAR=value&lt;/pre&gt;&lt;/div&gt;
&lt;h1 id=&#34;hardware-info&#34;&gt;Hardware INFO&lt;/h1&gt;

&lt;p&gt;smartctl
lspci
lsblk
dmidecode
lscpu
lshw
hdparm&lt;/p&gt;

&lt;h2 id=&#34;查找网卡的插槽地址&#34;&gt;查找网卡的插槽地址&lt;/h2&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;[root@wfpprddb01 tacy]#lspci -vvv|grep -i &amp;#39;Ethernet&amp;#39; -A10

[root@wfpprddb01 tacy]# ethtool -i ens1f0
driver: ixgbe
version: 4.4.0-k
firmware-version: 0x800003df
expansion-rom-version:
bus-info: 0000:43:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: no&lt;/pre&gt;&lt;/div&gt;
&lt;h1 id=&#34;mouse-touchpad&#34;&gt;mouse &amp;amp; touchpad&lt;/h1&gt;

&lt;p&gt;升级系统系统的时候, 容易把synaptics的配置弄丢了, 注意修改&lt;/p&gt;

&lt;p&gt;Natural scrolling&lt;/p&gt;

&lt;p&gt;It is possible to enable natural scrolling through synaptics. Simply use negative values for VertScrollDelta and HorizScrollDelta like so:
/etc/X11/xorg.conf.d/50-synaptics.conf&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;Section &amp;#34;InputClass&amp;#34;
    Identifier &amp;#34;Trackpad&amp;#34;
    Driver &amp;#34;synaptics&amp;#34;
    MatchIsTouchpad &amp;#34;on&amp;#34;
    Option &amp;#34;HorizTwoFingerScroll&amp;#34; &amp;#34;1&amp;#34;
    Option &amp;#34;VertScrollDelta&amp;#34; &amp;#34;-111&amp;#34;
    Option &amp;#34;HorizScrollDelta&amp;#34; &amp;#34;-111&amp;#34;
    Option &amp;#34;HorizHysteresis&amp;#34; &amp;#34;72&amp;#34;
    Option &amp;#34;VertHysteresis&amp;#34; &amp;#34;72&amp;#34;
    Option &amp;#34;PalmDetect&amp;#34; &amp;#34;3&amp;#34;
    Option &amp;#34;PalmMinWidth&amp;#34; &amp;#34;12&amp;#34;
    Option &amp;#34;PalmMinZ&amp;#34; &amp;#34;20&amp;#34;
    Option &amp;#34;AreaRightEdge&amp;#34; &amp;#34;4461&amp;#34;
    Option &amp;#34;AreaTopEdge&amp;#34; &amp;#34;395&amp;#34;
    Option &amp;#34;FingerLow&amp;#34; &amp;#34;10&amp;#34;
    Option &amp;#34;FingerHigh&amp;#34; &amp;#34;50&amp;#34;
    MatchDevicePath &amp;#34;/dev/input/event*&amp;#34;
EndSection&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;缺省配置的触摸板, 两指右键容易触发滚动事件, 导致焦点错位, 需要设置HorizHysteresis和VertHysteresis两个值.&lt;/p&gt;

&lt;p&gt;另外一个问题就是手掌误触发移动事件, 这个需要设置PalmDetect参数, 需要自己慢慢调节, 注意参数是PalmMinWidth, 我的机器需要调到8才行, 太小正常的手指移动有问题. 但是这个问题通过设置Palm依然不能解决, 最终通过设置AreaRightEdge和AreaTopEdge解决, 这个的意思就是屏蔽掉一部分触摸板, 这里把右边和上边的部分触摸板屏蔽了, 最终解决了这个鼠标乱跳的烦人问题&lt;/p&gt;

&lt;p&gt;另外就是AreaLeftEdge在我电脑上是负数, 很奇怪, 无法设置(设置为1就把半边的触摸板屏蔽了), 本来打算把Left也设置以下, 防止右手的误触. 触摸板的四个值参考synaclient输出LeftEdge/RightEdge/TopEdge/BottomEdge.&lt;/p&gt;

&lt;p&gt;还有一个问题就是错误的认为你释放了鼠标键(untouch), 这个问题需要调整FingerLow, 别让这个值太高, 因为移动鼠标的时候可能用力不均匀, 需要确保这个力度不会低于FingerLow, 否则触摸板错误的认为你释放了鼠标&lt;/p&gt;

&lt;p&gt;没有解决的问题是两指触发的滚动事件, 垂直移动两指容易产生水平滚动事件, 反之亦然, 暂时没找到解决办法.&lt;/p&gt;

&lt;p&gt;调整synaptics的值通过和synclient完成, 修改之后实时观察效果.&lt;/p&gt;

&lt;h1 id=&#34;aur&#34;&gt;aur&lt;/h1&gt;

&lt;p&gt;首先git clone代码, 然后&lt;code&gt;makepkg -sric&lt;/code&gt;, s表示解决依赖, r表示移除编译依赖, i表示安装, c表示清楚编译后环境.&lt;/p&gt;

&lt;p&gt;如果碰到&lt;code&gt;ERROR: One or more PGP signatures could not be verified!&lt;/code&gt;, 使用&lt;code&gt;gpg --recv-keys&lt;/code&gt;接受key, 也可以&lt;code&gt;makepkg --skippgpcheck&lt;/code&gt;.&lt;/p&gt;

&lt;h2 id=&#34;cower&#34;&gt;cower&lt;/h2&gt;

&lt;p&gt;aur包管理器, 可以查看安装的aur包, 是否由更新, 下载更新, 然后通过makepkg安装更新&lt;/p&gt;

&lt;h1 id=&#34;mimetype&#34;&gt;mimetype&lt;/h1&gt;

&lt;p&gt;&lt;code&gt;xdg-mime default org.gnome.Nautilus.desktop inode/directory&lt;/code&gt;&lt;/p&gt;

&lt;h1 id=&#34;tor&#34;&gt;tor&lt;/h1&gt;

&lt;p&gt;pacman安装即可, 然后需要修改以下/etc/tor/torrc里面的配置, 缺省没有打开controller, 如果你需要编程调用, 需要打开该端口, 同时修改hashpasswd, hashpasswd可以通过&amp;rsquo;tor &amp;ndash;hash-password yourpassws&amp;rsquo;获取.&lt;/p&gt;

&lt;p&gt;如果只需要脚本控制tor, 就不需要配置tor称为bridge relay或者relay, 容易引起麻烦. 如果只需要给自己提供bridge, 可以配置:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;BridgeRelay 1
PublishServerDescriptor 0&lt;/pre&gt;&lt;/div&gt;
&lt;h1 id=&#34;fonts&#34;&gt;fonts&lt;/h1&gt;

&lt;p&gt;The font paths initially known to Fontconfig are: /usr/share/fonts/, ~/.local/share/fonts (and ~/.fonts/, now deprecated). Fontconfig will scan these directories recursively. For ease of organization and installation, it is recommended to use these font paths when adding fonts.
To see a list of known Fontconfig fonts: &lt;code&gt;fc-list : file&lt;/code&gt;&lt;/p&gt;

&lt;p&gt;字体控制通过gnome-tweaks调整, 建议用12号字体&lt;/p&gt;

&lt;p&gt;一般安装字体:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;ttf-inconsolata                                 #程序员字体, 从验证结果看, 这个字体支持中英文混编效果最好(用12号字体)
adobe-source-han-sans-cn-fonts 1.004-1          #中文&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;字体配置文件在/etc/fonts目录下, 用户一般定义自己的配置在/etc/fonts/local.conf目录:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;[tacy@tacyArch fonts]$ cat /etc/fonts/local.conf
&amp;lt;!DOCTYPE fontconfig SYSTEM &amp;#34;../fonts.dtd&amp;#34;&amp;gt;
&amp;lt;fontconfig&amp;gt;
  &amp;lt;!-- Generic name aliasing --&amp;gt;
  &amp;lt;alias&amp;gt;
    &amp;lt;family&amp;gt;sans-serif&amp;lt;/family&amp;gt;
    &amp;lt;prefer&amp;gt;
      &amp;lt;family&amp;gt;Source Han Sans CN&amp;lt;/family&amp;gt;
    &amp;lt;/prefer&amp;gt;
  &amp;lt;/alias&amp;gt;
  &amp;lt;!-- Generic name aliasing --&amp;gt;
  &amp;lt;alias&amp;gt;
    &amp;lt;family&amp;gt;monospace&amp;lt;/family&amp;gt;
    &amp;lt;prefer&amp;gt;
      &amp;lt;family&amp;gt;Inconsolata&amp;lt;/family&amp;gt;
    &amp;lt;/prefer&amp;gt;
  &amp;lt;/alias&amp;gt;
&amp;lt;/fontconfig&amp;gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;配置完成之后, monospace优先使用Inconsolata, sans-serif/sans优先使用SourceHanSansCN&lt;/p&gt;

&lt;p&gt;查看字体列表&lt;code&gt;fc-list : file&lt;/code&gt;&lt;/p&gt;

&lt;p&gt;查看匹配字体&lt;code&gt;fc-match sans -a&lt;/code&gt;&lt;/p&gt;

&lt;h1 id=&#34;powerline&#34;&gt;powerline&lt;/h1&gt;

&lt;p&gt;sudo pip install powerline-status  #install into: /usr/bin/ &amp;amp; &lt;code&gt;pip show powerline-status&lt;/code&gt;&lt;/p&gt;

&lt;h2 id=&#34;install-powerline-fonts&#34;&gt;install powerline fonts&lt;/h2&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;cd  ~/usr/share/fonts/tacy
wget https://github.com/powerline/powerline/raw/develop/font/PowerlineSymbols.otf
fc-cache ./tacy
cd /etc/fonts/conf.avail
wget https://github.com/powerline/powerline/raw/develop/font/10-powerline-symbols.conf
cd /etc/fonts/conf.d
ln -s /etc/fonts/10-powerline-symbols.conf .&lt;/pre&gt;&lt;/div&gt;
&lt;h2 id=&#34;powerline-daemon-by-systemd&#34;&gt;powerline daemon by systemd&lt;/h2&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;cat ~/.config/systemd/user/powerline-daemon.service
[Unit]
Description=powerline-daemon - Daemon that improves powerline performance
Documentation=man:powerline-daemon(1)
Documentation=https://powerline.readthedocs.org/en/latest/

[Service]
ExecStart=/usr/bin/powerline-daemon --foreground

[Install]
WantedBy=default.target

systemctl --user enable powerline-daemon
systemctl --user start powerline-daemon&lt;/pre&gt;&lt;/div&gt;
&lt;h2 id=&#34;tmux&#34;&gt;tmux&lt;/h2&gt;

&lt;p&gt;add &lt;code&gt;source /usr/lib/python3.5/site-packages/powerline/bindings/tmux/powerline.conf&lt;/code&gt; to &lt;code&gt;~/.tmux.conf&lt;/code&gt;&lt;/p&gt;

&lt;h2 id=&#34;bash&#34;&gt;bash&lt;/h2&gt;

&lt;p&gt;add &lt;code&gt;. /usr/lib/python3.5/site-packages/powerline/bindings/bash/powerline.sh&lt;/code&gt; to &lt;code&gt;~/.bash_profile&lt;/code&gt;&lt;/p&gt;

&lt;h2 id=&#34;dns&#34;&gt;dns&lt;/h2&gt;

&lt;p&gt;chattr +i /etc/resolv.conf&lt;/p&gt;

&lt;h1 id=&#34;tmux-1&#34;&gt;tmux&lt;/h1&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;# remap prefix to Control + a
unbind C-b
set -g prefix C-x
bind C-x send-prefix

unbind r
bind r source-file ~/.tmux.conf

set -g default-shell /bin/zsh

## copy-mode
unbind [
bind-key -T prefix e copy-mode
# move x clipboard into tmux paste buffer
# To copy:
bind-key -n -t emacs-copy M-w copy-pipe &amp;#34;xclip -i -sel p -f | xclip -i -sel c &amp;#34;
# To paste:
bind-key -n C-y run &amp;#34;xclip -o | tmux load-buffer - ; tmux paste-buffer&amp;#34;


## * Window Management
set -g base-index 1 # start window indices at 1
set -g renumber-windows on&lt;/pre&gt;&lt;/div&gt;
&lt;h1 id=&#34;zsh&#34;&gt;zsh&lt;/h1&gt;

&lt;h2 id=&#34;install&#34;&gt;Install&lt;/h2&gt;

&lt;blockquote&gt;
&lt;p&gt;pacman -Ss zsh&lt;/p&gt;
&lt;/blockquote&gt;

&lt;h2 id=&#34;config&#34;&gt;Config&lt;/h2&gt;

&lt;p&gt;我的缺省Shell依然是用的Bash, 通过Bash激活tmux, 然后设置tmux的缺省shell为zsh, 省得对系统做修改&lt;/p&gt;

&lt;ol&gt;
&lt;li&gt;&lt;p&gt;在&lt;code&gt;~/.tmux.conf&lt;/code&gt;中加入: &lt;code&gt;set -g default-shell /bin/zsh&lt;/code&gt;&lt;/p&gt;&lt;/li&gt;

&lt;li&gt;&lt;p&gt;在&lt;code&gt;~/.bashrc&lt;/code&gt;中判断是否有tmux实例, 如果没有创建一个新的, 否则attach它&lt;/p&gt;&lt;/li&gt;
&lt;/ol&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-sh&#34; data-lang=&#34;sh&#34;&gt;#
&lt;span class=&#34;c1&#34;&gt;# ~/.bashrc&lt;/span&gt;
#

&lt;span class=&#34;c1&#34;&gt;# If not running interactively, don&amp;#39;t do anything&lt;/span&gt;
&lt;span class=&#34;o&#34;&gt;[[&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;$-&lt;/span&gt; !&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; *i* &lt;span class=&#34;o&#34;&gt;]]&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;&amp;amp;&amp;amp;&lt;/span&gt; &lt;span class=&#34;k&#34;&gt;return&lt;/span&gt;

&lt;span class=&#34;nb&#34;&gt;alias&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;ls&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s1&#34;&gt;&amp;#39;ls --color=auto&amp;#39;&lt;/span&gt;
&lt;span class=&#34;nv&#34;&gt;PS1&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s1&#34;&gt;&amp;#39;[\u@\h \W]\$ &amp;#39;&lt;/span&gt;
&lt;span class=&#34;nb&#34;&gt;export&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;PATH&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;~/bin:&lt;span class=&#34;nv&#34;&gt;$PATH&lt;/span&gt;

&lt;span class=&#34;c1&#34;&gt;# tmux&lt;/span&gt;
&lt;span class=&#34;k&#34;&gt;if&lt;/span&gt; which tmux &amp;gt;/dev/null &lt;span class=&#34;m&#34;&gt;2&lt;/span&gt;&amp;gt;&lt;span class=&#34;p&#34;&gt;&amp;amp;&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;1&lt;/span&gt;&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; &lt;span class=&#34;k&#34;&gt;then&lt;/span&gt;
    &lt;span class=&#34;nv&#34;&gt;ID&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;`tmux ls | grep -vm1 attached | cut -d: -f1`&amp;#34;&lt;/span&gt; &lt;span class=&#34;c1&#34;&gt;# get the id of a deattached session&lt;/span&gt;
    &lt;span class=&#34;k&#34;&gt;if&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[[&lt;/span&gt; -z &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;$ID&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;]]&lt;/span&gt; &lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;&lt;span class=&#34;k&#34;&gt;then&lt;/span&gt; &lt;span class=&#34;c1&#34;&gt;# if not available create a new one&lt;/span&gt;
        tmux new-session
    &lt;span class=&#34;k&#34;&gt;else&lt;/span&gt;
        tmux attach-session -t &lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;$ID&lt;/span&gt;&lt;span class=&#34;s2&#34;&gt;&amp;#34;&lt;/span&gt; &lt;span class=&#34;c1&#34;&gt;# if available attach to it&lt;/span&gt;
    &lt;span class=&#34;k&#34;&gt;fi&lt;/span&gt;
&lt;span class=&#34;k&#34;&gt;fi&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;ol&gt;
&lt;li&gt;通过systemd启动tmux
&amp;gt;systemctl &amp;ndash;user start tmux&lt;/li&gt;
&lt;/ol&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;[Unit]
Description=Start tmux in detached session

[Service]
Type=forking
ExecStart=/usr/bin/tmux new-session -s %u -d
ExecStop=/usr/bin/tmux kill-session -t %u

[Install]
WantedBy=multi-user.target&lt;/pre&gt;&lt;/div&gt;
&lt;h2 id=&#34;oh-my-zsh&#34;&gt;Oh-my-zsh&lt;/h2&gt;

&lt;blockquote&gt;
&lt;p&gt;sh -c &amp;ldquo;$(curl -fsSL &lt;a href=&#34;https://raw.github.com/robbyrussell/oh-my-zsh/master/tools/install.sh)&amp;quot;&#34;&gt;https://raw.github.com/robbyrussell/oh-my-zsh/master/tools/install.sh)&amp;quot;&lt;/a&gt;&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;my custom conf:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;# ********************************************************************
## tacy cust ##
HISTFILE=~/.histfile
HISTSIZE=1000
SAVEHIST=1000
setopt HIST_FIND_NO_DUPS HIST_IGNORE_ALL_DUPS HIST_IGNORE_DUPS HIST_IGNORE_SPACE HIST_SAVE_NO_DUPS

# Automatically included new bin file in the completion
zstyle &amp;#39;:completion:*&amp;#39; rehash true

# emacs mode
bindkey -e

# app set
## set relative app
evince_bg() { evince &amp;#34;$@&amp;#34; &amp;amp; }
alias -s pdf=evince_bg

emacs_bg() { emacsclient &amp;#34;$@&amp;#34; &amp;amp; }
alias -s go=emacs_bg -nc
alias -s html=emacs_bg -nc
alias -s py=emacs_bg -nc
alias -s md=emacs_bg -nc
alias -s go=emacs_bg -nc
# ********************************************************************&lt;/pre&gt;&lt;/div&gt;
&lt;h2 id=&#34;autojump&#34;&gt;autojump&lt;/h2&gt;

&lt;blockquote&gt;
&lt;p&gt;pacman -S autojump&lt;/p&gt;
&lt;/blockquote&gt;

&lt;p&gt;&lt;code&gt;d&lt;/code&gt;: 列出最近的目录列表
&lt;code&gt;j number&lt;/code&gt;: 其中的number是&lt;code&gt;d&lt;/code&gt;命令输出中的序号, 可以完成快速跳转.
&lt;code&gt;j kube&lt;/code&gt;: 跳转到历史目录中保护kube的路径
&lt;code&gt;j -s&lt;/code&gt;: 列出历史路径
&lt;code&gt;jo&lt;/code&gt;: 打开文件浏览器&lt;/p&gt;

&lt;h2 id=&#34;using&#34;&gt;Using&lt;/h2&gt;

&lt;p&gt;C-p / C-n      #history substring search&lt;/p&gt;

&lt;h1 id=&#34;network&#34;&gt;network&lt;/h1&gt;

&lt;h2 id=&#34;bbr&#34;&gt;BBR&lt;/h2&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;cat /etc/sysctl.d/50-bbr.conf
net.core.default_qdisc&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;fq
net.ipv4.tcp_congestion_control&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;bbr

lsmod&lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;grep -i bbr&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h2 id=&#34;mtu&#34;&gt;mtu&lt;/h2&gt;

&lt;p&gt;ip link show |grep mtu
ip link set eth0 mtu 9000  # (JUMBO frames)
/etc/sysconfig/network-scripts/&lt;interface&gt;  add line &amp;lsquo;MTU=&amp;ldquo;9000&amp;rdquo;&amp;rsquo; or accroding to archlinux jumbo frames&lt;/p&gt;

&lt;h2 id=&#34;tune-initial-windows-size&#34;&gt;tune initial windows size&lt;/h2&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-1c-enterprise&#34; data-lang=&#34;1c-enterprise&#34;&gt;# ip route change default via 24.13.158.1 dev enp0s2 initcwnd 10 initrwnd 10
# ip route change 10.1.1.0/24 dev enp0s3 proto kernel scope link src 10.1.1.100 initcwnd 10 initrwnd 10
# ip route change 24.13.158.0/23 dev enp0s2 proto kernel scope link src 24.13.159.33 initcwnd 10 initrwnd 10
# ip route show
default via 24.13.158.1 dev enp0s2  initcwnd 10  initrwnd 10
10.1.1.0/24 dev enp0s3  proto kernel  scope link  src 10.1.1.100  initcwnd 10  initrwnd 10
24.13.158.0/23 dev enp0s2  proto kernel  scope link  src 24.13.159.33  initcwnd 10 initrwnd 10&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h2 id=&#34;tcp-connection&#34;&gt;tcp connection&lt;/h2&gt;

&lt;h3 id=&#34;keepalive&#34;&gt;keepalive&lt;/h3&gt;

&lt;p&gt;需要设置so_keepalive，在创建socket的时候，大部分网络应用都支持相关配置项。设置该选项之后，tcp连接空闲时间超过tcp_keepalive_time，linux会发送keepalive probe，对端回包，确认连接有效；如果没有接收到对端的回包，linux会在tcp_keepalive_intvl指定的时间间隔之后，重新发送probe，最多发送tcp_keepalive_probes个probe，如果依然没有回包，连接会被断开。&lt;/p&gt;

&lt;p&gt;当两端之间存在其他影响连接状态设备时，例如中间有防火墙，keepalive就非常必要，在应用层实现的keepalive，大部分只是持有连接，不会发送保持连接的probe包，这类的keepalive时间稍长，很容易被防火墙之类的设备断开。&lt;/p&gt;

&lt;h3 id=&#34;so-linger-2-3&#34;&gt;so_linger&lt;sup class=&#34;footnote-ref&#34; id=&#34;fnref:2&#34;&gt;&lt;a href=&#34;#fn:2&#34;&gt;1&lt;/a&gt;&lt;/sup&gt;&lt;sup class=&#34;footnote-ref&#34; id=&#34;fnref:3&#34;&gt;&lt;a href=&#34;#fn:3&#34;&gt;2&lt;/a&gt;&lt;/sup&gt;&lt;/h3&gt;

&lt;p&gt;tcp连接的断开有两种情况，一种是正常的四次挥手，一种是直接用reset包断开（abortive close），so_linger选项可以用来控制连接的断开行为。当设置so_linger为on，linux会等待发送队列中的数据发送完成，然后正常断开连接，或者等待so_linger time设置的超时时间，如果在这个时间之内依然没有发送完成，连接也会断开；如果设置为off，连接会丢弃掉所有数据，直接发送reset包断开连接。&lt;/p&gt;

&lt;p&gt;一般不会采用发送reset包的方式断开连接，除非客户端没有正常关闭连接，导致服务端大量timeout（server active close）&lt;/p&gt;

&lt;h2 id=&#34;tcp-tuning&#34;&gt;tcp tuning&lt;/h2&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-1c-enterprise&#34; data-lang=&#34;1c-enterprise&#34;&gt;### /etc/sysctl.d/02-netIO.conf
### Kernel settings for TCP

# Provide adequate buffer memory.
# rmem_max and wmem_max are TCP max buffer size
# settable with setsockopt(), in bytes
# tcp_rmem and tcp_wmem are per socket in bytes.
# tcp_mem is for all TCP streams, in 4096-byte pages.
# The following are suggested on IBM&amp;#39;s
# High Performance Computing page
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.core.rmem_default = 16777216
net.core.wmem_default = 16777216
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 87380 16777216
# This server might have 200 clients simultaneously, so:
#   max(tcp_wmem) * 2 * 200 / 4096
net.ipv4.tcp_mem = 1638400 1638400 1638400

# Disable TCP SACK (TCP Selective Acknowledgement),
# DSACK (duplicate TCP SACK), and FACK (Forward Acknowledgement)
net.ipv4.tcp_sack = 0
net.ipv4.tcp_dsack = 0
net.ipv4.tcp_fack = 0

# Disable the gradual speed increase that&amp;#39;s useful
# on variable-speed WANs but not for us
net.ipv4.tcp_slow_start_after_idle = 0&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h2 id=&#34;网卡bonding&#34;&gt;网卡bonding&lt;/h2&gt;

&lt;p&gt;&lt;code&gt;teamdctl team0 state&lt;/code&gt;&lt;/p&gt;

&lt;p&gt;&lt;sup class=&#34;footnote-ref&#34; id=&#34;fnref:1&#34;&gt;&lt;a href=&#34;#fn:1&#34;&gt;3&lt;/a&gt;&lt;/sup&gt;## nic bind irq
1. 先看看网卡现在的中断使用情况&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-1c-enterprise&#34; data-lang=&#34;1c-enterprise&#34;&gt;# grep eth0 /proc/interrupts
32:   0     140      45       850264      PCI-MSI-edge      eth0&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;上面显示eth0用的是32号中断，中断的处理cpu大部分在cpu4上，2和3上也有一些&lt;/p&gt;

&lt;ol&gt;
&lt;li&gt;看当前的绑定情况&lt;/li&gt;
&lt;/ol&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-1c-enterprise&#34; data-lang=&#34;1c-enterprise&#34;&gt;# cat /proc/irq/32/smp_affinity
f&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;上面显示irq 32没有绑定具体的cpu，任意cpu都可以&lt;/p&gt;

&lt;ol&gt;
&lt;li&gt;强制绑定到某个cpu&lt;/li&gt;
&lt;/ol&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-1c-enterprise&#34; data-lang=&#34;1c-enterprise&#34;&gt;# echo 1 &amp;gt;/proc/irq/32/smp_affinity
# cat /proc/irq/32/smp_affinity
1&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;上面的操作我们强制绑定的cpu1上，所有这个网卡的中断都由cpu1处理。&lt;/p&gt;

&lt;p&gt;在多队列网卡的时候，可以给每个队列绑定一个网卡，这样会有更好的性能。&lt;/p&gt;

&lt;h2 id=&#34;software-ap&#34;&gt;software AP&lt;/h2&gt;

&lt;p&gt;最简单的办法就是使用&lt;a href=&#34;https://github.com/oblique/create_ap&#34;&gt;create_ap&lt;/a&gt;, 一条命令搞定&lt;code&gt;create_ap wlan0 wlan0 MyAccessPoint MyPassPhrase&lt;/code&gt;&lt;/p&gt;

&lt;p&gt;具体参考&lt;a href=&#34;https://wiki.archlinux.org/index.php/software_access_point&#34;&gt;software access point&lt;/a&gt;&lt;/p&gt;

&lt;h2 id=&#34;ssh-reverse-resolv&#34;&gt;ssh reverse resolv&lt;/h2&gt;

&lt;p&gt;There are several things that can go wrong. Add -vvv to make ssh print a detailed trace of what it&amp;rsquo;s doing, and see where it&amp;rsquo;s pausing.&lt;/p&gt;

&lt;p&gt;The problem could be on the client or on the server.&lt;/p&gt;

&lt;p&gt;A common problem on the server is if you&amp;rsquo;re connecting from a client for which reverse DNS lookups time out. (A “reverse DNS lookup” means getting back from the client machine&amp;rsquo;s IP address to a host name. It isn&amp;rsquo;t really useful for security, only slightly helpful to diagnose breakin attempts from log entries, but the default configuration does it anyway.) To turn off reverse DNS lookups, add UseDNS no to /etc/ssh/sshd_config (you need to be root on the server; remember to restart the SSH service afterwards).&lt;/p&gt;

&lt;p&gt;Another thing that can go wrong is GSSAPI authentication timing out. If you don&amp;rsquo;t know what that is, you&amp;rsquo;re probably not relying on it; you can turn it off by adding the line GSSAPIAuthentication no to /etc/ssh/ssh_config or ~/.ssh/config (that&amp;rsquo;s on the client side).&lt;/p&gt;

&lt;h2 id=&#34;mitmproxy&#34;&gt;mitmproxy&lt;/h2&gt;

&lt;p&gt;证书地址&lt;code&gt;http://mitm.it&lt;/code&gt;, android模拟器运行时加参数&lt;code&gt;-http-proxy=ip:8080&lt;/code&gt;&lt;/p&gt;

&lt;h1 id=&#34;qemu&#34;&gt;Qemu&lt;/h1&gt;

&lt;h2 id=&#34;mount-qcow2&#34;&gt;mount qcow2&lt;/h2&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;$modprobe nbd max_part=16
$qemu-nbd --connection=/dev/nbd0 node_two.qcow2
$fdisk -l /dev/nbd0
Disk /dev/nbd0: 8 GiB, 8589934592 bytes, 16777216 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0x000aa3f5

Device      Boot Start      End  Sectors Size Id Type
/dev/nbd0p1 *     2048 16777215 16775168   8G 83 Linux

$mount /dev/nbd0p1 tmp&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;有时候没办法mount, 比如盘元数据有问题, 你可以用工具修复以下, 比如:&lt;code&gt;xfs_repair -L /dev/nbd0p1&lt;/code&gt;&lt;/p&gt;

&lt;h2 id=&#34;tftp-server&#34;&gt;tftp server&lt;/h2&gt;

&lt;p&gt;dnsmasq内嵌tftp server, 直接修改/etc/dnsmasq配置, 指定下面选项即可:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;tftp-root=/srv/tftp
enable-tftp&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;如果需要配置ubuntu的pxe server, 下载netboot.tar.gz包, 解压到/srv/tftp即可&lt;/p&gt;

&lt;p&gt;注意网络里面的dhcpserver, 容易导致问题. 另外, 无线网卡需要支持ipxe才行&lt;/p&gt;

&lt;h2 id=&#34;software&#34;&gt;software&lt;/h2&gt;

&lt;h3 id=&#34;base-utils&#34;&gt;base-utils&lt;/h3&gt;

&lt;p&gt;&lt;code&gt;du -s ./* | sort -n&lt;/code&gt; 查询磁盘空间&lt;/p&gt;

&lt;h3 id=&#34;imagemagick&#34;&gt;imagemagick&lt;/h3&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;find . -name &amp;#39;*-1.jpg&amp;#39; -exec mogrify -font Source-Han-Sans-CN-Heavy -fill &amp;#39;#E91E63&amp;#39; -draw &amp;#39;rectangle 0,565,800,705&amp;#39; -pointsize 120 -gravity center -fill black -annotate +0+230 &amp;#39;日本直邮到手&amp;#39; -fill white -annotate +5+235 &amp;#39;日本直邮到手&amp;#39; &amp;#39;{}&amp;#39; \; -print

find . -name &amp;#39;*.JPG&amp;#39; -exec mogrify -filter Triangle -define jpeg:extent=45KB -thumbnail 800x800\! &amp;#39;{}&amp;#39; \;&lt;/pre&gt;&lt;/div&gt;
&lt;h3 id=&#34;ffmpeg&#34;&gt;ffmpeg&lt;/h3&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;find . -name &amp;#39;*.MOV&amp;#39; -exec ffmpeg -i &amp;#39;{}&amp;#39; -vcodec libx264 -crf 32 &amp;#39;{}&amp;#39;.mp4&lt;/pre&gt;&lt;/div&gt;
&lt;h3 id=&#34;chrome&#34;&gt;chrome&lt;/h3&gt;

&lt;ol&gt;
&lt;li&gt;remote desktop -&amp;gt; app(应用) -&amp;gt; chrome remote desktop -&amp;gt; share(分享)&lt;/li&gt;
&lt;li&gt;chrome的dns总是不走代理, 会导致问题, 如果实在很急, 可以用下面命令启动chrome: &lt;code&gt;google-chrome --proxy-server=&amp;quot;socks5://localhost:8888&amp;quot;&lt;/code&gt;&lt;/li&gt;
&lt;li&gt;清除chrome dns cache, 两步: 首先, &lt;code&gt;chrome://net-internals/#dns&lt;/code&gt; -&amp;gt; &lt;code&gt;Clear host cache&lt;/code&gt;, 其次, &lt;code&gt;chrome://net-internals/#sockets&lt;/code&gt; -&amp;gt;&lt;code&gt;Flush socket pools“&lt;/code&gt;, 后者可以观察到dns用的代理情况, 对于一些奇怪的问题诊断非常有用.&lt;/li&gt;
&lt;/ol&gt;

&lt;h3 id=&#34;bash-1&#34;&gt;bash&lt;/h3&gt;

&lt;p&gt;find finances -name &amp;lsquo;*.vue&amp;rsquo; -maxdepth 1 -exec wc -l &amp;lsquo;{}&amp;rsquo; \; |cut -d&amp;rsquo; &amp;lsquo; -f1|paste -sd+ |bc&lt;/p&gt;

&lt;h3 id=&#34;eclipse&#34;&gt;eclipse&lt;/h3&gt;

&lt;p&gt;Disable GTK+ 3
When the SWT GTK+ 3 UI is buggy and sometimes unusable, You can try to disable the use of GTK+ 3 with add the following to /usr/lib/eclipse/eclipse.ini.&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;--launcher.GTK_version
2&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;Those two lines must be added before:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-text&#34; data-lang=&#34;text&#34;&gt;--launcher.appendVmargs&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h3 id=&#34;pacman&#34;&gt;pacman&lt;/h3&gt;

&lt;p&gt;pacman -Qo filename / pkgfile filename
pactree 可以查看包依赖图, 在pacman-contrib包里面
pacman -Sc 清除缓存包(系统里面没有安装的)&lt;/p&gt;

&lt;h1 id=&#34;mitmproxy-1&#34;&gt;mitmproxy&lt;/h1&gt;

&lt;p&gt;安装: &lt;code&gt;pacman -S mitmproxy&lt;/code&gt;, 运行: &lt;code&gt;mitmweb&lt;/code&gt;, 设置需要监控的程序走代理, 同时在浏览器打开监听网址, 就可以看到所有的web请求了&lt;/p&gt;

&lt;p&gt;如果是ssl, 可能需要信任mitmproxy的证书, 你可以在你的设备的浏览器上打开&lt;code&gt;mitm.it&lt;/code&gt;这个网址, 安装证书即可. 你也可以收到安装, 默认mitmproxy会生成证书在&lt;code&gt;$HOME/.mitmproxy/&lt;/code&gt;目录下, 也可以在mitmproxy启动的时候指定证书&lt;/p&gt;

&lt;p&gt;具体可以参考&lt;a href=&#34;https://mitmproxy.org/doc/certinstall.html#docQuick&#34;&gt;https://mitmproxy.org/doc/certinstall.html#docQuick&lt;/a&gt;&lt;/p&gt;

&lt;h1 id=&#34;debug&#34;&gt;DEBUG&lt;/h1&gt;

&lt;p&gt;&lt;a href=&#34;https://wiki.archlinux.org/index.php/Debug_-_Getting_Traces&#34;&gt;https://wiki.archlinux.org/index.php/Debug_-_Getting_Traces&lt;/a&gt;
&lt;a href=&#34;https://wiki.archlinux.org/index.php/Patching_packages&#34;&gt;https://wiki.archlinux.org/index.php/Patching_packages&lt;/a&gt;
ABS/asp&lt;/p&gt;

&lt;p&gt;ldd&lt;/p&gt;

&lt;h1 id=&#34;fs&#34;&gt;FS&lt;/h1&gt;

&lt;h2 id=&#34;major-minor&#34;&gt;major/minor&lt;/h2&gt;

&lt;p&gt;通过lsblk可以查看major:minor
ls -l /dev 也可以查看major:minor
&lt;code&gt;brw-rw----  1 root disk     8,   0 Dec 19 07:59 sda&lt;/code&gt;
最前面的b代表block设备&lt;/p&gt;

&lt;h2 id=&#34;debugfs-ext4-3-fs&#34;&gt;debugfs（ext4/3 fs)&lt;/h2&gt;

&lt;p&gt;通过inode找文件：&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;sudo debugfs /dev/sda6
debugfs: ncheck &amp;lt;inode number&amp;gt;
Inode Pathname
&lt;span class=&#34;m&#34;&gt;10403886&lt;/span&gt;  /home/tacy/i2p&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h2 id=&#34;lsof&#34;&gt;lsof&lt;/h2&gt;

&lt;p&gt;列出系统内打开的所有文件&lt;/p&gt;

&lt;h2 id=&#34;file-lock&#34;&gt;file lock&lt;/h2&gt;

&lt;p&gt;lslocks  -&amp;gt; utils-linux
/proc/locks&lt;/p&gt;

&lt;h1 id=&#34;network-1&#34;&gt;Network&lt;/h1&gt;

&lt;p&gt;iproute2替换之前的大部分网络工具， 例如netstat/ifconfig/route等&lt;/p&gt;

&lt;p&gt;以后常用的工具ip和ss&lt;/p&gt;

&lt;h2 id=&#34;ss&#34;&gt;ss&lt;/h2&gt;

&lt;h3 id=&#34;查看当前tcp状态&#34;&gt;查看当前tcp状态&lt;/h3&gt;

&lt;p&gt;ss -top
可以查看当前所有的连接：包括状态/定时器（retrans/keepalive)，发送和接受队列，那个进程发起，用户是谁都能看到&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;ss -o state established &lt;span class=&#34;s1&#34;&gt;&amp;#39;( dport = :ssh or sport = :ssh )&amp;#39;&lt;/span&gt;
  Display all established ssh connections.

ss -x src /tmp/.X11-unix/*
  Find all &lt;span class=&#34;nb&#34;&gt;local&lt;/span&gt; processes connected to X server.&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h4 id=&#34;one-line&#34;&gt;one line&lt;/h4&gt;

&lt;ol&gt;
&lt;li&gt;查看长期闲置的连接
&lt;code&gt;ss -tni &#39;sport = :8080&#39;|grep -v Recv|sed &#39;N;s/\n/ /g&#39;|grep wscale|cut -d&#39;:&#39; -f1,2,3,14,15|sed &#39;s/lastrcv//g&#39;|sort -t&#39;:&#39; -nk5|tail -10&lt;/code&gt;&lt;/li&gt;
&lt;/ol&gt;

&lt;h2 id=&#34;sockdump&#34;&gt;sockdump&lt;/h2&gt;

&lt;p&gt;这是别人用brf写的一个监控unix socket的小工具，可以查看unix socket间的通讯记录
用&lt;code&gt;ss -xlp&lt;/code&gt;可以查看系统处于listen状态下的unix socket&lt;/p&gt;

&lt;h2 id=&#34;offload&#34;&gt;offload&lt;/h2&gt;

&lt;p&gt;ethtool -k ethY
ethtool -K ethY tso on&lt;/p&gt;

&lt;h1 id=&#34;utils&#34;&gt;Utils&lt;/h1&gt;

&lt;h2 id=&#34;coreutils&#34;&gt;coreutils&lt;/h2&gt;

&lt;p&gt;这个工具集里面的所有工具你都看一遍man，基本上都是些很常用的工具，例如：cat/mkdir/cp/rm/tail/head/sort/nohup/mv啥的&lt;/p&gt;

&lt;h2 id=&#34;sysstat-procps-ng&#34;&gt;sysstat &amp;amp; procps-ng&lt;/h2&gt;

&lt;p&gt;这里面基本都是系统状态有关的工具，例如：top/vmstat/iostat/mpstat/ps/free/pidof/sysctl/pgrep/sar/pidstat&lt;/p&gt;

&lt;h2 id=&#34;iproute2&#34;&gt;iproute2&lt;/h2&gt;

&lt;p&gt;网络配置和状态查看相关工具：ip/ifcfg/bridge/ss/tc&lt;/p&gt;

&lt;h2 id=&#34;util-linux&#34;&gt;util-linux&lt;/h2&gt;

&lt;p&gt;大工具包，里面的工具包括：kill/fdisk/su/lslogins/lscpu/lsns/dmesg/nsenter/fsck/namei&lt;/p&gt;

&lt;h2 id=&#34;binutils&#34;&gt;binutils&lt;/h2&gt;

&lt;p&gt;库相关工具，例如:ld/nm/strings/objdump/objcopy&lt;/p&gt;

&lt;h2 id=&#34;iptables&#34;&gt;iptables&lt;/h2&gt;

&lt;p&gt;防火墙相关软件，主要是iptables&lt;/p&gt;

&lt;h2 id=&#34;systemd-1&#34;&gt;systemd&lt;/h2&gt;

&lt;p&gt;服务相关工具： systemd/journalctl/coredumpctl/busctl/gdbus&lt;/p&gt;

&lt;h2 id=&#34;其他&#34;&gt;其他&lt;/h2&gt;

&lt;p&gt;man / debugfs / gdb / lsof&lt;/p&gt;

&lt;h2 id=&#34;log&#34;&gt;log&lt;/h2&gt;

&lt;p&gt;last -n5 -x reboot shutdown
ausearch -i -m system_boot,system_shutdown
ethtool interface 查网卡速度 / 设置offload
teamdctl team0 state&lt;/p&gt;

&lt;h2 id=&#34;rhel&#34;&gt;rhel&lt;/h2&gt;

&lt;h3 id=&#34;selinux&#34;&gt;selinux&lt;/h3&gt;

&lt;p&gt;getenforce&lt;/p&gt;

&lt;h1 id=&#34;my-server-configuration&#34;&gt;my server configuration&lt;/h1&gt;

&lt;p&gt;&lt;a href=&#34;https://www.digitalocean.com/community/tutorials/how-to-install-dropbox-client-as-a-service-on-centos-7&#34;&gt;https://www.digitalocean.com/community/tutorials/how-to-install-dropbox-client-as-a-service-on-centos-7&lt;/a&gt;
&lt;a href=&#34;https://www.digitalocean.com/community/tutorials/how-to-add-swap-on-centos-7&#34;&gt;https://www.digitalocean.com/community/tutorials/how-to-add-swap-on-centos-7&lt;/a&gt;&lt;/p&gt;
&lt;div class=&#34;footnotes&#34;&gt;

&lt;hr /&gt;

&lt;ol&gt;
&lt;li id=&#34;fn:2&#34;&gt;&lt;a href=&#34;https://stackoverflow.com/questions/3757289/tcp-option-so-linger-zero-when-its-required&#34;&gt;tcp option so-linger zero when its required&lt;/a&gt;
 &lt;a class=&#34;footnote-return&#34; href=&#34;#fnref:2&#34;&gt;&lt;sup&gt;[return]&lt;/sup&gt;&lt;/a&gt;&lt;/li&gt;
&lt;li id=&#34;fn:3&#34;&gt;&lt;a href=&#34;http://deepix.github.io/2016/10/21/tcprst.html&#34;&gt;Resetting a TCP connection and SO_LINGER&lt;/a&gt;
 &lt;a class=&#34;footnote-return&#34; href=&#34;#fnref:3&#34;&gt;&lt;sup&gt;[return]&lt;/sup&gt;&lt;/a&gt;&lt;/li&gt;
&lt;li id=&#34;fn:1&#34;&gt;&lt;a href=&#34;https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/6/html/performance_tuning_guide/s-cpu-irq&#34;&gt;INTERRUPTS AND IRQ TUNING&lt;/a&gt;
 &lt;a class=&#34;footnote-return&#34; href=&#34;#fnref:1&#34;&gt;&lt;sup&gt;[return]&lt;/sup&gt;&lt;/a&gt;&lt;/li&gt;
&lt;/ol&gt;
&lt;/div&gt;
</description>
      
    </item>
    
    <item>
      <title>l2tp ipsec in linode</title>
      <link>http://tacy.github.io/post/l2tp-ipsec-in-linode/</link>
      <pubDate>Wed, 24 Dec 2014 00:00:00 +0000</pubDate>
      
      <guid>http://tacy.github.io/post/l2tp-ipsec-in-linode/</guid>
      
        <description>

&lt;p&gt;我参考的配置帖子: &lt;a href=&#34;https://raymii.org/s/tutorials/IPSEC_L2TP_vpn_with_Ubuntu_14.04.html&#34;&gt;https://raymii.org/s/tutorials/IPSEC_L2TP_vpn_with_Ubuntu_14.04.html&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;先注意下面问题:&lt;/p&gt;

&lt;h1 id=&#34;two-or-more-interfaces-found-checking-ip-forwarding-failed&#34;&gt;Two or more interfaces found, checking IP forwarding Failed&lt;/h1&gt;

&lt;p&gt;我的环境是: My Ubuntu 14.04 LTS Profile (Latest 64 bit (3.16.7-x86_64-linode49))&lt;/p&gt;

&lt;p&gt;如果已经配置了ip_forward, 没啥好说的, 直接升级openswan吧, ppa在这里:&lt;a href=&#34;https://launchpad.net/~openswan/+archive/ubuntu/ppa&#34;&gt;https://launchpad.net/~openswan/+archive/ubuntu/ppa&lt;/a&gt;&lt;/p&gt;

&lt;p&gt;如果你用的是和我一样的配置, 那么先添加上面的ppa(貌似12.04没有上面的问题)&lt;/p&gt;

&lt;p&gt;然后按照下面的步骤操作:&lt;/p&gt;

&lt;h1 id=&#34;安装软件包&#34;&gt;安装软件包&lt;/h1&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;apt-get update
apt-get install openswan xl2tpd ppp lsof&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h1 id=&#34;配置网络环境&#34;&gt;配置网络环境&lt;/h1&gt;

&lt;p&gt;配置IP转发禁用ICP重定向&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;nb&#34;&gt;echo&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;net.ipv4.ip_forward = 1&amp;#34;&lt;/span&gt; &lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;  tee -a /etc/sysctl.conf
&lt;span class=&#34;nb&#34;&gt;echo&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;net.ipv4.conf.all.accept_redirects = 0&amp;#34;&lt;/span&gt; &lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;  tee -a /etc/sysctl.conf
&lt;span class=&#34;nb&#34;&gt;echo&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;net.ipv4.conf.all.send_redirects = 0&amp;#34;&lt;/span&gt; &lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;  tee -a /etc/sysctl.conf
&lt;span class=&#34;nb&#34;&gt;echo&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;net.ipv4.conf.default.rp_filter = 0&amp;#34;&lt;/span&gt; &lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;  tee -a /etc/sysctl.conf
&lt;span class=&#34;nb&#34;&gt;echo&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;net.ipv4.conf.default.accept_source_route = 0&amp;#34;&lt;/span&gt; &lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;  tee -a /etc/sysctl.conf
&lt;span class=&#34;nb&#34;&gt;echo&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;net.ipv4.conf.default.send_redirects = 0&amp;#34;&lt;/span&gt; &lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;  tee -a /etc/sysctl.conf
&lt;span class=&#34;nb&#34;&gt;echo&lt;/span&gt; &lt;span class=&#34;s2&#34;&gt;&amp;#34;net.ipv4.icmp_ignore_bogus_error_responses = 1&amp;#34;&lt;/span&gt; &lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;  tee -a /etc/sysctl.conf&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;其他网卡也来一遍:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;k&#34;&gt;for&lt;/span&gt; vpn in /proc/sys/net/ipv4/conf/*&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; &lt;span class=&#34;k&#34;&gt;do&lt;/span&gt; &lt;span class=&#34;nb&#34;&gt;echo&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt; &amp;gt; &lt;span class=&#34;nv&#34;&gt;$vpn&lt;/span&gt;/accept_redirects&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; &lt;span class=&#34;nb&#34;&gt;echo&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt; &amp;gt; &lt;span class=&#34;nv&#34;&gt;$vpn&lt;/span&gt;/send_redirects&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; &lt;span class=&#34;k&#34;&gt;done&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;dl&gt;
&lt;dt&gt;最好让上面配置生效:&lt;/dt&gt;
&lt;dd&gt;sysctl -p&lt;/dd&gt;
&lt;dt&gt;配置iptables nat规则:&lt;/dt&gt;
&lt;dd&gt;iptables -t nat -A POSTROUTING -j SNAT &amp;ndash;to-source YOUR_PUBLIC_IP -o eth0&lt;/dd&gt;
&lt;/dl&gt;

&lt;p&gt;上面两条会在重启之后丢失, 为了让他们重启能生效, 放到rc.local里面(注意下面内容添加到 exit 0 这行前面):&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;k&#34;&gt;for&lt;/span&gt; vpn in /proc/sys/net/ipv4/conf/*&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; &lt;span class=&#34;k&#34;&gt;do&lt;/span&gt; &lt;span class=&#34;nb&#34;&gt;echo&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt; &amp;gt; &lt;span class=&#34;nv&#34;&gt;$vpn&lt;/span&gt;/accept_redirects&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; &lt;span class=&#34;nb&#34;&gt;echo&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt; &amp;gt; &lt;span class=&#34;nv&#34;&gt;$vpn&lt;/span&gt;/send_redirects&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt; &lt;span class=&#34;k&#34;&gt;done&lt;/span&gt;

iptables -t nat -A POSTROUTING -j SNAT --to-source YOUR_PUBLIC_IP -o eth0&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h1 id=&#34;配置openswan-ipsec&#34;&gt;配置Openswan(IPSEC)&lt;/h1&gt;

&lt;p&gt;修改/etc/ipsec.conf文件, 用下面内容替换:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;version &lt;span class=&#34;m&#34;&gt;2&lt;/span&gt; &lt;span class=&#34;c1&#34;&gt;# conforms to second version of ipsec.conf specification&lt;/span&gt;

config setup
    &lt;span class=&#34;nv&#34;&gt;dumpdir&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;/var/run/pluto/
    &lt;span class=&#34;c1&#34;&gt;#in what directory should things started by setup (notably the Pluto daemon) be allowed to dump core?&lt;/span&gt;

    &lt;span class=&#34;nv&#34;&gt;nat_traversal&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;yes
    &lt;span class=&#34;c1&#34;&gt;#whether to accept/offer to support NAT (NAPT, also known as &amp;#34;IP Masqurade&amp;#34;) workaround for IPsec&lt;/span&gt;

    &lt;span class=&#34;nv&#34;&gt;virtual_private&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;%v4:10.0.0.0/8,%v4:192.168.0.0/16,%v4:172.16.0.0/12,%v6:fd00::/8,%v6:fe80::/10
    &lt;span class=&#34;c1&#34;&gt;#contains the networks that are allowed as subnet= for the remote client. In other words, the address ranges that may live behind a NAT router through which a client connects.&lt;/span&gt;

    &lt;span class=&#34;nv&#34;&gt;protostack&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;netkey
    &lt;span class=&#34;c1&#34;&gt;#decide which protocol stack is going to be used.&lt;/span&gt;

    &lt;span class=&#34;nv&#34;&gt;force_keepalive&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;yes
    &lt;span class=&#34;nv&#34;&gt;keep_alive&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;60&lt;/span&gt;
    &lt;span class=&#34;c1&#34;&gt;# Send a keep-alive packet every 60 seconds.&lt;/span&gt;

conn L2TP-PSK-noNAT
    &lt;span class=&#34;nv&#34;&gt;authby&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;secret
    &lt;span class=&#34;c1&#34;&gt;#shared secret. Use rsasig for certificates.&lt;/span&gt;

    &lt;span class=&#34;nv&#34;&gt;pfs&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;no
    &lt;span class=&#34;c1&#34;&gt;#Disable pfs&lt;/span&gt;

    &lt;span class=&#34;nv&#34;&gt;auto&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;add
    &lt;span class=&#34;c1&#34;&gt;#the ipsec tunnel should be started and routes created when the ipsec daemon itself starts.&lt;/span&gt;

    &lt;span class=&#34;nv&#34;&gt;keyingtries&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;3&lt;/span&gt;
    &lt;span class=&#34;c1&#34;&gt;#Only negotiate a conn. 3 times.&lt;/span&gt;

    &lt;span class=&#34;nv&#34;&gt;ikelifetime&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;8h
    &lt;span class=&#34;nv&#34;&gt;keylife&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;1h

    &lt;span class=&#34;nv&#34;&gt;ike&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;aes256-sha1,aes128-sha1,3des-sha1
    &lt;span class=&#34;nv&#34;&gt;phase2alg&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;aes256-sha1,aes128-sha1,3des-sha1
    &lt;span class=&#34;c1&#34;&gt;# https://lists.openswan.org/pipermail/users/2014-April/022947.html&lt;/span&gt;
    &lt;span class=&#34;c1&#34;&gt;# specifies the phase 1 encryption scheme, the hashing algorithm, and the diffie-hellman group. The modp1024 is for Diffie-Hellman 2. Why &amp;#39;modp&amp;#39; instead of dh? DH2 is a 1028 bit encryption algorithm that modulo&amp;#39;s a prime number, e.g. modp1028. See RFC 5114 for details or the wiki page on diffie hellmann, if interested.&lt;/span&gt;

    &lt;span class=&#34;nv&#34;&gt;type&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;transport
    &lt;span class=&#34;c1&#34;&gt;#because we use l2tp as tunnel protocol&lt;/span&gt;

    &lt;span class=&#34;nv&#34;&gt;left&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;YOUR_PUBLIC_IP
    &lt;span class=&#34;c1&#34;&gt;#fill in server IP above&lt;/span&gt;

    &lt;span class=&#34;nv&#34;&gt;leftprotoport&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;17&lt;/span&gt;/1701
    &lt;span class=&#34;nv&#34;&gt;right&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;%any
    &lt;span class=&#34;nv&#34;&gt;rightprotoport&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;17&lt;/span&gt;/%any

    &lt;span class=&#34;nv&#34;&gt;dpddelay&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;10&lt;/span&gt;
    &lt;span class=&#34;c1&#34;&gt;# Dead Peer Dectection (RFC 3706) keepalives delay&lt;/span&gt;
    &lt;span class=&#34;nv&#34;&gt;dpdtimeout&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;20&lt;/span&gt;
    &lt;span class=&#34;c1&#34;&gt;#  length of time (in seconds) we will idle without hearing either an R_U_THERE poll from our peer, or an R_U_THERE_ACK reply.&lt;/span&gt;
    &lt;span class=&#34;nv&#34;&gt;dpdaction&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;clear
    &lt;span class=&#34;c1&#34;&gt;# When a DPD enabled peer is declared dead, what action should be taken. clear means the eroute and SA with both be cleared.&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;注意把YOUR_PUBLIC_IP替换成你的服务器ip地址.&lt;/p&gt;

&lt;p&gt;设置你的shared secret:&lt;/p&gt;

&lt;dl&gt;
&lt;dt&gt;编辑/etc/ipsec.secrets文件, 添加下面行:&lt;/dt&gt;
&lt;dd&gt;&lt;p&gt;YOUR_PUBLIC_IP %any: PSK &amp;ldquo;yousharedsecret&amp;rdquo;&lt;/p&gt;&lt;/dd&gt;
&lt;dt&gt;重启ipsec服务:&lt;/dt&gt;
&lt;dd&gt;&lt;p&gt;service ipsec restart&lt;/p&gt;&lt;/dd&gt;
&lt;dt&gt;验证配置:&lt;/dt&gt;
&lt;dd&gt;&lt;p&gt;ipsec verify&lt;/p&gt;&lt;/dd&gt;
&lt;/dl&gt;

&lt;p&gt;你应该看到下面输出:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;Checking &lt;span class=&#34;k&#34;&gt;if&lt;/span&gt; IPsec got installed and started correctly:

Version check and ipsec on-path                   	&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;OK&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;
Openswan U2.6.42/K3.16.7-x86_64-linode49 &lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;netkey&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
See &lt;span class=&#34;sb&#34;&gt;`&lt;/span&gt;ipsec --copyright&lt;span class=&#34;s1&#34;&gt;&amp;#39; for copyright information.
&lt;/span&gt;&lt;span class=&#34;s1&#34;&gt;Checking for IPsec support in kernel              	[OK]
&lt;/span&gt;&lt;span class=&#34;s1&#34;&gt; NETKEY: Testing XFRM related proc values
&lt;/span&gt;&lt;span class=&#34;s1&#34;&gt;         ICMP default/send_redirects              	[OK]
&lt;/span&gt;&lt;span class=&#34;s1&#34;&gt;         ICMP default/accept_redirects            	[OK]
&lt;/span&gt;&lt;span class=&#34;s1&#34;&gt;         XFRM larval drop                         	[OK]
&lt;/span&gt;&lt;span class=&#34;s1&#34;&gt;Hardware random device check                      	[N/A]
&lt;/span&gt;&lt;span class=&#34;s1&#34;&gt;Two or more interfaces found, checking IP forwarding	[OK]
&lt;/span&gt;&lt;span class=&#34;s1&#34;&gt;Checking rp_filter                                	[ENABLED]
&lt;/span&gt;&lt;span class=&#34;s1&#34;&gt; /proc/sys/net/ipv4/conf/all/rp_filter            	[ENABLED]
&lt;/span&gt;&lt;span class=&#34;s1&#34;&gt;Checking that pluto is running                    	[OK]
&lt;/span&gt;&lt;span class=&#34;s1&#34;&gt; Pluto listening for IKE on udp 500               	[OK]
&lt;/span&gt;&lt;span class=&#34;s1&#34;&gt; Pluto listening for IKE on tcp 500               	[NOT IMPLEMENTED]
&lt;/span&gt;&lt;span class=&#34;s1&#34;&gt; Pluto listening for IKE/NAT-T on udp 4500        	[OK]
&lt;/span&gt;&lt;span class=&#34;s1&#34;&gt; Pluto listening for IKE/NAT-T on tcp 4500        	[NOT IMPLEMENTED]
&lt;/span&gt;&lt;span class=&#34;s1&#34;&gt; Pluto listening for IKE on tcp 10000 (cisco)     	[NOT IMPLEMENTED]
&lt;/span&gt;&lt;span class=&#34;s1&#34;&gt;Checking NAT and MASQUERADEing                    	[TEST INCOMPLETE]
&lt;/span&gt;&lt;span class=&#34;s1&#34;&gt;Checking &amp;#39;&lt;/span&gt;ip&lt;span class=&#34;s1&#34;&gt;&amp;#39; command                             	[OK]
&lt;/span&gt;&lt;span class=&#34;s1&#34;&gt;Checking &amp;#39;&lt;/span&gt;iptables&lt;span class=&#34;err&#34;&gt;&amp;#39;&lt;/span&gt; &lt;span class=&#34;nb&#34;&gt;command&lt;/span&gt;                       	&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;OK&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h1 id=&#34;配置xl2tpd&#34;&gt;配置xl2tpd&lt;/h1&gt;

&lt;p&gt;编辑xl2tpd配置文件/etc/xl2tpd/xl2tpd.conf, 用下面内容替换:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;global&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;
ipsec &lt;span class=&#34;nv&#34;&gt;saref&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; yes
saref &lt;span class=&#34;nv&#34;&gt;refinfo&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;30&lt;/span&gt;

&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;debug &lt;span class=&#34;nv&#34;&gt;avp&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; yes
&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;debug &lt;span class=&#34;nv&#34;&gt;network&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; yes
&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;debug &lt;span class=&#34;nv&#34;&gt;state&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; yes
&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;debug &lt;span class=&#34;nv&#34;&gt;tunnel&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; yes

&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;lns default&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;
ip &lt;span class=&#34;nv&#34;&gt;range&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;172&lt;/span&gt;.16.1.30-172.16.1.100
&lt;span class=&#34;nb&#34;&gt;local&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;ip&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;172&lt;/span&gt;.16.1.1
refuse &lt;span class=&#34;nv&#34;&gt;pap&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; yes
require &lt;span class=&#34;nv&#34;&gt;authentication&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; yes
&lt;span class=&#34;p&#34;&gt;;&lt;/span&gt;ppp &lt;span class=&#34;nv&#34;&gt;debug&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; yes
&lt;span class=&#34;nv&#34;&gt;pppoptfile&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; /etc/ppp/options.xl2tpd
length &lt;span class=&#34;nv&#34;&gt;bit&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; yes&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h1 id=&#34;配置ppp&#34;&gt;配置PPP&lt;/h1&gt;

&lt;p&gt;编辑ppp配置文件/etc/ppp/options.xl2tpd, 用下面内容替换, 如果该配置文件不存在, 手动创建它&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;require-mschap-v2
ms-dns &lt;span class=&#34;m&#34;&gt;8&lt;/span&gt;.8.8.8
ms-dns &lt;span class=&#34;m&#34;&gt;8&lt;/span&gt;.8.4.4
auth
mtu &lt;span class=&#34;m&#34;&gt;1200&lt;/span&gt;
mru &lt;span class=&#34;m&#34;&gt;1000&lt;/span&gt;
crtscts
hide-password
modem
name l2tpd
proxyarp
lcp-echo-interval &lt;span class=&#34;m&#34;&gt;30&lt;/span&gt;
lcp-echo-failure &lt;span class=&#34;m&#34;&gt;4&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;注意其中的mtu和mru别随便改动, 我调到1400网络性能急剧下降, 分析了一下, 很多包重发现象, 当然如果你熟悉sniffer, 可以自己调整一下, 估计1300什么的应该是可以的.&lt;/p&gt;

&lt;p&gt;添加用户, 在/etc/ppp/chap-secrets文件中填加用户:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;c1&#34;&gt;# Secrets for authentication using CHAP&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;# client       server  secret                  IP addresses&lt;/span&gt;
alice          l2tpd   0F92E5FC2414101EA            *
bob            l2tpd   DF98F09F74C06A2F             *&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;上面就是你未来客户端拨号用的账户信息&lt;/p&gt;

&lt;p&gt;现在重启ipsec和xl2tpd服务:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;service ipsec restart
/etc/init.d/xl2tpd restart&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;配置完成了&lt;/p&gt;

&lt;h1 id=&#34;客户端配置&#34;&gt;客户端配置&lt;/h1&gt;

&lt;p&gt;我用的是ubuntu 12.04 , 直接用network-manager-l2tp插件就行. 至于其他的客户端, 直接google吧&lt;/p&gt;
</description>
      
    </item>
    
    <item>
      <title>本地KVM环境运行Kubernetes集群</title>
      <link>http://tacy.github.io/post/%E6%9C%AC%E5%9C%B0kvm%E7%8E%AF%E5%A2%83%E8%BF%90%E8%A1%8Ckubernetes%E9%9B%86%E7%BE%A4/</link>
      <pubDate>Mon, 24 Nov 2014 00:00:00 +0000</pubDate>
      
      <guid>http://tacy.github.io/post/%E6%9C%AC%E5%9C%B0kvm%E7%8E%AF%E5%A2%83%E8%BF%90%E8%A1%8Ckubernetes%E9%9B%86%E7%BE%A4/</guid>
      
        <description>

&lt;p&gt;Kubernetes(后面简称为K8S)作为目前热门的容器集群管理软件, 很多人都希望能一探究竟, 但是它的文档大部分都是运行在IaaS平台之上, 对于没有IaaS环境的人来说, 还是有一定门槛, 这篇文章的目的就是让你能在自己的机器上搭建一个K8S集群.&lt;/p&gt;

&lt;p&gt;这里我采用的方式Kelsey Hightower提供的: [[&lt;a href=&#34;https://github.com/kelseyhightower/kubernetes-fleet-tutorial][Elastic&#34;&gt;https://github.com/kelseyhightower/kubernetes-fleet-tutorial][Elastic&lt;/a&gt; Kubernetes cluster with fleet and flannel]], 建议你先看看链接里的项目, 有一个大概的了解.&lt;/p&gt;

&lt;p&gt;主要用到的技术栈包括:
- KVM 底层虚拟化平台
- OpenVSwitch 虚拟交换机(取代bridge)
- CoreOS 轻量级的操作系统, 和Docker天然集成, 独特的升级机制(和Google Chrome一样[fn:1], 不是一个一个包升级, 而是Core的完整升级, 这样能保证整个环境的一致性)
- Fleet CoreOS管理集群管理工具, 就是一个配置管理工具, 当然只支持CoreOS, 类比的工具就是Chef/SaltStack一类的东西
- Flannel CoreOS提供的overlay网络软件, 为K8S提供网络服务
- Etcd  CoreOS提供的配置共享/服务发现的软件
- K8S Google开源的容器集群管理软件&lt;/p&gt;

&lt;p&gt;要完成整个配置, 你需要有一台至少8G RAM的机器, 少点估计也行, 但是建议还是多点, 毕竟要完成整个测试, 你需要有至少4个虚拟机, 如果需要跑监控的话 ,4G是打不住的.&lt;/p&gt;

&lt;p&gt;首先我们需要准备好的是我们的底层虚拟化环境, 其实没有想象的那么麻烦, 配置还是比较方便的.&lt;/p&gt;

&lt;h1 id=&#34;虚拟化环境准备&#34;&gt;虚拟化环境准备&lt;/h1&gt;

&lt;p&gt;我们这里测试机器用的是操作系统是Ubuntu 14.04, 最小安装即可, 配置好SSH, 如果你没有物理机, 也可以用虚拟机代替, 没啥影响, 保证虚拟机网络通就行.&lt;/p&gt;

&lt;dl&gt;
&lt;dt&gt;安装虚拟化支持软件:&lt;/dt&gt;
&lt;dd&gt;&lt;p&gt;apt-get install qemu-kvm openvswitch-switch&lt;/p&gt;&lt;/dd&gt;
&lt;/dl&gt;

&lt;p&gt;配置OpenVSwitch&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;nv&#34;&gt;$cat&lt;/span&gt; /etc/network/interface
auto ovsbr0
iface ovsbr0 inet static
   address &lt;span class=&#34;m&#34;&gt;172&lt;/span&gt;.16.11.1
   network &lt;span class=&#34;m&#34;&gt;172&lt;/span&gt;.16.11.0
   netmask &lt;span class=&#34;m&#34;&gt;255&lt;/span&gt;.255.255.0
   broadcast &lt;span class=&#34;m&#34;&gt;172&lt;/span&gt;.16.11.255

&lt;span class=&#34;nv&#34;&gt;$ovs&lt;/span&gt;-vsctl add-br ovsbr0

&lt;span class=&#34;nv&#34;&gt;$cat&lt;/span&gt; /etc/openvswitch/ovs-ifup
&lt;span class=&#34;cp&#34;&gt;#!/bin/sh
&lt;/span&gt;&lt;span class=&#34;cp&#34;&gt;&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;switch&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s1&#34;&gt;&amp;#39;ovsbr0&amp;#39;&lt;/span&gt;
/sbin/ifconfig &lt;span class=&#34;nv&#34;&gt;$1&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;.0.0.0 up
ovs-vsctl add-port &lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;switch&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;$1&lt;/span&gt;

&lt;span class=&#34;nv&#34;&gt;$cat&lt;/span&gt; /etc/openvswitch/ovs-ifdown
&lt;span class=&#34;cp&#34;&gt;#!/bin/sh
&lt;/span&gt;&lt;span class=&#34;cp&#34;&gt;&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;switch&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s1&#34;&gt;&amp;#39;ovsbr0&amp;#39;&lt;/span&gt;
/sbin/ifconfig &lt;span class=&#34;nv&#34;&gt;$1&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;.0.0.0 down
ovs-vsctl del-port &lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;switch&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;$1&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;添加一个bridge ,然后添加到OVS里面, 同时编写两个脚本, 后面KVM命令行启动虚拟机要用到.&lt;/p&gt;

&lt;dl&gt;
&lt;dt&gt;完成之后, 配置机器路由转发功能, 首先打开转发功能, 编辑/etc/sysctl.conf, 打开ip_forward=1那一行, 同时让配置生效:&lt;/dt&gt;
&lt;dd&gt;sysctl -p&lt;/dd&gt;
&lt;/dl&gt;

&lt;p&gt;配置iptables:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;iptables -I FORWARD -j ACCEPT
iptables -t nat -A POSTROUTING -s &lt;span class=&#34;m&#34;&gt;172&lt;/span&gt;.16.11.0/24 ! -d &lt;span class=&#34;m&#34;&gt;172&lt;/span&gt;.168.11.0/24 -j MASQUERADE&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;对所有172.16.11.0/24网段出去的流量做NAT, 同时转发所有的包. 这里只是测试环境, 所以我打开了所有包的转发, 当然你也能细粒度控制包转发.&lt;/p&gt;

&lt;p&gt;完成上面两步只后, 你还需要有一个dhcp server, 为你创建的虚拟机提供DHCP服务, 可以用dnsmasq这个软件来完成.&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;nv&#34;&gt;$apt&lt;/span&gt;-get install dnsmasq-base

&lt;span class=&#34;nv&#34;&gt;$cat&lt;/span&gt; resolv.dnsmasq.conf
&lt;span class=&#34;c1&#34;&gt;# Google&amp;#39;s nameservers, for example&lt;/span&gt;
nameserver &lt;span class=&#34;m&#34;&gt;8&lt;/span&gt;.8.8.8
nameserver &lt;span class=&#34;m&#34;&gt;8&lt;/span&gt;.8.4.4

&lt;span class=&#34;nv&#34;&gt;$dnsmasq&lt;/span&gt; --bind-interfaces --listen-address &lt;span class=&#34;m&#34;&gt;172&lt;/span&gt;.16.11.1 --dhcp-range &lt;span class=&#34;m&#34;&gt;172&lt;/span&gt;.16.11.100,172.16.11.200 --resolv-file&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;/home/tacy/coreos/config/resolv.dnsmasq.conf --dhcp-boot&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;pxelinux.0,roo,172.16.11.2&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;这样, 一个基本的虚拟化环境就差不多了.&lt;/p&gt;

&lt;h1 id=&#34;配置etcd&#34;&gt;配置etcd&lt;/h1&gt;

&lt;p&gt;这里需要简单介绍一下CoreOS这个操作系统, 不像其他传统的Linux发行版本, 他没有包管理机制, 只包括核心的一些软件, 升级操作是原子的, 不存在不一致问题.&lt;/p&gt;

&lt;p&gt;当运行系统检测到CoreOS有升级包的时候, 他会根据你选定的升级策略, 自动下载升级包更新, 但是他不会更新你当前正在运行的根分区(/usr被mount为只读), 因为他存在两个根分区, Active/Passive, 他升级的是Passive这个分区, 重启的时候, 切换Passive成为Active, 完成升级操作.&lt;/p&gt;

&lt;p&gt;CoreOS和Docker无缝集成, 预安装Docker, 如果你需要在CoreOS里面跑其他诊断工具, 比如tcpdump, 他通过创建一个fedora container来完成[fn:2].&lt;/p&gt;

&lt;p&gt;CoreOS采用Systemd做服务管理, Systemd也是目前热门的服务管理工具, 不远的将来会替换SysV和Upstart, 好处就是服务并行启动和好的依赖设计. 结合Cloud-Config, 解决CoreOS系统的预配置工作, 不依赖其他配置管理工具, 比如Chef等.&lt;/p&gt;

&lt;p&gt;同时CoreOS提供Fleet管理工具来管理CoreOS集群, Fleet通过发布Systemd Unit到集群成员, 实现服务配置.&lt;/p&gt;

&lt;p&gt;当然, CoreOS的整个体系中, 我们将要配置的Etcd无疑是最重要的一个, Etcd负责配置管理和服务发现, 是CoreOS的核心. K8S也用Etcd.&lt;/p&gt;

&lt;p&gt;介绍完了CoreOS, 我们来看怎么配置一个运行Etcd service的CoreOS.&lt;/p&gt;

&lt;dl&gt;
&lt;dt&gt;Kelsey Hightower已经帮你编写好了Cloud-Config文件, 你需要先Clone一下上面提到的项目.&lt;/dt&gt;
&lt;dd&gt;&lt;p&gt;git clone &lt;a href=&#34;https://github.com/kelseyhightower/kubernetes-fleet-tutorial.git&#34;&gt;https://github.com/kelseyhightower/kubernetes-fleet-tutorial.git&lt;/a&gt;&lt;/p&gt;&lt;/dd&gt;
&lt;/dl&gt;

&lt;p&gt;找到config目录下的etcd.yml文件, 根据你的实际情况, 修改里面的ip地址信息, 我测试环境用的是172.16.11.10, 做相应修改, 同时吧ssh_authorized_keys替换成你的的公钥. 另外需要特别注意的是, 这里的网卡名称需要修改一下, 不是eno16777736, 改成eth0.&lt;/p&gt;

&lt;dl&gt;
&lt;dt&gt;然后我们还需要下载一个CoreOS的KVM image. 去 [[&lt;a href=&#34;https://coreos.com/docs/running-coreos/platforms/qemu/][这里]&#34;&gt;https://coreos.com/docs/running-coreos/platforms/qemu/][这里]&lt;/a&gt;] 下载:&lt;/dt&gt;
&lt;dd&gt;&lt;p&gt;wget &lt;a href=&#34;http://stable.release.core-os.net/amd64-usr/current/coreos_production_qemu_image.img.bz2&#34;&gt;http://stable.release.core-os.net/amd64-usr/current/coreos_production_qemu_image.img.bz2&lt;/a&gt; -O - | bzcat &amp;gt; coreos_production_qemu_image.img&lt;/p&gt;&lt;/dd&gt;
&lt;/dl&gt;

&lt;p&gt;准备好之后, 我们就可以来启动一个etcd服务的CoreOS虚拟机了. 由于我们需要使用Cloud-Config文件启动, 你需要把配置文件放置到一个特定的位置, 我们先创建一个目录:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;nv&#34;&gt;$mkdir&lt;/span&gt; -p tmp/openstack/latest
&lt;span class=&#34;nv&#34;&gt;$cp&lt;/span&gt; etcd.yml tmp/openstack/latest/user_data&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;也就是把我们修改好的etcd.yml文件更名为user_data, 放置到/tmp/openstack/lastest目录下, 目录名的后两层不能修改, tmp可以任意. 这样CoreOS才能找到配置文件.&lt;/p&gt;

&lt;dl&gt;
&lt;dt&gt;现在可以启动etcd server了, 在启动之前, 我们还做最后一步工作, 用coreos_production_qemu_image.img做base image, 建立一个新的img文件来写入etcd server的修改:&lt;/dt&gt;
&lt;dd&gt;$qemu-img create -f qcow2 -b ../template/coreos.img etcd.img&lt;/dd&gt;
&lt;/dl&gt;

&lt;p&gt;这里我重命名coreos_production_qemu_image.img为coreos.img, 启动etcd server:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;nv&#34;&gt;$kvm&lt;/span&gt; -m &lt;span class=&#34;m&#34;&gt;2048&lt;/span&gt; -smp &lt;span class=&#34;m&#34;&gt;2&lt;/span&gt; &lt;span class=&#34;se&#34;&gt;\
&lt;/span&gt;&lt;span class=&#34;se&#34;&gt;&lt;/span&gt;-drive &lt;span class=&#34;nv&#34;&gt;file&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;../images/etcd.img,if&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;virtio,cache&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;none,aio&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;native &lt;span class=&#34;se&#34;&gt;\
&lt;/span&gt;&lt;span class=&#34;se&#34;&gt;&lt;/span&gt;-fsdev local,id&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;conf,security_model&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;none,readonly,path&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;../config/etcd &lt;span class=&#34;se&#34;&gt;\
&lt;/span&gt;&lt;span class=&#34;se&#34;&gt;&lt;/span&gt;-device virtio-9p-pci,fsdev&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;conf,mount_tag&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;config-2 &lt;span class=&#34;se&#34;&gt;\
&lt;/span&gt;&lt;span class=&#34;se&#34;&gt;&lt;/span&gt;-net nic,vlan&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;,model&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;virtio,macaddr&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;52&lt;/span&gt;:54:00:24:93:29&lt;span class=&#34;se&#34;&gt;\
&lt;/span&gt;&lt;span class=&#34;se&#34;&gt;&lt;/span&gt;-net tap,vlan&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;,vhost&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;on,script&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;/etc/openvswitch/ovs-ifup,downscript&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;/etc/openvswitch/ovs-ifdown &lt;span class=&#34;se&#34;&gt;\
&lt;/span&gt;&lt;span class=&#34;se&#34;&gt;&lt;/span&gt;-nographic -serial file:../logs/etcd.log&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;我的目录结构如下, Cloud-Config文件统一放到config目录, images下面存放虚拟机镜像, 虚拟机启动日志存放到logs目录:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;&lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;-coreos
   &lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;---bin
   &lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;---config
   &lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;-----etcd
   &lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;-------openstack
   &lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;---------latest
   &lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;-----node
   &lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;-------openstack
   &lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;---------latest
   &lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;---example
   &lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;-----guestbook
   &lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;---images
   &lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;---logs
   &lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;---temp
   &lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;---template
   &lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;---tools
   &lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;---units&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;好了, 现在你的etcd server就配置好了,  当然你还需要配置两个环境变量:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;$ &lt;span class=&#34;nb&#34;&gt;export&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;ETCDCTL_PEERS&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;http://172.16.11.10:4001
$ &lt;span class=&#34;nb&#34;&gt;export&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;FLEETCTL_ENDPOINT&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;http://172.16.11.10:4001&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;dl&gt;
&lt;dt&gt;同时在etcd创建flannel网络节点:&lt;/dt&gt;
&lt;dd&gt;$etcdctl mk /coreos.com/network/config &amp;lsquo;{&amp;ldquo;Network&amp;rdquo;:&amp;ldquo;10.0.0.0/16&amp;rdquo;}&amp;rsquo;&lt;/dd&gt;
&lt;/dl&gt;

&lt;p&gt;用fleetctl验证一下:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;tacy@momo1:~/coreos$ fleetctl list-machines
MACHINE         IP              METADATA
6a6e4c00...     &lt;span class=&#34;m&#34;&gt;172&lt;/span&gt;.16.11.10    &lt;span class=&#34;nv&#34;&gt;role&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;etcd&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;现在你可以继续配置其他虚拟机节点了, 这些节点用来运行K8S&lt;/p&gt;

&lt;h1 id=&#34;配置其他node&#34;&gt;配置其他Node&lt;/h1&gt;

&lt;dl&gt;
&lt;dt&gt;同样你需要基于coreos.img创建相应的img, 修改node.yml配置文件, 修正etcd server地址, 同时注意, node.yml里面的K8S下载用的是Google的云存储空间, 国内访问不了, 而且版本也是老的, 建议自己下载最新版本, 放置到本地, 如果你没有相关服务, 也可以临时用下面命令应急:&lt;/dt&gt;
&lt;dd&gt;&lt;p&gt;$python -m SimpleHTTPServer&lt;/p&gt;&lt;/dd&gt;
&lt;/dl&gt;

&lt;p&gt;配置完成之后验证一下:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;tacy@momo1:~/kubernetes/server/kubernetes/server/bin$ fleetctl list-machines
MACHINE         IP              METADATA
127d44a9...     &lt;span class=&#34;m&#34;&gt;172&lt;/span&gt;.16.11.165   &lt;span class=&#34;nv&#34;&gt;role&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;kubernetes
6a6e4c00...     &lt;span class=&#34;m&#34;&gt;172&lt;/span&gt;.16.11.10    &lt;span class=&#34;nv&#34;&gt;role&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;etcd
7b0826fb...     &lt;span class=&#34;m&#34;&gt;172&lt;/span&gt;.16.11.132   &lt;span class=&#34;nv&#34;&gt;role&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;kubernetes
bb8edb08...     &lt;span class=&#34;m&#34;&gt;172&lt;/span&gt;.16.11.178   &lt;span class=&#34;nv&#34;&gt;role&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;kubernetes&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;可以看到我这里创建了3个节点, 创建节点相关工作比较繁琐, 我写了一个脚本来完成:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;tacy@momo1:~/coreos/bin$ cat microcloud.py
&lt;span class=&#34;cp&#34;&gt;#!/usr/bin/env python
&lt;/span&gt;&lt;span class=&#34;cp&#34;&gt;&lt;/span&gt;&lt;span class=&#34;c1&#34;&gt;# -*- coding: utf-8 -*-&lt;/span&gt;

import os
import random
import pickle
import argparse
import subprocess

&lt;span class=&#34;nv&#34;&gt;parser&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; argparse.ArgumentParser&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;description&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s1&#34;&gt;&amp;#39;MicroCloud Ctl&amp;#39;&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;

parser.add_argument&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;s1&#34;&gt;&amp;#39;-i&amp;#39;&lt;/span&gt;,
                    &lt;span class=&#34;s1&#34;&gt;&amp;#39;--image&amp;#39;&lt;/span&gt;,
                    &lt;span class=&#34;nv&#34;&gt;help&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s1&#34;&gt;&amp;#39;kvm node name&amp;#39;&lt;/span&gt;,
                    &lt;span class=&#34;nv&#34;&gt;required&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; True&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
parser.add_argument&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;s1&#34;&gt;&amp;#39;-c&amp;#39;&lt;/span&gt;,
                    &lt;span class=&#34;s1&#34;&gt;&amp;#39;--clouddriver&amp;#39;&lt;/span&gt;,
                    &lt;span class=&#34;nv&#34;&gt;help&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s1&#34;&gt;&amp;#39;cloud config driver directory&amp;#39;&lt;/span&gt;,
                    &lt;span class=&#34;nv&#34;&gt;required&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; True&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;

&lt;span class=&#34;nv&#34;&gt;args&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; parser.parse_args&lt;span class=&#34;o&#34;&gt;()&lt;/span&gt;
&lt;span class=&#34;nv&#34;&gt;img&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; args.image
&lt;span class=&#34;nv&#34;&gt;cdf&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; args.clouddriver

&lt;span class=&#34;nv&#34;&gt;pypath&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; os.path.dirname&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;os.path.abspath&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;__file__&lt;span class=&#34;o&#34;&gt;))&lt;/span&gt;
&lt;span class=&#34;nv&#34;&gt;node&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; img.split&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;&lt;span class=&#34;s1&#34;&gt;&amp;#39;/&amp;#39;&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;)[&lt;/span&gt;-1&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;
&lt;span class=&#34;nv&#34;&gt;macaddrfile&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;s1&#34;&gt;&amp;#39;{0}/../config/macaddr.list&amp;#39;&lt;/span&gt;.format&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;pypath&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
&lt;span class=&#34;k&#34;&gt;if&lt;/span&gt; not os.path.isfile&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;macaddrfile&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;:
    with open&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;macaddrfile, &lt;span class=&#34;s1&#34;&gt;&amp;#39;wb+&amp;#39;&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; as fd:
        pickle.dump&lt;span class=&#34;o&#34;&gt;({}&lt;/span&gt;, fd&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
&lt;span class=&#34;nv&#34;&gt;macs&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;{}&lt;/span&gt;
with open&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;macaddrfile, &lt;span class=&#34;s1&#34;&gt;&amp;#39;rb+&amp;#39;&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; as fd:
    &lt;span class=&#34;nv&#34;&gt;macs&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; pickle.load&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;fd&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
&lt;span class=&#34;nv&#34;&gt;mac&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;s1&#34;&gt;&amp;#39;&amp;#39;&lt;/span&gt;
&lt;span class=&#34;k&#34;&gt;if&lt;/span&gt; node in macs:
    &lt;span class=&#34;nv&#34;&gt;mac&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; macs&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;node&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;
&lt;span class=&#34;k&#34;&gt;else&lt;/span&gt;:
    &lt;span class=&#34;nv&#34;&gt;rands&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt; 0x52, 0x54, 0x00,
              random.randint&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;0x00, 0x7f&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;,
              random.randint&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;0x00, 0xff&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;,
              random.randint&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;0x00, 0xff&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;
    &lt;span class=&#34;nv&#34;&gt;mac&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;s1&#34;&gt;&amp;#39;:&amp;#39;&lt;/span&gt;.join&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;map&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;lambda x: &lt;span class=&#34;s2&#34;&gt;&amp;#34;%02x&amp;#34;&lt;/span&gt; % x, rands&lt;span class=&#34;o&#34;&gt;))&lt;/span&gt;
    macs&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;node&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; mac
    with open&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;macaddrfile, &lt;span class=&#34;s1&#34;&gt;&amp;#39;wb+&amp;#39;&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt; as fd:
        pickle.dump&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;macs, fd&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;

&lt;span class=&#34;nv&#34;&gt;args&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;s1&#34;&gt;&amp;#39;qemu-system-x86_64&amp;#39;&lt;/span&gt;, &lt;span class=&#34;s1&#34;&gt;&amp;#39;-enable-kvm&amp;#39;&lt;/span&gt;,
        &lt;span class=&#34;s1&#34;&gt;&amp;#39;-m&amp;#39;&lt;/span&gt;, &lt;span class=&#34;s1&#34;&gt;&amp;#39;2048&amp;#39;&lt;/span&gt;,
        &lt;span class=&#34;s1&#34;&gt;&amp;#39;-smp&amp;#39;&lt;/span&gt;, &lt;span class=&#34;s1&#34;&gt;&amp;#39;2&amp;#39;&lt;/span&gt;,
        &lt;span class=&#34;s1&#34;&gt;&amp;#39;-drive&amp;#39;&lt;/span&gt;, &lt;span class=&#34;s1&#34;&gt;&amp;#39;file={0},if=virtio,cache=none,aio=native&amp;#39;&lt;/span&gt;.format&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;img&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;,
        &lt;span class=&#34;s1&#34;&gt;&amp;#39;-fsdev&amp;#39;&lt;/span&gt;, &lt;span class=&#34;s1&#34;&gt;&amp;#39;local,id=conf,security_model=none,readonly,path={0}&amp;#39;&lt;/span&gt;.format&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;cdf&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;,
        &lt;span class=&#34;s1&#34;&gt;&amp;#39;-device&amp;#39;&lt;/span&gt;, &lt;span class=&#34;s1&#34;&gt;&amp;#39;virtio-9p-pci,fsdev=conf,mount_tag=config-2&amp;#39;&lt;/span&gt;,
        &lt;span class=&#34;s1&#34;&gt;&amp;#39;-net&amp;#39;&lt;/span&gt;, &lt;span class=&#34;s1&#34;&gt;&amp;#39;nic,vlan=0,model=virtio,macaddr={0}&amp;#39;&lt;/span&gt;.format&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;mac&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;,
        &lt;span class=&#34;s1&#34;&gt;&amp;#39;-net&amp;#39;&lt;/span&gt;, &lt;span class=&#34;s1&#34;&gt;&amp;#39;tap,vlan=0,vhost=on,script=/etc/openvswitch/ovs-ifup,downscript=/etc/openvswitch/ovs-ifdown&amp;#39;&lt;/span&gt;,
        &lt;span class=&#34;s1&#34;&gt;&amp;#39;-nographic&amp;#39;&lt;/span&gt;,
        &lt;span class=&#34;s1&#34;&gt;&amp;#39;-serial&amp;#39;&lt;/span&gt;, &lt;span class=&#34;s1&#34;&gt;&amp;#39;file:{0}/../logs/{1}.log&amp;#39;&lt;/span&gt;.format&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;pypath, node&lt;span class=&#34;o&#34;&gt;)]&lt;/span&gt;

&lt;span class=&#34;c1&#34;&gt;#os.execv(&amp;#39;/usr/bin/qemu-system-x86_64&amp;#39;, args)&lt;/span&gt;
&lt;span class=&#34;nv&#34;&gt;process&lt;/span&gt; &lt;span class=&#34;o&#34;&gt;=&lt;/span&gt; subprocess.Popen&lt;span class=&#34;o&#34;&gt;([&lt;/span&gt;&lt;span class=&#34;s1&#34;&gt;&amp;#39;/usr/bin/qemu-system-x86_64&amp;#39;&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt; + args&lt;span class=&#34;o&#34;&gt;[&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;1&lt;/span&gt;:&lt;span class=&#34;o&#34;&gt;]&lt;/span&gt;,
                 &lt;span class=&#34;nv&#34;&gt;stdout&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;subprocess.PIPE, &lt;span class=&#34;nv&#34;&gt;stderr&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;subprocess.PIPE&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#stdout, stderr = process.communicate()&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#print stdout, stderr&lt;/span&gt;
print process.returncode&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;有了这个脚本之后, 新建一个节点只需要创建一下img, 然后运行这个脚本就行了.&lt;/p&gt;

&lt;h1 id=&#34;通过fleet部署k8s&#34;&gt;通过fleet部署K8S&lt;/h1&gt;

&lt;p&gt;CoreOS部署好之后, 你现在可以用fleet完成K8S的部署, 使用Kelsey Hightower提供的units, 直接用下面命令完成部署:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;$ fleetctl start kube-proxy.service
$ fleetctl start kube-kubelet.service
$ fleetctl start kube-apiserver.service
$ fleetctl start kube-scheduler.service
$ fleetctl start kube-controller-manager.service&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;同样的问题, 这里下载地址都是Google存储, 国内无法访问, 而且版本也是老的, 建议自己下载最新版本和配置下载地址.&lt;/p&gt;

&lt;p&gt;完成之后, 你就有了一个本地运行的K8S集群.&lt;/p&gt;

&lt;p&gt;需要特别注意的是, 由于K8S是一个快速变化的项目, 很多信息容易过期, 建议去关注项目的Issue列表, 由于0.5版本的K8S里面的服务重新设计, Kelsey Hightower文档中相关信息就不对, 注意看CoreOS的日志.&lt;/p&gt;

&lt;p&gt;现在可以去部署Guestbook这个例子了.&lt;/p&gt;

&lt;h1 id=&#34;部署guestbook&#34;&gt;部署Guestbook&lt;/h1&gt;

&lt;p&gt;直接下载最新发布的K8S版本, 解压缩之后里面有example/guestbook目录, 这就是我们需要部署的例子, guestbook部署包括一个redis master, 2个redis slave和3个web节点.&lt;/p&gt;

&lt;p&gt;部署起来也和很简单, 直接通过kubectl工具即可完成:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;kubectl create -f redis-master.json
kubectl create -f redis-master-service.json
kubectl create -f redis-slave-controller.json
kubectl create -f redis-slave-service.json
kubectl create -f frontend-controller.json&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;看看结果:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;tacy@momo1:~$ kubectl get pods
NAME                                   IMAGE&lt;span class=&#34;o&#34;&gt;(&lt;/span&gt;S&lt;span class=&#34;o&#34;&gt;)&lt;/span&gt;                   HOST                LABELS                                       STATUS
8f85c3e8-7481-11e4-8c27-52540015fd4a   brendanburns/redis-slave   &lt;span class=&#34;m&#34;&gt;172&lt;/span&gt;.16.11.132/      &lt;span class=&#34;nv&#34;&gt;name&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;redisslave,uses&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;redis-master            Running
8f85ff95-7481-11e4-8c27-52540015fd4a   brendanburns/redis-slave   &lt;span class=&#34;m&#34;&gt;172&lt;/span&gt;.16.11.165/      &lt;span class=&#34;nv&#34;&gt;name&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;redisslave,uses&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;redis-master            Running
4229efd3-751b-11e4-8c27-52540015fd4a   brendanburns/php-redis     &lt;span class=&#34;m&#34;&gt;172&lt;/span&gt;.16.11.132/      &lt;span class=&#34;nv&#34;&gt;name&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;frontend,uses&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;redisslave,redis-master   Running
422ac57d-751b-11e4-8c27-52540015fd4a   brendanburns/php-redis     &lt;span class=&#34;m&#34;&gt;172&lt;/span&gt;.16.11.178/      &lt;span class=&#34;nv&#34;&gt;name&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;frontend,uses&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;redisslave,redis-master   Running
422bd487-751b-11e4-8c27-52540015fd4a   brendanburns/php-redis     &lt;span class=&#34;m&#34;&gt;172&lt;/span&gt;.16.11.165/      &lt;span class=&#34;nv&#34;&gt;name&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;frontend,uses&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;redisslave,redis-master   Running
redis-master                           dockerfile/redis           &lt;span class=&#34;m&#34;&gt;172&lt;/span&gt;.16.11.165/      &lt;span class=&#34;nv&#34;&gt;name&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;redis-master                            Running&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;这样就把guestbook部署完成了. 你在宿主机上可以直接通过80端口访问&lt;/p&gt;

&lt;h1 id=&#34;部署监控&#34;&gt;部署监控&lt;/h1&gt;

&lt;p&gt;K8S的监控可以用cAdvisor + heapster + Influxdb + Grafana来实现. 下面我们来说说怎么去部署这样一个方案&lt;/p&gt;

&lt;p&gt;首先需要做的是在每一个minions上运行cAdvisor作为一个Pod, 可以通过[[&lt;a href=&#34;https://github.com/GoogleCloudPlatform/kubernetes/blob/master/cluster/saltbase/salt/cadvisor/cadvisor.manifest#L1][static&#34;&gt;https://github.com/GoogleCloudPlatform/kubernetes/blob/master/cluster/saltbase/salt/cadvisor/cadvisor.manifest#L1][static&lt;/a&gt; manifest file]]来实现, 我们这里需要修改一下node节点的&lt;/p&gt;

&lt;h1 id=&#34;k8s存在的问题&#34;&gt;K8S存在的问题&lt;/h1&gt;

&lt;h2 id=&#34;服务对外暴露问题&#34;&gt;服务对外暴露问题&lt;/h2&gt;

&lt;p&gt;对于服务的对外暴露问题, service提供的是一个虚的地址, 这对于内部路由没有问题(kube-proxy+iptables), 但是对于需要对外暴露的服务, 比如guestbook里面的web服务, 就没有很好的办法了(在GCE上是有办法解决的, 会判断service的createExternalLoadBalancer属性, 建立LB)&lt;/p&gt;

&lt;p&gt;相关Issue: [[&lt;a href=&#34;https://github.com/GoogleCloudPlatform/kubernetes/issues/1161][#1161]&#34;&gt;https://github.com/GoogleCloudPlatform/kubernetes/issues/1161][#1161]&lt;/a&gt;]&lt;/p&gt;

&lt;h2 id=&#34;服务注入问题&#34;&gt;服务注入问题&lt;/h2&gt;

&lt;p&gt;需要解决Cluster内部Pod依赖外部服务问题, 比如集群间, 不同命名空间, 数据库等,&lt;/p&gt;

&lt;p&gt;相关Issue: [[&lt;a href=&#34;https://github.com/GoogleCloudPlatform/kubernetes/issues/1542][#1542]&#34;&gt;https://github.com/GoogleCloudPlatform/kubernetes/issues/1542][#1542]&lt;/a&gt;], [[&lt;a href=&#34;https://github.com/GoogleCloudPlatform/kubernetes/issues/260][#260]&#34;&gt;https://github.com/GoogleCloudPlatform/kubernetes/issues/260][#260]&lt;/a&gt;], [[&lt;a href=&#34;https://github.com/GoogleCloudPlatform/kubernetes/issues/2358][#2358]&#34;&gt;https://github.com/GoogleCloudPlatform/kubernetes/issues/2358][#2358]&lt;/a&gt;]&lt;/p&gt;

&lt;h2 id=&#34;持久化数据问题&#34;&gt;持久化数据问题&lt;/h2&gt;

&lt;p&gt;相关Issue: [[&lt;a href=&#34;https://github.com/GoogleCloudPlatform/kubernetes/pull/1515][#1515]&#34;&gt;https://github.com/GoogleCloudPlatform/kubernetes/pull/1515][#1515]&lt;/a&gt;]&lt;/p&gt;

&lt;h1 id=&#34;部署中碰到的问题&#34;&gt;部署中碰到的问题&lt;/h1&gt;

&lt;h2 id=&#34;etcd&#34;&gt;etcd&lt;/h2&gt;

&lt;p&gt;etcd 0.5之前的版本使用的go-raft实现有问题, 会导致etcd起不来. 0.5版本之后, etcd实现了自己版本的raft, 解决了该问题, 建议用0.5之后的版本.&lt;/p&gt;

&lt;h2 id=&#34;fleetctl&#34;&gt;fleetctl&lt;/h2&gt;

&lt;p&gt;fleetctl确实非常方便, 但是也有一些问题, 参考这里[fn:3][fn:4], 对于服务的管理还有bug, 期待更稳定&lt;/p&gt;

&lt;h2 id=&#34;kube-register&#34;&gt;kube-register&lt;/h2&gt;

&lt;p&gt;老版本有bug, 会有too much open files问题, 需要自己编译&lt;/p&gt;

&lt;h1 id=&#34;footnotes&#34;&gt;Footnotes&lt;/h1&gt;

&lt;p&gt;[fn:1] [[&lt;a href=&#34;https://code.google.com/p/omaha/][Google&#34;&gt;https://code.google.com/p/omaha/][Google&lt;/a&gt; Omaha]]&lt;/p&gt;

&lt;p&gt;[fn:2] [[&lt;a href=&#34;https://coreos.com/docs/cluster-management/debugging/install-debugging-tools/][Install&#34;&gt;https://coreos.com/docs/cluster-management/debugging/install-debugging-tools/][Install&lt;/a&gt; Debugging Tools]]&lt;/p&gt;

&lt;p&gt;[fn:3] [[&lt;a href=&#34;https://github.com/coreos/fleet/issues/914][How&#34;&gt;https://github.com/coreos/fleet/issues/914][How&lt;/a&gt; to update unit?]]&lt;/p&gt;

&lt;p&gt;[fn:4] [[&lt;a href=&#34;https://github.com/coreos/fleet/pull/866][fleet&#34;&gt;https://github.com/coreos/fleet/pull/866][fleet&lt;/a&gt; agent does not compare contents of units in reconciler]]&lt;/p&gt;
</description>
      
    </item>
    
    <item>
      <title>在本地kvm环节下使用cloud image</title>
      <link>http://tacy.github.io/post/cloud-init/</link>
      <pubDate>Fri, 07 Nov 2014 00:00:00 +0000</pubDate>
      
      <guid>http://tacy.github.io/post/cloud-init/</guid>
      
        <description>

&lt;h1 id=&#34;在本地kvm环境下使用cloud-image&#34;&gt;在本地kvm环境下使用cloud image&lt;/h1&gt;

&lt;p&gt;大量的cloud image, 其实在本地虚拟环境也能使用, 这里简单介绍一下在我本机kvm环境下使用cloud image的步骤&lt;/p&gt;

&lt;p&gt;这里用的是openvswitch做网络环境配置&lt;/p&gt;

&lt;h2 id=&#34;配置openvswitch-kvm&#34;&gt;配置openvswitch+kvm&lt;/h2&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;apt-get install qemu-kvm openvswitch-switch

vi /etc/network/interface
auto ovsbr0
iface ovsbr0 inet static
   address &lt;span class=&#34;m&#34;&gt;172&lt;/span&gt;.16.11.1
   network &lt;span class=&#34;m&#34;&gt;172&lt;/span&gt;.16.11.0
   netmask &lt;span class=&#34;m&#34;&gt;255&lt;/span&gt;.255.255.0
   broadcast &lt;span class=&#34;m&#34;&gt;172&lt;/span&gt;.16.11.255

ovs-vsctl add-br ovsbr0

/etc/openvswitch/ovs-ifup
&lt;span class=&#34;cp&#34;&gt;#!/bin/sh
&lt;/span&gt;&lt;span class=&#34;cp&#34;&gt;&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;switch&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s1&#34;&gt;&amp;#39;ovsbr0&amp;#39;&lt;/span&gt;
/sbin/ifconfig &lt;span class=&#34;nv&#34;&gt;$1&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;.0.0.0 up
ovs-vsctl add-port &lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;switch&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;$1&lt;/span&gt;

/etc/openvswitch/ovs-ifdown
&lt;span class=&#34;cp&#34;&gt;#!/bin/sh
&lt;/span&gt;&lt;span class=&#34;cp&#34;&gt;&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;switch&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;s1&#34;&gt;&amp;#39;ovsbr0&amp;#39;&lt;/span&gt;
/sbin/ifconfig &lt;span class=&#34;nv&#34;&gt;$1&lt;/span&gt; &lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;.0.0.0 down
ovs-vsctl del-port &lt;span class=&#34;si&#34;&gt;${&lt;/span&gt;&lt;span class=&#34;nv&#34;&gt;switch&lt;/span&gt;&lt;span class=&#34;si&#34;&gt;}&lt;/span&gt; &lt;span class=&#34;nv&#34;&gt;$1&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h2 id=&#34;配置ubuntu-cloud-image&#34;&gt;配置ubuntu cloud image&lt;/h2&gt;

&lt;p&gt;去[[&lt;a href=&#34;https://cloud-images.ubuntu.com/releases/14.04.1/release/][Ubuntu网站]&#34;&gt;https://cloud-images.ubuntu.com/releases/14.04.1/release/][Ubuntu网站]&lt;/a&gt;] 下载相对应的image, 我这里用的是1404做测试:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;tacy@momo1:~/$ wget https://cloud-images.ubuntu.com/releases/14.04.1/release/ubuntu-14.04-server-cloudimg-amd64-disk1.img

tacy@momo1:~/$ tar zxvf ubuntu-14.04-server-cloudimg-amd64-disk1.img&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;dl&gt;
&lt;dt&gt;这是一个已经安装好的ubunt 14.04镜像, 文件格式是qcow2, 磁盘空间大小是2.2G, 可以用qemu-img resize.&lt;/dt&gt;
&lt;dd&gt;&lt;p&gt;tacy@momo1:~/$ qemu-img resize ubuntu-14.04-server-cloudimg-amd64-disk1.img +8g&lt;/p&gt;&lt;/dd&gt;
&lt;dt&gt;然后我们做一个快照, 用它来启动虚拟机&lt;/dt&gt;
&lt;dd&gt;&lt;p&gt;tacy@momo1:~/$ qemu-img create -f qcow2 -b ubuntu-14.04-server-cloudimg-amd64-disk1.img node01.img&lt;/p&gt;&lt;/dd&gt;
&lt;/dl&gt;

&lt;p&gt;准备好image, 现在我们来配置本地的cloud init, 让cloud image能启动起来, 也很简单, 建立下面两个文件:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;tacy@momo1:~/$ mkdir metadata &lt;span class=&#34;o&#34;&gt;&amp;amp;&amp;amp;&lt;/span&gt; &lt;span class=&#34;nb&#34;&gt;cd&lt;/span&gt; metadata
tacy@momo1:~/metadata$ cat meta-data
instance-id: iid-local01
local-hostname: cloudimg
network-interfaces: &lt;span class=&#34;p&#34;&gt;|&lt;/span&gt;
  auto eth0
  iface eth0 inet static
  address &lt;span class=&#34;m&#34;&gt;172&lt;/span&gt;.16.11.100
  network &lt;span class=&#34;m&#34;&gt;172&lt;/span&gt;.16.11.0
  netmask &lt;span class=&#34;m&#34;&gt;255&lt;/span&gt;.255.255.0
  broadcast &lt;span class=&#34;m&#34;&gt;172&lt;/span&gt;.16.11.255
  gateway &lt;span class=&#34;m&#34;&gt;172&lt;/span&gt;.16.11.1

tacy@momo1:~/metadata$ cat user-data
&lt;span class=&#34;c1&#34;&gt;#cloud-config&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#password: passw0rd&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#chpasswd: { expire: False }&lt;/span&gt;
&lt;span class=&#34;c1&#34;&gt;#ssh_pwauth: True&lt;/span&gt;
ssh_authorized_keys:
  - ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCUtDcwkNskzigh0rjirK/BoualyOiuZoBLMpK03MHBUPh/wHgoiSGOUoSGY7RMcVclKECqCQjyv3WN6vJnDwjQ1mEiXFKntnWqqJYZsDETttDfxYwPmV2sA5UBfSFDUuBhmLYVsJg/T9NUf/K/aO8RI2Q7M09Xds6hfilO1rR59h/8/d3fbj8QG/DBnEFe6HxQj7OX5RGPbL/dT9OlLdDLhRf6rPHFHVy7PKTU1SfzIsL89v9MXkAcet+zb5UJcuifSMIQQhSv8MhhWscZibkXQi1btqxNgoxIVguW57fghR7wpVUn6oAHiCnz3KY34N8Nv1UodY6kk4idUmQ0oJiZ xx@xx&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;这里的ssh key是你的公钥, 当然也可以配置密码登陆.&lt;/p&gt;

&lt;dl&gt;
&lt;dt&gt;生成镜像文件:&lt;/dt&gt;
&lt;dd&gt;genisoimage  -output seed.iso -volid cidata -joliet -rock user-data meta-data&lt;/dd&gt;
&lt;/dl&gt;

&lt;h2 id=&#34;启动虚拟机&#34;&gt;启动虚拟机&lt;/h2&gt;

&lt;p&gt;现在可以启动虚拟机了:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;sudo kvm -m 2048m -smp &lt;span class=&#34;m&#34;&gt;2&lt;/span&gt; &lt;span class=&#34;se&#34;&gt;\
&lt;/span&gt;&lt;span class=&#34;se&#34;&gt;&lt;/span&gt;-drive &lt;span class=&#34;nv&#34;&gt;file&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;node01.img,if&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;virtio,cache&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;none,aio&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;native &lt;span class=&#34;se&#34;&gt;\
&lt;/span&gt;&lt;span class=&#34;se&#34;&gt;&lt;/span&gt;-drive &lt;span class=&#34;nv&#34;&gt;file&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;./metadata/seed.iso,if&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;virtio &lt;span class=&#34;se&#34;&gt;\
&lt;/span&gt;&lt;span class=&#34;se&#34;&gt;&lt;/span&gt;-net nic,vlan&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;,model&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;virtio,macaddr&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;DE:AD:BE:EF:FC:80 &lt;span class=&#34;se&#34;&gt;\
&lt;/span&gt;&lt;span class=&#34;se&#34;&gt;&lt;/span&gt;-net tap,vlan&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;,vhost&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;on,script&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;/etc/openvswitch/ovs-ifup,downscript&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;/etc/openvswitch/ovs-ifdown &lt;span class=&#34;se&#34;&gt;\
&lt;/span&gt;&lt;span class=&#34;se&#34;&gt;&lt;/span&gt;-nographic -curses&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;dl&gt;
&lt;dt&gt;启动之后, 你的配置信息注入到了虚拟机里面, 你现在可以直接访问了:&lt;/dt&gt;
&lt;dd&gt;&lt;p&gt;ssh ubuntu@172.16.11.100&lt;/p&gt;&lt;/dd&gt;
&lt;/dl&gt;

&lt;p&gt;想象一下, 这样你自己完全可以diy一个单机的IaaS平台嘛!&lt;/p&gt;

&lt;p&gt;当然这里没有配置虚拟机的网络访问, 如果要实现网络访问, 需要配置虚拟机的resolv.conf和宿主机的路由转发.&lt;/p&gt;

&lt;h2 id=&#34;宿主机路由&#34;&gt;宿主机路由&lt;/h2&gt;

&lt;dl&gt;
&lt;dt&gt;首先打开转发功能, 编辑/etc/sysctl.conf, 打开ip_forward=1那一行, 同时让配置生效:&lt;/dt&gt;
&lt;dd&gt;sysctl -p&lt;/dd&gt;
&lt;/dl&gt;

&lt;p&gt;配置iptables:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;iptables -I FORWARD -j ACCEPT
iptables -t nat -A POSTROUTING -s &lt;span class=&#34;m&#34;&gt;172&lt;/span&gt;.16.11.0/24 ! -d &lt;span class=&#34;m&#34;&gt;172&lt;/span&gt;.168.11.0/24 -j MASQUERADE&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;这里只是测试环境, 所以我打开了所有包的转发, 当然你也能细粒度控制包转发.&lt;/p&gt;

&lt;h1 id=&#34;coreos的cloud-config&#34;&gt;CoreOS的cloud config&lt;/h1&gt;

&lt;p&gt;coreos这是个顺应容器时代的操作系统, 他和其他linux发行版完全不一样, 没有提供包管理机制, 预编译升级, 支持很多IaaS平台, 如果你没有IaaS平台, 当然你也能在本地用, 社区有支持版本[fn:1]. 我一般在自己机器上用kvm, 测试了一下, 非常方便, 简单注意几点:&lt;/p&gt;

&lt;h2 id=&#34;cloud-config&#34;&gt;cloud config&lt;/h2&gt;

&lt;p&gt;该文件必须存放在特殊位置, 使用方式如下:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;mkdir -p myconfig/openstack/latest
cp user_data myconfig/openstack/latest/&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;user_data就是coreos的cloud config文件, 具体用法请参考CoreOS文档[fn:2]. 必须存放在openstack/latest目录下才行.&lt;/p&gt;

&lt;p&gt;使用方式在kvm启动命令中添加如下启动项:&lt;/p&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;-fsdev local,id&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;conf,security_model&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;none,readonly,path&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;~/myconfig &lt;span class=&#34;se&#34;&gt;\
&lt;/span&gt;&lt;span class=&#34;se&#34;&gt;&lt;/span&gt;-device virtio-9p-pci,fsdev&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;conf,mount_tag&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;config-2 &lt;span class=&#34;err&#34;&gt;\&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h2 id=&#34;kvm启动命令示例&#34;&gt;kvm启动命令示例&lt;/h2&gt;
&lt;div class=&#34;highlight&#34;&gt;&lt;pre class=&#34;chroma&#34;&gt;&lt;code class=&#34;language-shell&#34; data-lang=&#34;shell&#34;&gt;sudo kvm -m 2048m -smp &lt;span class=&#34;m&#34;&gt;2&lt;/span&gt; &lt;span class=&#34;se&#34;&gt;\
&lt;/span&gt;&lt;span class=&#34;se&#34;&gt;&lt;/span&gt;-drive &lt;span class=&#34;nv&#34;&gt;file&lt;/span&gt;&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;coreos-etcd.img,if&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;virtio,cache&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;none,aio&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;native &lt;span class=&#34;se&#34;&gt;\
&lt;/span&gt;&lt;span class=&#34;se&#34;&gt;&lt;/span&gt;-fsdev local,id&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;conf,security_model&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;none,readonly,path&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;~/myconfig &lt;span class=&#34;se&#34;&gt;\
&lt;/span&gt;&lt;span class=&#34;se&#34;&gt;&lt;/span&gt;-device virtio-9p-pci,fsdev&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;conf,mount_tag&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;config-2 &lt;span class=&#34;se&#34;&gt;\
&lt;/span&gt;&lt;span class=&#34;se&#34;&gt;&lt;/span&gt;-net nic,vlan&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;,model&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;virtio &lt;span class=&#34;se&#34;&gt;\
&lt;/span&gt;&lt;span class=&#34;se&#34;&gt;&lt;/span&gt;-net tap,vlan&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;0&lt;/span&gt;,vhost&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;on,script&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;/etc/openvswitch/ovs-ifup,downscript&lt;span class=&#34;o&#34;&gt;=&lt;/span&gt;/etc/openvswitch/ovs-ifdown &lt;span class=&#34;se&#34;&gt;\
&lt;/span&gt;&lt;span class=&#34;se&#34;&gt;&lt;/span&gt;-nographic &amp;gt; /dev/null &lt;span class=&#34;m&#34;&gt;2&lt;/span&gt;&amp;gt;&lt;span class=&#34;p&#34;&gt;&amp;amp;&lt;/span&gt;&lt;span class=&#34;m&#34;&gt;1&lt;/span&gt; &lt;span class=&#34;p&#34;&gt;&amp;amp;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;h2 id=&#34;日志诊断&#34;&gt;日志诊断&lt;/h2&gt;

&lt;p&gt;CoreOS的日志查看非常简单, 他提供了一个统一的工具: journalctl[fn:3], 通过这个工具, 你能查看单个节点的日志信息.&lt;/p&gt;

&lt;dl&gt;
&lt;dt&gt;读整个日志, 不需要加任何参数, 直接执行即可. 查看某个服务的日志, 简单通过如下命令:&lt;/dt&gt;
&lt;dd&gt;&lt;p&gt;$ journalctl -u apache.service&lt;/p&gt;&lt;/dd&gt;
&lt;dt&gt;读启动日志, 可以查看最晚的启动日志, 方便诊断启动错误(cloud config出现问题可以清楚看到):&lt;/dt&gt;
&lt;dd&gt;&lt;p&gt;journalctl &amp;ndash;boot&lt;/p&gt;&lt;/dd&gt;
&lt;dt&gt;你也能用fleetctl读取fleet控制的服务:&lt;/dt&gt;
&lt;dd&gt;&lt;p&gt;$ fleetctl &amp;ndash;tunnel 10.10.10.10 journal apache.service&lt;/p&gt;&lt;/dd&gt;
&lt;/dl&gt;

&lt;p&gt;当然也能tail ,直接在命令后面加-f参数即可&lt;/p&gt;

&lt;h2 id=&#34;一些问题&#34;&gt;一些问题&lt;/h2&gt;

&lt;ol&gt;
&lt;li&gt;Cloud config容易由于网络问题, 导致配置失败, 估计好多人都碰到了[fn:4].&lt;/li&gt;
&lt;/ol&gt;

&lt;h1 id=&#34;footnotes&#34;&gt;Footnotes&lt;/h1&gt;

&lt;p&gt;[fn:1] [[&lt;a href=&#34;https://coreos.com/docs/#running-coreos][CoreOS&#34;&gt;https://coreos.com/docs/#running-coreos][CoreOS&lt;/a&gt; support platforms]]&lt;/p&gt;

&lt;p&gt;[fn:2] [[&lt;a href=&#34;https://coreos.com/docs/cluster-management/setup/cloudinit-cloud-config/][Cloud&#34;&gt;https://coreos.com/docs/cluster-management/setup/cloudinit-cloud-config/][Cloud&lt;/a&gt; Config]]&lt;/p&gt;

&lt;p&gt;[fn:3] [[&lt;a href=&#34;https://coreos.com/docs/cluster-management/debugging/reading-the-system-log/][Reading&#34;&gt;https://coreos.com/docs/cluster-management/debugging/reading-the-system-log/][Reading&lt;/a&gt; the System Log]]&lt;/p&gt;

&lt;p&gt;[fn:4] [[&lt;a href=&#34;https://github.com/coreos/coreos-cloudinit/issues/205][CoreOS&#34;&gt;https://github.com/coreos/coreos-cloudinit/issues/205][CoreOS&lt;/a&gt; Cloud init #205]]&lt;/p&gt;
</description>
      
    </item>
    
  </channel>
</rss>