网络分析工具

这里的网络分析工具可以归为两大类:

网络代理: 用的最多的是 Fiddler
分析工具: 比较熟悉的是Wireshark

代理类

Fiddler

以Android客户端抓包为例,主要步骤为:

[Tools]-[Options], 检查Connections和HTTPS选项,开启代理模式
安卓浏览器访问 :8888, 下载并安装根证书
设置安卓WIFI代理为以上地址和端口

Charles (付费)

默认端口8888
[Proxy]-[SSL Proxy Settings]-[SSL Proxying],添加location。
访问 [Help]-[SSL Proxying]-[Install Charles Root Certificate on a Mobile Device or Remote Browser]，找到代理地址和端口。

注: 如果response中文显示乱码，需要确保本地已安装证书。[Help]-[SSL Proxying]-[Install Charles Root Certificate]即可。

限制：
从Android 7开始，需要修改app配置信任用户证书，才能显示HTTPS内容。

如果targets API为24+或应用使用了certificate pinning(使用okhttp等)，也可能不工作。

步骤如下：

在应用工程添加文件 res/xml/network_security_config.xml:

<network-security-config> 
  <debug-overrides> 
    <trust-anchors> 
      <!-- Trust user added CAs while debuggable only -->
      <certificates src="user" /> 
    </trust-anchors> 
  </debug-overrides> 
</network-security-config>

然后添加到应用的manifest文件:

<?xml version="1.0" encoding="utf-8"?>
<manifest>
    <application android:networkSecurityConfig="@xml/network_security_config" >
        ...
    </application>
</manifest>

Burp Suite

默认端口8080

mitmproxy

Python写的开源调试工具, 解析/修改/重放/保存。

mitmproxy -b PORT -w outfile
mitmdump -w outfile
# -n 不绑定代理端口
# 过滤所有POST
mitmdump -nr outfile -w outfile2 "-m post"
# 客户端重放, -c filename
mitmdump -nc outfile

抓包分析

Wireshark

需要区分两种过滤语言

Capture Filter: Berkley Packet Filter

示例: host xulizhao.com and port 443

Display Filter

常用过滤器

# 地址/端口
ip.addr == 10.0.0.1
ip.src ==
ip.src_host ==
tcp.port==4000
tcp.port == 8080 and ip.addr==127.0.0.1
# HTTP
http
http.request # 显示所有GET请求
# 其他
# 显示所有 TCP resets
tcp.flags.reset==1 
# 显示所有retransmissions
tcp.analysis.retransmission 
tcp.analysis.lost_segment
tcp.analysis.ack_lost_segment
# 显示包含关键字 traffic 的包
tcp contains traffic 
frame contains ...

配置

如果SSL端口不是默认的443端口,需要修改配置项以显示TLS/SSL协议抓包:
位于 Edit -> Preferences -> Protocols -> HTTP -> SSL/TLS Ports,把值修改为 443,8443

知识点

Wireshark的时间戳存在偏差,非标准时间
每个包在Info存在唯一标识
DUP ACK/TCP Retransmission 是正常的
协议
- 802.11即以太网,在frames
- Internet Protocol/IP: 包含在每个以太frame,在packets
- Transmission Control Protocol/TCP: 包在每个IP packet,在segments
- Transport Layer Security/TLS: 通过TCP字节流,在records/messages
- Hypertext Transfer Protocol/HTTP: 在加密的TLS连接中携带,一般不可见
名词解释
- TCP Spurious Retransmission: 发送方重传了接收方已确认的数据, 通常因为发送方认为该数据包丢失而重发.
- TCP post number reused: 可能意味网络存在重复包.

编辑/合并文件

editcap -c 10000 in.pcap out.pcap
editcap -A "2017-05-11 12:00:00" -B "2017-05-11 13:00:00" in.pcap out.pcap
mergecap out.pcap in1.pcap in2.pcap

tcpdump

sudo tcpdump -n -s 4096 -w l.log port 80

常用选项:

-n: 不做地址和端口的数字/名称转换
-i: 捕获的网卡名
-w: 把原始包写到文件, 而不是解析并打印(默认行为). 可以用-r选项再次打印

tcpflow

轻量级网络包分析

Android全局抓包分析(HTTP/HTTPS+TCP)

最近遇到的问题是，App也使用了TCP协议，如果使用Fiddler这类HTTP代理工具会造成应用使用问题。

所以要同时抓取HTTP/HTTPS和TCP数据，安卓自带的WiFi代理便局限了。

抓包方案有2个：

Android机已ROOTED

手机端安装tcpdump，因为安卓本身就是基于*Nix的嘛，在电脑用Wireshark抓包。

其实就是一条命令：

adb exec-out "tcpdump -i any -U -w - 2>/dev/null" | wireshark -k -S -i -

电脑建立WiFi热点

由于是公司的手机，不能随便ROOT。思路是通过电脑的无线网络建立一个代理WiFi热点。

在Windows7/10都可以，如果是台式机，需要自备无线网卡。

# 确定  Hosted network supported/支持的承载网络为 Yes/是
netsh wlan show drivers

# 建立虚拟WiFi
netsh wlan set hostednetwork mode=allow ssid=testWiFi key=password
# 设置网络连接共享: 右键点击正在使用的以太网络连接，[属性]-[共享]标签-勾选 [Internet共享连接]并从下拉列表选择刚创建的网络。
# Windows10位置：[Windows Settings]-[Network&Internet]-[Change Adapter Options]

#开启无线AP
netsh wlan start hostednetwork