谭奇伟,AC上重复配置AP手动模板导致AP无法上线问题
组网及说明
AC旁挂核心，AP三层注册，手动注册，AC未开启自动注册和固化。
告警信息
无
问题描述
AC下1000多台AP均可正常上线，只有3台无法上线，
AP能正常获取IP地址，能ping通AC，且替换POE端口测试发现AP仍然无法上线。
过程分析
经前期排查，DHCP服务器地址池充足且正确配置了Option 43，有线链路状态正常，AP上配置wlan ac ip xxx 指定AC地址仍然无法上线。且进行了AP的PoE端口替换测试，因此暂先不考虑链路问题的影响。
在AP上开启：debug wlan capwap all
在AC上开启：debug wlan capwap all mac-address H-H-H // AP的MAC地址
debug wlan capwap error all
同时为了避免AC上打印太多日志，配置：terminal logging level alert // 完成debug后需要undo terminal logging level
开启后在AP侧观察到：
*Sep 7 00:06:54:990 2020 H3C CWC/7/RCV_PKT: Received discovery response with SeqNum 0 from AC at 172.16.132.10:5246.
*Sep 7 00:06:54:990 2020 H3C CWC/7/RCV_PKT: Verbose info for discovery response from AC 172.16.132.10:5246, length=137.
// 此处省略debug打印的hex字符串
说明AC收到了AP发送的discover request请求且回复了discover response并被AP收到。
*Sep 7 00:06:56:996 2020 H3C CWC/7/TMR: Discovery Interval timer expired.uiAPID = 1.
*Sep 7 00:06:56:996 2020 H3C CWC/7/EVENT: Discovered AC by method of IPv4 dhcp option successfully.
*Sep 7 00:06:56:997 2020 H3C CWC/7/EVENT: AP selected AC IP 172.16.132.10 Priority 4 successfully.
*Sep 7 00:06:56:999 2020 H3C CWC/7/FSM: Enter Join state.
*Sep 7 00:06:57:009 2020 H3C CWC/7/EVENT: Fill join req.wtu=1.model=WA5530.wt drv info:[][0000-0000-0000].subslot=0.licensetype=1.ret=0x40010001.
*Sep 7 00:06:57:009 2020 H3C CWC/7/EVENT: Fill join req.ap=1.model=WA5530.licensetype=1.carry wt info is unnecessary.
*Sep 7 00:06:57:010 2020 H3C CWC/7/SND_PKT: Sent join request with SeqNum 1 to AC 172.16.132.10:5246.
*Sep 7 00:06:57:010 2020 H3C CWC/7/SND_PKT: Verbose info for join request sent to AC 172.16.132.10:5246, length=222.
// 此处省略debug打印的hex字符串
说明AP向AC发起了join request的请求
*Sep 7 00:06:57:013 2020 H3C CWC/7/RCV_PKT: Received join response with SeqNum 1 from AC at 172.16.132.10:5246.
*Sep 7 00:06:57:013 2020 H3C CWC/7/RCV_PKT: Verbose info for join response from AC 172.16.132.10:5246, length=24.
00 10 02 00 00 00 00 00 00 00 00 04 01 00 0B 00
00 21 00 04 00 00 00 01
AP收到了AC回复的 join response 请求报文，但可以观察到，其中的hex字符串内容很少，和正常的AP注册上线时相比明显少很多，似有异样。
*Sep 7 00:06:57:019 2020 H3C CWC/7/ERROR: Failed to process Join Response because Result Code was failure.uiAPID=1,uiResultCode=1.
*Sep 7 00:06:57:021 2020 H3C CWC/7/EVENT: Close capwap client udp port:11873
*Sep 7 00:06:57:021 2020 H3C CWC/7/FSM: [Tunnel ID: 1] Join -> Idle.
*Sep 7 00:06:57:022 2020 H3C CWC/7/EVENT: CAPWAP tunnel to AC 172.16.132.10 went down. Reason: Failed to process response.
*Sep 7 00:06:57:022 2020 H3C CWC/7/EVENT: [download-ipe] Reset online download ap-image flag.
*Sep 7 00:06:57:031 2020 H3C CWC/7/FSM: Enter Idle state.
*Sep 7 00:06:57:031 2020 H3C CWC/7/ERROR: pstAccb->bIsMaster is false
*Sep 7 00:06:57:031 2020 H3C CWC/7/EVENT: Start ipv4 dhcp opt43 discover.
这里可以看到，AP处理AC回复的join response报文时发现了其中的异常，因此无法继续后续步骤，AP状态从join回到了idle，然后重新发起了上线请求。
可以判断，AP上线的join过程出现了异常。
但回顾以往案例却未找到类似可以参考的报错。
解决方法
由于AP采用的是手动模板配置上线，在仔细检查AC的配置后，发现在AC上对同一个AP，不小心配置了两个模板，即：
wlan ap ap1 model WA6330
vlan 1
serial-id xxxxxxxxxxxxxxxxxx
......
wlan ap ap2 model WA6330
vlan 1
mac-address 441a-fa32-27f0
......
而实际上，ap1和ap2是同一个AP，而配置时分别用了SN和mac-address配置的模板，导致AP发送的请求在AC上同时匹配了这两个手动模板，从而产生了处理错误导致无法正常上线。
删除了其中一个手动模板，AP正常上线。
须知，AC上配置AP的手动模板，可以分别使用指定SN，或者指定mac-address的方法，但需要注意尽量选用同一种，以避免针对同一个AP，配置了两个手动模板。
扩展说明：
1. debug wlan capwap的时候，AC上建议开启的是：debug wlan capwap all mac-address H-H-H (AP MAC)，以及debug wlan capwap error all，// error 后面不建议跟mac-address H-H-H (AP MAC)，以免漏打印；
2. AP上线失败，可以在AC侧通过display wlan ap statistics association-failure-record查看AP上线不成功的原因记录，如果某个AP发送的discover request报文AC没有收到，那么则不会记录这个AP上线失败的原因；
3. AP上线失败，除了debug wlan capwap外，还可以在中间交换机上流统capwAP管理报文（udp类型，AC固定是5246端口，AP是随机端口）；
4. 可以在AC和AP中间链路交换机上抓包，注意AC上不建议开启镜像抓包，因为可能影响AC的正常运行，如果需要抓包则在AC对端交换机的端口上抓包；
5. 还可以在AC上查看AP的CAPWAP报文统计，比如在AP无法上线的时候，持续收集以下命令查看各种CAPWAP管理报文是否有增长：
[AC-Probe] display system internal wlan ap all capwap pakcet-statistics | begin H-H-H // AP的MAC地址
Mac-address : 441a-fa32-27f0
Illegal Packet : 0
Discover Request/Response : 7/7
Join Request/Response : 3/3
Configuration Request/Response : 2/2
Configuration Update Request/Response : 11036/11032
WTP Event Request/Response : 356870/356870
Change State Event Request/Response : 2/2
Echo Request/Response : 58454/58455
Image Data Request/Response : 16842/16842
Reset Request/Response : 0/0
Primary Discovery Request/Response : 0/0
Data Transfer Request/Response : 0/0
Clear Config Indication/Response : 0/0
Mobile Configuration Request/Response : 97/97
Data Channel Keep Alive Request/Response: 58456/58456
Wlan Configuration Request/Response : 20/20
