????4??Drive quality upstream

????????????bug??????????????????????????????????????????????????????????????????????150??????????????200????????????????????????路???????????????5???????????????1?????????????????1??????????????危???????????????????????????????????????PM??DEV????????????????????????????????????????????????琛�??????????????????????????????????????????????????????懈????谩???????????????????????????????????????????????????????????????????????????懈??????谩??????????????????????????些???璨�?????????????????

??????dev????危????????????????????????dev??????????????些??????????????????????????????????????锌??????????????????????????????????????????????????????????????????????????????卸???????卸????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????小?????????????????????????????????????????????????????????????榛�??????????????????????????????????蟹????????????????????????????????????尾??????椋�????????????????????????????????????????????????????????????????????????????????????????煤?????????????????????????????????????one-box???姹�???e姹�????????????????????????????????泄?????????????????魏位???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????谓??????????????????????????????????????????????????????????????????????鈥�??????????????????????????????????????????????眉?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????蔚??????????????????????????????????????????????????????????????????

????5??Getting better every day

???????????????????????bug?????????????????????????????????????????些???????????些????????. ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????浠�?????????????????????????校??????????????/?????bug??????????/????????????????????????????????????????????????????校?bug root cause analysis??Bug analysis??Test case failure analysis?? test gap analysis??Bug talk??bug share??CCS data analysis??????????????????????????????????眉???谩???????????????路????????????????锟�???胃???效?????????????????

????6??Engineering agility

???????????????????????????????????????????????????????????????????渭???????????????????????2??3?????????????????????????????梅???????????????????????????????????????????????????????????????????????????????妫�???????????????????????????????????????????妫�????scalability?? high availability?? fault tolerance?? disaster recovery?? etc.. ??些????????????????械????????????2010??????????????????????????????????????Azure?? Bing?? etc??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????TiP ??test in production?? ?? crowd-sourced testing. ??????????????drive quality upstream?????????????????test in production?????????drive quality downstream??????????????????胁?????????????????????????????????????????????????????????????????????????????????????????????????????????谢?????????????????????????????胁????????????????????????????????????????械?bug?????????????????????????????????????????????????渭?bug??????????????????路???????????????????????????????????????????????????????????????????????????????????????????????????bug??????????????????????????????????????????????????效????????????????????蟹????bug?卸?????斜???????????????bug???????????????test in production?? ?????????????????????????????????????????????????????????????????????bug?? ?????????????????????????????????????????些TiP?????校?A/B testing??expose control/slicing model??on/off features??chaos-monkey??measuring/monitoring.

????????????????????2???????????????????????to be continued .....