Distributed Robust Estimation on Sparse Linear Regression
时间：2019-06-05
阅读量：281次
- 演讲人： 刘卫东教授（上海交通大学数学科学学院）
- 时间：2019年06月13日 星期四上午10:20-
- 地点：紫金港校区管理学院行政楼14楼1417报告厅
- 主办单位：浙江大学数据科学研究中心、浙江大学数学科学学院统计学研究所
摘要：This paper studies distributed estimation and support recovery for high-dimensional linear regression model with heavy-tailed noise. To deal with heavy-tailed noise whose variance can be infinite, we adopt the quantile regression loss function instead of the commonly used squared loss. However, the non-smooth quantile loss poses new challenges to high-dimensional distributed estimation in both computation and theoretical development. To address the challenge, we transform the response variable and establish a new connection between quantile regression and ordinary linear regression. Then, we provide a distributed estimator that is both computationally and communicationally efficient, where only the gradient information is communicated at each iteration. Theoretically, we show that the proposed estimator achieves the optimal convergence rate (i.e., the oracle convergence rate when all the data is pooled on a single machine) without any restriction on the number of machines. Moreover, we establish the theoretical guarantee for the support recovery. The simulation and real data analysis are provided to demonstrate the effectiveness of our estimator.
欢迎参加！
联系人: 张立新教授 stazlx@zju.edu.cn 张荣茂教授 rmzhang@zju.edu.cn
浙江大学数据科学研究中心、浙江大学数学科学学院统计学研究所
报告人简介：
刘卫东，上海交通大学教授，数学科学学院副院长，国家自然科学基金杰出青年基金、优秀青年基金获得者，教育部新世纪优秀人才。2003年本科毕业于浙江大学数学系，2008年于浙江大学获得博士学位，2010年获全国百篇优秀博士学位论文及由世界华人数学家大会颁发的新世界数学奖。2008-2009年在香港科技大学数学系从事博士后研究工作，2009-2011年在美国宾夕法尼亚大学沃顿商学院统计系从事博士后研究工作。主要研究方向是统计学理论和机器学习等，已发表50余篇高质量论文，其中包括国际概率统计顶级期刊Journal of the American Statistical Association、Annals of Statistics、Biometrika、JRSS(B)、Annals of Applied Probability、Probability Theory and Related Fields。2013年被评为上海市“浦江人才计划”，2014年被评为上海市“曙光人才计划”，2015年被评为上海市“东方学者”特聘教授。