买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：湖南工业大学

摘要：本发明公开了一种面向Dask集群的基于局部加权线性回归的动态数据分块方法，将待处理的大规模数据集划分成用于块大小寻优的子数据集集合和剩余待处理的子数据集集合，通过对用于块大小寻优的每个子数据集对应的块大小的处理，采用局部加权线性回归算法较精准地在线动态估计剩余待处理每个子数据集对应的块大小，依据所有已被处理的每个子数据集对应的块大小和所耗时间。本发明解决了对人工经验的高度依赖以及费时耗力的离线训练，能较好地适应数据集、并行应用程序和集群环境的变化，并一定程度上提高了在Dask集群中处理大规模数据集的效率。

主权项：1.一种面向Dask集群的基于局部加权线性回归的动态数据分块方法，其特征在于，步骤包括：S1.将大规模数据集X均分成N个子数据集，并将N个子数据集依序划分成用于块大小寻优的子数据集集合Xprofiling和剩余待处理的子数据集集合Xrest；S2.设置寻优的子数据集集合Xprofiling中每个子数据集对应的块大小；S3.处理Xprofiling中的子数据集从Xprofiling中读取第i个子数据集Xprofiling.i并按指定的块大小Mprofiling.i对Xprofiling.i进行分块，然后在Dask集群中执行并行应用程序对Xprofiling.i进行处理并获取其所耗时间Tprofiling.i，最后将Mprofiling.i和Tprofiling.i加入观察值矩阵ON×2中，其中1≤i≤n；S4..处理Xrest中的第一个子数据集S41.从观察值矩阵中获取所有已被处理的子数据集对应的所耗时间的最小值Tmin，依据观察值矩阵来计算局部加权线性回归算法的回归系数θ，利用Tmin和θ来估计Xrest.1对应的块大小Mrest.1，并按Mrest.1对Xrest.1进行分块；S42.在Dask集群中执行并行应用程序对Xrest.1进行处理并获取其所耗时间Trest.1，将Mrest.1和Trest.1加入到观察值矩阵中，即用Mrest.1和Trest.1替换矩阵第n+1行的两个值；S5.重复步骤S4，算出Xrest的下一个子数据集对应的块大小和所耗时间，并将块大小和所耗时间加入到观察值矩阵中；S6.计算出Xrest中所有子数据集，得到处理大规模数据集X所耗总时间

全文数据：

权利要求：

百度查询： 湖南工业大学 面向Dask集群的基于局部加权线性回归的动态数据分块方法