中国科学院软件研究所机构知识库
Advanced  
ISCAS OpenIR  > 软件所图书馆  > 会议论文
Title:
利用并行GPU对分层分布式狄利克雷分布算法加速
Author: 温腊 ; 芮建武 ; 何婷婷 ; 郭亮
Conference Name: 2013年全国开放式分布与并行计算学术年会
Conference Date: 2013
Issued Date: 2013
Conference Place: 昆明
Keyword: 分层分布式狄利克雷分布 ; 潜在狄利克雷分布 ; 文本分类 ; 分布式框架 ; 并行图形处理器
Alternative Title: Accelerating hierarchical distributed latent Dirichlet allocation algorithm by parallel GPU
Indexed Type: CSCD
ISSN: 1001-9081
Department: 中国科学院软件研究所 基础软件国家工程研究中心,北京 100190;中国科学院大学,北京 100190 中国科学院软件研究所 基础软件国家工程研究中心,北京 100190
Abstract:   分层分布式狄利克雷分布(HD-LDA)算法是一个对潜在狄利克雷分布(LDA)进行改进的基于概率增长模型的文本分类算法,与只能在单机上运行的LDA算法相比,可以运行在分布式框架下,进行分布式并行处理.Mahout在Hadoop框架下实现了HD-LDA算法,但是因为单节点算法的计算量大,仍然存在对大数据分类运行时间太长的问题.而大规模文本集合分散到多个节点上迭代推导,单个节点上文档集合的推导仍是顺序进行的,所以处理大规模文本集合时仍然需要很长时间才能完成全部文本的分类.为此,提出将Hadoop与图形处理器(GPU)相结合,将单节点文本集合的推导过程转移到GPU上运行,实现单节点多个文档并行推导,利用多台并行的GPU对HD-LDA算法进行加速.应用结果表明,使用该方法能使分布式框架下的HD-LDA算法对大规模文本集合处理达到7倍的加速比.
English Abstract: Hierarchical Distributed Latent Dirichlet Allocation (HD-LDA), a popular topic modeling technique for exploring collections, is an improved Latent Dirichlet Allocation (LDA) algorithm running in distributed environment. Mahout has realized HD-LDA algorithm in the framework of Hadoop. However the algorithm processed the whole documents of a single node in sequence, and the execution time of the HD-LDA program was very long when processing a large amount of documents. A new method was proposed to combine Hadoop with Graphic Processing Unit (GPU) to solve the above problem when transferring the computation from CPU to GPU. The application results show that combining the Hadoop with GPU which processes many documents in parallel can decrease the execution time of HD-LDA program greatly and achieve seven times speedup.
Language: 中文
Citation statistics:
Content Type: 会议论文
URI: http://ir.iscas.ac.cn/handle/311060/16498
Appears in Collections:软件所图书馆_会议论文

Files in This Item:

There are no files associated with this item.


Recommended Citation:
温腊,芮建武,何婷婷,等. 利用并行GPU对分层分布式狄利克雷分布算法加速[C]. 见:2013年全国开放式分布与并行计算学术年会. 昆明. 2013.
Service
Recommend this item
Sava as my favorate item
Show this item's statistics
Export Endnote File
Google Scholar
Similar articles in Google Scholar
[温腊]'s Articles
[芮建武]'s Articles
[何婷婷]'s Articles
CSDL cross search
Similar articles in CSDL Cross Search
[温腊]‘s Articles
[芮建武]‘s Articles
[何婷婷]‘s Articles
Related Copyright Policies
Null
Social Bookmarking
Add to CiteULike Add to Connotea Add to Del.icio.us Add to Digg Add to Reddit
所有评论 (0)
暂无评论
 
评注功能仅针对注册用户开放,请您登录
您对该条目有什么异议,请填写以下表单,管理员会尽快联系您。
内 容:
Email:  *
单位:
验证码:   刷新
您在IR的使用过程中有什么好的想法或者建议可以反馈给我们。
标 题:
 *
内 容:
Email:  *
验证码:   刷新

Items in IR are protected by copyright, with all rights reserved, unless otherwise indicated.

 

 

Valid XHTML 1.0!
Copyright © 2007-2019  中国科学院软件研究所 - Feedback
Powered by CSpace