stark_summer
Stark_Summer · 共 204 篇文章
[置顶] 【【【【【#####>>>>>【关于我】【您·的·支·持·是·我·最·大·的·动·力】<<<<<#####】】】】】
您的支持是我写作专业文章的最大动力,文章不好还请见谅! 如果您愿意支持,请支付宝扫描以下二维码或者私下QQ找我要支付宝账号,略表心意,十分感 激! 0.01元,0.1元,1元。。。。,您的支持是无价的!
2015-01-23 10:46 · news · 评论(1)
hive on spark 编译
前置条件说明 Hive on Spark是Hive跑在Spark上,用的是Spark执行引擎,而不是MapReduce,和Hive on Tez的道理一样。 从Hive 1.1版本开始,Hive on Spark已经成为Hive代码的一部分了,并且在spark分支上面,可以看这里 https://github.com/apache/hive/tree/spark,并会定期的移到master分支上面去。 关于Hive on Spark的讨论和进度,可以看这里 https://issues.apache.org/jira/browse/HIVE-7292。 hive on spark文档:htt…
sparksql与hive整合
hive配置 编辑 $HIVE_HOME/conf/hive-site.xml,增加如下内容: <property> <name>hive.metastore.uris</name> <value>thrift://master:9083</value> <description>Thrift uri for the remote metastore. Used by metastore client to connect to remote metastore.</description></property>12345 启动hive metastore 启动 metastore: $hi…
tachyon与hdfs,以及spark整合
Tachyon 0.7.1伪分布式集群安装与测试: http://blog.csdn.net/stark_summer/article/details/48321605 从官方文档得知,Spark 1.4.x和Tachyon 0.6.4版本兼容,而最新版的Tachyon 0.7.1和Spark 1.5.x兼容,目前所用的Spark为1.4.1,tachyon为 0.7.1 tachyon 与 hdfs整合 修改tachyon-env.sh export TACHYON_UNDERFS_ADDRESS=hdfs://master:8020Dtachyon.data.folder=$TACHYO…
spark取得lzo压缩文件报错 java.lang.ClassNotFoundException: Class com.hadoop.compression
恩,这个问题,反正是我从来没有注意的问题,但今天还是写出来吧 配置信息 hadoop core-site.xml配置 <property> <name>io.compression.codecs</name> <value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec,org.apache.hadoop.io.compress.B…
2015-09-17 14:25 · 评论(0)
Tachyon 0.7.1伪分布式集群安装与测试
Tachyon是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,就像Spark和 MapReduce那样。通过利用信息继承,内存侵入,Tachyon获得了高性能。Tachyon工作集文件缓存在内存中,并且让不同的 Jobs/Queries以及框架都能内存的速度来访问缓存文件。因此,Tachyon可以减少那些需要经常使用的数据集通过访问磁盘来获得的次数。 源码下载 源码地址: https://github.com/amplab/tachyon git clone https://github.com/amplab/tachyon.git 编译 进入 TACHYON_…
2015-09-10 18:47 · tachyon · 评论(0)
Apache Spark 1.5.0正式发布
Spark 1.5.0是1.x线上的第6个发行版。这个版本共处理了来自230+contributors和80+机构的1400+个patches。Spark 1.5的许多改变都是围绕在提升Spark的性能、可用性以及操作稳定性。Spark 1.5.0焦点在Tungsten项目,它主要是通过对低层次的组建进行优化从而提升Spark的性能。Spark 1.5版本为Streaming增加了operational特性,比如支持backpressure。另外比较重要的更新就是新增加了一些机器学习算法和工具,并扩展了Spark R的相关API。主要做了以下修改: APIs: RDD, DataFrame和…
2015-09-09 18:07 · spark · 评论(0)
zeppelin入门使用
Display System text 默认使用scala语言输出text内容 shell html scala 输出html shell 输出html table scala shell table scala: shell: html: Manual 动态表格 使用表格模板 文本输入格式: 使用 formName模板,使用{formName=defaultValue} 提供默认值 下拉选择表格 ${formName=defaultValue,option1|option2…} k-v格式,${formName=defaultValue, option1(DisplayName)|opti…
2015-09-09 17:15 · zeppelin · 评论(0)
spark standalone模式 zeppelin安装
1. 前置条件 None root account Apache Maven Java 1.7 2. 源码 https://github.com/apache/incubator-zeppelin git clone https://github.com/apache/incubator-zeppelin 3. 编译 本地模式:mvn clean package -DskipTests 集群模式: mvn clean package -Pspark-1.4 -Dspark.version=1.4.1 -Dhadoop.version=2.3.0-cdh5.1.0 -Phadoop-2.3 -…
2015-09-09 13:54 · zeppelin · 评论(0)
启动hive命令报错 “Metastore contains multiple versions”
错误日志: Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:444) at org.apache.hadoop.hive.cli.CliDriver.run(Cli…
2015-09-02 14:40 · hive · 评论(0)
在 Databricks 可获得 Spark 1.5 预览版
我们兴奋地宣布,从今天开始,Apache Spark1.5.0的预览数据砖是可用的。我们的用户现在可以选择提供集群与Spark 1.5或先前的火花版本准备好几个点击。 正式,Spark 1.5预计将在数周内公布,和社区所做的QA测试的版本。鉴于火花的快节奏发展,我们觉得这是很重要的,使我们的用户尽快开发和利用新特性。与传统的本地软件部署,它可以需要几个月,甚至几年,从供应商收到软件更新。数据砖的云模型,我们可以在几小时内更新,让用户试他们的火花版本的选择。 What’s New? The last few releases of Spark focus on making data scie…
2015-08-25 14:02 · spark · 评论(0)
hadoop点击AM所在node节点的logs链接报错 "Sorry, got error 404"
问题描述 打开hadoop 集群地址,hostname:8088 选择任何一个已经FINISHED或者FAILED的任务,然后点击 appplicationID ,比如:application_1439618500064_1100 进去ApplicationMaster 信息页面 点击logs链接就报错如下 求助 目前 感觉这个问题很诡异,也从来没有遇到过,大家有遇到的么?求指导~,THX
2015-08-17 17:39 · hadoop · 评论(0)
iteye为什么不支持markdown?
iteye为什么不支持markdown? 难道没技术支持了?个人感觉csdn markdown支持的很好
2015-08-11 16:45 · IT · 评论(1)
spark implementation hadoop setup,cleanup
写道 def main(args: Array[String]) { val sc = new SparkContext("local", "xxx") val inputData = sc.textFile("hdfs://master:8020/data/spark/user-history-data") val lines = inputData.map(line => (line, line.length)) val result = lines.mapPartitions { valueIterator => if (valueIterator.isEmpty) { Iterato…
2015-08-11 16:38 · spark · 评论(0)
最近hadoop遇到的issuses
https://issues.apache.org/jira/browse/YARN-182 https://issues.apache.org/jira/browse/YARN-903 https://issues.apache.org/jira/browse/HBASE-10304 https://issues.apache.org/jira/browse/SPARK-5350 待续未完成~
2015-08-07 14:51 · hadoop · 评论(0)