Stark_Summer
- 浏览: 709441 次
- 性别:
- 来自: 大连
-
最新评论
-
lixuanbin：
iteye已经快要tj了吧。。
iteye为什么不支持markdown? -
haorengoodman：
Tachyon 能在做数据分类吗？例如我有一坨hdfs文件，将 ...
tachyon与hdfs,以及spark整合 -
lee3836：
求源码，大牛
clover分布式任务调度系统 -
cfan37：
...
sparksql与hive整合 -
greemranqq：
9.9 送上，希望博客长久~。~
【【【【【#####>>>>>【关于我】【您·的·支·持·是·我·最·大·的·动·力】<<<<<#####】】】】】
文章列表
您的支持是我写作专业文章的最大动力，文章不好还请见谅！
如果您愿意支持，请支付宝扫描以下二维码或者私下QQ找我要支付宝账号，略表心意，十分感
激！
0.01元，0.1元，1元。。。。，您的支持是无价的！
前置条件说明
Hive on Spark是Hive跑在Spark上，用的是Spark执行引擎，而不是MapReduce，和Hive on Tez的道理一样。 从Hive 1.1版本开始，Hive on Spark已经成为Hive代码的一部分了，并且在spark分支上面，可以看这里https://github.com/apache/hive/tree/spark，并会定期的移到master分支上面去。 关于Hive on Spark的讨论和进度，可以看这里https://issues.apache.org/jira/browse/HIVE-7292。 hive on spark文档:http ...
hive配置
编辑 $HIVE_HOME/conf/hive-site.xml,增加如下内容:
<property>
<name>hive.metastore.uris</name>
<value>thrift://master:9083</value>
<description>Thrift uri for the remote metastore. Used by metastore client to connect to remote metastore.</description>&l ...
Tachyon 0.7.1伪分布式集群安装与测试: http://blog.csdn.net/stark_summer/article/details/48321605 从官方文档得知，Spark 1.4.x和Tachyon 0.6.4版本兼容，而最新版的Tachyon 0.7.1和Spark 1.5.x兼容，目前所用的Spark为1.4.1，tachyon为 0.7.1
tachyon 与 hdfs整合
修改tachyon-env.sh
export TACHYON_UNDERFS_ADDRESS=hdfs://master:8020Dtachyon.data.folder=$TACH ...
恩,这个问题,反正是我从来没有注意的问题,但今天还是写出来吧
配置信息
hadoop core-site.xml配置
<property>
<name>io.compression.codecs</name>
<value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.L ...
Tachyon是一个高容错的分布式文件系统，允许文件以内存的速度在集群框架中进行可靠的共享，就像Spark和 MapReduce那样。通过利用信息继承，内存侵入，Tachyon获得了高性能。Tachyon工作集文件缓存在内存中，并且让不同的 Jobs/Queries以及框架都能内存的速度来访问缓存文件。因此，Tachyon可以减少那些需要经常使用的数据集通过访问磁盘来获得的次数。
源码下载
源码地址:https://github.com/amplab/tachyon git clone https://github.com/amplab/tachyon.git
编译
进入 T ...
Spark 1.5.0是1.x线上的第6个发行版。这个版本共处理了来自230+contributors和80+机构的1400+个patches。Spark 1.5的许多改变都是围绕在提升Spark的性能、可用性以及操作稳定性。Spark 1.5.0焦点在Tungsten项目，它主要是通过对低层次的组建进行优化从而提升Spark的性能。Spark 1.5版本为Streaming增加了operational特性，比如支持backpressure。另外比较重要的更新就是新增加了一些机器学习算法和工具，并扩展了Spark R的相关API。主要做了以下修改：
APIs: RDD, DataFrame ...
Display System
text
默认使用scala语言输出text内容
shell
html
scala 输出html
shell 输出html
table
scala
shell
table scala: shell: html:
1. 前置条件
None root account
Apache Maven
错误日志：
Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:
我们兴奋地宣布,从今天开始,Apache Spark1.5.0的预览数据砖是可用的。我们的用户现在可以选择提供集群与Spark 1.5或先前的火花版本准备好几个点击。
正式,Spark 1.5预计将在数周内公布,和社区所做的QA测试的版本。鉴于火花的快节奏发展,我们觉得这是很重要的,使我们的用户尽快开发和利用新特性。与传统的本地软件部署,它可以需要几个月,甚至几年,从供应商收到软件更新。数据砖的云模型,我们可以在几小时内更新,让用户试他们的火花版本的选择。
What’s New?
The last few releases of Spark focus on making data ...
问题描述
打开hadoop 集群地址,hostname:8088
选择任何一个已经FINISHED或者FAILED的任务,然后点击 appplicationID ,比如:application_1439618500064_1100
进去ApplicationMaster 信息页面
点击logs链接就报错如下
求助
目前 感觉这个问题很诡异,也从来没有遇到过,大家有遇到的么?求指导~,THX
iteye为什么不支持markdown?
- 博客分类：
- IT
iteye为什么不支持markdown?
难道没技术支持了?个人感觉csdn markdown支持的很好
写道
def main(args: Array[String]) { val sc = new SparkContext("local", "xxx") val inputData = sc.textFile("hdfs://master:8020/data/spark/user-history-data") val lines = inputData.map(line => (line, line.length)) val result = lines.mapPartitions { valueIterator ...
https://issues.apache.org/jira/browse/YARN-182 https://issues.apache.org/jira/browse/YARN-903 https://issues.apache.org/jira/browse/HBASE-10304 https://issues.apache.org/jira/browse/SPARK-5350
待续未完成～