Spark开发中遇到了一些小问题，都是大神随便一个手指头帮我解决的。保持学习，积累吧！
一. 基于Intellij IDEA编辑器
1. 快捷键
注释/去注释 Ctrl+Shift+?
2. repository 依赖
不同的公司可能有自己的私服，是同事们已经下载的jar包等，可以在 .m2/settings.xml 里添加私服url和账号。
否则，可能会根据pom.xml 直接访问Maven中央库，缓慢不定。
3. 项目导入，目录显示树结构
选择按pom.xml导入即可。
4. 同时打开多个项目
File ——> Setting:
5. 代码打包导出
两种方法：
1）File-〉Project Structure--〉Artifacts
2）依靠Lifecycle的package命令
6. 查看某个方法的源代码
快捷键F4 （Jump to source）
7. 包更新有问题(检查下)
./m2/repository
./m2/setting.xml
11. Error：
1） ClassNotFoundException for main；
是因为当前目录不是source root（源码目录）, 右键把当前的目录 Mark Directory as Sources Root
Exception in thread "main" java.lang.ClassNotFoundException: Scala.CampModel at java.net.URLClassLoader$1.run(URLClassLoader.java:366) at java.net.URLClassLoader$1.run(URLClassLoader.java:355) at java.security.AccessController.doPrivileged(Native Method) at java.net.URLClassLoader.findClass(URLClassLoader.java:354) at java.lang.ClassLoader.loadClass(ClassLoader.java:425) at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308) at java.lang.ClassLoader.loadClass(ClassLoader.java:358) at java.lang.Class.forName0(Native Method) at java.lang.Class.forName(Class.java:190) at com.intellij.rt.execution.application.AppMain.main(AppMain.java:122)
2）class 被封装在Package Scala里面，打包后提交Spark集群时，要带上Scala. 表明路径，不然也会报跟1）一样的错误
spark-submit --class Scala.CampModel --master yarn MavenIntel-1.0-SNAPSHOT.jar
3）
posted on 2016-11-13 15:29 阅读( ...) 评论( ...)