首页
关于作者
阅读记录
友链
Search
1
微内核插件架构风格在skywalking agent 上的实践
357 阅读
2
debian 11 安装nginx 并配置端口映射
335 阅读
3
和chatgpt聊设计
300 阅读
4
开始看《金阁寺》
233 阅读
5
github上star的工程分类记录
201 阅读
不知所云
杂记
书籍摘抄
有点技术
Redis
运维
架构
nginx
byzer
尚未分类
程序人生
与AI聊天
登录
/
注册
Search
标签搜索
nginx
redis
byzer
github
运维
mybatis-plus
王猪
累计撰写
25
篇文章
累计收到
3
条评论
首页
栏目
不知所云
杂记
书籍摘抄
有点技术
Redis
运维
架构
nginx
byzer
尚未分类
程序人生
与AI聊天
页面
关于作者
阅读记录
友链
搜索到
1
篇与
的结果
2023-06-15
byzer大数据集群配置变化
byzer大数据集群配置变化因cdh升级为cdp后,原本的小集群被大佬收回去到大集群中了,byzer所用的集群配置就需要发生修改。另外,因为大集群的权限配置更为严格,byzer修改配置时就会遇到这些问题。配置下载从 cloudera manager 中下载hadoop、yarn、hive的配置文件,并覆盖到byzer engine 配置的spark的conf下。修改hostscdp集群中的主机都以主机名作为配置,故需要修改/etc/hosts 文件,把对应的主机名与IP映射补上。安装用户切换为hive用户原先部署在/root/apps目录中,则使用root启动,byzer会直接使用root去做hive的连接。以下几个问题是在调整用户时遇到的。byzer启动失败Permission denied: user=root(具体用户名),access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x这是因为这个用户没权限,需要授权,或者换个用户byzer 任务执行失败Permission denied: user=root(具体用户名),access=READ_EXECUTE, inode="/user/xxx/xxx":hive:hive:drwxr-x--x也是因为权限不足导致的。byzer 启动无限输出日志INFO Client: Application report for application_xxxxxxx_xxxx (state:ACCEPTED)是任务提交到了yarn,但是未被执行,属于资源分配不足,或者已经有人用这个用户把资源用完了。可以暂时的byzer部署目录下的 conf/byzer.properties.override 中修改配置将占用资源减小尝试重启。
2023年06月15日
76 阅读
0 评论
0 点赞
浙公网安备 33020502001051号
浙ICP备2023015387号-1